MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models

Background Recent large multimodal models increasingly replace some standard self-attention layers with efficient mechanisms, linear attention (Kimi Linear's KDA), SSM blocks (Jamba), or latent KV compression (MLA), because quadratic attention cost and growing KV cache become the main obstacle to long-context, real-time vision-language deployment. But every one of these heterogeneous designs to date has used a hand-designed, fixed, typically periodic mixing pattern (e.g. one full-attention layer every three layers), chosen once by human intuition and not adapted per hardware target. MOSAIC instead treats which efficient mechanism each individual layer of a pretrained VLM should use as something to be searched for automatically rather than hand-designed.

배경 최근 대형 멀티모달 모델들은 표준 self-attention 층 일부를 효율적 메커니즘, linear attention(Kimi Linear의 KDA), SSM 블록(Jamba), latent KV 압축(MLA)으로 점점 더 많이 대체하고 있는데, 이차 attention 비용과 계속 늘어나는 KV 캐시가 장문맥·실시간 vision-language 배포의 주 걸림돌이기 때문이다. 하지만 지금까지 이런 이종(heterogeneous) 설계는 모두 수작업으로 설계된 고정된, 대개 주기적인 혼합 패턴(예: 세 층마다 하나씩 full-attention 층)을 썼고, 이는 인간의 직관으로 한 번 정해질 뿐 하드웨어 타깃별로 적응되지 않았다. MOSAIC은 사전학습된 VLM의 각 층이 어떤 효율적 메커니즘을 써야 하는지를 손으로 설계하는 대신 자동으로 탐색할 대상으로 다룬다.

Problem Fixed, hand-designed heterogeneous mixing patterns have two structural problems the paper wants to fix: they assume every layer at every network depth needs the same kind of operator, which forecloses exploring the vast combinatorial space of possible layer-wise assignments (for Qwen3-VL-4B's 36 layers with 5 attention options and 7 FFN-width options per layer, that space is 35^36 configurations), and they are hardware-agnostic, so a mixing pattern tuned for one accelerator's execution profile is not guaranteed to meet another device's latency budget without an expensive retraining cycle.

문제 고정된, 수작업 설계 이종 혼합 패턴에는 논문이 고치고자 하는 두 가지 구조적 문제가 있다. 모든 깊이의 모든 층이 같은 종류의 연산자를 필요로 한다고 가정해, 가능한 층별 배치의 방대한 조합 공간(Qwen3-VL-4B의 36개 층에 층당 attention 5가지·FFN 폭 7가지 옵션이면 그 공간은 35의 36제곱 가지)을 탐색할 길을 처음부터 막아버리고, 하드웨어에 무관하게 설계되어 한 가속기의 실행 프로파일에 맞춘 혼합 패턴이 값비싼 재학습 사이클 없이는 다른 기기의 지연 예산을 충족한다는 보장이 없다.

Prior limitations Existing heterogeneous VLMs like Jamba (Transformer+Mamba), InfiniteVL (linear+sparse attention), and Kimi-Linear (KDA-based) all interleave operator types using simple, periodic, manually chosen ratios, and the paper's own appendix comparison shows two hand-hybridized VLMs, Cobra and MatVLM, trailing badly on quality (50.8 and 56.0 overall score against a 72.9 full-attention reference) despite claiming efficiency gains, evidence that naive rule-based layer substitution or module concatenation cannot capture which layers actually need which mechanism. Prior distillation-based neural architecture search, such as Puzzle, searches only within a single architecture family (varying depth/width of the same operator type) and targets unimodal text models, not the mechanism-type-as-search-variable, multimodal setting MOSAIC targets.

기존 한계 Jamba(Transformer+Mamba), InfiniteVL(linear+sparse attention), Kimi-Linear(KDA 기반) 같은 기존 이종 VLM들은 모두 단순하고 주기적인, 수작업으로 고른 비율로 연산자 유형을 교차 배치하며, 논문 자체의 부록 비교는 수작업으로 하이브리드화한 두 VLM인 Cobra와 MatVLM이 효율성 향상을 주장함에도 품질에서 크게 뒤처짐을 보여준다(전체 점수 50.8과 56.0, full-attention 기준 72.9 대비). 이는 단순한 규칙 기반 층 대체나 모듈 연결로는 실제로 어떤 층이 어떤 메커니즘을 필요로 하는지 포착할 수 없다는 증거다. Puzzle 같은 기존 distillation 기반 신경망 아키텍처 탐색은 단일 아키텍처 계열 안에서만(같은 연산자 유형의 깊이/폭만 바꿔) 탐색하고 단일모달 텍스트 모델을 대상으로 하며, MOSAIC이 겨냥하는 연산자-유형-자체를-탐색-변수로-삼는 멀티모달 설정과는 다르다.

Goal The paper's goal is to automatically transform a pretrained, homogeneous VLM into a heterogeneous one that satisfies a hard hardware latency budget while maximizing downstream performance across image, video, and text understanding, without the cost of an end-to-end retraining cycle for every candidate architecture or every new hardware target.

목표 논문의 목표는 모든 후보 아키텍처나 새 하드웨어 타깃마다 end-to-end 재학습 사이클을 거치는 비용 없이, 이미지·비디오·텍스트 이해 전반의 다운스트림 성능을 최대화하면서 엄격한 하드웨어 지연 예산을 만족하도록 사전학습된 동질적(homogeneous) VLM을 자동으로 이종(heterogeneous) VLM으로 변환하는 것이다.

Method MOSAIC defines, per transformer layer, a joint search space over five attention variants (the teacher's original GQA, two linear-attention mechanisms KDA/GDN, low-rank MLA, and sliding-window attention) and seven FFN width-scaling options (100% down to a 0%/no-op prune), giving 35 configurations per layer. To make searching this space tractable without full retraining of every candidate, MOSAIC first runs Blockwise Local Distillation (BLD): each candidate block is trained in isolation to match its corresponding teacher layer's output activations, given the teacher's own activations as input, which is cheap and fully parallelizable across candidates (only 80,000 samples). Each resulting candidate is then scored on multiple capability metrics (perplexity/KL-divergence on long text, MMLU, SeedBench), and architecture selection is posed as a multi-objective Mixed Integer Programming (MIP) problem that picks one configuration per layer to maximize a capability score subject to a hard measured-latency constraint. Because BLD trains each block against teacher inputs rather than the actual outputs of preceding student layers, the searched model has a residual capability gap that MOSAIC closes with a two-stage global distillation: Stage 1 (global off-policy distillation, logit-and-cross-entropy alignment against the same-size teacher) and Stage 2 (dual-teacher on-policy distillation, mixing a 235B oracle teacher for knowledge expansion with the original 4B teacher's on-policy generations for distributional stability).

방법 MOSAIC은 트랜스포머 층마다 다섯 가지 attention 변형(교사 모델 원래의 GQA, 두 linear-attention 메커니즘 KDA/GDN, 저랭크 MLA, 슬라이딩 윈도우 attention)과 일곱 가지 FFN 폭-스케일링 옵션(100%부터 0%/no-op 가지치기까지)에 걸친 결합 탐색 공간을 정의해 층당 35가지 구성을 만든다. 모든 후보를 완전히 재학습하지 않고 이 공간을 다루기 쉽게 만들기 위해, MOSAIC은 먼저 Blockwise Local Distillation(BLD)을 실행한다. 각 후보 블록은 교사 자신의 활성값을 입력으로 받아 대응하는 교사 층의 출력 활성값에 맞추도록 독립적으로 학습되는데, 이는 후보 전체에 걸쳐 저렴하고 완전히 병렬화 가능하다(단 8만 샘플). 그 결과 각 후보는 여러 능력 지표(장문 텍스트 perplexity/KL-발산, MMLU, SeedBench)로 점수가 매겨지고, 아키텍처 선택은 측정된 지연 제약을 만족하면서 능력 점수를 최대화하도록 층마다 구성 하나를 고르는 다목적 혼합정수계획(MIP) 문제로 정식화된다. BLD가 각 블록을 앞선 학생 층의 실제(어긋났을 수 있는) 출력이 아니라 교사 입력에 맞춰 학습시키기 때문에, 탐색된 모델에는 잔여 능력 격차가 남는데, MOSAIC은 이를 2단계 전역 distillation으로 메운다. 1단계(전역 off-policy distillation, 동일 크기 교사에 대한 logit·교차엔트로피 정렬)와 2단계(듀얼-교사 on-policy distillation, 235B 오라클 교사로 지식을 확장하고 원래 4B 교사의 on-policy 생성으로 분포 안정성을 유지)다.

Key idea The core idea is to stop treating which efficient mechanism goes at which depth as an architectural intuition to hand-design, and instead pose it as a per-layer combinatorial optimization problem solvable via cheap, parallel per-block distillation plus a global MIP solve, decoupling the expensive question of architecture search from the separately expensive question of full-model retraining, so only the final selected architecture ever needs the costly two-stage recovery distillation.

핵심 아이디어 핵심 아이디어는 어느 깊이에 어떤 효율적 메커니즘을 둘 것인가를 손으로 설계할 아키텍처적 직관으로 다루기를 멈추고, 대신 저렴하고 병렬적인 블록별 distillation과 전역 MIP 해법으로 풀 수 있는 층별 조합 최적화 문제로 정식화하는 것이다. 비용이 큰 아키텍처 탐색 문제를 별도로 비용이 큰 전체 모델 재학습 문제로부터 분리해, 최종 선택된 아키텍처만 값비싼 2단계 복구 distillation을 거치면 되도록 만든다.

Validation MOSAIC is applied to Qwen3-VL-4B-Instruct (36 layers) under a 1.5x hardware-latency-speedup budget, producing MOSAIC-4B, evaluated on 19 benchmarks across image (13), video (3), and text (3) understanding against five baselines (the Qwen3-VL-4B teacher itself, InternVL3.5 at two sizes, Qwen3-VL-2B, SmolVLM2, Molmo2) as well as, in the appendix, three purpose-built heterogeneous VLMs (Cobra, MatVLM, InfiniteVL). Ablations isolate each recovery-pipeline stage's contribution (pretraining KD alone vs. plus instruction KD vs. plus SFT vs. plus on-policy KD), compare the learned per-layer architecture against hand-designed fixed-ratio heterogeneous baselines, and separately inspect what operator types the MIP search actually assigns to which network depths.

검증 MOSAIC은 1.5배 하드웨어-지연-속도향상 예산 아래 Qwen3-VL-4B-Instruct(36개 층)에 적용되어 MOSAIC-4B를 만들고, 이미지(13개)·비디오(3개)·텍스트(3개) 이해에 걸친 19개 벤치마크에서 다섯 baseline(Qwen3-VL-4B 교사 자신, 두 크기의 InternVL3.5, Qwen3-VL-2B, SmolVLM2, Molmo2) 및 부록에서 세 개의 목적 구축 이종 VLM(Cobra, MatVLM, InfiniteVL)과 비교 평가된다. Ablation은 복구 파이프라인 각 단계의 기여(사전학습 KD 단독 vs. 지시 KD 추가 vs. SFT 추가 vs. on-policy KD 추가)를 분리하고, 학습된 층별 아키텍처를 수작업 고정-비율 이종 baseline과 비교하며, MIP 탐색이 실제로 어떤 연산자 유형을 어느 깊이에 배정하는지 별도로 조사한다.

Results MOSAIC-4B matches Qwen3-VL-4B-Instruct's overall image-understanding score (77.9 vs 78.5, a -0.6 average gap across 13 benchmarks) while achieving a 2.54x decoding-latency speedup and 1.76x prefill speedup, using less than 2% of the teacher's original training cost (about 32M purely open-source training samples). Against the three purpose-built heterogeneous VLMs in the appendix comparison, MOSAIC-4B's 71.7 overall score clears InfiniteVL (63.4), MatVLM (56.0), and Cobra (50.8) by a wide margin even though Cobra reaches a nominally higher 4.83x speedup, i.e. MOSAIC-4B is simultaneously faster than every general-purpose baseline tested except Cobra and far more accurate than every heterogeneous baseline. The two-stage recovery ablation shows each stage matters and stacks: pretraining KD alone reaches 56.0% overall, instruction KD adds +12.1 points to 68.1%, plain SFT alone actually regresses accuracy to 63.1% (attributed to distribution shift/forgetting), and the full pipeline (SFT + on-policy KD together) reaches the best 71.7%, a further +3.6 points over instruction KD alone.

결과 MOSAIC-4B는 Qwen3-VL-4B-Instruct의 전체 이미지-이해 점수에 필적하면서(77.9 vs 78.5, 13개 벤치마크 평균 격차 -0.6) 2.54배 decode 지연 속도향상과 1.76배 prefill 속도향상을 달성하고, 교사 모델 원래 학습 비용의 2% 미만(순수 오픈소스 학습 샘플 약 3200만 개)만 쓴다. 부록의 세 목적 구축 이종 VLM 비교에서 MOSAIC-4B의 전체 점수 71.7은 InfiniteVL(63.4), MatVLM(56.0), Cobra(50.8)를 큰 차이로 앞서는데, Cobra가 명목상 더 높은 4.83배 속도향상을 낸다는 점을 감안해도 그렇다. 즉 MOSAIC-4B는 테스트된 Cobra를 제외한 모든 범용 baseline보다 빠르면서 동시에 모든 이종 baseline보다 훨씬 정확하다. 2단계 복구 ablation은 각 단계가 중요하며 누적됨을 보여준다. 사전학습 KD 단독은 전체 56.0%, 지시 KD 추가로 +12.1점 올라 68.1%, 순수 SFT 단독은 오히려 63.1%로 정확도가 떨어지고(분포 이동/망각 탓으로 설명), SFT+on-policy KD를 함께 쓴 전체 파이프라인이 최고 71.7%로 지시 KD 단독보다 다시 +3.6점 높다.

Comparison Against the three existing heterogeneous VLMs built by hand-designed rules (Cobra's module concatenation, MatVLM's rule-based layer substitution), MOSAIC-4B's much smaller quality gap at a comparable or better speedup is direct evidence that automated per-layer search finds substantially better operator placements than human intuition does. Against the closest architecture-search relative, Puzzle, MOSAIC differs by treating mechanism type itself (not just depth/width within one operator family) as the searchable variable, and by targeting the multimodal setting Puzzle was not designed for. The paper's own hand-designed-ratio ablation is used to argue the learned per-layer assignment beats fixed periodic patterns at matched budgets, reinforcing that the gain comes specifically from per-layer adaptivity rather than from the underlying operator menu alone.

비교 수작업 규칙으로 만든 세 기존 이종 VLM(Cobra의 모듈 연결, MatVLM의 규칙 기반 층 대체) 대비, MOSAIC-4B가 비슷하거나 더 나은 속도향상에서 훨씬 작은 품질 격차를 보이는 것은 자동화된 층별 탐색이 인간의 직관보다 상당히 더 나은 연산자 배치를 찾아낸다는 직접적 증거다. 가장 가까운 아키텍처 탐색 친척인 Puzzle과는, MOSAIC이 하나의 연산자 계열 안 깊이/폭이 아니라 연산자 유형 자체를 탐색 변수로 다루고 Puzzle이 설계되지 않았던 멀티모달 설정을 겨냥한다는 점에서 다르다. 논문 자체의 수작업-고정비율 ablation은 학습된 층별 배정이 같은 예산에서 고정 주기 패턴을 이긴다는 근거로 쓰이며, 이득이 단지 밑바탕 연산자 메뉴가 아니라 구체적으로 층별 적응성에서 온다는 점을 뒷받침한다.

Significance The discovered per-layer pattern, sliding-window attention concentrated in shallow layers, linear attention (KDA/GDN) dominating the middle-to-late layers where most of the latency reduction comes from, and MLA preferentially retained in the tail layers, independently reproduces an architectural heuristic (local-then-global processing) that human designers have argued for by intuition, which the paper treats as external validation that the automated search is finding a real, not spurious, structural signal (reviewer emphasis: this is the paper's own strongest argument for why the method should be trusted beyond its benchmark numbers). Practically, a search-plus-cheap-recovery recipe that reaches near-teacher quality at a fraction of the training cost and adapts to a stated hardware latency budget is directly relevant to deploying vision-language models under real edge/serving latency constraints rather than one-size-fits-all architectures.

의의 발견된 층별 패턴, 얕은 층에 집중된 슬라이딩 윈도우 attention, 지연 감소 대부분이 나오는 중후반 층을 지배하는 linear attention(KDA/GDN), 말단 층에 우선 유지되는 MLA는 인간 설계자들이 직관으로 주장해온 아키텍처적 휴리스틱(로컬-그다음-전역 처리)을 독립적으로 재현하는데, 논문은 이를 자동 탐색이 허위가 아닌 진짜 구조적 신호를 찾고 있다는 외부 검증으로 취급한다(리뷰어 강조: 이는 이 방법이 벤치마크 수치를 넘어 신뢰할 만한 이유에 대한 논문 자체의 가장 강한 논거다). 실용적으로, 교사에 근접한 품질을 학습 비용의 일부만으로 달성하면서 명시된 하드웨어 지연 예산에 적응하는 탐색-플러스-저비용-복구 레시피는 하나로 모든 걸 해결하는 아키텍처가 아니라 실제 엣지/서빙 지연 제약 아래 vision-language 모델을 배포하는 데 직접적으로 관련이 있다.

Limitations The paper states one specific method-level limitation directly: Blockwise Local Distillation trains each candidate against the teacher's own activations rather than the actual (possibly drifted) outputs of preceding student layers, creating an inter-block compatibility gap that shows up as a residual capability drop in the raw searched model before the two-stage global distillation is applied, which is precisely why that two-stage recovery pipeline exists. Beyond this, the paper has no separately headed Limitations or Broader Impact section in the reviewed text; the search and evaluation are demonstrated on a single base model size (4B) and single target speedup ratio (1.5x) as the primary result, with other ratios/scales relegated to appendix visualizations (reviewer judgment: generalization to substantially larger backbones or very different latency budgets is asserted via appendix figures rather than argued at length in the main text).

한계 논문은 방법 수준의 구체적 한계 하나를 직접 명시한다. Blockwise Local Distillation은 각 후보를 앞선 학생 층의 실제(어긋났을 수 있는) 출력이 아니라 교사 자신의 활성값에 맞춰 학습시켜 블록 간 호환성 격차를 만들고, 이는 2단계 전역 distillation을 적용하기 전 탐색된 원본 모델에서 잔여 능력 저하로 나타난다. 바로 이 때문에 그 2단계 복구 파이프라인이 존재한다. 이 외에 검토한 본문에는 별도의 한계 또는 사회적 영향 절이 없으며, 탐색과 평가는 단일 기본 모델 크기(4B)와 단일 목표 속도향상 비율(1.5배)을 주요 결과로 시연하고 다른 비율/규모는 부록 시각화로 미뤄둔다(리뷰어 판단: 훨씬 큰 백본이나 매우 다른 지연 예산으로의 일반화는 본문에서 길게 논증되기보다 부록 그림을 통해 주장된다).

Future work The paper states no explicit future-work section in the reviewed text. The natural open direction it leaves visible without formally proposing it is generalizing the per-layer search beyond the single 4B-parameter, 1.5x-speedup instantiation reported as the headline result, the paper gestures at this by including appendix visualizations across a range of target speedup ratios but does not present this as future work in the main narrative (reviewer judgment).

향후 과제 검토한 본문에는 명시적 future-work 절이 없다. 논문이 공식적으로 제안하지는 않지만 드러내 보이는 자연스러운 열린 방향은 헤드라인 결과로 보고된 단일 4B-파라미터·1.5배-속도향상 사례를 넘어 층별 탐색을 일반화하는 것이다. 논문은 다양한 목표 속도향상 비율에 걸친 부록 시각화를 포함해 이를 암시하지만 본문 서사에서 향후 과제로 제시하지는 않는다(리뷰어 판단).

Released resources MOSAIC-4B's model weights are publicly released on Hugging Face (LiAuto-DSR/MOSAIC-4B, verified reachable), though no separate training-code or search-implementation repository is stated in the paper text.

자원 공개 MOSAIC-4B의 모델 가중치는 Hugging Face(LiAuto-DSR/MOSAIC-4B, 접근 가능 확인됨)에 공개되어 있으나, 논문 본문에는 별도의 학습 코드나 탐색 구현 저장소가 명시되어 있지 않다.