Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation

Background Diffusion multimodal LLMs (DMLLMs) generate a response by denoising an entire fixed-length sequence in parallel rather than emitting tokens one at a time, so unlike autoregressive models they cannot simply stop once an end-of-text token appears mid-schedule. Because true answer lengths vary widely across tasks and are unknown before generation — the paper reports the longest ground-truth answer in a benchmark can be 10x the shortest — every sequence is padded out to a conservative maximum window, and every one of those padding positions still receives a full forward pass through the model's layers at every denoising step.

배경 디퓨전 멀티모달 LLM(DMLLM)은 토큰을 하나씩 내놓는 대신 고정 길이 시퀀스 전체를 병렬로 디노이징해 응답을 생성하기 때문에, 오토리그레시브 모델처럼 스케줄 중간에 종료 토큰이 나오면 바로 멈출 수 없다. 실제 정답 길이는 태스크마다 크게 다르고 생성 전에는 알 수 없는데(논문은 한 벤치마크 안에서 가장 긴 정답이 가장 짧은 정답의 10배에 이를 수 있다고 보고한다), 그래서 모든 시퀀스를 보수적인 최대 길이까지 패딩하게 되고, 그 패딩 위치 하나하나가 매 디노이징 스텝마다 모델 전체 레이어를 통과하는 완전한 forward pass 비용을 그대로 치른다.

Problem Padding a DMLLM's output to a fixed window wastes most of the compute spent per example, since a short valid answer is followed by what the paper calls "a massive sequence of redundant padding tokens" that are still denoised at every step. This waste compounds in multimodal settings because each redundant text position performs dense cross-modal attention against a large visual context, and the paper further argues these padding tokens actively hurt accuracy: through bidirectional attention they act as weak "relay nodes" that leak irrelevant background visual signal back into the valid answer tokens.

문제 DMLLM 출력을 고정 창(window)까지 패딩하면 예제당 계산의 대부분이 낭비되는데, 짧고 유효한 답 뒤에 논문이 "방대한 중복 패딩 토큰 시퀀스"라고 부르는 것이 이어지고 이 부분도 매 스텝 계속 디노이징되기 때문이다. 이 낭비는 멀티모달 환경에서 더 커지는데, 중복된 텍스트 위치 하나하나가 거대한 시각 컨텍스트에 대해 dense한 cross-modal attention을 수행하기 때문이며, 논문은 나아가 이 패딩 토큰들이 정확도까지 실제로 해친다고 주장한다 — bidirectional attention을 통해 이들이 약한 "릴레이 노드"처럼 작동해 무관한 배경 시각 신호를 유효한 답 토큰 쪽으로 새어 들어가게 만든다는 것이다.

Prior limitations Existing DMLLM acceleration methods largely attack only the visual half of the sequence — approaches such as D3ToM and RedVTP borrow token-merging/pruning ideas from autoregressive vision-language models to compress image tokens, but completely fail to address the redundant text suffix that a fixed-window diffusion schedule still generates. The alternative — EOS-guided early stopping or per-step token eviction — does target the text suffix, but changing the sequence length at every denoising step shatters the static computation graphs (e.g., CUDA Graphs) that inference engines rely on for speed, trading FLOPs saved for CPU launch overhead.

기존 한계 기존 DMLLM 가속 기법들은 대체로 시퀀스의 시각(visual) 절반만 공략한다 — D3ToM, RedVTP 같은 방법은 오토리그레시브 비전-언어 모델의 토큰 병합/pruning 아이디어를 빌려와 이미지 토큰을 압축하지만, 고정-창 디퓨전 스케줄이 여전히 만들어내는 중복 텍스트 suffix는 전혀 다루지 못한다. 대안인 EOS 기반 조기 종료나 스텝별 토큰 eviction은 텍스트 suffix를 겨냥하긴 하지만, 매 디노이징 스텝마다 시퀀스 길이가 바뀌면 추론 엔진이 속도를 위해 의존하는 정적 계산 그래프(예: CUDA Graphs)가 깨져버려, 절약한 FLOPs를 CPU 실행(launch) 오버헤드와 맞바꾸는 셈이 된다.

Goal The goal is to predict, before any tokens are generated, how long a DMLLM's true answer will be, so the redundant padding suffix can be cut once and the shortened sequence can still be executed efficiently inside a batched serving system without breaking static execution graphs.

목표 목표는 토큰을 하나도 생성하기 전에 DMLLM의 실제 정답 길이가 얼마일지 미리 예측해, 중복된 패딩 suffix를 한 번에 잘라내고, 정적 실행 그래프를 깨지 않으면서도 배치 서빙 시스템 안에서 짧아진 시퀀스를 효율적으로 실행하는 것이다.

Method Seer is a training-free framework that reads each token position's MLP activation sparsity at the very first denoising step (step zero) and looks for the position where sparsity jumps sharply — the predicted end-of-text — followed by a stable, high-sparsity "padding plateau"; a signal-to-noise-ratio (SNR) test, comparing a jump-magnitude threshold τ_jump against an intra-window fluctuation bound γ·Δjump, locates this boundary more robustly than a brittle fixed threshold would. Once the boundary is found, Seer performs a single "macro-truncation": the redundant suffix is permanently removed from the computation graph for the rest of denoising, avoiding the graph-shattering effect of per-step eviction. For batched serving, a hybrid router computes a per-batch Padding-Waste-Ratio (PWR) and dispatches requests to one of three execution paths — a pre-captured static CUDA-Graph path when padding waste is low, a bucketed variable-length graph path for moderate dispersion, or eager execution for stragglers — with all the bookkeeping (prefix slicing, repacking, mask rewriting) done in one fused, device-resident Triton kernel that avoids CPU-GPU synchronization stalls.

방법 Seer는 학습이 필요 없는(training-free) 프레임워크로, 첫 디노이징 스텝(스텝 0)에서 각 토큰 위치의 MLP 활성화 희소성(sparsity)을 읽어 희소성이 급격히 뛰어오르는 위치(예측된 end-of-text)와 그 뒤에 이어지는 안정적이고 높은 희소성의 "패딩 평탄구간(plateau)"을 찾는다. 점프 크기 임계값 τ_jump와 윈도우 내 변동 범위 γ·Δjump를 비교하는 signal-to-noise-ratio(SNR) 테스트가 깨지기 쉬운 고정 임계값보다 이 경계를 더 강건하게 찾아낸다. 경계를 찾으면 Seer는 단 한 번의 "매크로 절단(macro-truncation)"을 수행한다 — 남은 디노이징 전체에서 중복 suffix를 계산 그래프에서 영구히 제거해, 스텝별 eviction이 일으키는 그래프 붕괴를 피한다. 배치 서빙을 위해서는 하이브리드 라우터가 배치별 Padding-Waste-Ratio(PWR)를 계산해 세 실행 경로 중 하나로 요청을 보낸다 — 패딩 낭비가 적으면 미리 캡처된 정적 CUDA-Graph 경로, 분산이 중간 정도면 버킷화된 가변 길이(variable-length) 그래프 경로, 낙오자(straggler)에는 eager 실행 — 그리고 이 모든 부기 작업(prefix slicing, repacking, mask rewriting)은 CPU-GPU 동기화 지연을 피하도록 device에 상주하는 단일 fused Triton 커널 안에서 처리된다.

Key idea The core insight is that a DMLLM already "knows" its true semantic boundary at step zero, before any denoising has meaningfully changed the tokens — a previously undocumented MLP-sparsity signature separates dense-activation answer tokens from a flat, sparse padding plateau even at the very first step. It is like a doctor reading a single early blood marker to estimate how long an illness will run its course, rather than checking in on the patient every day: one cheap, early read of an internal signal substitutes for watching the entire generation unfold.

핵심 아이디어 핵심 통찰은 DMLLM이 디노이징이 토큰을 의미 있게 바꾸기도 전인 스텝 0에서 이미 자신의 실제 의미 경계를 "알고 있다"는 것이다 — 이전에 문서화된 적 없는 MLP-희소성 시그니처가 첫 스텝부터 dense한 활성화를 갖는 답 토큰과 평탄하고 희소한 패딩 평탄구간을 구분해준다. 이는 의사가 환자를 매일 지켜보는 대신, 이른 시점의 혈액 검사 지표 하나만 보고 병이 얼마나 갈지 가늠하는 것과 비슷하다 — 내부 신호를 값싸게 한 번 읽는 것이 생성 전체를 지켜보는 일을 대신한다.

Validation The method is evaluated on three DMLLM backbones (LaViDa-LLaDA, LaViDa-Dream, MMaDA) across nine benchmarks (MME, MMMU, MMBench, InfoVQA, ChartQA, ScienceQA, DocVQA, GQA, MathVista) against both DMLLM-specific baselines (D3ToM, RedVTP) and autoregressive-style token-compression methods adapted to diffusion (VisionZip, MMTok, DivPrune, SparseVLM, Focus, Daedal). Separate ablations test the SNR boundary detector's accuracy (mean absolute truncation error of 0.40-1.18 tokens, over-truncation rate 0.8-3.8%) and the hybrid router's batched-serving behavior at batch sizes up to 256.

검증 이 방법은 세 가지 DMLLM 백본(LaViDa-LLaDA, LaViDa-Dream, MMaDA)에 대해 9개 벤치마크(MME, MMMU, MMBench, InfoVQA, ChartQA, ScienceQA, DocVQA, GQA, MathVista)에서, DMLLM 전용 베이스라인(D3ToM, RedVTP)과 디퓨전에 맞게 적용된 오토리그레시브 스타일 토큰 압축 기법(VisionZip, MMTok, DivPrune, SparseVLM, Focus, Daedal) 양쪽 모두와 비교해 평가된다. 별도의 ablation은 SNR 경계 탐지기의 정확도(평균 절대 절단 오차 0.40-1.18 토큰, 과잉절단률 0.8-3.8%)와 배치 크기 최대 256까지 하이브리드 라우터의 배치 서빙 동작을 각각 검증한다.

Results Reported throughput gains reach up to roughly 31x (e.g., MMaDA on InfoVQA: 0.13 to 4.02 tokens/s), with per-setting examples such as 7.75x on MMBench and 10.5x on MathVista for LaViDa-LLaDA. Accuracy is generally preserved and on some benchmarks slightly improves — DocVQA rises from 63.52 to 63.66 and MMaDA's InfoVQA accuracy from 15.11 to 15.29 — which the authors attribute to removing the noise-leakage pathway described above; at batch size 256 the full hybrid system reaches 35.84 tokens/s, a 1.6x improvement over the vanilla baseline, while naive truncation without the hybrid router shows little batched-serving gain.

결과 보고된 처리량 향상은 최대 약 31배에 이르며(예: MMaDA·InfoVQA에서 0.13→4.02 tokens/s), 세부적으로는 LaViDa-LLaDA 기준 MMBench에서 7.75배, MathVista에서 10.5배 같은 사례가 있다. 정확도는 대체로 유지되고 일부 벤치마크에서는 오히려 소폭 상승하는데(DocVQA 63.52→63.66, MMaDA의 InfoVQA 정확도 15.11→15.29), 저자들은 이를 앞서 설명한 노이즈 누출 경로를 제거한 효과로 돌린다. 배치 크기 256에서 전체 하이브리드 시스템은 35.84 tokens/s로 vanilla 베이스라인 대비 1.6배 향상을 달성하는 반면, 하이브리드 라우터 없이 단순 절단만 적용하면 배치 서빙 이득이 거의 없다.

Comparison Compared to visual-token-compression baselines (D3ToM, RedVTP, VisionZip, and others), which only shrink the image side of the sequence, Seer targets an orthogonal and previously unaddressed source of waste — the generated-text padding — making the two approaches plausibly complementary rather than competing. Compared to EOS-guided or per-step eviction methods, Seer's one-shot truncation plus hybrid CUDA-graph/variable-length routing is what actually converts the savings into wall-clock throughput inside a real batched-serving engine, rather than just reducing FLOPs on paper; from an efficient-inference standpoint, the hybrid router and fused Triton kernel are effectively a serving-systems contribution layered on top of the sparsity-detection idea.

비교 시퀀스의 이미지 쪽만 줄이는 시각 토큰 압축 베이스라인(D3ToM, RedVTP, VisionZip 등)과 비교하면, Seer는 이전에 다뤄지지 않았던 직교적인 낭비 요소인 생성된 텍스트의 패딩을 겨냥하므로 두 접근은 경쟁 관계라기보다 상보적일 가능성이 크다. EOS 기반 조기 종료나 스텝별 eviction 방법과 비교하면, Seer의 원샷 절단과 하이브리드 CUDA-graph/가변 길이 라우팅이야말로 절약을 종이 위 FLOPs 감소가 아니라 실제 배치 서빙 엔진 안의 실측(wall-clock) 처리량으로 바꿔주는 부분이다. 효율적 추론 관점에서 보면 하이브리드 라우터와 fused Triton 커널은 희소성 탐지 아이디어 위에 얹힌 사실상의 서빙 시스템 기여다.

Significance For engineers serving any fixed-window generative model, the paper's significance is showing that batched serving over variable, data-dependent output lengths can be handled through routing/bucketing decisions rather than by breaking static execution graphs — a serving pattern that could plausibly generalize beyond diffusion MLLMs to other fixed-schedule generative models with unknown output length (reviewer judgment). It also adds a concrete data point to the broader observation that internal activation statistics (here, MLP sparsity) can reveal high-level generation properties (here, output length) far earlier than the output itself would.

의의 고정-창 생성 모델을 서빙하는 엔지니어 입장에서 이 논문의 의의는, 데이터에 따라 달라지는 가변 출력 길이에 대한 배치 서빙이 정적 실행 그래프를 깨뜨리지 않고도 라우팅/버킷팅 결정으로 처리될 수 있음을 보여준 데 있다 — 이 서빙 패턴은 디퓨전 MLLM을 넘어 출력 길이를 모르는 다른 고정-스케줄 생성 모델에도 일반화될 수 있을 것으로 보인다(리뷰어 판단). 또한 내부 활성화 통계(여기서는 MLP 희소성)가 출력 자체보다 훨씬 먼저 고차원적 생성 속성(여기서는 출력 길이)을 드러낼 수 있다는 더 넓은 관찰에 구체적인 사례를 하나 더한다.

Limitations The authors' own stated limitation is narrow: the conclusion notes only that "extending Seer to broader settings and model architectures remains an important direction for future work," without detailing specific failure modes. The ablation data hints at a real limitation the paper does not discuss directly: boundary-detection error is largest on mathematically complex tasks like MathVista, suggesting the sparsity signal may be less crisp when answers involve extended symbolic or numeric reasoning rather than short categorical text (reviewer judgment). The method is also demonstrated on only three DMLLM backbones (LaViDa-LLaDA, LaViDa-Dream, MMaDA), so how broadly the step-zero sparsity phenomenon generalizes across other diffusion-LLM architectures and training recipes remains untested (reviewer judgment).

한계 저자들이 직접 명시한 한계는 좁은데, 결론에서는 오직 "Seer를 더 넓은 설정과 모델 아키텍처로 확장하는 것이 중요한 향후 연구 방향으로 남아 있다"고만 언급할 뿐 구체적인 실패 양상은 서술하지 않는다. Ablation 데이터는 논문이 직접 논하지 않는 실제 한계를 시사하는데, 경계 탐지 오차가 MathVista처럼 수학적으로 복잡한 태스크에서 가장 크게 나타나 짧은 범주형 텍스트가 아니라 길게 이어지는 기호적/수치적 추론이 포함된 답에서는 희소성 신호가 덜 뚜렷할 수 있음을 시사한다(리뷰어 판단). 또한 이 방법은 세 가지 DMLLM 백본(LaViDa-LLaDA, LaViDa-Dream, MMaDA)에서만 검증되어, 스텝-0 희소성 현상이 다른 디퓨전 LLM 아키텍처와 학습 레시피에 얼마나 폭넓게 일반화되는지는 검증되지 않은 채로 남아 있다(리뷰어 판단).

Future work The authors explicitly name only one direction: "extending Seer to broader settings and model architectures," i.e., testing whether the step-zero MLP-sparsity boundary signal and the hybrid routing scheme generalize beyond the three backbones and nine benchmarks studied here. Not stated in the paper beyond that single line — no further specific next steps are elaborated.

향후 과제 저자들이 명시적으로 언급한 방향은 하나뿐이다 — "Seer를 더 넓은 설정과 모델 아키텍처로 확장하는 것", 즉 스텝-0 MLP-희소성 경계 신호와 하이브리드 라우팅 스킴이 여기서 검증된 세 백본과 9개 벤치마크를 넘어서도 일반화되는지를 시험하는 것이다. 이 한 문장 외에 더 구체적인 다음 단계는 논문 내 명시 없음.

Released resources No public release verified — the arXiv abstract page's Comments field lists only "Accepted to ACM Multimedia (ACM MM) 2026," with no mention of a code repository or project page, and no such link could be found or confirmed to resolve.

자원 공개 공개 링크 확인 안 됨 — arXiv abstract 페이지의 Comments 필드에는 "Accepted to ACM Multimedia (ACM MM) 2026"만 적혀 있을 뿐 코드 저장소나 프로젝트 페이지에 대한 언급이 없고, 그런 링크를 찾거나 접속을 확인할 수 없었다.