Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware

Background Masked diffusion language models (dLLMs) can in principle generate text faster than autoregressive (AR) models, since they denoise many tokens at once. Recent systems have begun building serving infrastructure for dLLMs, but none had first measured how these models behave under real, concurrent serving load.

배경 마스크 diffusion 언어모델(dLLM)은 여러 토큰을 한 번에 denoise하기 때문에 원리적으로 autoregressive(AR) 모델보다 빠르게 텍스트를 생성할 수 있다. 최근 dLLM용 서빙 인프라를 구축하는 시스템들이 등장하고 있지만, 실제 동시 요청 부하 아래에서 이 모델들이 어떻게 동작하는지를 먼저 측정한 시스템은 없었다.

Problem Serving systems built without that grounding risk carrying over assumptions from AR serving that may not hold for dLLMs. This paper closes the gap directly, characterizing LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU, evaluated on GSM8K and HumanEval.

문제 측정 없이 만들어진 서빙 시스템은 AR 서빙에서 가져온 가정을 그대로 이어받을 위험이 있는데, 그 가정이 dLLM에는 맞지 않을 수 있다. 이 논문은 LLaDA-8B-Instruct에 D2F(Discrete Diffusion Forcing) LoRA 어댑터를 얹어 단일 H200 GPU에서 GSM8K와 HumanEval로 이 간극을 직접 측정해서 메운다.

Prior limitations Most prior dLLM acceleration work targets single-request latency through caching (dKV-Cache, Fast-dLLM, dLLM-Cache), sparse caches (Sparse-dLLM), or speculative decoding (Spiffy). Only a small group of systems (e.g. dInfer) reports batched throughput directly, and none of them first measured behavior under real concurrent load the way this paper does.

기존 한계 기존 dLLM 가속 연구 대부분은 캐싱(dKV-Cache, Fast-dLLM, dLLM-Cache)이나 스파스 캐시(Sparse-dLLM), 추측 디코딩(Spiffy) 등으로 단일 요청의 지연시간을 줄이는 데 집중해 왔다. 동시 배치 서빙 처리량을 직접 보고하는 시스템(dInfer 등)은 소수이고, 그마저도 실제 동시 부하에서의 특성을 먼저 측정하지는 않았다.

Goal Characterize dLLM serving under real concurrent load rather than importing AR-serving assumptions, and turn that characterization into concrete design principles for request-difficulty structure, batching throughput, and scheduling policy.

목표 AR 서빙의 가정을 그대로 들여오지 않고, dLLM을 실제 동시 서빙 부하 아래에서 측정해 요청 난이도 구조, 배치 처리량, 스케줄링 정책에 대한 설계 원칙을 세우는 것이 목표다.

Method LLaDA-8B-Instruct plus a D2F LoRA adapter runs on a single NVIDIA H200 GPU, evaluated on GSM8K (tier structure, predictability, batching, scheduling) and HumanEval (block-size invariance and variance structure). Kernel execution time is measured directly with torch.profiler, and the measured batch service-time distribution is validated against a 20,000-request Monte Carlo simulation to derive a batch-timeout scheduling rule.

방법 LLaDA-8B-Instruct와 D2F LoRA 어댑터를 단일 NVIDIA H200 GPU에서 실행하고, GSM8K(난이도 구조·예측가능성·배치·스케줄링)와 HumanEval(블록 크기 불변성·분산 구조)로 평가한다. torch.profiler로 커널 실행 시간을 직접 측정하고, 측정된 배치 서비스 시간 분포를 20,000건 규모 Monte Carlo 시뮬레이션으로 검증해 배치 타임아웃 규칙을 도출한다.

Key idea The central claim is that dLLM serving fundamentally needs parallelism at the level of each denoising step, which changes how admission and eviction interact with an already-shared forward pass compared to AR serving. An apt analogy: AR serving is like a counter that serves each customer individually in sequence, while dLLM serving is more like a call system that summons the entire waiting room at once on every step -- so the unit a scheduler batches over has to be the denoising step, not the token.

핵심 아이디어 핵심 주장은 dLLM 서빙이 근본적으로 denoising step 단위에서 병렬성을 다뤄야 한다는 것이다. 이는 이미 공유된 forward pass 안에서 admission(수락)과 eviction(축출)이 상호작용하는 방식이 AR 서빙과 다르다는 뜻이다. 비유하자면, AR 서빙은 각 손님을 개별적으로 순서대로 응대하는 창구에 가깝지만, dLLM 서빙은 매 단계마다 전체 손님을 한 번에 부르는 호출 시스템에 가까워서, 배치를 짜는 단위 자체가 토큰이 아니라 denoising step이 되어야 한다.

Validation All three findings are backed by direct measurement. Request difficulty (the number of denoising steps needed) is discrete rather than continuous, clustering into 11 fixed levels, and no signal the paper tests predicts the level before generation starts (R-squared = 0.150). The paper separately confirms that benchmarks with generation budgets below 320 tokens understate serving variance by cutting requests off before this 11-level structure produces its latency spread.

검증 세 가지 발견 모두 직접 측정으로 뒷받침된다. 요청 난이도(필요한 denoising step 수)는 연속적이지 않고 11개의 고정된 단계로 이산화되어 있으며, 논문이 시도한 어떤 신호로도 생성 시작 전에 이를 예측하지 못한다(R² = 0.150). 320토큰 미만의 짧은 생성 예산을 쓰는 벤치마크는 이 11단계 구조에서 나오는 지연시간 편차를 가려 버린다는 점도 별도로 확인한다.

Results A full single-request generation takes 10.28s wall-clock, of which only 2.511s (24.4%) is GPU kernel time -- the remaining 75.6% is CPU-side overhead in the per-block control loop (tracking block state, building attention masks, checking thresholds, synchronizing between forward passes). At batch size 8, synchronized batching reaches 16.0x the throughput of per-request dispatch, not by improving GPU utilization but by letting the whole batch share one fixed per-step CPU dispatch cost instead of paying it once per request.

결과 단일 요청의 전체 생성은 wall-clock 기준 10.28초가 걸리는데, 이 중 GPU 커널 실행 시간은 2.511초(24.4%)뿐이고 나머지 75.6%는 블록 단위 제어 루프의 CPU 쪽 오버헤드(블록 상태 추적, 어텐션 마스크 구성, 임계값 확인, forward pass 간 동기화)다. 배치 크기 8에서 동기화 배치는 요청별 개별 디스패치 대비 16.0배의 처리량을 달성하는데, 이는 GPU 활용도 개선이 아니라 스텝마다 한 번만 지불하면 되는 고정 CPU 디스패치 비용을 배치 전체가 나눠 갖기 때문이다.

Comparison This differs from what AR serving systems (the vLLM class) assume: batching there is mainly about raising GPU utilization, while here it is about amortizing a fixed per-step dispatch cost. The paper explicitly does not compare against existing dLLM inference engines such as dInfer, framing its own contribution as workload characterization rather than a competing system.

비교 이 결과는 AR 서빙 시스템(vLLM 계열)이 가정하는 것과 다르다. AR 서빙에서 배치는 주로 GPU 활용도를 높이기 위한 것이지만, dLLM에서는 스텝당 한 번씩 드는 고정 디스패치 비용을 나눠 갖기 위한 것이다. 논문은 기존 dLLM 추론 엔진(dInfer 등)과의 직접 비교는 하지 않는다고 명시하며, 스스로의 기여를 경쟁 시스템이 아니라 워크로드 특성 분석으로 규정한다.

Significance Finding that dLLM serving is currently bound by CPU dispatch rather than GPU compute suggests tightly coupled CPU-GPU hardware (GH200-class superchips) and dispatch-elimination techniques (such as CUDA graphs) could give dLLM serving an outsized benefit. Redefining the batching unit as the denoising step rather than the token is a structural proposal with implications for how future dLLM serving schedulers should be designed.

의의 dLLM 서빙이 지금은 GPU 연산이 아니라 CPU 디스패치에 의해 제한된다는 발견은, GH200급 슈퍼칩처럼 CPU-GPU가 긴밀하게 결합된 하드웨어나 디스패치 제거 기법(CUDA Graphs 등)이 dLLM 서빙에 특히 큰 이득을 줄 수 있음을 시사한다. 배치 단위를 토큰이 아니라 denoising step으로 다시 정의해야 한다는 주장은, 향후 dLLM 서빙 스케줄러 설계 전반에 영향을 줄 수 있는 구조적 제안이다.

Limitations Paper-stated (Sec. VI): experiments cover one architecture (LLaDA base and D2F) on one GPU, the H200. Task generalization (HumanEval) and configuration generalization (base vs. D2F) were tested separately, not jointly. The scheduling analysis uses only 8 measured batches, and the paper reports that a later 32-batch run shifted the estimated capacity by 24%, so it flags that other single-run numbers in the paper likely carry similar uncertainty. The 11-level tier structure was measured at one threshold setting only (tau_add=0.5, tau_decode=0.9).

한계 저자들이 밝힌 한계: 실험이 LLaDA(base와 D2F) 한 아키텍처, H200 GPU 한 종류로 한정된다. 과제 일반화(HumanEval)와 설정 일반화(base 대 D2F)를 따로따로만 테스트했고 함께 테스트하지 않았다. 스케줄링 분석은 측정 배치 8개만 사용했는데, 이후 32개 배치로 다시 측정하니 추정 용량이 24% 달라졌다고 스스로 밝혀, 논문의 다른 단발성 수치들도 비슷한 불확실성을 가질 수 있다고 인정한다. 11단계 난이도 구조도 하나의 임계값 설정(τ_add=0.5, τ_decode=0.9)에서만 측정됐다.

Future work The authors name testing task and configuration generalization jointly, validating on other hardware, direct comparison against existing dLLM inference engines such as dInfer, confirming quality under batching at sizes 8 and 16, and building a working slot-based scheduler design as explicit future work.

향후 과제 저자들은 과제 일반화와 설정 일반화를 함께 테스트하는 것, 다른 하드웨어에서의 검증, 기존 dLLM 추론 엔진(dInfer 등)과의 직접 비교, 배치 크기 8·16에서의 품질 확인, 실제 동작하는 슬롯 기반 스케줄러 설계를 향후 과제로 명시한다.

Released resources The paper includes an Artifact Description appendix following the SC Reproducibility Initiative convention, detailing the algorithms, environment, and datasets needed to reproduce the results, but no public repository link for the code or artifact could be found in the arXiv HTML rendering.

자원 공개 논문은 SC Reproducibility Initiative 아티팩트 기술 규약을 따르는 부록(Artifact Description)을 포함해 재현에 필요한 알고리즘·환경·데이터셋을 상세히 기술하지만, 코드나 아티팩트를 내려받을 수 있는 공개 저장소 링크는 arXiv HTML 렌더링에서 찾을 수 없었다.