Sangam: Efficiently Serving Diffusion LLMs with the AR Stack

Background Diffusion LLMs (dLLMs) such as LLaDA and Dream generate text through iterative denoising and can commit multiple output positions per model call, but their bidirectional attention prevents exact autoregressive-style KV caching. In an AR model, causal attention keeps earlier tokens' KV activations stable, so they can be computed once and reused; in a dLLM every position attends to the full prompt-and-response context, so committing one masked position shifts the attention inputs — and thus the KV activations — of all the others. It is like a crossword puzzle: writing in one answer changes what can legally fit in every intersecting slot, so nothing filled in earlier is truly final.

배경 LLaDA, Dream 같은 diffusion LLM(dLLM)은 반복적 denoising으로 텍스트를 생성하며 한 번의 모델 호출로 여러 출력 위치를 동시에 확정할 수 있지만, bidirectional attention 때문에 정확한 autoregressive 방식 KV 캐싱을 쓸 수 없다. AR 모델에서는 causal attention이 앞선 토큰들의 KV activation을 고정시켜 한 번 계산해 재사용할 수 있지만, dLLM에서는 모든 위치가 프롬프트+응답 전체 컨텍스트에 attend하므로 마스크된 위치 하나를 확정하는 순간 나머지 위치들의 attention 입력, 즉 KV activation이 함께 바뀐다. 크로스워드 퍼즐과 같다 — 답 하나를 써넣으면 교차하는 모든 칸에 들어갈 수 있는 글자가 바뀌므로, 먼저 채운 칸도 진짜 확정이 아니다.

Problem Approximate caching schemes like Fast-dLLM and dKV-Cache periodically refresh KV activations — Fast-dLLM at block boundaries, dKV-Cache on a fixed refresh interval — which reintroduces a repeating prefill/decode structure at serving time. The interference is worse than in AR serving: every in-flight request keeps returning to the prefill queue as a recurring re-prefill source, and dLLM decodes are block-sized rather than token-sized, so a decode batch saturates the GPU after only a few requests (Figure 3). Yet the standard AR fix for this interference — chunked prefill — cannot be applied: under bidirectional attention every token's KV depends on the full context, so a prefill must run as one indivisible forward pass.

문제 Fast-dLLM, dKV-Cache 같은 근사 캐싱 기법은 KV activation을 주기적으로 갱신하는데 — Fast-dLLM은 block 경계에서, dKV-Cache는 고정 주기로 — 이것이 서빙 시점에 반복되는 prefill/decode 구조를 재도입한다. 이 간섭은 AR 서빙보다 훨씬 잦다: 진행 중인 모든 요청이 block 경계마다 re-prefill 소스로 되돌아오고, dLLM decode는 토큰 단위가 아니라 block 단위라 몇 개 요청만으로 decode 배치가 GPU를 포화시킨다(Figure 3). 그런데 이 간섭에 대한 AR의 표준 해법인 chunked prefill은 쓸 수 없다 — bidirectional attention에서는 모든 토큰의 KV가 전체 컨텍스트에 의존하므로 prefill은 쪼갤 수 없는 단일 forward pass로 실행되어야 한다.

Prior limitations Prior dLLM acceleration work such as Fast-dLLM optimizes the decoding algorithm itself but does not address how a server should schedule concurrent prefill and decode requests for cached dLLM inference. The paper identifies dInfer and dLLM-Serve as the only other serving engines built for LLaDA/Dream: dInfer contributes parallel-decoding and kernel optimizations evaluated at batch size 1, orthogonal to scheduling, while dLLM-Serve's "refresh-reuse" policy is essentially vLLM-style prefill prioritization. Sangam reproduces the latter in-system (as its τ=16384 colocated configuration) and shows it incurs exactly the prefill-decode interference that motivates this work.

기존 한계 Fast-dLLM 등 기존 dLLM 가속 연구는 디코딩 알고리즘 자체를 최적화할 뿐, 캐시된 dLLM 추론에서 서버가 동시 prefill/decode 요청을 어떻게 스케줄링해야 하는지는 다루지 않는다. 논문은 LLaDA/Dream용 서빙 엔진으로 dInfer와 dLLM-Serve만이 존재한다고 정리한다: dInfer는 batch size 1에서 평가된 병렬 디코딩·커널 최적화로 스케줄링과 직교하고, dLLM-Serve의 "refresh-reuse" 정책은 본질적으로 vLLM 스타일 prefill 우선 정책이다. Sangam은 후자를 in-system으로 재현해(τ=16384 colocated 설정) 그 정책이 바로 이 논문의 동기인 prefill-decode 간섭을 일으킴을 보인다.

Goal Build a serving system that achieves stall-free scheduling for cached dLLM inference on real multi-GPU hardware without relying on autoregressive-style chunked prefill. The framing is deliberately conservative: keep the AR serving stack — continuous batching, paged KV, prefill/decode disaggregation — as the starting point and adapt only the assumptions cached dLLMs actually violate: block-sized decodes, recurring prefills, and unchunkable prefills.

목표 AR 방식의 chunked prefill에 의존하지 않고, 실제 멀티-GPU 하드웨어에서 캐시된 dLLM 추론에 대해 stall 없는 스케줄링을 달성하는 서빙 시스템을 만드는 것. 프레이밍은 의도적으로 보수적이다: continuous batching, paged KV, prefill/decode disaggregation 같은 AR 서빙 스택을 출발점으로 유지하고, 캐시된 dLLM이 실제로 위반하는 세 가지 가정 — block 단위 decode, 반복되는 prefill, 쪼갤 수 없는 prefill — 만 고쳐 적응시킨다.

Method Sangam introduces a deficit token-budget scheduler, inspired by Deficit Round-Robin from packet scheduling: each iteration carries a token budget τ, in-flight decodes are seated first and never displaced, waiting prefills are admitted whole — in request-arrival order — only while the remaining budget plus the deficit carried over from previous iterations covers them, and unused budget rolls forward. An idle rule admits the head prefill even over budget when the microbatch would otherwise be empty, so the GPU never sits idle — a restaurant host's policy: diners mid-meal are never unseated, a large party is admitted only when tables free up for the whole group, yet an oversized party gets in if the room would otherwise stand empty. A two-level architecture on top (a central CPU scheduler routes prefills and block-boundary re-prefills across GPU workers by load; each worker builds microbatches locally) supports a hybrid mode that overflows prefills onto decode-role workers once every prefill worker exceeds a load threshold θ, with the same deficit budget protecting those workers' decodes.

방법 Sangam은 패킷 스케줄링의 Deficit Round-Robin에서 영감을 받은 deficit token-budget 스케줄러를 도입한다: 매 반복이 token budget τ를 갖고, 진행 중인 decode를 먼저 앉힌 뒤(절대 밀려나지 않음), 대기 중인 prefill은 도착 순서대로 남은 budget(+이전 반복에서 이월된 deficit)이 전체를 덮을 때만 통째로 수용하며, 안 쓴 budget은 다음 반복으로 이월한다. microbatch가 비어 있을 때는 budget을 초과해도 선두 prefill을 수용하는 idle rule로 GPU가 놀지 않게 한다 — 식사 중인 손님은 절대 내보내지 않고, 단체 손님은 자리가 통째로 날 때만 받되, 홀이 비면 초과 단체라도 들이는 레스토랑 호스트의 규칙과 같다. 그 위의 2단 아키텍처(중앙 CPU 스케줄러가 prefill과 block 경계 re-prefill을 부하 기준으로 GPU worker에 라우팅하고, 각 worker는 로컬로 microbatch를 구성)가 hybrid 모드를 지원한다 — 모든 prefill worker가 부하 임계값 θ를 넘으면 prefill을 decode 역할 worker로 오버플로우시키되, 같은 deficit budget으로 그 worker의 decode를 보호한다.

Key idea Because a dLLM prefill cannot be split across scheduling iterations, admission is treated as an all-or-nothing decision paced by a rolling token budget rather than token-level chunking. With indivisible prefills, per-iteration stall-free batching is unattainable by construction, so the scheduler recovers it in an amortized sense: over any busy period, admitted prefill tokens average out to at most τ per iteration. It works like a rolling allowance for an item that cannot be bought in installments — instead of buying it piece by piece, you carry unspent budget forward across weeks until the whole purchase fits.

핵심 아이디어 dLLM prefill은 스케줄링 반복 사이에서 분할할 수 없으므로, 토큰 단위 chunking 대신 롤링 token budget으로 페이싱되는 전부-아니면-전무 방식의 admission으로 처리한다. 쪼갤 수 없는 prefill 앞에서 반복 단위의 stall-free batching은 원천적으로 불가능하므로, 스케줄러는 이를 amortized로 복원한다: 어떤 busy 구간에서도 수용된 prefill 토큰의 평균이 반복당 τ를 넘지 않는다. 할부가 안 되는 물건을 사는 용돈 이월과 같다 — 조각내 사는 대신, 안 쓴 예산을 몇 주 모아 전체 금액이 맞을 때 통째로 산다.

Validation Evaluated on LLaDA-8B-Instruct and Dream-7B-Instruct (bfloat16) on a single AWS p5.48xlarge node with 8×H100 80GB GPUs, using two traces with opposite profiles: ShareGPT chat (median prompt 795 / output 266 tokens, decode-heavy) and arXiv summarization (median prompt 2827 / output 162 tokens, prefill-heavy). Colocated, disaggregated (5P3D), and hybrid (5P3C) strategies are compared against each other and against an in-system Fast-dLLM-style baseline running at batch size 1. The paper deliberately reports end-to-end latency (mean and p99) instead of AR-style TTFT/TBT, arguing that re-prefills leave no single time-to-first-token and that high p99 TBT is intrinsic to any colocated dLLM system as long as prefills are indivisible.

검증 LLaDA-8B-Instruct와 Dream-7B-Instruct(bfloat16)를 단일 AWS p5.48xlarge 노드(8×H100 80GB)에서, 성격이 반대인 두 trace로 평가했다: ShareGPT 채팅(중앙값 프롬프트 795/출력 266 토큰, decode-heavy)과 arXiv 요약(중앙값 프롬프트 2827/출력 162 토큰, prefill-heavy). Colocated·disaggregated(5P3D)·hybrid(5P3C) 전략을 서로, 그리고 batch size 1의 in-system Fast-dLLM 스타일 베이스라인과 비교한다. 지표로는 AR식 TTFT/TBT 대신 end-to-end 지연(mean·p99)을 의도적으로 택했다 — re-prefill 때문에 단일 TTFT가 정의되지 않고, prefill이 쪼개지지 않는 한 높은 p99 TBT는 colocated dLLM 시스템에 본질적이라는 이유다.

Results Colocated serving cuts mean end-to-end latency 9-20% versus hybrid on the decode-heavy workload, hybrid cuts it 8-20% versus colocated on the prefill-heavy workload, and colocated Sangam sustains 3x the query rate of an in-system Fast-dLLM baseline at matched latency (QPS 1.0 vs. 0.3). The paper itself frames the Fast-dLLM gap as a floor rather than a headline — since the baseline serves one request at a time, the gap isolates the value of online batched serving. Among the three strategies, static disaggregation saturates first in every (model, trace) pair: at QPS 7.5 on LLaDA-8B ShareGPT its mean latency reaches 11.8s against 7.1s for colocated and 9.0s for hybrid. The budget sweep shows τ is a real knob: τ=1024 holds the lowest p99 across a broad range on the decode-heavy trace, while the near-prefill-prioritizing τ=16384 wins by a small margin on the prefill-heavy one.

결과 Colocated 서빙은 decode-heavy 워크로드에서 hybrid 대비 평균 end-to-end 지연을 9-20% 줄이고, hybrid는 prefill-heavy 워크로드에서 colocated 대비 8-20% 줄이며, colocated Sangam은 동일 지연 기준 in-system Fast-dLLM 베이스라인 대비 3배의 QPS(1.0 vs 0.3)를 유지한다. 논문 스스로 Fast-dLLM 격차를 헤드라인이 아닌 바닥(floor)으로 규정한다 — 베이스라인이 요청을 하나씩 처리하므로 이 격차는 온라인 배치 서빙 자체의 가치를 분리해 보여줄 뿐이다. 세 전략 중 static disaggregation이 모든 (모델, trace) 쌍에서 가장 먼저 포화된다: LLaDA-8B ShareGPT의 QPS 7.5에서 평균 지연이 11.8s로, colocated 7.1s·hybrid 9.0s와 대비된다. budget 스윕은 τ가 실제 조절 손잡이임을 보여준다 — decode-heavy trace에서는 τ=1024가 넓은 구간에서 최저 p99를 지키고, prefill-heavy trace에서는 prefill 우선에 가까운 τ=16384가 근소하게 최선이다.

Comparison The paper compares colocated, disaggregated, and hybrid serving strategies against each other and against a reproduced Fast-dLLM baseline, but does not report a matched-quality throughput comparison against an autoregressive model on a standard AR serving stack such as vLLM. Comparisons with the other dLLM serving engines are indirect by design: dLLM-Serve's refresh-reuse policy is reproduced in-system as the τ=16384 configuration rather than run from its codebase, and dInfer is not compared directly since its batch-1 decoding optimizations are orthogonal to scheduling. This keeps every number on identical model, trace, and hardware — at the cost of never benchmarking a competing system's actual implementation.

비교 논문은 colocated·disaggregated·hybrid 서빙 전략들을 서로, 그리고 재현한 Fast-dLLM 베이스라인과 비교하지만, vLLM 같은 표준 AR 서빙 스택 위의 autoregressive 모델과의 동일 품질 처리량 비교는 보고하지 않는다. 다른 dLLM 서빙 엔진과의 비교도 설계상 간접적이다: dLLM-Serve의 refresh-reuse 정책은 해당 코드베이스 대신 in-system의 τ=16384 설정으로 재현했고, dInfer는 batch 1 디코딩 최적화가 스케줄링과 직교한다는 이유로 직접 비교하지 않는다. 덕분에 모든 수치가 동일한 모델·trace·하드웨어에서 나오지만, 경쟁 시스템의 실제 구현을 벤치마크하지는 않는다는 비용이 따른다.

Significance It is among the first systems papers to treat diffusion-LLM serving as a first-class scheduling problem, showing that AR-style prefill/decode interference reappears under cached dLLM serving and needs a dLLM-specific scheduler rather than a reused AR one. The AR serving stack turns out to be a useful map of the territory — the same two forces, prefill-decode interference and prefill/decode partitioning, govern the design space — but one of the map's main roads, chunked prefill, simply does not exist under bidirectional attention, forcing a new scheduling primitive. The authors argue this cyclic prefill/decode structure is shared by any cached dLLM, including block-causal models that merely re-prefill less often, so the mechanisms should carry across the class.

의의 Diffusion LLM 서빙을 1급 스케줄링 문제로 다룬 초기 시스템 논문 중 하나로, 캐시된 dLLM 서빙에서도 AR 방식의 prefill/decode 간섭이 재현되며 이를 위해서는 AR용을 재사용하는 대신 dLLM 전용 스케줄러가 필요함을 보인다. AR 서빙 스택은 유용한 지도로 판명된다 — prefill-decode 간섭과 prefill/decode 분할이라는 같은 두 힘이 설계 공간을 지배한다 — 하지만 그 지도의 간선도로 하나인 chunked prefill이 bidirectional attention에는 아예 존재하지 않아 새로운 스케줄링 primitive가 강제된다. 저자들은 이 순환적 prefill/decode 구조가 re-prefill 빈도만 낮은 block-causal 모델을 포함해 모든 캐시된 dLLM에 공통이므로, 같은 메커니즘이 클래스 전체로 이월된다고 주장한다.

Limitations The evaluation covers only a single 8-GPU node; the paper acknowledges inter-node bandwidths are lower and points to layerwise KV streaming and transfer-decode overlap as offsets, but neither implements nor measures them. It reports no accuracy or generation-quality numbers, since it is a pure latency/throughput systems study (reviewer judgment: quality comparison is outside this paper's scope, and decoding uses the Fast-dLLM default confidence threshold of 0.9 throughout). The budget τ and overflow threshold θ are operator-set constants, and the sweep shows the best τ flips with workload mix (1024 vs. 16384), so a deployment must retune when its traffic changes.

한계 평가가 단일 8-GPU 노드로 한정되어 있으며, 논문은 노드 간 대역폭이 더 낮다는 점을 인정하면서 layerwise KV streaming과 transfer-decode overlap으로 상쇄 가능하다고 언급할 뿐 실제로 구현하거나 실측하지는 않았다. 순수 지연/처리량 시스템 연구이므로 정확도나 생성 품질 수치는 보고하지 않는다(리뷰어 판단: 품질 비교는 이 논문의 범위 밖이고, 디코딩은 전 구간 Fast-dLLM 기본값인 confidence threshold 0.9를 쓴다). budget τ와 오버플로우 임계값 θ는 운영자가 정하는 상수인데, 스윕에서 최적 τ가 워크로드 성격에 따라 뒤집히므로(1024 vs 16384) 트래픽이 바뀌면 재튜닝이 필요하다.

Future work The paper names layerwise KV streaming and overlapping KV transfer with decode computation as optimizations that could offset lower inter-node bandwidth but are not employed. Extension to block-causal dLLMs — which the authors argue the same mechanisms cover, since those models merely re-prefill less often — remains an analysis rather than a measurement (reviewer judgment). A matched-quality throughput comparison against an AR serving stack, and adaptive selection of the budget τ instead of manual tuning, are natural next steps (reviewer judgment).

향후 과제 논문은 layerwise KV streaming과 KV 전송을 decode 연산과 오버랩하는 것을, 노드 간 대역폭 한계를 상쇄할 수 있지만 아직 채택하지 않은 최적화로 언급한다. block-causal dLLM으로의 확장은 — re-prefill 빈도만 낮을 뿐 같은 메커니즘이 적용된다고 주장하지만 — 분석일 뿐 측정되지 않았다(리뷰어 판단). AR 서빙 스택과의 동일 품질 처리량 비교, 그리고 수동 튜닝 대신 budget τ의 적응적 선택도 자연스러운 다음 단계다(리뷰어 판단).

Released resources Code is released on GitHub as the UT-InfraAI/sangam repository; no separate model checkpoints are required since Sangam is a serving layer on top of existing LLaDA/Dream models. The system is roughly 16K lines of Python on PyTorch and HuggingFace transformers, with a central CPU scheduler, a gRPC control plane, NCCL-streamed KV transfers, PagedAttention-style paged-KV management, FlashInfer attention kernels, and CUDA Graphs.

자원 공개 코드는 GitHub에 UT-InfraAI/sangam 저장소로 공개되어 있으며, Sangam은 기존 LLaDA/Dream 모델 위의 서빙 레이어이므로 별도의 모델 체크포인트는 필요하지 않다. 시스템은 PyTorch와 HuggingFace transformers 위에 약 16K 라인의 Python으로 구현되었고, 중앙 CPU 스케줄러, gRPC 컨트롤 플레인, NCCL 스트리밍 KV 전송, PagedAttention 방식 paged KV 관리, FlashInfer attention 커널과 CUDA Graphs를 사용한다.