Paper Review
Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding
A single NVIDIA model switches between autoregressive, block-wise diffusion, and self-speculative decoding from one set of weights, with self-speculation (diffusion drafts, the same model's AR pass verifies) beating multi-token prediction and the 8B model decoding 6x more tokens per forward than Qwen3-8B at comparable accuracy.
NVIDIA의 한 모델이 하나의 가중치로 autoregressive, block-wise diffusion, self-speculative 디코딩 세 모드를 전환하며, self-speculation(diffusion이 초안을 만들고 같은 모델의 AR 패스가 검증)이 multi-token prediction보다 우수하고 8B 모델은 비슷한 정확도에서 Qwen3-8B 대비 forward당 6배 많은 토큰을 디코딩한다.
Background Autoregressive (AR) LMs generate strictly left-to-right, one token per forward pass, structurally capping inference parallelism, while diffusion LMs such as LLaDA, Dream, and SDAR decode multiple tokens per forward but lag AR models in accuracy and learning efficiency, requiring substantially more data. The paper points to one cause: diffusion training treats all token permutations uniformly instead of exploiting the strong left-to-right prior of natural language. Until now the two paradigms have normally been trained as separate models.
배경 Autoregressive(AR) LM은 좌→우 순차 생성이라 forward당 토큰이 하나뿐이어서 추론 병렬성이 구조적으로 제한되고, LLaDA·Dream·SDAR 같은 diffusion LM은 forward당 여러 토큰을 디코딩하지만 정확도와 학습 효율에서 AR에 뒤져 비슷한 성능에 훨씬 많은 데이터가 필요하다. 논문은 그 원인 하나로 diffusion 학습이 모든 토큰 순열을 균등하게 취급해 자연어의 강한 좌→우 prior를 활용하지 못하는 점을 지목한다. 지금까지 두 패러다임은 보통 별도 모델로 따로 학습되어 왔다.
Problem A model fixed to a single decoding mode cannot switch when the optimal mode changes with the deployment setting — like a car welded into one gear, forced to take city traffic and the highway at the same ratio. Concretely, Eagle3-style MTP speculative decoding is the default at low concurrency, but its small draft model has limited capacity beyond short horizons and must generate proposals recursively, while AR wins in compute-bound high-concurrency serving. The paper formalizes this as the question of whether diffusion LMs must compete with AR or can harmonize within one model.
문제 단일 디코딩 모드에 고정된 모델은 배포 환경에 따라 최적 모드가 달라져도 전환할 수 없다 — 기어가 하나로 용접된 차처럼 시내 주행과 고속도로를 같은 기어비로 달려야 하는 셈이다. 실제로 Eagle3류 MTP speculative decoding은 저동시성 서빙의 기본값이지만 작은 draft 모델의 용량 한계로 짧은 horizon 너머에서 신뢰도가 떨어지고 제안을 재귀적으로 생성해야 하며, compute-bound 고동시성에서는 AR이 유리하다. 논문은 이를 "diffusion LM이 AR과 경쟁해야 하는가, 아니면 한 모델 안에서 조화될 수 있는가"라는 질문으로 정식화한다.
Prior limitations Existing diffusion LMs (LLaDA, Dream, SDAR) trail AR models in accuracy and data efficiency, and Eagle3/MTP carry the capacity limits of a separate draft head plus recursive drafting overhead. Combining AR and diffusion per se has prior art via joint training or diffusion-dedicated LoRA modules (directly cited in the paper's related work); the paper positions its own differences as tri-mode inference including self-speculation with post-training enhancements (samplers, LoRA drafters), the full model-family training pipeline, and the SOL analysis.
기존 한계 기존 diffusion LM(LLaDA·Dream·SDAR)은 AR 대비 정확도·데이터 효율이 뒤지고, Eagle3/MTP는 별도 draft head의 용량 한계와 재귀적 초안 생성 오버헤드를 갖는다. AR과 diffusion의 결합 자체는 joint training이나 diffusion 전용 LoRA로 시도한 선행 연구가 있으며(논문 related work가 직접 인용), 이 논문의 차별점은 self-speculation을 포함한 tri-mode 추론과 sampler·LoRA drafter 등 post-training 강화, 전체 모델 패밀리 학습 파이프라인, 그리고 SOL 분석이라고 스스로 포지셔닝한다.
Goal Support AR decoding, block-wise diffusion decoding, and self-speculation (the same model drafts and verifies) from one set of weights, switching modes per deployment scenario. The bar is set so the AR mode matches SOTA AR LMs — a drop-in replacement requiring no pipeline changes — while the other two modes add throughput on top.
목표 하나의 가중치 집합으로 AR 디코딩, block-wise diffusion 디코딩, self-speculation(같은 모델이 초안과 검증을 모두 수행)을 지원해 배포 시나리오에 따라 모드를 전환하는 것. 목표 수준은 AR 모드가 SOTA AR LM과 대등해 파이프라인 변경 없이 기존 AR 모델의 drop-in replacement가 되면서, 나머지 두 모드가 그 위에 처리량을 얹는 것이다.
Method Starting from Ministral3 base models (3B/8B/14B), two-stage continued pretraining is applied: stage 1 pure AR for 1T tokens, stage 2 the joint objective `L = L_AR + α·L_diff` (α=0.3) for 300B tokens. The core design is dual-stream attention: the noised stream attends bidirectionally within a block and causally across blocks while conditioning on the clean context, and clean-to-clean attention stays strictly causal, so both objectives are computed in a single forward-backward pass without label leakage. Global loss averaging (which cuts gradient variance from variable masking ratios, +2.12% in ablation) and DP-rank-varying masking ratios (+0.71%) are added on top, with training on 256 H100s.
방법 Ministral3 base(3B/8B/14B)에서 2단계 continued pretraining을 수행한다: 1단계 순수 AR 1T 토큰, 2단계 결합 objective `L = L_AR + α·L_diff`(α=0.3) 300B 토큰. 핵심 구조는 dual-stream attention으로, noised 스트림은 블록 내 bidirectional·블록 간 causal로 어텐션하고 clean 컨텍스트를 조건으로 삼되 clean→clean 어텐션은 엄격히 causal로 유지해, 한 번의 forward-backward pass에서 두 objective를 label 누출 없이 동시에 계산한다. 여기에 가변 마스킹 비율의 gradient 분산을 줄이는 global loss averaging(ablation에서 +2.12%)과 DP-rank별 마스킹 비율 다변화(+0.71%)를 더하고, 학습은 256장 H100에서 수행됐다.
Key idea Keeping the clean stream strictly causal works like an interrogation room's one-way mirror — the noised stream can look freely into the clean context, but the clean stream can never peek at future labels. This isolation lets the AR and diffusion objectives coexist in one pass, and ablations show they are not zero-sum: the diffusion loss adds lookahead/planning ability, the AR loss supplies the left-to-right linguistic prior, and the two share a common optimal operating point at α=0.3, so adding the diffusion loss maintains or slightly improves AR accuracy.
핵심 아이디어 clean 스트림을 엄격히 causal로 유지하는 것은 취조실의 one-way mirror와 같다 — noised 스트림은 clean 컨텍스트를 자유롭게 들여다보지만, clean 스트림은 미래 label을 절대 엿볼 수 없다. 이 격리 덕에 AR과 diffusion objective가 같은 pass에서 공존하고, ablation은 둘이 zero-sum이 아님을 보인다: diffusion loss는 lookahead/planning 능력을 더하고 AR loss는 좌→우 언어 prior를 제공하며, α=0.3에서 공통 최적 작동점을 공유해 diffusion loss를 추가해도 AR 정확도가 유지되거나 소폭 오른다.
Validation Trained at 3B/8B/14B scale (base/instruct/VLM) and compared against Qwen3-8B (AR), SDAR-8B Chat, Dream-7B, LLaDA-8B (diffusion), and Qwen3-8B-Eagle3 (MTP) on GPQA, IFEval, HumanEval, MBPP, Math500, GSM8K, AIME24/25, MMLU, and LiveCodeBench-CPP among others. Real throughput is measured with SGLang on a GB200 GPU over SPEED-Bench (713 samples, 11 categories), and a separate oracle procedure called "recursive dynamic compaction" sweeps block length B∈{4,8,16,32} to measure the theoretical parallelism ceiling (speed-of-light, SOL) of diffusion mode.
검증 3B/8B/14B(base/instruct/VLM)를 학습해 Qwen3-8B(AR)·SDAR-8B Chat·Dream-7B·LLaDA-8B(diffusion)·Qwen3-8B-Eagle3(MTP)와 GPQA·IFEval·HumanEval·MBPP·Math500·GSM8K·AIME24/25·MMLU·LiveCodeBench-CPP 등에서 비교한다. 실측 처리량은 GB200 GPU에서 SGLang으로 SPEED-Bench(11개 카테고리 713 샘플)를 돌려 측정하고, 별도로 "recursive dynamic compaction"이라는 oracle 절차로 block length B∈{4,8,16,32}를 스윕하며 diffusion 모드의 이론적 병렬성 상한(Speed-of-Light, SOL)을 측정한다.
Results On the 8B instruct model, diffusion mode decodes 2.57x tokens per forward at +0.43% higher average accuracy than Qwen3-8B (and +9.09% over SDAR-8B Chat); linear self-speculation reaches 5.99x and the quadratic variant 6.38x, yielding the headline "6x tokens per forward, 4x SPEED-Bench throughput on GB200." Acceptance lengths are 5.46/6.82 (native/LoRA-tuned) versus 2.75/4.24 for Eagle3/MTP. The SOL analysis shows a 7.60x acceptance rate at B=32 (per-category from 3.49x on roleplay to 11.26x on multilingual), and in real TPF, SOL's 6.02x versus linear self-speculation's 3.41x quantifies 76.5% of unrealized headroom.
결과 8B instruct 기준 diffusion 모드는 Qwen3-8B 대비 +0.43% 높은 평균 정확도로 forward당 2.57배 토큰을 디코딩하고(SDAR-8B Chat 대비 정확도 +9.09%), linear self-speculation은 5.99배, quadratic 변형은 6.38배에 달해 "forward당 6배, SPEED-Bench 처리량 4배(GB200)"라는 헤드라인이 된다. 수용 길이(acceptance length)는 native/LoRA-tuned가 5.46/6.82로 Eagle3/MTP의 2.75/4.24를 크게 앞선다. SOL 분석은 B=32에서 수용률 7.60배(카테고리별 roleplay 3.49배~multilingual 11.26배)를 보이고, 실제 TPF는 SOL 6.02배 vs linear self-speculation 3.41배로 76.5%의 미실현 headroom을 정량화한다.
Comparison Accuracy and speed are compared directly against Qwen3-8B (AR) and SDAR-8B Chat (diffusion), and self-speculation against Eagle3/MTP. The structural difference is drafter capacity — Eagle3 hands drafting to a junior and has the author verify, whereas self-speculation has the author draft in parallel shorthand and proofread their own work, so draft quality, i.e. acceptance length, is fundamentally higher. Indeed the gap widens to 6.75/8.69 vs 2.81/4.73 on the diffusion-friendly categories (coding, math, reasoning, multilingual).
비교 정확도·속도는 Qwen3-8B(AR)·SDAR-8B Chat(diffusion)과 직접 비교되고, self-speculation은 Eagle3/MTP와 비교된다. 차이의 구조는 초안 작성자의 용량이다 — Eagle3가 신입에게 초안을 맡기고 본인이 검수하는 구도라면, self-speculation은 저자 본인이 병렬 속기로 초안을 쓰고 스스로 검수하는 구도라 초안 품질, 곧 수용 길이가 근본적으로 높다. 실제로 diffusion 친화적 카테고리(coding·math·reasoning·multilingual)에서 격차는 6.75/8.69 vs 2.81/4.73으로 더 벌어진다.
Significance It shows one checkpoint can be an AR drop-in replacement while dialing throughput up via diffusion or self-speculation as deployment conditions demand, suggesting the need to train and serve separate models per scenario can be removed. The SOL analysis is methodologically useful the way a dynamometer test is — it separates "the engine's (model's) theoretical limit" from "the speed the driver (sampler) actually achieves," pinning diffusion's unrealized parallelism specifically on the sampler. Reframing dLLMs not as AR competitors but as a decoding-mode augmentation layered onto AR models is also consequential for the field.
의의 하나의 체크포인트가 AR drop-in replacement이면서 배포 조건에 따라 diffusion·self-speculation으로 처리량을 끌어올릴 수 있음을 보여, 시나리오별 별도 모델 학습·서빙의 필요를 제거할 수 있음을 시사한다. SOL 분석은 dynamometer 검사처럼 "엔진(모델)의 이론적 한계"와 "운전자(sampler)가 실제로 내는 속도"를 분리해 측정한다는 점에서 방법론적으로 유용하다 — diffusion 디코딩의 미실현 병렬성을 sampler 문제로 특정해 준다. dLLM을 AR의 경쟁자가 아니라 AR 모델에 얹는 디코딩 모드 증강으로 재프레이밍한 것도 필드에 시사점이 크다.
Limitations The 76.5% headroom exposed by SOL is an unrealized ceiling — the paper itself quantifies that current samplers leave much of diffusion mode's available parallelism unused. The causes are stated: linear self-speculation runs two forward passes, and its contiguous-prefix acceptance discards confident tokens beyond the first rejection. The diffusion objective also slightly hurts strict instruction following, with observed drops of -3.01% on IFEval and -2.44% on HumanEval.
한계 SOL이 보여주는 76.5% headroom은 미실현 상한으로, 현재 sampler가 diffusion 모드의 가용 병렬성 상당 부분을 놀리고 있음을 논문 스스로 정량화한다. 원인도 명시된다: linear self-speculation은 forward를 두 번 돌고, contiguous-prefix 수용 방식이라 첫 rejection 이후의 확신 높은 토큰들을 버린다. 또한 diffusion objective가 엄격한 instruction following을 소폭 해쳐 IFEval -3.01%, HumanEval -2.44% 하락이 관찰된다.
Future work The paper names stronger diffusion-mode samplers that can safely commit confident tokens beyond the prefix within a single forward pass as the next step, and its trained sampler already shifting the accuracy-TPF Pareto frontier upward supports that headroom. The token-level-entropy hypothesis for the roughly 3.2x spread of per-category SOL also points toward entropy-adaptive samplers. (Reviewer judgment: kernel optimization for the higher-theoretical-TPF quadratic self-speculation, and validation under other hardware/batching conditions, are natural next steps.)
향후 과제 논문은 한 번의 forward 안에서 prefix 너머의 확신 토큰까지 안전하게 커밋하는 더 강한 diffusion-mode sampler를 다음 과제로 명시하며, 학습된 sampler가 이미 정확도-TPF Pareto frontier를 위로 밀어올린 결과가 그 여지를 뒷받침한다. 카테고리별 SOL이 약 3.2배 범위로 벌어지는 현상을 token-level entropy로 설명하는 가설도 entropy 적응형 sampler라는 방향을 시사한다. (리뷰어 판단: 이론 TPF가 더 높은 quadratic self-speculation의 커널 최적화, 다른 하드웨어·배치 조건에서의 검증도 자연스러운 다음 단계다.)
Released resources The training and inference pipeline is released through Megatron Bridge, with code on GitHub at `NVlabs/Nemotron-Labs-Diffusion`. 3B/8B/14B base/instruct/VLM checkpoints are public on Hugging Face as the "Nemotron-Labs-Diffusion Model Family" collection (`nvidia/Nemotron-Labs-Diffusion-*`), under a CC BY 4.0 license.
자원 공개 학습·추론 파이프라인은 Megatron Bridge를 통해 공개되며, 코드는 GitHub `NVlabs/Nemotron-Labs-Diffusion`에 있다. 3B/8B/14B의 base/instruct/VLM 체크포인트가 Hugging Face "Nemotron-Labs-Diffusion Model Family" 컬렉션(`nvidia/Nemotron-Labs-Diffusion-*`)으로 공개되어 있고, 라이선스는 CC BY 4.0이다.
The research thread
Where this paper sits 연구의 흐름
Nemotron-Labs-Diffusion sits where three research lines converge. The first is the open diffusion-LM line — LLaDA (Nie et al., 2025), Dream-7B, and SDAR — which proved masked diffusion can decode several tokens per forward but never closed the accuracy and data-efficiency gap to AR. The second is the interpolation line, from Block Diffusion (BD3LM; Arriola et al., 2025) through SDAR's block-wise AR-diffusion hybrid, plus the joint-training and diffusion-LoRA prior art the paper cites directly — attempts to hold both paradigms in one set of weights. The third is speculative decoding: Eagle3-style draft heads and multi-token prediction rule low-concurrency serving, but small drafters cap acceptance length. The author list also overlaps with Fast-dLLM (Wu et al., 2025) — this paper reads as that NVIDIA orbit baking parallel decoding into pretraining rather than retrofitting it at inference time.
The conceptual shift is from competition to complementarity. Open dLLMs have shipped as a rival species — benchmarked against AR, usually losing on accuracy, winning on parallelism. This paper recasts diffusion as a decoding mode rather than a model class: the AR mode is held to drop-in-replacement parity, diffusion becomes the gear you shift into at low concurrency, and self-speculation the third gear — the same weights drafting in parallel and verifying causally. Beneath the reframe is the claim that the objectives are not zero-sum: dual-stream attention lets both losses share one forward-backward pass, diffusion contributing lookahead while AR supplies the left-to-right prior. The question "will dLLMs beat AR?" dissolves into "how much parallelism can one checkpoint offer per deployment regime?"
The most durable instrument the paper leaves behind is the speed-of-light analysis. By separating what the model could accept (oracle compaction, 6.02x tokens per forward) from what the sampler actually commits (3.41x), it turns "diffusion decoding is under-exploited" from folklore into a number — 76.5% of headroom unrealized — and names the causes: a second forward pass, and contiguous-prefix acceptance that discards confident tokens after the first rejection. Sampler research on frozen tri-mode weights now has a per-category ceiling to chase.
Two tensions remain. One is the fine print: the diffusion objective costs about three points of strict instruction following (IFEval) — a reminder that "not zero-sum" at α=0.3 is an empirical operating point, not a theorem. The other is cost — 1T+300B tokens of continued pretraining on 256 H100s — which shifts the burden of proof onto from-scratch dLLMs once a hybrid offers AR parity plus 6x tokens per forward. Expect the field to try acceptance rules richer than longest-prefix (tree- or entropy-based), kernels that realize the quadratic variant's higher theoretical TPF, and replications of the two-stage recipe on other base models — at which point "diffusion LM" quietly stops being a model family and becomes a checkbox on every model card.
Nemotron-Labs-Diffusion은 세 갈래 연구가 만나는 지점에 서 있다. 첫째는 open diffusion LM 계보 — LLaDA(Nie et al., 2025), Dream-7B, SDAR — 로, masked diffusion이 forward당 여러 토큰을 내놓을 수 있음은 입증했지만 AR 대비 정확도·데이터 효율 격차를 끝내 닫지 못했다. 둘째는 interpolation 계보로, Block Diffusion(BD3LM, Arriola et al., 2025)에서 SDAR의 block-wise AR-diffusion 하이브리드로 이어지고, 논문이 related work에서 직접 인용하는 joint AR+diffusion 학습·diffusion 전용 LoRA 선행 연구까지 포함한다 — 두 패러다임을 한 가중치에 담으려는 시도들이다. 셋째는 speculative decoding 계보다: Eagle3류 draft head와 multi-token prediction이 저동시성 서빙을 지배하지만, 작은 drafter의 용량이 수용 길이를 제한한다. 저자 연속성도 있다 — 저자 명단이 Fast-dLLM(Wu et al., 2025)과 겹치며, 이 논문은 그 NVIDIA 궤도가 병렬 디코딩을 추론 시점에 덧대는 대신 아예 pretraining에 구워 넣기로 한 결과로 읽힌다.
개념적 이동은 경쟁에서 상보로다. 지금까지 open dLLM은 별개 종(種)으로 출시됐다 — AR과 맞붙어 정확도에서 대체로 지고 병렬성에서 이기는 구도. 이 논문은 diffusion을 모델 클래스가 아니라 디코딩 모드로 재정의한다: AR 모드는 drop-in replacement 동급 성능을 보장선으로 잡고, diffusion은 동시성이 낮을 때 넣는 기어, self-speculation은 같은 가중치가 병렬로 초안하고 causal하게 검증하는 세 번째 기어가 된다. 재프레이밍 밑에는 두 objective가 zero-sum이 아니라는 주장이 깔린다 — dual-stream attention이 두 loss를 한 번의 forward-backward pass에 공존시키고, diffusion은 lookahead를 더하며 AR은 좌→우 prior를 공급한다. "dLLM이 AR을 이길 것인가"라는 질문은 "하나의 checkpoint가 배포 regime마다 얼마의 병렬성을 내줄 수 있는가"로 용해된다.
논문이 남기는 가장 오래갈 도구는 speed-of-light 분석이다. 모델이 수용할 수 있는 것(oracle compaction, forward당 6.02배)과 sampler가 실제로 커밋하는 것(3.41배)을 분리함으로써, "diffusion 디코딩은 덜 활용되고 있다"는 통념을 숫자 — 미실현 headroom 76.5% — 로 바꾸고 원인까지 지목한다: 두 번 도는 forward, 그리고 첫 rejection 이후의 확신 토큰을 버리는 contiguous-prefix 수용. 동결된 tri-mode 가중치 위의 sampler 연구에 이제 카테고리별로 쫓아갈 상한이 생겼다.
긴장은 둘 남는다. 하나는 작은 글씨다: diffusion objective가 엄격한 instruction following을 약 3pt 깎는다(IFEval) — α=0.3의 "zero-sum 아님"은 정리가 아니라 경험적 작동점이라는 상기다. 다른 하나는 비용으로, 256장 H100에서 1T+300B 토큰의 continued pretraining이 필요하다 — 하이브리드가 AR 동급 + forward당 6배를 가져가는 이상, from-scratch dLLM 쪽이 존재 이유를 입증해야 하는 처지가 된다. 필드가 다음에 시도할 것은 짐작 가능하다: longest-prefix보다 풍부한 수용 규칙(tree·entropy 기반), quadratic 변형의 더 높은 이론 TPF를 실현하는 커널, 그리고 다른 base 모델 위에서의 2단계 레시피 재현 — 그 재현이 일어나는 순간 "diffusion LM"은 조용히 모델 패밀리이기를 멈추고 모든 model card의 체크박스가 된다.
Sparks — where one could take this 아이디어의 씨앗
-
One could design diffusion-mode acceptance rules richer than longest-matching-prefix — committing non-contiguous high-confidence tokens in a single verify pass, tree-style — and measure how much of the 76.5% speed-of-light headroom each rule recovers. Longest-matching-prefix보다 풍부한 diffusion-mode 수용 규칙 — 한 번의 verify pass에서 비연속 고확신 토큰까지 tree 방식으로 커밋하는 — 을 설계하고, 각 규칙이 76.5%의 speed-of-light headroom을 얼마나 회수하는지 측정해볼 수 있다.
-
One could probe why the joint objective erodes strict instruction following (IFEval -3.01%) by sweeping α schedules and post-training data mixes, testing whether lookahead ability and instruction fidelity are separable axes. Joint objective가 엄격한 instruction following을 깎는 원인(IFEval -3.01%)을 α schedule 스윕과 post-training 데이터 믹스로 파고들어, lookahead 능력과 instruction 충실도가 분리 가능한 축인지 확인해볼 수 있다.
-
One could implement the kernels that make quadratic self-speculation's higher theoretical TPF real, and validate that the tri-mode switching gains hold across batch sizes and hardware generations beyond a single GB200. 이론 TPF가 더 높은 quadratic self-speculation을 실제 커널로 구현하고, 단일 GB200을 넘어 다양한 batch 크기와 hardware 세대에서 tri-mode 전환의 이득이 유지되는지 검증해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
The tech report behind this paper first circulated in May 2026; this arXiv posting (plus the public GitHub code and Hugging Face checkpoints) is what makes it independently verifiable and citable. The most transferable idea outside NVIDIA’s own model is the dual-stream trick for getting an AR objective and a diffusion objective into the same forward-backward pass without one leaking labels into the other — that constraint (keep the “clean” stream strictly causal) is a reusable recipe for anyone trying to co-train AR and diffusion decoding on one backbone, independent of the rest of this paper’s architecture choices.
Linked reviews
Fast-dLLM: Training-Free Acceleration of Diffusion LLMs via KV Cache and Parallel Decoding
A block-wise approximate KV cache plus confidence-thresholded parallel decoding accelerates open diffusion LLMs by up to 27.6x end-to-end with 1-2 point accuracy loss, entirely training-free.
diffusion-llmLLaDA: Large Language Diffusion Models
An 8B masked-diffusion language model trained from scratch on 2.3T tokens that matches LLaMA3-8B-class autoregressive baselines, showing next-token prediction is not the only recipe for LLM capabilities.
dllmSet Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding
A new diffusion language model class factorizes generation over flexible token sets instead of fixed blocks, using a set-causal architecture that supports exact KV cache updates after every step and arbitrary-order decoding.
dllmSangam: Efficiently Serving Diffusion LLMs with the AR Stack
A dedicated serving system for cached diffusion-LLM inference introduces a deficit token-budget scheduler that manages prefill/decode interference without AR-style chunked prefill, sustaining 3x the query rate of an in-system Fast-dLLM baseline on LLaDA-8B and Dream-7B.