Paper Review
DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
A training-free best-first draft-tree method scores candidate tokens using a released drafter's path-dependent causal correction instead of treating positions as independent, reaching up to 6.6x speedup and the highest reported mean accept length on Qwen3-4B.
공개된 draft 모델의 경로-의존적(causal) 보정을 위치-독립적으로 취급하지 않고 그대로 활용해 후보 draft tree의 점수를 매기는 학습 없는(training-free) best-first 트리 탐색 기법으로, Qwen3-4B에서 최대 6.6배 속도 향상과 가장 높은 평균 accept length를 보고한다.
Background Speculative decoding accelerates LLM inference by having a draft model propose several tokens that the target model verifies in parallel, and block-diffusion drafters such as DFlash produce a full draft block in one forward pass. However, DFlash's per-position logits model only marginal distributions — not the distributions conditioned on the preceding draft tokens that an AR model actually uses. Since end-to-end speedup is proportional to accepted tokens per round (τ) divided by draft+verify cost, the quality of the drafter's distribution directly governs τ and speed.
배경 Speculative decoding은 draft 모델이 여러 토큰을 먼저 제안하고 target 모델이 이를 병렬로 검증해 LLM 추론을 가속하며, block-diffusion 방식 drafter인 DFlash는 한 번의 forward pass로 draft block 전체를 생성한다. 다만 DFlash의 위치별 logits는 주변분포(marginal)만 모델링한다 — AR 모델이 실제로 쓰는, 앞선 draft 토큰들에 조건화된 분포가 아니다. 최종 speedup은 라운드당 수락 토큰 수 τ를 draft+verify 비용으로 나눈 비율에 비례하므로, drafter 분포의 품질이 곧 τ와 속도를 좌우한다.
Problem Because DFlash-style marginals assume independence across positions, best-first tree methods like DDTree that expand candidate trees on top of them inherit the same independence assumption — two different ancestor nodes at the same depth receive the identical menu of child candidates. It is like a car navigation system that recommends the identical next turn no matter which route you took to get there. Even though the released Domino drafter already provides path-dependent distributions via a GRU-based causal correction, DDTree's factorized scoring cannot represent that structure, so the correction information is discarded wholesale during tree search.
문제 DFlash류 marginal이 위치 간 독립을 가정하기 때문에, 그 위에 후보 트리를 확장하는 best-first 기법 DDTree도 같은 독립 가정을 물려받는다 — 같은 깊이의 서로 다른 조상 노드가 완전히 동일한 자식 후보 메뉴를 받는다. 어떤 경로로 왔는지와 무관하게 항상 같은 다음 회전을 추천하는 내비게이션과 같은 구조다. 공개된 Domino drafter가 GRU 기반 causal correction으로 경로-의존 분포를 이미 제공하는데도, DDTree의 인수분해된(factorized) 점수 체계는 이 구조를 표현할 수 없어 보정 정보가 트리 탐색에서 통째로 버려진다.
Prior limitations The released Domino drafter adds a path-dependent correction to each draft token's logits via a single-layer GRU causal encoder and a low-rank (rank-256) MLP correction head, but its released decoder is chain-only and cannot exploit tree branching. On the other side, DDTree/CaDDTree build trees but are tied to marginal scores, and JetSpec — which the authors name as the closest work — requires training a new causal draft head. The combination "training-free, public weights only, path-dependent tree scoring" was vacant.
기존 한계 공개된 Domino drafter는 single-layer GRU causal encoder와 low-rank(rank 256) MLP correction head로 각 draft 토큰의 logits에 경로-의존 보정을 더하지만, 출시된 decoder는 chain 전용이라 트리 분기를 활용하지 못한다. 반대편의 DDTree/CaDDTree는 트리를 만들지만 marginal 점수에 묶여 있고, 저자들이 가장 가깝다고 지목한 JetSpec은 causal draft tree를 위해 새 causal draft head를 별도로 학습해야 한다. 즉 "학습 없이, 공개 가중치만으로, 경로-의존 점수의 트리"라는 조합이 비어 있었다.
Goal Build a training-free method that uses Domino's path-dependent, non-factorized correction directly as the node score of a best-first draft tree, without collapsing it into a factorized approximation. Side conditions: use only public checkpoint weights with no extra parameters or fine-tuning, and keep the computational blow-up of re-computing the correction at every node at a practical level.
목표 Domino의 경로-의존·비인수분해(non-factorized) 보정을 인수분해 근사로 뭉개지 않고 그대로 best-first draft tree의 노드 점수로 쓰는 training-free 방법을 만드는 것. 추가 파라미터나 fine-tuning 없이 공개 체크포인트 가중치만 사용하며, 노드마다 보정을 재계산할 때 생기는 계산량 폭발을 실용 수준으로 억제하는 것이 부수 조건이다.
Method DominoTree — keeps DDTree's best-first heap and tree-attention verification unchanged, and replaces only the node score with Domino's conditional correction recomputed for each node's actual path, threading the GRU state through the heap. The per-node correction is restricted to the marginal top-M (M=64) candidates instead of the full vocabulary, cutting the per-node correction projection from 256×|V| to 256×M — like deep-interviewing only the M shortlisted candidates instead of re-screening the entire applicant pool — and accept length is flat from M=16 to the full vocabulary (Table 9), so the restriction loses no acceptance. A CUDA-graph capture/replay GPU-native builder then cuts per-round tree construction from 3.67ms to 2.31ms, while staying bit-identical to a Python reference, so acceptance is unchanged.
방법 DominoTree — DDTree의 best-first heap과 tree-attention 검증은 그대로 두고, 노드 점수만 "그 노드까지의 실제 경로에 대해 GRU 상태를 heap에 함께 실어 나르며 재계산한 Domino 조건부 보정 점수"로 교체한다. 노드별 보정은 전체 vocabulary가 아닌 marginal top-M(M=64) 후보로 제한해 노드당 correction projection을 256×|V|에서 256×M으로 줄이는데, 전체 지원자를 다시 심사하는 대신 서류 통과자 M명만 심층 면접하는 것과 같다 — accept length가 M=16부터 full vocabulary까지 평평해(Table 9) 이 제한으로 잃는 acceptance는 없다. 여기에 CUDA-graph capture/replay 기반 GPU-native builder가 라운드당 트리 구성 시간을 3.67ms→2.31ms로 줄이며, Python reference와 bit-identical해 acceptance는 변하지 않는다.
Key idea Re-apply Domino's causal correction along every root-to-node path so that path-dependence is preserved in the tree score itself, without approximation. This is a chess engine that re-evaluates the position along the line actually played, instead of scoring every move from a static piece-value table. It is cheap because Domino is partial-conditional — the backbone hidden states are path-independent and reused as-is, while only the lightweight GRU and correction head are path-dependent, so just those two are re-run per node.
핵심 아이디어 트리의 각 root-to-node 경로마다 Domino의 causal correction을 다시 적용해, 경로-의존성을 근사 없이 트리 점수 자체에 보존한다는 것이 핵심이다. 정적 기물 가치표로 모든 수를 일괄 채점하는 대신, 실제 두어진 수순(line)을 따라 국면을 다시 평가하는 체스 엔진에 해당한다. 이것이 값싸게 가능한 이유는 Domino가 partial-conditional 구조이기 때문이다 — backbone hidden state는 경로-독립이라 그대로 재사용하고, 경로-의존인 부분은 가벼운 GRU와 correction head뿐이라 노드마다 그 둘만 다시 돌리면 된다.
Validation Evaluated on two target models, Qwen3-4B and Qwen3-8B (released Domino checkpoints Qwen3-4B/8B-Domino-b16), across eight benchmarks (GSM8K, MATH-500, AIME25, HumanEval, MBPP, LiveCodeBench, MT-Bench, Alpaca) at temperatures {0, 0.5, 1.0}. Comparisons run against AR decoding, DFlash, DDTree(16)/CaDDTree (official CaDDTree implementation, unmodified) and the released Domino decoder (its stronger CUDA-graph variant) under a three-harness protocol with paired-bootstrap 95% CIs. It further includes a Cond@16 vs. Marg@16 ablation isolating the conditional score's contribution, top-M width, node-budget, and draft-sampling ablations, plus a losslessness check (at the bf16 tie-breaking level).
검증 Qwen3-4B와 Qwen3-8B 두 target 모델(공개 Domino 체크포인트 Qwen3-4B/8B-Domino-b16), 8개 벤치마크(GSM8K, MATH-500, AIME25, HumanEval, MBPP, LiveCodeBench, MT-Bench, Alpaca), temperature {0, 0.5, 1.0}에서 평가했다. 비교는 AR 디코딩, DFlash, DDTree(16)/CaDDTree(공식 CaDDTree 구현 하네스, 무수정), 공개 Domino decoder(더 강한 CUDA-graph 변형)를 상대로 paired-bootstrap 95% CI를 붙인 3-하네스 프로토콜로 수행했다. 조건부 점수의 기여만 분리하는 Cond@16 vs Marg@16 ablation, top-M 폭·노드 budget·draft-sampling ablation, losslessness 검증(bf16 tie-breaking 수준)까지 포함한다.
Results On Qwen3-4B, up to 6.6× speedup over AR decoding (GSM8K, T=0) and the highest mean accept length of any evaluated method (up to 10.7 tokens/round, ranked first on the Overall column at every temperature). Against the released Domino decoder it is built on, throughput improves +9-10% (Qwen3-4B Overall) and up to +22% on Alpaca (T=0.5); against DDTree/CaDDTree the win is CI-clean at every temperature, from +7.67% (T=0) to +2.55% (T=1.0). The source-attribution ablation shows conditional scoring beats marginal scoring at the same budget 16 by +9.2% throughput — direct evidence the gain comes from path conditioning, not from tree-building itself.
결과 Qwen3-4B에서 AR 대비 최대 6.6배(GSM8K, T=0) 속도 향상과 평가된 모든 기법 중 가장 높은 평균 accept length(최대 10.7 토큰/라운드, Overall 기준 모든 temperature에서 1위)를 기록했다. 자신이 딛고 선 공개 Domino decoder 대비 처리량 +9~10%(Qwen3-4B Overall), Alpaca에서는 최대 +22%(T=0.5)이고, DDTree/CaDDTree 대비로는 +7.67%(T=0)에서 +2.55%(T=1.0)까지 모든 temperature에서 CI-clean 우위다. 이득의 출처를 분리한 ablation에서 조건부 점수는 동일 budget 16의 marginal 점수 대비 +9.2% 처리량 우위를 보여, 이득이 트리 구조가 아니라 경로 conditioning 자체에서 온다는 직접 증거를 제공한다.
Comparison Baselines are AR, DFlash, DDTree(16)/CaDDTree, and the released Domino decoder, with a careful protocol that normalizes to speedup-over-own-AR whenever raw TPS is not comparable across harnesses. On Qwen3-8B, DominoTree wins decisively over DDTree at T=0 (+24%) but flips to -3.5% Overall at T=1.0, and the code family (HumanEval/MBPP/LiveCodeBench) is the one workload family that still loses to DDTree/CaDDTree even on Qwen3-4B. No acceptance-vs-context-length curve is reported (only temperature and benchmark are varied) — explicitly checked against the full text.
비교 베이스라인은 AR, DFlash, DDTree(16)/CaDDTree, 공개 Domino decoder이며, 처리량 비교는 하네스 간 raw TPS가 비교 불가능한 경우 speedup-over-own-AR로 정규화하는 신중한 프로토콜을 쓴다. Qwen3-8B에서는 T=0에서 DDTree 대비 +24%의 결정적 우위지만 T=1.0에서는 Overall -3.5%로 뒤집히고, code 계열(HumanEval/MBPP/LiveCodeBench)은 Qwen3-4B에서도 DDTree/CaDDTree에 지는 유일한 워크로드 패밀리다. context 길이에 따른 acceptance 곡선은 보고하지 않는다(temperature·벤치마크만 변화) — 논문 전문을 확인해 검증한 사항이다.
Significance The substantive contribution is breaking the position-independence assumption in draft-tree scoring training-free, on public weights alone — the correction weights were already inside the released Domino checkpoint, and DominoTree adds no parts, merely rewiring how those weights are read: along tree paths. Unlike the closest work JetSpec, which requires training a new causal head, deployment cost is essentially zero. The reporting style — statistically pinning down where the +9.2% comes from via the conditioning ablation, and publishing CondAdaptive as a negative result with calibration data — is exemplary for this sub-field (reviewer judgment).
의의 학습 없이 공개 가중치만으로 draft-tree 점수의 위치-독립 가정을 깬 것이 실질적 의의다 — 보정 가중치는 이미 공개 Domino 체크포인트 안에 들어 있었고, DominoTree는 부품을 추가하지 않고 그 가중치를 트리 경로를 따라 읽도록 배선만 바꾼 것이다. 가장 가까운 JetSpec이 새 causal head 학습을 요구하는 것과 달리 배포 비용이 사실상 0이다. 또한 conditioning ablation으로 "+9.2%가 어디서 오는가"를 통계적으로 못박고 CondAdaptive를 calibration 데이터와 함께 negative result로 공개한 보고 방식은 이 하위분야 기준으로 모범적이다(리뷰어 판단).
Limitations All results are measured in a single-stream, batch-size-1 research harness on HuggingFace Transformers; production serving-stack integration (SGLang/vLLM), batching, and continuous scheduling are unimplemented, as the authors state plainly in §6. The code workloads still lose to DDTree/CaDDTree, the Qwen3-8B advantage narrows to a tie or small loss at higher temperature, and 8B was measured on a different GPU (RTX A6000) so its numbers are not directly comparable to the 4B (dual RTX 5080) ones. CondAdaptive, the port of CaDDTree's adaptive budget, is reported as a negative result: the corrected drafter's path probabilities over-credit acceptance (1.16× on GSM8K), so the adaptive rule saturates at its cap.
한계 모든 결과가 HuggingFace Transformers 기반 single-stream, batch-size-1 연구 하네스에서 측정됐고 production serving stack(SGLang/vLLM) 통합·batching·continuous scheduling은 미구현이라고 저자들이 §6에서 명시한다. code 워크로드는 여전히 DDTree/CaDDTree에 지고, Qwen3-8B의 높은 temperature에서는 우위가 동률~소폭 손실로 좁아지며, 8B는 다른 GPU(RTX A6000)에서 측정돼 4B(RTX 5080×2) 수치와 직접 비교할 수 없다. CaDDTree의 적응형 budget을 이식한 CondAdaptive는 보정된 drafter의 경로 확률이 acceptance를 과대평가(GSM8K에서 1.16배)해 상한에서 포화하는 negative result로 보고된다.
Future work The authors explicitly leave extending the CUDA-graph builder to a multi-request, batched, or serving-integrated (SGLang/vLLM) version as future work. They also name a calibrated per-round adaptive budget (correcting the acceptance over-confidence that broke CondAdaptive) and a variant that additionally adapts the candidate width M as open problems.
향후 과제 저자들은 CUDA-graph builder를 multi-request·batched·serving-통합(SGLang/vLLM) 버전으로 확장하는 것을 명시적 future work로 남긴다. 또한 calibration된 per-round 적응형 budget(CondAdaptive 실패의 원인인 acceptance 과신을 교정하는 방향)과 후보 폭 M까지 함께 적응시키는 변형도 열린 문제로 명시한다.
Released resources The official GitHub repository (https://github.com/slin-zhq/Domino-Tree) is linked as the code release in the paper's footnote. The draft models are the released Domino checkpoints (Qwen3-4B/8B-Domino-b16) and the baselines run the official CaDDTree implementation (commit a88f3f3) unmodified, so the whole pipeline is designed to be reproducible on public assets.
자원 공개 공식 GitHub 저장소(https://github.com/slin-zhq/Domino-Tree)가 논문 각주에 코드 링크로 명시돼 있다. draft 모델은 공개된 Domino 체크포인트(Qwen3-4B/8B-Domino-b16)이고 비교군은 공식 CaDDTree 구현(commit a88f3f3)을 무수정으로 실행하므로, 파이프라인 전체가 공개 자산 위에서 재현 가능하도록 설계돼 있다.
The research thread
Where this paper sits 연구의 흐름
The tree branch of speculative decoding starts with SpecInfer, which let a target model verify many candidate continuations in one pass via tree attention; Medusa and the EAGLE line then made tree drafting standard, with EAGLE-2 popularizing best-first expansion toward whatever seems likeliest to be accepted. DominoTree continues a newer offshoot of that lineage built on block-parallel drafters: DFlash drafts a whole block in one forward pass but yields only per-position marginals, DDTree and CaDDTree graft the best-first tree onto those marginals, and Domino re-threads causal structure into the block drafter with a GRU correction — yet ships a chain-only decoder. JetSpec, the authors' named closest work, buys a causal draft tree by training a new draft head. DominoTree stands at the junction: DDTree's tree machinery, Domino's correction, zero training.
The conceptual shift is where a draft token's score lives. Marginal-scored trees treat the score as a property of a position — identical child menus no matter the route. DominoTree makes it a property of the path: the GRU state rides in the heap next to each node, so every branch carries its own memory of the line that produced it. What the paper does not do is just as eloquent: it adds no parameters and trains nothing. The path-dependent correction was already inside the released Domino checkpoint; the chain-only decoder simply never read it along branches. That reframes the contribution as rewiring — evidence that a released drafter can contain strictly more structure than its released decoder exploits — and the Cond@16 vs. Marg@16 ablation pins the gain on conditioning rather than tree-building.
What this line opens first is an audit mentality: if Domino's weights hid a tree-ready scorer behind a chain interface, other public drafters likely expose less than they contain, and training-free recomposition of released artifacts becomes a legitimate research move. The residual tensions are just as legible. CondAdaptive's negative result says better path scores are not yet calibrated acceptance predictors — the corrected drafter over-credits its own drafts by 1.16× on GSM8K — so the adaptive-budget question CaDDTree answered for marginals is reopened for conditional scores. Code workloads still side with the marginal trees, a domain signature no one has explained. And every number is a batch-1 measurement on a research harness, with the authors themselves naming SGLang/vLLM integration as the unbuilt bridge.
The next moves follow from those seams: calibration layers between path probability and acceptance, echoing DSpark's promotion of calibration to a load-bearing serving part; an acceptance-versus-context-length curve, which none of the recent DFlash-lineage papers report; and batched, multi-request extensions of the CUDA-graph builder. The longer arc is familiar — once the drafter's conditional structure, the tree's budget policy, and the engine's batching interlock, the algorithm stops being separable from the system that runs it.
Speculative decoding의 tree 갈래는 target 모델이 tree attention으로 여러 후보 연속(continuation)을 한 번에 검증할 수 있음을 보인 SpecInfer에서 출발했고, Medusa와 EAGLE 계열이 tree drafting을 표준으로 만들었다 — 특히 EAGLE-2는 수락될 법한 쪽으로 트리를 키우는 best-first 확장을 대중화했다. DominoTree는 이 계보가 block-parallel drafter 위로 옮겨 온 최신 지류를 잇는다: DFlash는 한 번의 forward pass로 draft block 전체를 만들지만 위치별 marginal만 내놓고, DDTree/CaDDTree는 그 marginal 위에 best-first 트리를 접목했으며, Domino는 GRU correction으로 block drafter에 causal 구조를 다시 꿰었지만 chain 전용 decoder만 출시했다. 저자들이 가장 가깝다고 지목한 JetSpec은 새 draft head를 학습해 causal draft tree를 산다. DominoTree는 그 접점에 서 있다 — DDTree의 트리 기계, Domino의 보정, 그리고 학습 제로.
개념적 전환은 draft token의 점수가 사는 곳이다. Marginal 점수 트리는 점수를 위치의 속성으로 취급한다 — 어떤 경로로 왔든 동일한 자식 후보 메뉴. DominoTree는 그것을 경로의 속성으로 만든다: GRU state가 각 노드와 함께 heap에 실려 다니므로, 트리의 모든 가지가 자신을 만든 수순(line)의 기억을 각자 들고 다닌다. 이 논문이 하지 않은 일도 그만큼 웅변적이다: 파라미터를 더하지 않고 아무것도 학습하지 않는다. 경로-의존 보정은 이미 공개된 Domino checkpoint 안에 있었고, chain 전용 decoder가 그것을 가지를 따라 읽지 않았을 뿐이다. 기여는 재배선(rewiring)으로 재정의되고 — 공개된 drafter가 공개된 decoder가 활용하는 것보다 엄격히 더 많은 구조를 담을 수 있다는 증거 — Cond@16 vs Marg@16 ablation이 이득을 트리 구성이 아니라 conditioning 자체에 못박는다.
이 계보가 먼저 여는 것은 일종의 감사(audit) 감각이다: Domino의 가중치가 chain interface 뒤에 tree-ready scorer를 숨기고 있었다면, 다른 공개 drafter들도 담고 있는 것보다 적게 노출하고 있을 공산이 크고, 공개 artifact의 training-free 재조합 자체가 정당한 연구 수(move)가 된다. 남은 긴장도 뚜렷하다. CondAdaptive의 negative result는 더 나은 경로 점수가 아직 보정된(calibrated) acceptance 예측기가 아니라고 말한다 — 보정된 drafter는 GSM8K에서 자기 draft를 1.16배 과신한다 — 그래서 CaDDTree가 marginal에 대해 답했던 적응형 budget 질문이 conditional 점수에 대해 다시 열린다. code 워크로드는 여전히 marginal 트리 편이고, 이는 아직 설명되지 않은 도메인 시그니처다. 그리고 모든 결과가 연구 하네스의 batch-1 측정이며, 저자들 스스로 SGLang/vLLM 통합을 아직 놓이지 않은 다리로 지목한다.
다음 수순은 이 이음새들에서 따라 나온다: 경로 확률과 acceptance 사이의 calibration 계층 — DSpark가 serving 규모에서 보여준, calibration을 하중 받는 부품으로 승격시키는 것과 같은 움직임 — 최근 DFlash 계열 논문 어느 것도 보고하지 않는 acceptance 대 context length 곡선, 그리고 CUDA-graph builder의 batched·multi-request 확장. 더 긴 궤적은 익숙하다 — drafter의 conditional 구조, 트리의 budget 정책, 엔진의 batching이 서로 맞물리는 순간, 알고리즘은 그것을 돌리는 시스템과 더는 분리되지 않는다.
Sparks — where one could take this 아이디어의 씨앗
-
Following the authors' own future-work pointer, one could try fitting an explicit calibration map from Domino's corrected path probabilities to empirical acceptance — correcting the 1.16× over-confidence that saturated CondAdaptive — so per-round adaptive budgets become workable for conditional scores. 저자들이 직접 남긴 future work을 따라, Domino의 보정된 경로 확률을 실측 acceptance로 매핑하는 명시적 calibration을 적합시켜 — CondAdaptive를 포화시킨 1.16배 과신을 교정해 — conditional 점수에서도 per-round 적응형 budget이 작동하게 만들어볼 수 있다.
-
Since code workloads (HumanEval/MBPP/LiveCodeBench) still lose to marginal-scored trees, one could characterize when path conditioning helps or hurts by domain, and gate the conditional score — or the candidate width M — per round. code 워크로드(HumanEval/MBPP/LiveCodeBench)가 여전히 marginal 점수 트리에 지므로, 경로 conditioning이 도메인별로 언제 돕고 언제 해치는지 특성화하고 conditional 점수나 후보 폭 M을 라운드별로 게이팅해볼 수 있다.
-
Because none of the recent DFlash-lineage tree papers report acceptance as a function of context length, one could try measuring that curve across methods, testing whether path-conditioned scoring degrades or improves with longer prefixes. 최근 DFlash 계열 tree 논문 어느 것도 context length에 따른 acceptance를 보고하지 않으므로, 그 곡선을 방법 간 비교로 측정해 경로-조건 점수가 긴 prefix에서 약해지는지 오히려 강해지는지 검증해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
The interesting structural point is that this is the third DFlash-lineage speculative-decoding improvement to surface in consecutive autosweep windows (after DeLS-Spec and Weaver on 2026-07-09) — the sub-field is iterating fast on tree-drafting refinements. None of the three report an acceptance-vs-context-length curve, which remains a genuinely open reporting gap in this literature.
Enrichment correction (2026-07-11, verified against the full HTML): the original one-sentence review attributed the “up to +22% on Alpaca” figure to the DDTree/CaDDTree comparison; the paper states it is versus the released Domino decoder (Qwen3-4B, T=0.5). The DDTree/CaDDTree deltas are +7.67%/+5.18%/+2.55% Overall on Qwen3-4B. The original “single target model” limitation was also wrong — the paper evaluates Qwen3-8B as well.
Linked reviews
DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
A semi-autoregressive drafter combined with confidence-scheduled verification fixes the intra-block acceptance decay of parallel speculative-decoding drafters, delivering 51-85% throughput and latency gains in DeepSeek-V4 production serving.
speculative-decodingLess Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts (EcoSpec)
Speculative decoding for Mixture-of-Experts models optimizes for token-acceptance likelihood alone, ignoring that each draft token also determines which experts get loaded from HBM during verification; EcoSpec adds a lightweight expert-activation predictor and a dynamic expert buffer to draft-tree selection, cutting the number of distinct experts touched per verification step and reaching up to 1.62x speedup on DeepSeek-V3.1, Qwen3-235B-A22B, and GPT-OSS-120B without touching the verification rule itself.
speculative-decodingTreeWY: Speculative Verification for Gated DeltaNet Hybrids
TreeWY removes the per-draft-position recurrent-state snapshot that makes wide speculative-decoding draft trees memory-infeasible for hybrid softmax+Gated-DeltaNet models, by rewriting the gated delta rule as a tree-structured WY transform that verifies every draft node with one triangular solve and reconstructs only the accepted state on commit.
speculative-decodingxPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding
Block-diffusion drafters sample every position from its own marginal, so a draft block is individually likely but jointly improbable; xPress adds a low-rank causal refiner that reconciles the whole block through parallel Jacobi iterations, lifting acceptance length from 6.25 to 8.02 tokens.