DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

Background Speculative decoding accelerates LLM inference by having a lightweight drafter propose multiple tokens that the target model verifies in one pass, and recent parallel (non-autoregressive) drafters can propose long sequences in a single forward call. In the DFlash-style design DSpark builds on, the drafter takes one anchor token plus mask tokens and fills the whole block in a single forward pass, with hidden states from selected target-model layers injected as context (KV injection). Because drafting latency is nearly independent of block size, parallel drafters can afford deeper networks under the same latency budget, which buys them noticeably higher first-position acceptance than autoregressive Eagle3 (0.88 vs 0.81 on Math).

배경 Speculative decoding은 경량 drafter가 여러 token을 제안하고 target 모델이 한 번에 검증하는 방식으로 LLM 추론을 가속하며, 최근의 parallel(non-autoregressive) drafter는 한 번의 forward pass로 긴 시퀀스를 제안할 수 있다. DSpark가 기반으로 삼는 DFlash류 설계에서는 drafter가 anchor token 하나와 mask token들을 받아 block 전체를 단일 forward pass로 채우며, target 모델 일부 layer의 hidden state가 context로 주입된다(KV injection). Drafting 지연이 block 크기에 거의 무관하므로 parallel drafter는 같은 지연 예산에서 더 깊은 네트워크를 쓸 수 있고, 그 덕에 첫 위치 수락률이 autoregressive Eagle3보다 눈에 띄게 높다(Math에서 0.88 vs 0.81).

Problem Parallel drafters suffer rapid acceptance decay toward the end of a drafted block because they lack inter-token dependency modeling, and verifying an entire long block regardless of this decay wastes verification and batch capacity on tokens likely to be rejected. The mechanism is that each parallel position marginalizes over all possible prior tokens instead of conditioning on the exact sampled prefix, so the drafter stitches together inconsistent suffixes: on Qwen3-4B, the conditional acceptance of DFlash falls from 0.87 to 0.78 on Code and 0.72 to 0.63 on Chat between draft positions 1 and 7. It is like a team filling in the blanks of one sentence simultaneously without seeing each other's answers — every word is plausible on its own, but the sentence they jointly produce often falls apart.

문제 Parallel drafter는 token 간 의존성을 모델링하지 않기 때문에 drafted block 뒷부분으로 갈수록 수락률이 급격히 감소하고, 이 감소를 무시한 채 긴 block 전체를 검증하면 거부될 가능성이 높은 token에 검증·배치 용량을 낭비하게 된다. 메커니즘은 각 parallel 위치가 실제 샘플링된 접두사에 조건화하는 대신 가능한 모든 이전 token을 marginalize한다는 것이고, 그 결과 drafter가 서로 모순된 suffix를 이어 붙인다: Qwen3-4B에서 DFlash의 조건부 수락률은 draft 위치 1→7 사이에 Code에서 0.87→0.78, Chat에서 0.72→0.63으로 떨어진다. 이는 한 문장의 빈칸들을 서로의 답을 못 본 채 동시에 채우는 팀과 같다 — 단어 하나하나는 그럴듯하지만 함께 만든 문장은 자주 무너진다.

Prior limitations Purely autoregressive drafters (Eagle-style) model inter-token dependency and keep acceptance stable across a block but are slower to draft; purely parallel drafters draft fast but decay quickly within a block, and neither adapts verification length to the actual accept-likelihood of a request. In fact the conditional acceptance of Eagle3 rises deeper into the block (0.53 → 0.74 on Chat) because every token conditions on the sampled prefix, but each drafted token costs one sequential forward pass. Existing threshold-based verification heuristics only exploit the rank order of confidence scores; they provide neither calibrated absolute acceptance probabilities nor any coupling to the batch-throughput profile of the serving engine, so verification length stays blind to system load.

기존 한계 순수 autoregressive drafter(Eagle류)는 token 간 의존성을 모델링해 block 전반의 수락률을 안정적으로 유지하지만 초안 생성이 느리고, 순수 parallel drafter는 빠르지만 block 내에서 빠르게 감소하며, 둘 다 요청별 실제 수락 가능성에 따라 검증 길이를 조정하지 않는다. 실제로 Eagle3의 조건부 수락률은 모든 token이 샘플링된 접두사에 조건화되는 덕에 block 깊숙이 갈수록 오히려 상승하지만(Chat에서 0.53→0.74), draft token 하나마다 순차 forward pass 한 번이 필요하다. 기존의 threshold 기반 검증 휴리스틱은 confidence 점수의 순위만 활용할 뿐 보정된 절대 수락 확률도, serving 엔진의 batch-throughput 프로파일과의 결합도 제공하지 않아 검증 길이가 시스템 부하를 전혀 보지 못한다.

Goal Recover the accepted-length benefits of dependency-aware drafting while retaining most of the drafting speed of parallel generation, and adapt verification cost per request under production serving load. Concretely, the target is a drafter whose accepted length approaches dependency-aware quality at near-parallel drafting cost, plus a verification policy that maximizes system-wide throughput (expected accepted tokens × engine steps-per-second at the chosen batch size) rather than any fixed block length. The end goal is framed at the serving level: shift the throughput-vs-interactivity Pareto frontier of a production system, including SLA tiers the baseline cannot sustain.

목표 병렬 생성의 초안 생성 속도를 대부분 유지하면서 의존성 인식 drafting의 수락 길이 이점을 회복하고, 실제 서빙 부하 하에서 요청별로 검증 비용을 적응시키는 것. 구체적으로는 dependency-aware 품질에 근접한 수락 길이를 거의 parallel 수준의 drafting 비용으로 내는 drafter, 그리고 고정 block 길이가 아니라 시스템 전체 처리량(기대 수락 token 수 × 해당 batch 크기에서의 엔진 steps-per-second)을 최대화하는 검증 정책이 목표다. 최종 목표는 serving 수준에서 정의된다: baseline이 지탱하지 못하는 SLA 티어까지 포함해 production 시스템의 처리량-상호작용성 Pareto frontier를 밖으로 밀어내는 것.

Method DSpark uses a semi-autoregressive drafter — a parallel backbone coupled with a lightweight sequential module (a low-rank "Markov head") for intra-block dependency — together with confidence-scheduled verification, where a per-token confidence head estimates prefix survival probability and the system picks a per-request verification length that maximizes measured system throughput. The Markov head is a low-rank factorized transition matrix B=W1W2 (rank r=256) that biases the logits at each position conditioned on the previously sampled token; sampling runs left-to-right through it while the heavy backbone runs only once, adding just 0.2–1.3% full-round latency as block length scales from 4 to 16. Think of it as bolting a cheap one-word-lookback autocorrect onto a fast parallel typist: the typist still writes the whole line at once, and the autocorrect fixes each word against its immediate predecessor. Training combines cross-entropy, a total-variation distribution-matching loss, and a confidence loss (weights 0.1/0.9/1.0) with exponentially decaying position weights, keeping the target model frozen.

방법 DSpark는 block 내 의존성을 위한 경량 순차 모듈("Markov head")을 결합한 parallel backbone인 반-자기회귀적 drafter를 사용하며, token별 confidence head가 접두사 생존 확률을 추정하고 시스템은 측정된 처리량을 최대화하는 요청별 검증 길이를 선택하는 confidence 기반 검증 스케줄링과 결합한다. Markov head는 직전에 샘플링된 token에 조건화해 각 위치의 logits에 편향을 더하는 low-rank 분해 전이 행렬 B=W1W2(rank r=256)로, 무거운 backbone은 한 번만 돌고 샘플링만 이를 통해 좌→우로 진행되어 block 길이를 4→16으로 늘려도 전체 라운드 지연이 0.2–1.3%만 늘어난다. 빠른 parallel 타이피스트에 값싼 한 단어 되돌아보기 자동교정기를 얹은 셈이다: 타이피스트는 여전히 한 줄을 한 번에 치고, 자동교정기는 각 단어를 바로 앞 단어에 맞춰 고친다. 학습은 cross-entropy, total-variation 분포 매칭 loss, confidence loss를 가중치 0.1/0.9/1.0으로 결합하고 지수적으로 감쇠하는 위치 가중치를 쓰며, target 모델은 동결 상태를 유지한다.

Key idea A trained confidence head predicts the probability that each draft token will survive target verification (supervised by the analytic total-variation-distance acceptance rate), and multiplying these probabilities along the drafted sequence gives a prefix survival curve that the scheduler uses to cut verification short for low-survival requests and extend it for high-survival ones. Because the scheduler needs absolute probabilities — not just rankings — to estimate expected accepted tokens, and the raw scores are overconfident (ECE 3–8%), they are post-hoc calibrated with Sequential Temperature Scaling down to roughly 1% ECE. The hardware-aware scheduler then sorts all candidate prefix extensions across requests by survival probability and greedily admits them while measured throughput (expected accepts × steps-per-second) still increases — like a boarding gate admitting standby passengers in order of their show-up probability, and stopping the moment one more seat would delay the flight for everyone already on board.

핵심 아이디어 학습된 confidence head가 각 draft token이 target 검증에서 살아남을 확률을 예측하고(분석적인 total-variation-distance 수락률로 지도학습), 이 확률들을 drafted 시퀀스를 따라 곱하면 접두사 생존 곡선이 나오는데, 스케줄러는 이를 이용해 생존율이 낮은 요청은 검증을 짧게, 높은 요청은 길게 조정한다. 스케줄러가 기대 수락 token 수를 추정하려면 순위가 아니라 절대 확률이 필요한데 raw 점수는 과신 상태(ECE 3–8%)라, Sequential Temperature Scaling으로 사후 보정해 ECE를 약 1%까지 낮춘다. Hardware-aware scheduler는 모든 요청의 후보 접두사 확장을 생존 확률 순으로 정렬해 측정 처리량(기대 수락 수 × steps-per-second)이 증가하는 동안만 탐욕적으로 승인한다 — 탑승 확률 순으로 standby 승객을 태우다가, 한 명 더 태우는 순간 이미 탄 모두의 비행이 늦어지면 바로 멈추는 탑승 게이트와 같다.

Validation Evaluated offline on Qwen3-4B/8B/14B and Gemma4-12B against autoregressive (Eagle3) and parallel (DFlash) drafters across multiple benchmark domains, and deployed in DeepSeek-V4 production serving (V4-Flash and V4-Pro) under live user traffic against a production MTP-1 baseline. All drafters share one training recipe — prompts from the 1.3M-sample Open-PerfectBlend mix (39.4% math, 38.9% code, 17.6% chat) with responses regenerated by each target model — trained for 10 epochs. Ablations cover drafter depth, proposal length, confidence-threshold sweeps, and calibration reliability, and the production runs use DSpark-5 (max draft length γ=5) on the DeepSeek-V4-Flash and V4-Pro preview engines.

검증 Qwen3-4B/8B/14B와 Gemma4-12B에서 autoregressive(Eagle3) 및 parallel(DFlash) drafter와 여러 벤치마크 도메인에 걸쳐 오프라인으로 비교했고, DeepSeek-V4 실서비스(V4-Flash, V4-Pro)에 배포해 실사용자 트래픽 하에서 production MTP-1 베이스라인과 비교했다. 모든 drafter가 동일한 학습 레시피를 공유한다 — 1.3M 샘플 Open-PerfectBlend 믹스(math 39.4%, code 38.9%, chat 17.6%)의 prompt만 쓰고 응답은 각 target 모델이 재생성 — 10 epoch 학습. Ablation은 drafter 깊이, proposal 길이, confidence threshold sweep, 보정 신뢰도를 다루고, production 실험은 DeepSeek-V4-Flash·V4-Pro preview 엔진에서 DSpark-5(최대 draft 길이 γ=5)를 쓴다.

Results Offline accepted length improves 26.7-30.9% over Eagle3 and 16.3-18.4% over DFlash across the tested Qwen3 sizes; in DeepSeek-V4 production, DSpark improves aggregate throughput 51% (V4-Flash, 80 tok/s/user SLA) and 52% (V4-Pro, 35 tok/s/user SLA), and accelerates per-user generation 60-85% at matched throughput levels. The margin over DFlash widens exactly where suffix decay hurts most: +16/15/18% accepted length (math/code/chat) at block length 7 grows to +30/26/22% at block length 15. On V4-Pro the per-user speedup at matched throughput is 57–78%, and under the stricter SLAs (120 tok/s/user on Flash, 50 tok/s/user on Pro) the MTP-1 baseline collapses into a low-concurrency regime — the paper reports a nominal 406% throughput advantage at the 50 tok/s point but explicitly treats it as evidence of an unlocked tier rather than a headline number.

결과 오프라인 수락 길이는 테스트한 Qwen3 크기들에서 Eagle3 대비 26.7-30.9%, DFlash 대비 16.3-18.4% 개선되며, DeepSeek-V4 실서비스에서는 종합 처리량이 V4-Flash(80 tok/s/user SLA)에서 51%, V4-Pro(35 tok/s/user SLA)에서 52% 개선되고, 동일 처리량 기준 사용자별 생성 속도는 60-85% 빨라진다. DFlash 대비 격차는 suffix 감소가 가장 아픈 곳에서 벌어진다: block 길이 7에서 수락 길이 +16/15/18%(math/code/chat)가 block 길이 15에서는 +30/26/22%로 커진다. V4-Pro의 동일 처리량 기준 사용자별 가속은 57–78%이고, 더 엄격한 SLA(Flash 120 tok/s/user, Pro 50 tok/s/user)에서는 MTP-1 baseline이 저동시성 영역으로 무너진다 — 논문은 50 tok/s 지점에서 명목 406% 처리량 우위를 보고하지만, 이를 헤드라인 수치가 아니라 잠금 해제된 티어의 증거로 명시적으로 취급한다.

Comparison Compared against Eagle3 (autoregressive) and DFlash (parallel) drafters offline, and against a production MTP-1 baseline in the live DeepSeek-V4 deployment. One telling depth ablation: a 2-layer DSpark beats the 5-layer DFlash baseline across all domains at fixed proposal length, so the lightweight sequential head buys more accepted length per parameter than raw backbone depth. The acceptance-rate curves the paper reports are a function of intra-block token position, not total context length — the two are easy to conflate but describe different phenomena.

비교 오프라인에서는 Eagle3(autoregressive)와 DFlash(parallel) drafter와, 실서비스에서는 production MTP-1 베이스라인과 비교했다. 인상적인 깊이 ablation 하나: 고정 proposal 길이에서 2-layer DSpark가 5-layer DFlash baseline을 모든 도메인에서 이겨, 경량 sequential head가 backbone 깊이보다 파라미터당 수락 길이를 더 많이 사준다. 논문이 보고하는 수락률 곡선은 전체 문맥 길이가 아니라 block 내 token 위치에 대한 함수다 — 둘은 혼동하기 쉽지만 서로 다른 현상을 기술한다.

Significance It is a rare speculative-decoding paper validated at real production scale (a major lab live serving system) rather than only offline benchmarks, and demonstrates that adaptive, per-request verification length is a practical lever for throughput under strict per-user latency SLAs. The serving-level framing — aggregate throughput vs per-user tok/s as a Pareto frontier, with strict SLA tiers "unlocked" — is a template other speculative-decoding papers rarely provide, since offline accepted length alone does not predict system value (reviewer judgment). The production numbers are the difference between a wind-tunnel result and a flight log: the 60–85% gains are measured under live user traffic with real engine constraints, not simulated load.

의의 오프라인 벤치마크뿐 아니라 실제 프로덕션 규모(대형 랩의 실서비스 시스템)에서 검증된 드문 speculative decoding 논문이며, 엄격한 사용자별 지연 SLA 하에서 적응적·요청별 검증 길이가 처리량에 실용적인 지렛대임을 보여준다. 총 처리량 vs 사용자별 tok/s를 Pareto frontier로 놓고 엄격한 SLA 티어의 "잠금 해제"를 보고하는 serving 수준 프레이밍은 다른 speculative decoding 논문이 좀처럼 제공하지 않는 템플릿이다 — 오프라인 수락 길이만으로는 시스템 가치를 예측할 수 없기 때문이다 (리뷰어 판단). Production 수치는 풍동 실험과 실제 비행 기록의 차이다: 60–85% 이득은 시뮬레이션 부하가 아니라 실사용자 트래픽과 실제 엔진 제약 아래에서 측정됐다.

Limitations The authors state that for complex queries with inherently low acceptance rates, the upfront drafting compute is unrecoverable, and their throughput modeling assumes context lengths remain well below extremes such as 1M tokens. The confidence signal is also imperfect out of the box — raw scores are systematically overconfident and must be post-hoc calibrated (STS) before the scheduler can trust their absolute magnitudes. In production the scheduler additionally runs asynchronously, sizing verification capacity from confidence outputs two steps earlier to stay compatible with Zero-Overhead Scheduling and CUDA-graph replay — an approximation the offline algorithm does not need.

한계 저자들은 원래 수락률이 낮은 복잡한 질의의 경우 초기 drafting 연산 비용을 회수할 수 없다고 명시하며, 처리량 모델링은 문맥 길이가 100만 token 같은 극단적인 값보다 훨씬 낮게 유지된다고 가정한다. Confidence 신호도 그 자체로는 불완전하다 — raw 점수는 체계적으로 과신되어 있어 scheduler가 절대값을 신뢰하려면 STS 사후 보정이 필수다. Production에서는 scheduler가 Zero-Overhead Scheduling·CUDA graph replay와의 호환을 위해 두 step 전의 confidence 출력으로 검증 용량을 산정하는 비동기 방식으로 돌아간다 — 오프라인 알고리즘에는 없는 근사다.

Future work The paper suggests difficulty-aware early exiting for low-acceptance queries as a direction for future work. This targets the acknowledged worst case: requests predicted to have low acceptance could skip full-block generation, converting the unrecoverable drafting cost into an early exit. Beyond this single direction, no further future work is stated in the paper.

향후 과제 논문은 수락률이 낮은 질의에 대한 난이도 인식 조기 종료(early exiting)를 향후 방향으로 제시한다. 이는 저자들이 인정한 최악 케이스를 겨냥한다: 수락률이 낮을 것으로 예측되는 요청은 full-block 생성을 건너뛰게 해 회수 불가능한 drafting 비용을 early exit으로 전환하자는 것이다. 이 한 방향 외의 future work은 논문 내 명시 없음.

Released resources Code (including Eagle3, DFlash, and DSpark implementations) is released as the DeepSpec repository on GitHub, and trained DSpark checkpoints are released for both DeepSeek-V4-Flash (preview) and DeepSeek-V4-Pro (preview) on Hugging Face. DeepSpec is framed as an algorithm-driven training repository, meaning the baselines were re-implemented and trained under the same recipe rather than imported as-is. The training data (Open-PerfectBlend) is itself an open-sourced instruction mix, so the offline pipeline is in principle reproducible end-to-end.

자원 공개 Eagle3·DFlash·DSpark 구현을 포함한 코드가 GitHub의 DeepSpec 저장소로 공개됐고, 학습된 DSpark 체크포인트는 DeepSeek-V4-Flash(preview)와 V4-Pro(preview) 둘 다 Hugging Face에 공개되어 있다. DeepSpec은 algorithm-driven 학습 저장소로 소개되는데, baseline들도 그대로 가져온 것이 아니라 같은 레시피로 재구현·재학습됐다는 뜻이다. 학습 데이터(Open-PerfectBlend) 역시 공개 instruction 믹스라 오프라인 파이프라인은 원칙적으로 end-to-end 재현이 가능하다.