AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters

Background Speculative decoding accelerates autoregressive generation by having a small drafter model propose several tokens ahead, which a large target model then verifies and accepts or rejects in one pass. Diffusion models are increasingly used as drafters because their native parallel generation makes proposing multiple tokens at once natural.

배경 추측 디코딩(speculative decoding)은 작은 드래프터 모델이 여러 토큰을 미리 제안하고, 큰 타깃 모델이 이를 한 번에 검증해 받아들이거나 기각하는 방식으로 자기회귀 생성을 가속한다. 최근에는 확산모델을 드래프터로 쓰는 시도가 늘고 있는데, 확산모델은 병렬 생성이 가능해 여러 토큰을 한 번에 제안하기 유리하기 때문이다.

Problem The catch is that a diffusion drafter's bidirectional attention causes its acceptance rate to swing widely both across task domains (chat/code/math) and across token positions within a single draft. That variance undermines token-quality consistency and eats into the speedup speculative decoding is supposed to deliver.

문제 문제는 확산 드래프터의 양방향 어텐션이 도메인(chat/code/math)마다, 그리고 같은 초안 안에서도 토큰 위치마다 수락률(acceptance rate)을 크게 요동치게 만든다는 점이다. 이 편차는 토큰 품질의 일관성을 해쳐, 추측 디코딩이 약속하는 속도 향상을 갉아먹는다.

Prior limitations Prior diffusion-drafter speculative-decoding methods used a fixed candidate length or deployed the drafter as-is without any procedure to stabilize it toward the target distribution, leaving the domain- and position-dependent acceptance-rate swings unaddressed.

기존 한계 기존 확산-드래프터 추측 디코딩 방법들은 고정된 후보 길이를 쓰거나, 드래프터를 타깃 분포에 맞춰 안정화하는 절차 없이 그대로 배치했다. 그 결과 도메인이 바뀌거나 위치가 달라질 때마다 수락률이 들쭉날쭉해지는 문제를 그대로 안고 있었다.

Goal Stabilize the drafter's output distribution toward the target model's acceptance regions, and dynamically adjust candidate length to context, so that domain- and position-dependent acceptance variance shrinks while throughput improves.

목표 드래프터의 출력 분포를 타깃 모델의 수락 영역 쪽으로 안정화하고, 후보 길이를 상황에 맞게 동적으로 조절해, 도메인·위치에 따른 수락률 편차를 줄이면서 처리량을 끌어올리는 것이 목표다.

Method On-policy distillation trains the drafter on its own rollouts to minimize reverse-KL divergence against the target, pulling the drafter's distribution toward regions the target model readily accepts. The adaptive candidate-length head is a separate lightweight module that lengthens the draft when it is trustworthy and shortens it when uncertain. It resembles a speaker watching audience reaction in real time to decide how many sentences to say before pausing to check in — longer runs when the response is good, shorter check-ins when it's ambiguous.

방법 온-폴리시(on-policy) 증류는 드래프터 자신의 롤아웃에 대해 reverse-KL divergence를 최소화하도록 학습시켜, 드래프터 분포를 타깃 모델이 잘 받아들이는 영역 쪽으로 끌어당긴다. 적응형 후보 길이 헤드는 초안이 신뢰할 만할 때는 길게, 불확실할 때는 짧게 후보 길이를 그때그때 조절하는 별도의 경량 모듈이다. 마치 발표자가 청중의 반응을 실시간으로 보며 한 번에 몇 문장을 이어갈지 조절하는 것과 비슷하다 — 반응이 좋으면 길게, 애매하면 짧게 끊어서 확인받는다.

Key idea The core move is treating "stabilizing the distribution" and "adapting proposal length" as two separate axes and attacking both. Distillation alone cannot fully fix position-level variance, and length adaptation alone cannot fully fix domain-level variance; tuning both axes together lets each compensate for the other's residual variance.

핵심 아이디어 핵심은 "분포를 안정화하는 것"과 "제안 길이를 적응시키는 것"을 별개의 축으로 분리해 둘 다 공략한 것이다. 증류만으로는 위치별 편차를 다 잡지 못하고, 길이 적응만으로는 도메인별 편차를 다 잡지 못하는데, 두 축을 동시에 조절해 각각의 잔여 편차를 서로 보완한다.

Validation Throughput is measured against Qwen3-8B and Qwen3-Coder-30B-A3B as target models across six benchmark datasets, alongside a component-level ablation on GSM8K, a hyperparameter sensitivity analysis on GSM8K, and a reverse-KL divergence visualization between drafter and target on a representative GSM8K response.

검증 Qwen3-8B, Qwen3-Coder-30B-A3B를 타깃 모델로 6개 벤치마크 데이터셋에서 처리량을 측정하고, 구성 요소별 ablation(GSM8K), 하이퍼파라미터 민감도 분석(GSM8K), 대표 응답에 대한 드래프터-타깃 reverse-KL 시각화까지 포함한다.

Results Reports up to roughly 66% higher throughput than prior state-of-the-art methods in high-concurrency serving scenarios, with speedup continuing to improve across online-adaptation rounds on MathQA.

결과 고동시성 서빙 시나리오에서 이전 최고 성능 방법 대비 최대 약 66% 높은 처리량을 보고한다. 온라인 적응 라운드가 진행될수록(MathQA) 속도 향상이 꾸준히 개선되는 경향도 함께 보고된다.

Comparison At the abstract-level scope this review draws from, direct comparison numbers against standard AR-drafter speculative decoding are not identifiable — comparisons are reported primarily against prior diffusion-drafter methods (not stated in the paper, from this review's vantage point).

비교 이 리뷰가 참조한 초록 수준에서는 AR 드래프터를 쓰는 표준 추측 디코딩 방법과의 직접 비교 수치는 확인되지 않는다 — 비교는 주로 이전 확산-드래프터 방법들 대비로 보고된다(논문 내 명시 없음, 이 리뷰 범위 기준).

Significance From a serving-efficiency standpoint, this shows that predictability of the acceptance rate, not just raw parallelism, is what makes a diffusion drafter practical — however parallel the drafter is, an erratic acceptance rate does not translate into real throughput gains. Repurposing on-policy distillation, a tool more commonly associated with policy stabilization, for the drafter-target alignment problem is a notable reuse of technique.

의의 서빙 효율 관점에서, 확산모델을 드래프터로 쓰는 접근이 실용적이려면 수락률의 예측 가능성이 관건이라는 점을 보여준다 — 아무리 병렬성이 좋아도 수락률이 들쭉날쭉하면 실제 처리량 이득으로 이어지지 않는다. 온-폴리시 증류라는, 원래 다른 맥락(정책 안정화)에서 쓰이던 도구를 드래프터-타깃 정렬 문제에 재적용한 점이 흥미롭다.

Limitations Whether the domain-level variance is specific to diffusion drafters or would appear in any undistilled drafter is not distinguished by a control comparison at the abstract-level scope this review draws from (reviewer judgment).

한계 AR 드래프터 대비 도메인 편차가 확산 드래프터에 고유한 현상인지, 아니면 증류 없는 임의의 드래프터 일반에 나타나는 현상인지를 가르는 대조군이 이 리뷰가 참조한 초록 수준에서는 보이지 않는다(리뷰어 판단).

Future work No explicit future-work items are identifiable within the abstract-level scope this review draws from.

향후 과제 논문 내 명시된 future-work 항목은 이 리뷰가 참조한 초록 범위에서는 확인되지 않는다.

Released resources No public code repository was found, no public release verified.

자원 공개 공개 코드 저장소는 확인되지 않았다 — 공개 링크 확인 안 됨.