AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding

Background Speculative decoding accelerates autoregressive LLM inference by having a cheap draft model propose tokens that an expensive target model verifies in one batched forward pass, exact by construction so the target's output distribution never changes. Two drafting structures dominate current practice: lightweight autoregressive Multi-Token-Prediction (MTP) heads shipped built into frontier models, and block-parallel diffusion drafters (the DFlash/DFlare line) that amortize drafting latency over much longer candidate blocks.

배경 스펙큘레이티브 디코딩은 저렴한 드래프터가 토큰을 제안하고 비싼 target 모델이 한 번의 배치 forward로 이를 검증하는 방식으로, 구조상 target의 출력 분포를 바꾸지 않고 자기회귀 LLM 추론을 가속한다. 현재 실전에서는 두 드래프팅 구조가 주로 쓰인다 -- 프런티어 모델에 내장되는 경량 자기회귀 Multi-Token-Prediction(MTP) 헤드와, 긴 후보 블록에 걸쳐 드래프팅 지연을 분산시키는 블록-병렬 확산 드래프터(DFlash/DFlare 계열)다.

Problem No single drafting structure wins across every workload -- MTP proposes short, stable candidates well-suited to high-entropy open-ended chat, while block-diffusion drafters only pay off when continuations are long and predictable, as in code or math. A single drafter fit to a uniform data mixture underperforms both specialized options, and real serving deployments vary further by domain, request, load, and hardware, which a fixed verification depth cannot track.

문제 어떤 단일 드래프팅 구조도 모든 워크로드에서 이기지 못한다 -- MTP는 짧고 안정적인 후보를 제안해 고-엔트로피 개방형 대화에 적합하지만, 블록-확산 드래프터는 연속된 내용이 길고 예측 가능할 때(코드·수학)만 이득을 본다. 균일한 데이터 혼합에 맞춰 학습된 단일 드래프터는 두 특화된 선택지 모두보다 성능이 떨어지며, 실제 서빙 환경은 도메인·요청·부하·하드웨어에 따라 달라져 고정된 검증 깊이로는 이를 따라잡지 못한다.

Prior limitations DFlash and DFlare each improve target-conditioning for block-diffusion drafters but were developed and evaluated independently of MTP, without co-specializing training data by domain. The same author group's earlier D-cut (2607.14647) established batch-level verification-budget pruning, but as a standalone technique layered onto one fixed drafter rather than a part of a unified training-plus-architecture-plus-inference framework.

기존 한계 DFlash와 DFlare는 각각 블록-확산 드래프터의 target-conditioning을 개선했지만 MTP와 독립적으로 개발·평가되었고 도메인별 학습 데이터 co-specialization은 다루지 않았다. 같은 저자 그룹의 이전 연구인 D-cut(2607.14647)은 배치 단위 검증-예산 가지치기를 확립했지만, 이는 단일 고정 드래프터 위에 얹힌 독립 기법이었지 학습+아키텍처+추론을 아우르는 통합 프레임워크의 일부는 아니었다.

Goal Build one training framework that specializes both drafting paradigms to the workloads they are actually good at, upgrades the block-diffusion architecture itself, and lets the serving-time verification budget adapt online -- validated at real production scale (Tencent's Hy3 MoE model family) rather than a static benchmark mixture.

목표 두 드래프팅 패러다임을 각자 실제로 잘하는 워크로드에 특화시키고, 블록-확산 아키텍처 자체를 개선하며, 서빙 시점의 검증 예산이 온라인으로 적응하게 만드는 하나의 학습 프레임워크를 구축하는 것이 목표다 -- 그것도 고정된 벤치마크 혼합이 아니라 실제 프로덕션 규모(Tencent의 Hy3 MoE 모델 계열)에서 검증한다.

Method Three levels. (Training) Co-specialize data by structure: the MTP drafter trains on diverse conversational data for open-ended chat, the block-diffusion drafter (DFly) trains on code and math data for longer, more predictable spans, and the shared-parameter multi-depth MTP module is autoregressively unrolled during training via an EAGLE-3-style Training-Time Test, so it faces the same compounding exposure-bias error trajectory in training that it will face at inference. (Architecture) DFly's hybrid target-conditioning backbone combines DFlash's single shared multi-layer target-feature fusion with DFlare's per-draft-layer learned weighting of target features, then adds a lightweight predecessor-conditioned autoregressive correction head after the parallel backbone to recover intra-block token dependencies the parallel generation would otherwise miss. (Inference) D-cut treats the whole serving batch's verification compute as one shared resource, using a profiled cost model to estimate each request's expected utility and reallocating verification depth toward high-confidence prefixes online, instead of giving every request a fixed, independent draft depth.

방법 세 레벨로 구성된다. (학습) 구조별로 데이터를 co-specialize한다 -- MTP 드래프터는 다양한 대화 데이터로, 블록-확산 드래프터(DFly)는 더 길고 예측 가능한 구간을 위한 코드·수학 데이터로 학습하며, 공유-파라미터 다중-깊이 MTP 모듈을 EAGLE-3식 Training-Time Test로 학습 중에 자기회귀적으로 unroll해 추론 시 겪을 것과 같은 누적 오차 궤적을 학습 단계에서 미리 겪게 한다. (아키텍처) DFly의 hybrid target-conditioning 백본은 DFlash의 단일 공유 다중-레이어 target-feature 융합과 DFlare의 드래프트-레이어별 학습된 가중 결합을 결합하고, 병렬 백본 뒤에 predecessor-conditioned 경량 자기회귀 보정 헤드를 추가해 병렬 생성이 놓치는 블록 내부 토큰 의존성을 되살린다. (추론) D-cut은 서빙 배치 전체의 검증 연산을 하나의 공유 자원으로 취급해, 프로파일된 비용 모델로 각 요청의 기대 효용을 추정하고 검증 깊이를 확신도 높은 접두사 쪽으로 온라인 재분배한다 -- 모든 요청에 고정된 독립 드래프트 깊이를 주는 대신이다.

Key idea The same shift recurs at all three levels: stop treating "one drafter, one depth, one training recipe" as a fixed default, and instead let every layer of the system -- training data, architecture, and the online verification budget -- track one underlying fact, that different requests and domains have systematically different amounts of "speculatable" structure, so paying a uniform cost for all of them wastes compute on the ones that do not have much. It is like a newsroom that stops assigning every story to one generalist reporter drafting a fixed length: routine wire copy goes to a fast short-form writer, an investigative piece goes to someone allowed to draft much longer before the editor checks in, and fact-checking staff get reallocated hour by hour toward whichever desk has the most promising draft in hand, rather than splitting review time evenly regardless of what is actually on each desk.

핵심 아이디어 세 레벨 모두를 관통하는 동일한 전환은, "드래프터 하나·깊이 하나·학습 레시피 하나"를 고정 기본값으로 두지 않고, 학습 데이터·아키텍처·온라인 검증 예산이라는 시스템의 모든 층이 하나의 사실을 함께 추적하게 만드는 것이다 -- 요청과 도메인마다 "추측 가능한" 구조의 양이 체계적으로 다르며, 그 차이를 무시하고 모두에게 균일한 비용을 지불하면 구조가 별로 없는 요청에 연산을 낭비하게 된다는 사실이다. 비유하자면, 모든 기사를 같은 고정 길이 초안을 쓰는 만능 기자 한 명에게 맡기는 대신, 정형화된 통신사 기사는 빠른 단문 작가에게 보내고 탐사 보도는 편집장 확인 전까지 훨씬 길게 쓸 수 있는 기자에게 맡기며, 팩트체크 인력도 어느 부서 책상에 가장 유망한 초안이 있는지에 따라 시간 단위로 재배치하는 편집국과 같다 -- 무엇이 올려져 있든 상관없이 검토 시간을 부서별로 균등 분배하지 않는 것이다.

Validation Evaluated across the whole Hy3 MoE model series (up to 295B-A21B) rather than one small target. The D-cut component in particular is validated by replaying real Hunyuan production traffic -- not a static benchmark mixture -- against Hy3-295B-A21B at TP=8 on 8xH20 GPUs, sweeping concurrency from 2 to 64. The paper also reports a 'Modular Performance Analysis' that decomposes decode-step latency into per-component contributions and relates them directly to end-to-end throughput.

검증 단일한 소형 target이 아니라 Hy3 MoE 모델 계열 전체(최대 295B-A21B)에 걸쳐 평가했다. D-cut 컴포넌트는 특히 고정 벤치마크 혼합이 아니라 실제 Hunyuan 프로덕션 트래픽을 Hy3-295B-A21B에 재생시켜, TP=8·8xH20 GPU 환경에서 동시성 2-64 구간을 스윕하며 검증했다. 논문은 또한 decode-step 지연을 컴포넌트별로 분해해 종단간 처리량과 직접 연결하는 "Modular Performance Analysis"도 보고한다.

Results On Hy3-A21B, DFly raises average accepted length by roughly 30% over the prior block-diffusion drafter, reaching the highest average throughput at every tested concurrency from 4 to 64, a 1.98-2.40x speedup over plain autoregressive decoding, and 10.5-11.8% higher throughput than DFlash specifically. D-cut's batch-level budget reallocation is reported to extend the useful concurrency range and improve the latency-throughput frontier on live traffic against the larger Hy3-295B-A21B model, preserving acceptance while cutting verification cost.

결과 Hy3-A21B에서 DFly는 기존 블록-확산 드래프터 대비 평균 수용 길이를 약 30% 끌어올리며, 동시성 4~64 전 구간에서 가장 높은 평균 처리량을 달성하고 순수 자기회귀 디코딩 대비 1.98-2.40배 속도 향상, DFlash 대비 10.5-11.8% 높은 처리량을 기록한다. D-cut의 배치 단위 예산 재분배는 더 큰 Hy3-295B-A21B 모델의 실 트래픽에서 유효 동시성 범위를 넓히고 지연-처리량 프론티어를 개선하며, 수용률을 보존한 채 검증 비용을 절감하는 것으로 보고된다.

Comparison The paper's primary quantitative baseline is DFlash, the prior single-shared-context block-diffusion drafter design, which DFly beats by 10.5-11.8% throughput at matched settings. D-cut is positioned as a direct extension of the authors' own earlier standalone D-cut paper, now folded into the training-plus-architecture-plus-inference framework and re-validated on a larger model against live traffic. No trained EAGLE-3-style autoregressive-only drafter is reported as a direct throughput baseline in the material read here.

비교 논문의 주된 정량 비교 대상은 DFlash -- 단일 공유 컨텍스트를 쓰는 이전 블록-확산 드래프터 설계 -- 이며, DFly는 동일 설정에서 10.5-11.8% 더 높은 처리량으로 이를 앞선다. D-cut은 저자들 자신의 이전 독립 D-cut 논문의 직접적 확장으로 위치되며, 이번에는 학습+아키텍처+추론 프레임워크에 통합되어 더 큰 모델과 실 트래픽으로 재검증됐다. 이번에 읽은 자료 수준에서는 학습된 EAGLE-3류 자기회귀 전용 드래프터를 처리량 기준으로 직접 비교한 결과는 보고되지 않는다.

Significance Coming from Tencent Hunyuan's own production stack (the Hy3 series) rather than a scaled-down academic demo, and folding in the team's own prior D-cut work rather than treating it as unrelated related work, this reads as an engineering-driven convergence report: three previously separate levers -- training-data specialization, drafter architecture, and online verification-budget scheduling -- unified into one framework because a single frontier lab hit all three bottlenecks on the same production system. The 'co-specialize data and structure to the workload' idea itself is a fairly general recipe other multi-domain serving stacks with heterogeneous request mixes could adopt regardless of the specific DFly architecture.

의의 학계의 축소판 데모가 아니라 Tencent Hunyuan 자체 프로덕션 스택(Hy3 계열)에서 나왔고, 자체의 이전 D-cut 연구를 무관한 related work로 취급하지 않고 그대로 통합했다는 점에서, 이 논문은 엔지니어링 주도의 수렴 사례로 읽힌다 -- 이전까지 별개였던 세 가지 레버(학습 데이터 특화, 드래프터 아키텍처, 온라인 검증-예산 스케줄링)가 하나의 프런티어 랩이 같은 프로덕션 시스템에서 세 병목을 모두 마주쳤기 때문에 한 프레임워크로 합쳐졌다. "워크로드에 맞춰 데이터와 구조를 함께 특화한다"는 아이디어 자체는 DFly라는 특정 아키텍처와 무관하게, 이질적인 요청 혼합을 다루는 다른 멀티 도메인 서빙 스택에도 적용 가능한 비교적 일반적인 레시피다.

Limitations (reviewer judgment) All headline numbers are measured on Tencent's own Hy3 model family -- no non-Hunyuan MoE or dense target model is evaluated in the material read here, so how much of the gain is Hy3-specific architecture interaction versus a general recipe is untested. The paper does state one directly relevant caveat itself: D-cut is effective on the deeper (D=8) block-parallel path but, per its own SS4.3, the short-horizon MTP path (D=3) 'leaves a smaller verification surface and correspondingly less room to prune.' (reviewer judgment) The DFlash comparison isolates the architecture change, but no head-to-head comparison against a trained autoregressive-only drafter (EAGLE-3-style) is reported, so it is unclear how DFly's gains compare outside the block-diffusion drafter family it was designed to improve on.

한계 (리뷰어 판단) 헤드라인 수치는 모두 Tencent 자체 Hy3 모델 계열에서 측정됐다 -- 이번에 읽은 자료에는 Hunyuan 계열이 아닌 MoE나 dense 모델 등 타 연구실 target 모델 평가가 없어, 이득 중 얼마가 Hy3 고유 아키텍처와의 상호작용이고 얼마가 일반적인 레시피인지는 미검증이다. 논문 자체가 명시하는 관련 관찰로는, D-cut은 드래프터 깊이가 큰(D=8) 블록-병렬 경로에는 유효하지만 짧은 지평(D=3)의 MTP 경로는 "검증 표면이 작아 가지치기 여지도 그만큼 작다"고 §4.3에서 스스로 밝힌다. (리뷰어 판단) DFlash와의 처리량 비교는 아키텍처 변경 효과를 분리해 보여주지만, 학습된 자기회귀 전용 스펙 드래프터(EAGLE-3류)와의 정면 비교는 보고되지 않아 DFly의 이득이 이 블록-확산 드래프터 계열 바깥에서는 어떻게 비교되는지는 불명확하다.

Future work Rather than listing future directions directly, the paper releases the AngelSpec framework as open source 'to support training and extending these methods,' positioning the released training stack itself as the channel for future extension -- long-context training, document-aware sequence packing, and an evaluation server are named as framework features meant to support further work. Separately, its own SS3.5 ablation explicitly shows that mismatched thinking-mode between training and evaluation sharply hurts accepted length (a no-think drafter scores 4.79 evaluated no-think but drops to 3.29 evaluated high-think).

향후 과제 논문은 스스로 미래 연구 방향을 나열하기보다, AngelSpec 프레임워크를 "이 방법들을 학습·확장하는 것을 지원하기 위해" 오픈소스로 공개한다고 명시하며 공개된 학습 스택 자체를 향후 확장의 통로로 위치시킨다 -- 장문맥 학습, 문서-인지 시퀀스 패킹, 평가 서버가 이후 연구를 지원하기 위한 프레임워크 기능으로 이름 붙여져 있다. §3.5의 자체 ablation은 별도로, 학습·평가 시 thinking-모드가 일치하지 않으면 평균 수용 길이가 크게 떨어진다는 것(no-think 드래프터를 no-think로 평가 시 4.79, 동일 드래프터를 high-think로 평가 시 3.29로 하락)을 명시적으로 보여준다.

Released resources The paper states the AngelSpec training framework is released as open source, but no verifiable public repository link was found on the arXiv abstract page or in the paper's HTML rendering -- no public release verified. The paper itself is on arXiv under a CC BY 4.0 license.

자원 공개 논문은 AngelSpec 학습 프레임워크를 오픈소스로 공개한다고 밝히지만, arXiv 초록 페이지나 논문 HTML 렌더링 어디에서도 검증 가능한 공개 저장소 링크는 찾지 못했다 -- 공개 링크 확인 안 됨. 논문 자체는 CC BY 4.0 라이선스로 arXiv에 공개돼 있다.