AgentSpec: Speculative Decoding for Batch Inference of LLM Agents

Background Large language model (LLM) agent applications -- multi-step reasoning, tool invocation, environment interaction -- increasingly rely on speculative decoding (SD) to cut inference latency without hurting output quality. SD proposes multiple future tokens with a lightweight drafter and verifies them in a single parallel forward pass with the full model, giving lossless speedups whenever the draft is right often enough.

배경 대규모 언어모델(LLM) 에이전트 애플리케이션 -- 다단계 추론, 도구 호출, 환경 상호작용 -- 은 출력 품질을 해치지 않으면서 추론 지연을 줄이기 위해 투기적 디코딩(speculative decoding, SD)에 점점 더 의존하고 있다. SD는 경량 초안 모델(drafter)로 여러 미래 토큰을 제안하고 전체 모델로 한 번의 병렬 forward pass에서 검증함으로써, 초안이 충분히 자주 맞기만 하면 무손실 속도 향상을 제공한다.

Problem In practice, agent serving needs large batch sizes to keep GPUs utilized, and that is exactly where existing SD algorithms fail: on a Code-Generation agent workload in vLLM, EAGLE-3 and NGram both start out fast at batch size 1 but their speedup collapses past a batch size of 32, and beyond that point speculative decoding becomes slower than plain autoregressive decoding.

문제 실제로 에이전트 서빙은 GPU 활용률을 유지하기 위해 큰 배치 크기를 필요로 하는데, 바로 그 지점에서 기존 SD 알고리즘이 실패한다: vLLM 위의 코드 생성 에이전트 워크로드에서 EAGLE-3와 NGram 모두 배치 크기 1에서는 빠르게 시작하지만 배치 크기 32를 넘어서면 속도 향상이 붕괴하고, 그 이후로는 투기적 디코딩이 오히려 일반 순차 디코딩보다 느려진다.

Prior limitations Prior speculative-decoding methods (draft-model-based like EAGLE-3, or retrieval-based like NGram and SuffixDecoding) were designed and tuned for small-batch, single-workload settings; none of them account for the structure of agent generation, where a single user query spans multiple semantic stages (reasoning, tool call, observation) with very different token statistics, or for how the available speculation budget itself shrinks as batch size grows.

기존 한계 기존 투기적 디코딩 기법들(EAGLE-3 같은 초안 모델 기반 방식이든, NGram, SuffixDecoding 같은 검색 기반 방식이든)은 소규모 배치, 단일 워크로드 환경에서 설계되고 튜닝되었으며, 하나의 사용자 질의가 서로 다른 토큰 통계를 갖는 여러 의미 단계(추론, 도구 호출, 관측)에 걸쳐 있는 에이전트 생성의 구조나, 배치 크기가 커질수록 사용 가능한 투기 예산 자체가 줄어드는 현상을 전혀 고려하지 않는다.

Goal The goal is to make speculative decoding actually accelerate, rather than degrade, large-batch LLM agent serving, by directly attacking the two measured causes of collapse rather than tuning existing heuristics further.

목표 목표는 기존 휴리스틱을 더 튜닝하는 대신 붕괴의 두 가지 측정된 원인을 직접 공략하여, 투기적 디코딩이 대규모 배치 LLM 에이전트 서빙을 실제로 가속하도록(저하시키지 않도록) 만드는 것이다.

Method The authors first derive a closed-form model of the per-step time saved by SD, dT(b) roughly equal to D(b) times [(1-rejection rate)*accept-saving - verify-cost], and use it to show two causes dominate: a high token-rejection rate, and a shrinking usable token budget M(b) = arithmetic-intensity minus batch size, as batch size approaches the GPU arithmetic intensity and decoding becomes FFN-compute-bound. AgentSpec then fixes both with structure-isolated drafting -- a lightweight per-request pushdown automaton tracks which semantic block (reasoning/tool-call/observation) is currently active, so draft candidates are retrieved only from matching historical segments -- and redundancy-aware budget allocation, which scores each request historical redundancy and allocates more draft length to requests more likely to be accepted.

방법 저자들은 먼저 SD가 스텝당 절약하는 시간에 대한 닫힌 형태 모델(대략 초안 토큰 수 곱하기 [(1-거부율) 곱하기 수용당 절약 시간 - 검증 비용])을 유도하고, 이를 이용해 붕괴의 두 지배적 원인을 보인다: 높은 토큰 거부율, 그리고 배치 크기가 GPU의 산술 강도(arithmetic intensity)에 가까워지며 디코딩이 FFN 연산 병목 상태가 될 때 사용 가능한 토큰 예산(산술 강도 빼기 배치 크기)이 줄어드는 현상. AgentSpec은 구조 격리 드래프팅(요청별 경량 푸시다운 오토마타가 현재 활성화된 의미 블록을 추적해 일치하는 이력 구간에서만 초안 후보를 검색)과 중복도 인지 예산 배분(각 요청의 이력 중복도를 점수화해 수용 가능성이 높은 요청에 더 긴 초안 길이를 배분)으로 둘 다를 고친다.

Key idea The core idea is that agent workloads are not homogeneous text streams: they have an explicit semantic structure (which stage of the agent workflow a token belongs to), and once the drafter respects that structure instead of pattern-matching across it, both the rejection-rate problem and the budget-allocation problem become tractable with the same underlying signal -- how much a request current segment resembles its own history. It resembles a translator who stops guessing the next word by skimming an entire document and instead only reuses phrasing from the same section of the same document -- far fewer wrong guesses, and more confident commitment exactly where the pattern is strongest.

핵심 아이디어 핵심 아이디어는 에이전트 워크로드가 균일한 텍스트 스트림이 아니라는 점이다 -- 토큰이 에이전트 워크플로우의 어느 단계에 속하는지에 대한 명시적 의미 구조가 있으며, 드래프터가 그 구조를 무시하고 패턴 매칭을 하는 대신 그것을 존중하기만 하면, 거부율 문제와 예산 배분 문제 모두 동일한 신호 -- 요청의 현재 구간이 자신의 이력과 얼마나 닮았는가 -- 로 다룰 수 있게 된다. 문서 전체를 훑어 다음 단어를 추측하는 대신 같은 문서의 같은 절에서만 표현을 재사용하는 번역가에 비유할 수 있다 -- 잘못된 추측이 훨씬 줄고, 패턴이 가장 강한 곳에서는 더 자신 있게 확정할 수 있다.

Validation Implemented in vLLM (a production-style serving engine) and compared against EAGLE-3, MTP, NGram, and SuffixDecoding under identical serving configurations, across four agentic workloads (Code Generation via Reflexion on USACO, Deep Research, SWE-Bench-Lite, GAIA) and four model families (Qwen3-8B, GPT-OSS-20B, DeepSeek-R1-Distill-Llama-8B, MiMo-7B).

검증 프로덕션급 서빙 엔진인 vLLM에 구현되어 동일한 서빙 설정 하에서 EAGLE-3, MTP, NGram, SuffixDecoding과 비교되었으며, 4개 에이전트 워크로드(USACO 기반 Reflexion 코드 생성, Deep Research, SWE-Bench-Lite, GAIA)와 4개 모델 계열(Qwen3-8B, GPT-OSS-20B, DeepSeek-R1-Distill-Llama-8B, MiMo-7B)에 걸쳐 검증했다.

Results AgentSpec cuts the measured rejection rate to 26.4%, more than 2x lower than the best baseline (SuffixDecoding at 65.9%). Across the full workload/model grid it is the only method that stays faster than plain autoregressive decoding at every batch size tested, reaching up to 2.02x speedup where every baseline SD method falls below 1.0x (a slowdown) in some cell. It also beats Multi-Token Prediction on MiMo-7B and still gives modest gains (1.14x, up to 1.40x on a subset) on the non-agentic SpecBench.

결과 AgentSpec은 측정된 거부율을 26.4%로 낮췄는데, 이는 최선의 베이스라인(SuffixDecoding, 65.9%)보다 2배 이상 낮은 수치다. 전체 워크로드-모델 조합에서 테스트된 모든 배치 크기에 걸쳐 일반 순차 디코딩보다 계속 빠른 상태를 유지한 유일한 방법으로, 최대 2.02배 속도 향상을 달성했으며 이때 모든 베이스라인 SD 방법은 일부 조합에서 1.0배 아래로(즉 감속으로) 떨어진다. MiMo-7B에서는 Multi-Token Prediction도 능가했고, 비-에이전트 벤치마크인 SpecBench에서도 소폭의 이득(1.14배, 서브셋에서는 최대 1.40배)을 보였다.

Comparison Against the four evaluated baselines (EAGLE-3, MTP, NGram, SuffixDecoding), AgentSpec is the only method whose speedup does not collapse below 1.0x as batch size grows into the compute-bound regime -- the other methods rejection rates (53-89%) translate directly into wasted verification cost once the FFN dominates decoding time.

비교 평가된 4개 베이스라인(EAGLE-3, MTP, NGram, SuffixDecoding) 대비, AgentSpec은 배치 크기가 커져 연산 병목 영역에 들어가도 속도 향상이 1.0배 아래로 붕괴하지 않는 유일한 방법이다 -- 다른 방법들의 거부율(53~89%)은 FFN이 디코딩 시간을 지배하게 되는 순간 곧바로 낭비되는 검증 비용으로 직결된다.

Significance From an efficient-serving lens, this paper contribution is diagnostic as much as algorithmic: the closed-form time-saving model and the arithmetic-intensity-based token-budget definition are a literal roofline argument for how much speculation headroom actually exists at a given batch size -- a reusable lens for evaluating any future speculative-decoding method under realistic, large-batch agent serving rather than the small-batch settings most SD papers still benchmark against.

의의 효율적 서빙의 관점에서 이 논문의 기여는 알고리즘 못지않게 진단적이다: 닫힌 형태의 시간 절약 모델과 산술 강도 기반 토큰 예산 정의는 주어진 배치 크기에서 실제로 존재하는 투기 여유 공간이 얼마인지에 대한 그야말로 루프라인(roofline) 논증이며 -- 대부분의 SD 논문이 여전히 벤치마킹하는 소규모 배치 설정이 아니라 현실적인 대규모 배치 에이전트 서빙 하에서 향후 어떤 투기적 디코딩 기법이든 평가할 수 있는 재사용 가능한 렌즈다.

Limitations The method requires the agent application to explicitly supply a semantic-structure identifier alongside each request -- it is a co-design between the agent framework and the serving layer, not a black-box addition to an arbitrary existing agent stack (reviewer judgment: this is a real deployment cost, not evaluated against a black-box variant in the paper).

한계 이 방법은 에이전트 애플리케이션이 각 요청과 함께 의미 구조 식별자를 명시적으로 제공할 것을 요구한다 -- 이는 에이전트 프레임워크와 서빙 레이어 간의 공동 설계이지, 임의의 기존 에이전트 스택에 블랙박스로 추가할 수 있는 것이 아니다(리뷰어 판단: 이는 실질적인 배포 비용이며, 논문에서 블랙박스 변형과 비교 평가되지 않았다).

Future work Not stated in the paper.

향후 과제 논문 내 명시 없음.

Released resources No public code or checkpoint release verified.

자원 공개 공개 코드나 체크포인트 배포는 확인되지 않았다.