Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts (EcoSpec)

Background Autoregressive decoding in large language models is heavily memory-bandwidth-bound because every step requires a full pass through the model, and speculative decoding (SD) is a widely used acceleration technique that uses a cheap draft mechanism to propose candidate tokens which the target model then verifies in one pass. Mixture-of-Experts (MoE) models have become a mainstream way to scale parameters into the hundreds of billions while keeping computation in check, by activating only a subset of experts per token.

배경 거대 언어모델의 자기회귀 디코딩은 매 스텝 전체 모델을 한 번씩 통과시켜야 해서 메모리 대역폭에 강하게 묶여 있고, speculative decoding(SD)은 값싼 draft 메커니즘으로 여러 후보 토큰을 미리 제안한 뒤 target 모델이 한 번에 검증하게 해 이 병목을 줄이는 널리 쓰이는 가속 기법이다. Mixture-of-Experts(MoE) 모델은 파라미터를 수백억~수천억까지 늘리면서도 매 토큰마다 일부 expert만 활성화해 계산량을 억제하는 방식으로 대규모화의 주류가 되었다.

Problem Existing SD draft-selection strategies optimize acceptance likelihood alone, but in large-scale MoE models, which draft tokens get selected also determines the union of experts that must be activated during verification. When high-confidence draft tokens scatter across disjoint experts ("expert scattering"), the HBM traffic needed to load those experts grows and eats into the speedup speculation was supposed to deliver.

문제 기존 SD의 draft 선택 전략은 오직 수락 확률(acceptance likelihood)만 최적화하는데, 대규모 MoE 모델에서는 어떤 draft 토큰을 고르느냐가 검증 단계에서 활성화될 expert들의 합집합도 함께 결정한다. 확신도가 높은 draft 토큰들이 서로 다른 expert로 흩어지는 "expert scattering" 현상이 생기면, expert 가중치를 HBM에서 불러오는 트래픽이 늘어나 speculation이 벌어준 이득을 갉아먹는다.

Prior limitations Prior draft-tree selection work is largely designed with dense models in mind, maximizing acceptance length without accounting for MoE's non-uniform memory-cost structure -- that verification cost varies sharply depending on which set of experts gets touched. Given that loading a single expert for DeepSeek-V3.1 (FP8) alone costs 44.04MB of HBM traffic, each mispredicted expert path is a real, easily overlooked I/O tax.

기존 한계 기존 draft-tree 선택 연구는 대체로 dense 모델을 염두에 두고 수락 길이만 극대화하도록 설계되어, MoE의 비균일한 메모리 비용 구조 — 어떤 expert 집합을 건드리느냐에 따라 검증 비용이 크게 달라진다는 사실 — 를 전혀 반영하지 않는다. DeepSeek-V3.1(FP8) 기준 expert 하나를 불러오는 데만 44.04MB의 HBM 트래픽이 필요하다는 점을 고려하면, 예측이 빗나간 expert 경로 하나하나가 무시하기 힘든 I/O 비용이 된다.

Goal Reduce the expert-activation cost (number of distinct experts touched) incurred during verification while preserving acceptance likelihood, without modifying the target model's verification rule at all.

목표 target 모델의 검증 규칙은 전혀 바꾸지 않으면서, draft-tree 선택 단계에서 수락 확률을 유지하는 동시에 검증에 필요한 expert 활성화 비용(고유 expert 수)을 함께 줄이는 것이다.

Method A lightweight expert-activation predictor forecasts, without running the full target model, which experts a candidate draft token would activate, while a dynamic expert buffer tracks which experts are already loaded for the current verification batch. The draft-tree score combines acceptance probability with a marginal expert-cost penalty that falls when a token reuses an already-loaded expert, layered on top of an existing drafter (Eagle-3 or native MTP) so neither the drafter nor the verification rule needs to change.

방법 경량 expert-활성화 predictor가 후보 draft 토큰이 어떤 expert를 활성화할지 전체 target 모델을 돌리지 않고 미리 추정하고, dynamic expert buffer가 현재 검증 배치에 이미 적재된 expert 목록을 추적한다. draft-tree 점수는 수락 확률과, 이미 적재된 expert를 재사용할수록 낮아지는 한계 expert-비용 페널티를 결합해 계산되며, Eagle-3나 native MTP 같은 기존 drafter 위에 이 선택 로직을 얹는 방식이라 drafter 자체나 검증 규칙은 그대로 둔다.

Key idea The central move is optimizing draft selection along two axes at once -- acceptance probability and whether a token reuses an already-loaded expert -- rather than acceptance probability alone, similar to a mail carrier planning a route that favors houses already along the path being walked rather than just the houses most likely to have someone home. This keeps acceptance length nearly unchanged while reducing how many distinct experts must actually be loaded per verification step.

핵심 아이디어 핵심은 draft 선택을 "이 토큰이 받아들여질 확률"이라는 하나의 축이 아니라 "받아들여질 확률"과 "이미 불러온 expert를 재사용하는가"라는 두 축으로 함께 최적화한다는 것이다 — 비유하자면 우체부가 배달 성공률만이 아니라 이미 지나가는 동선 안에 있는 집부터 배달하도록 경로를 짜는 것과 비슷하다. 이렇게 하면 수락 길이를 거의 그대로 유지하면서도 검증 한 번에 실제로 적재해야 하는 expert 수를 줄일 수 있다.

Validation Evaluated on three real, large-scale open MoE models -- DeepSeek-V3.1 (671B total/37B active, Top-8, MTP-based), Qwen3-235B-A22B (235B/22B, Top-8, Eagle-3-based), and GPT-OSS-120B (120B/5.1B, Top-4, Eagle-3-based) -- across seven benchmarks (GSM8K, HumanEval, MMStar, AIME-25, MATH500, AMC22-24, MTBench) under both greedy and T=1 sampling decoding. Predictor-accuracy sensitivity, an oracle expert-set upper bound, and batch-size scaling are each analyzed separately in the appendix.

검증 DeepSeek-V3.1(총 671B/활성 37B, Top-8, MTP 기반), Qwen3-235B-A22B(235B/22B, Top-8, Eagle-3 기반), GPT-OSS-120B(120B/5.1B, Top-4, Eagle-3 기반)라는 세 개의 실제 대규모 오픈 MoE 모델에서, GSM8K·HumanEval·MMStar·AIME-25·MATH500·AMC22-24·MTBench 7개 벤치마크에 걸쳐 greedy·샘플링(T=1) 두 디코딩 모드로 검증한다. predictor 정확도 민감도 분석, oracle expert-집합 상한 분석, 배치 크기 스케일링까지 부록에서 별도로 다룬다.

Results On Qwen3-235B-A22B greedy decoding, the underlying Eagle-3 drafter alone reaches 1.22x average speedup with 23.7 average active experts per verification step, while EcoSpec reaches 1.36x with only 20.5 active experts -- essentially the same acceptance length (2.32 vs. 2.41 tokens) achieved by touching fewer distinct experts. The single best benchmark result is 1.62x on Qwen3/MTBench; gains are smaller but still consistent on DeepSeek-V3.1, whose MTP drafter is already strong (1.10-1.28x baseline vs. 1.15-1.33x with EcoSpec).

결과 Qwen3-235B-A22B greedy 기준 baseline drafter인 Eagle-3 단독이 평균 1.22배(검증당 평균 활성 expert 23.7개)인 데 비해, EcoSpec은 평균 1.36배를 내면서도 활성 expert는 20.5개로 더 적다 — 수락 길이는 거의 그대로(2.32 대 2.41 토큰)이면서 서로 다른 expert를 덜 건드린 결과다. 단일 벤치마크 최고치는 Qwen3에서 MTBench 1.62배이며, 이미 자체 drafter가 강력한 DeepSeek-V3.1(MTP)에서는 이득이 더 작지만 꾸준하다(1.10-1.28배 대비 1.15-1.33배).

Comparison Because this is a selection layer added on top of an existing drafter (Eagle-3 or MTP) rather than a new draft mechanism, it operates at a different layer of the stack than work that redesigns drafting itself. The size of the gain is backbone- and router-dependent, smallest on DeepSeek-V3.1's MTP (which appears to already route more cooperatively) and largest on Qwen3-235B-A22B.

비교 target-모델 검증 규칙을 바꾸지 않고 기존 drafter(Eagle-3, MTP) 위에 얹는 선택 계층이라는 점에서, draft 메커니즘 자체를 새로 설계하는 접근과는 다른 층위의 기여다. 이득의 크기는 backbone·라우터에 따라 다르며, 이미 협조적으로 라우팅되는 것으로 보이는 DeepSeek-V3.1의 MTP에서는 상대적으로 작고 Qwen3-235B-A22B에서 가장 크게 나타난다.

Significance For efficient serving, this shows that any other MoE-inference acceleration technique -- quantization, caching, speculative decoding itself -- can quietly give back potential bandwidth savings if it does not explicitly account for which experts a given selection forces to be loaded together. Reframing draft selection as a joint acceptance-and-resource-cost problem places it in the same structural family as other budget-constrained allocation problems, such as bit-width or rank allocation under quantization.

의의 효율적 서빙 관점에서 이 논문은 MoE 추론을 가속하는 다른 어떤 기법(양자화, 캐싱, speculative decoding 자체)도 "이 선택이 어떤 expert들을 함께 불러오게 만드는가"라는 비용을 명시적으로 계산에 넣지 않으면 잠재적 대역폭 이득을 스스로 깎아 먹을 수 있음을 보여준다. draft 선택을 수락 확률만이 아니라 자원 비용까지 반영하는 문제로 재구성한다는 점에서, 양자화 비트폭·랭크 배분처럼 "예산 아래 비용이 다른 자원을 어떻게 나눌 것인가"라는 더 넓은 문제 계열과 같은 구조를 공유한다.

Limitations No dedicated "Limitations" section was found in the extracted text -- (reviewer judgment) the method requires training a separate expert-activation predictor per target model, adding an offline cost and a dependence on predictor accuracy that the appendix examines but the main text does not foreground. (Reviewer judgment) The paper reports that gains are "backbone-dependent," smaller on the already-strong DeepSeek-V3.1/MTP drafter, without mechanistically explaining why MTP exhausts this particular benefit sooner than Eagle-3-based drafting.

한계 텍스트에서 확인 가능한 별도의 "한계(Limitations)" 절은 없었다 — (리뷰어 판단) 타겟 모델마다 별도의 expert-활성화 predictor를 학습해야 하므로 오프라인 준비 비용과 predictor 정확도에 대한 의존이 생기며, 부록에서 민감도를 다루지만 본문에서 충분히 강조되지는 않는다. (리뷰어 판단) 이미 강력한 drafter(DeepSeek-V3.1의 MTP)에서는 이득이 더 작다는 것을 "backbone에 따라 다르다"고만 보고할 뿐 왜 MTP가 이 이득을 더 일찍 소진하는지는 메커니즘적으로 설명하지 않는다.

Future work No explicit "future work" section was found in the main text -- the conclusion summarizes results across the three models and closes on the general lesson that accounting for expert-activation cost matters when applying speculative decoding to large sparse models. The appendix's oracle expert-set analysis suggests headroom remains, but the paper does not name concrete next steps to close that gap.

향후 과제 논문 본문에서 명시적인 "향후 연구" 절은 확인되지 않았다 — 결론은 세 모델에 걸친 결과를 요약하고 "대규모 희소 모델에 speculative decoding을 적용할 때 expert 활성화 비용을 반영하는 것이 중요하다"는 일반적 교훈으로 마무리된다. 부록의 oracle expert-집합 분석이 남은 개선 여지를 시사하지만, 이를 좁히기 위한 구체적 다음 단계는 논문에 명시되어 있지 않다.

Released resources No public code repository or checkpoint release was found in the paper -- no public implementation beyond the arXiv listing was located.

자원 공개 논문에서 별도의 코드 저장소나 체크포인트 링크는 확인되지 않았다 — arXiv 게재 외 공개 구현체는 발견되지 않았다.