Survival-Guided Length Control for Efficient Diffusion Language Models

Background Masked diffusion language models (DLMs) generate text by iteratively denoising a masked canvas. At each diffusion step, masked positions are updated using the model’s predictive distribution, gradually transforming an all-[MASK] sequence into text. This enables flexible any-order decoding and parallelism, but leaves open a fundamental question: when should denoising stop?

배경 마스크 확산 언어모델(DLM)은 마스킹된 캔버스를 반복적으로 디노이징해 텍스트를 생성한다. 각 디퓨전 스텝마다 마스크 위치를 모델의 예측 분포로 갱신해, 전체가 [MASK]인 시퀀스를 점진적으로 텍스트로 바꾼다. 이 방식은 임의 순서 디코딩과 병렬성을 가능하게 하지만, "언제 디노이징을 멈출지"라는 근본적인 질문을 남긴다.

Problem Standard decoding (the any-order autoregressive, AOAR, pattern) fixes a large, task-agnostic maximum length L_max and runs the full denoising schedule until every mask is removed or an iteration budget is reached. The issue is that many prompts need far fewer tokens than L_max, yet the decoder keeps refining the unnecessarily long remainder — the overhead comes not from the denoising rule itself but from the mismatch between a conservative global length budget and the instance-specific length actually needed.

문제 표준 디코딩(any-order autoregressive, AOAR 패턴)은 과제와 무관하게 큰 최대 길이 L_max를 고정하고 모든 마스크가 제거되거나 반복 예산이 소진될 때까지 고정된 디노이징 스케줄을 돌린다. 문제는 많은 프롬프트가 L_max보다 훨씬 적은 토큰만 필요한데도 디코더가 불필요하게 긴 캔버스 전체를 계속 정제한다는 점이다 — 오버헤드의 근원은 디노이징 규칙 자체가 아니라 보수적인 전역 길이 예산과 인스턴스별로 실제 필요한 길이 사이의 불일치다.

Prior limitations Prior length control relies on either a fixed length or ad hoc stopping rules. Not stated in the paper beyond a limited comparison to DAEDAL reported in the appendix.

기존 한계 기존 길이 제어는 고정 길이를 쓰거나 임시방편적인 정지 규칙(ad hoc stopping rule)에 의존해왔다. 논문 내 명시 없음(구체적인 선행 길이-제어 기법과의 정량 비교는 부록의 DAEDAL 비교로 제한적으로만 다뤄짐).

Goal The goal is a training-free length predictor that can be added to any existing DLM without modifying parameters or the underlying denoising schedule.

목표 목표는 어떤 기존 DLM에도 파라미터 수정이나 디노이징 스케줄 변경 없이 붙일 수 있는, 학습이 필요 없는(training-free) 범용 길이 예측기를 만드는 것이다.

Method The authors recast length selection as a discrete-time survival analysis problem over the end-of-sequence (EOS) token. A single forward pass over the full-length masked canvas yields per-position EOS probabilities, which are interpreted as a discrete-time hazard; standard survival identities then give a closed-form estimate of the expected length.

방법 저자들은 생성 길이를 EOS(end-of-sequence) 토큰에 대한 이산시간 생존분석(discrete-time survival analysis) 문제로 재구성한다. 전체 길이의 마스킹된 캔버스에 대해 DLM을 단 한 번 forward pass한 뒤, 각 위치의 EOS 확률을 이산시간 해저드(hazard)로 해석하고, 표준 생존분석 항등식을 통해 기대 길이의 닫힌 형태(closed-form) 추정치를 계산한다.

Key idea The core idea reframes "when to stop" in the language of hazard functions — much like an actuary asking "given the event hasn’t happened yet, what’s the probability it happens right now," the method asks, at each candidate position, "given the sequence hasn’t ended yet, how likely is it to end exactly here?" Its strength is computing an instance-specific expected length from a single forward pass, with no retraining at all.

핵심 아이디어 핵심 아이디어는 "언제 멈출까"라는 질문을 위험(hazard) 함수 언어로 바꾸는 것이다 — 마치 보험 통계학자가 "이 시점까지 사건이 일어나지 않았다면, 바로 다음 순간 일어날 확률은?"을 묻듯, 각 후보 위치에서 "여기까지 시퀀스가 끝나지 않았다면 바로 여기서 끝날 확률은?"을 묻는다. 이 관점의 강점은 모델을 전혀 재학습하지 않고 단 한 번의 forward pass 결과만으로 인스턴스별 기대 길이를 계산해낸다는 데 있다.

Validation Validated on two large DLMs trained in notably different ways — LLaDA-8B-Base and Dream-v0-Base-7B — across five benchmarks (BBH, GSM8K, MATH, HumanEval, MBPP). A fixed-mean-length ablation (replacing the per-sample prediction with the task’s average predicted length, at matched average compute) separately confirms the gain comes from genuine per-instance adaptation, not merely shorter average generations.

검증 LLaDA-8B-Base와 Dream-v0-Base-7B라는, 서로 다른 방식으로 학습된 두 대형 DLM에 대해 BBH·GSM8K·MATH·HumanEval·MBPP 5개 벤치마크로 검증했다. 예측 길이 대신 과제별 평균 예측 길이를 고정으로 사용하는 어블레이션(동일한 평균 연산량)으로, 이득이 단순히 "평균적으로 짧아져서"가 아니라 인스턴스별 적응 자체에서 온다는 것을 별도로 확인했다.

Results Decoding speed improves by 3.2x-6.6x across all five benchmarks on both models (e.g., 5.2x on LLaDA/GSM8K, 6.6x on Dream/GSM8K). Accuracy stays within each benchmark’s reported standard deviation throughout (e.g., LLaDA/GSM8K 69.9 to 70.0, Dream/MBPP 58.0 to 58.0), indicating no statistically meaningful change.

결과 두 모델 모두에서 5개 벤치마크 전반에 걸쳐 디코딩 속도가 3.2배-6.6배 향상됐다(예: GSM8K에서 LLaDA 5.2배, Dream 6.6배). 정확도는 모든 벤치마크에서 보고된 표준편차 범위 내로 유지되어(예: LLaDA GSM8K 69.9→70.0, Dream MBPP 58.0→58.0) 통계적으로 유의미한 변화가 없었다.

Comparison Against the fixed-mean-length ablation — same average compute budget, but the per-sample adaptive length replaced by a task-level average — accuracy measurably drops on most task/model pairs (e.g., -3.2pp on LLaDA/BBH), showing the per-instance variance in predicted length carries real signal that a matched average cannot substitute for.

비교 고정 평균 길이로 대체하는 어블레이션과 비교하면, 평균 연산량이 동일해도 정확도가 대부분의 과제/모델 조합에서 하락한다(예: LLaDA BBH -3.2%p) — 즉 예측 길이의 인스턴스별 분산 자체가 유의미한 신호이며, 단순히 평균을 맞추는 것만으로는 대체할 수 없는 정보를 담고 있음을 보여준다.

Significance From an efficient-AI standpoint, this method works on a different axis than KV-cache compression or quantization — it cuts the total number of denoising steps rather than what happens inside a step. Being training-free and model-agnostic, it is complementary to the KV-cache and batched-serving-throughput work this site tracks, and could plausibly stack with those methods rather than compete with them.

의의 효율적 AI 관점에서 이 방법은 KV 캐시 압축이나 양자화와는 다른 축에서 작동한다 — 스텝 내부에서 무엇을 하는지가 아니라 총 디노이징 스텝 수 자체를 줄인다. 학습이 필요 없고 모델에 구애받지 않는(model-agnostic) 플러그인이라는 점에서, 이 워크스페이스가 추적하는 KV 캐시·배치 서빙 처리량 최적화와는 상호보완적인 축이며 서로 다른 방법을 함께 쌓을 수 있는 여지가 있다.

Limitations The paper states it evaluates only two 7-8B base (not instruction-tuned) models on standard reasoning/code-generation benchmarks, leaving efficiency in extremely long-context or multi-turn dialogue settings unverified. The authors also state their objective is strictly inference-time computational efficiency, with no investigation of interactions with calibration, robustness, or bias.

한계 두 개의 7-8B 베이스(지시학습 아님) 모델과 표준 추론/코드생성 벤치마크로만 검증했으며, 초장문 생성이나 멀티턴 대화 같은 상황에서의 효율성은 검증되지 않았다고 논문에 명시되어 있다. 또한 목적이 순수하게 추론 시점의 계산 효율성이며, 캘리브레이션·강건성·편향 등 모델 행동의 다른 측면과의 상호작용은 다루지 않았다고 저자들이 직접 밝힌다.

Future work The authors propose extending the same survival lens beyond sequence length to token-level commit/refinement decisions, combined with the length predictor in a unified, learnable framework — no concrete experiments are given for this extension.

향후 과제 저자들은 동일한 생존분석 관점을 시퀀스 길이뿐 아니라 토큰 단위 커밋/정제 결정에도 확장할 수 있다고 제안하며, 이를 길이 예측기와 결합한 통합 학습 가능 프레임워크를 향후 방향으로 제시한다(구체적 실험은 없음).

Released resources No public release verified.

자원 공개 공개 코드 저장소 여부는 논문 내 명시 없음.