Paper Review
Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models
A continued-pretraining method lets an existing LLM backbone keep improving by expanding each token into several parallel streams with their own KV cache instead of looping the same layers, avoiding the pipeline-parallelism problems that make depth-recurrent transformers hard to scale.
기존 LLM backbone을 그대로 둔 채, 같은 레이어를 반복하는 대신 각 토큰을 독자적인 KV 캐시를 가진 여러 병렬 스트림으로 확장하는 continued-pretraining 방법으로, depth-recurrent transformer의 스케일링을 어렵게 만드는 pipeline-parallelism 문제를 피해간다.
Background LLM scaling has mainly come from enlarging the Transformer backbone, and pushing an already-strong model further means paying for another round of large-scale pretraining. Meanwhile, reasoning models and test-time scaling studies show that spending more computation per problem improves accuracy even with fixed parameters, and latent-reasoning work tries to move that "thinking" computation from visible tokens into the model's internal computation. Depth-recurrent (looped) Transformers are the representative attempt: they reuse the same blocks K times per token to directly raise per-token computation.
배경 LLM 스케일링은 주로 Transformer backbone 자체를 키우는 방식으로 이루어져 왔는데, 이미 강력한 모델을 더 키우려면 대규모 사전학습을 한 번 더 치러야 한다. 한편 reasoning 모델과 test-time scaling 연구들은 파라미터를 고정한 채 문제당 연산을 늘리는 것만으로 정확도가 오른다는 것을 보여줬고, latent-reasoning 계열은 그 "생각" 연산을 눈에 보이는 토큰이 아니라 모델 내부 연산으로 옮기려 한다. Depth-recurrent(looped) Transformer는 같은 블록을 토큰마다 K번 재사용해 토큰당 연산을 직접 늘리는 대표적 시도다.
Problem Looped computation breaks the assumption underlying pipeline parallelism — the backbone of large-MoE training — that each input passes through the model's stages exactly once; feeding the same hidden states back through the same stages stalls the pipeline and leaves GPUs idle. It is like sending a half-assembled part back to the front of a conveyor belt: every station behind it grinds to a halt. As a result, looped models have stayed small — the largest is the 40B dense LoopCoder, trained without pipeline parallelism, while the rest remain at a few billion parameters.
문제 Looped 연산은 대형 MoE 학습의 근간인 pipeline parallelism의 "입력은 각 stage를 한 번만 통과한다"는 가정을 깨서, 같은 hidden state를 같은 stage로 반복해 되돌려 보내는 순간 파이프라인이 멈추고 GPU가 논다. 컨베이어 벨트에서 반쯤 조립된 부품을 라인 맨 앞으로 되돌려 보내면 뒤의 모든 스테이션이 멈추는 것과 같은 구조다. 그 결과 looped 모델은 작게 머물러 왔다 — 가장 큰 것이 pipeline parallelism 없이 학습된 40B dense LoopCoder이고, 나머지는 수 B 파라미터 규모다.
Prior limitations The largest looped model is the 40B dense LoopCoder trained without pipeline parallelism, and other looped LMs (Geiping et al.'s latent-recurrent model, Ouro) stay at a few billion parameters. The sequence-direction predecessor PHD (Parallel Hidden Decoding Transformer) repeats each token but, to keep inference cheap, makes the repeated tokens' KV transient — intermediate streams help only within the current token and are not retained as context for later tokens. This paper's shared-KV ablation shows that reverting to that PHD-style design consistently lowers the average score (64.23→63.46, 64.66→63.90).
기존 한계 Looped 모델 중 최대는 pipeline parallelism 없이 학습된 40B dense LoopCoder이고, 다른 looped LM들(Geiping et al.의 latent-recurrent 모델, Ouro 등)은 수 B 파라미터에 머물러 있다. 시퀀스 방향 확장의 선행인 PHD(Parallel Hidden Decoding Transformer)는 토큰을 반복하되 inference 비용을 아끼려 반복 토큰의 KV를 transient하게 버려서, 중간 스트림이 현재 토큰 안에서만 돕고 이후 토큰의 context로는 남지 않는다. 이 논문의 shared-KV ablation은 바로 그 PHD식 설계로 되돌리면 평균 점수가 일관되게 떨어짐을 보인다(64.23→63.46, 64.66→63.90).
Goal Keep the backbone fixed while adding per-token internal computation in a form that stays compatible with the standard pipeline-parallel training stack, so an already-trained frontier model keeps improving through continued pretraining (CPT) alone — and demonstrate this at the 100B+ MoE scale that prior looped/length-scaling work never reached. A secondary goal is to check whether the expansion factor n itself behaves like a scaling axis, with gains growing as n increases.
목표 Backbone은 고정한 채, 표준 pipeline-parallel 학습 스택과 그대로 호환되는 형태로 토큰당 내부 연산을 늘려, 이미 학습된 frontier 모델을 continued pretraining(CPT)만으로 계속 개선하는 것 — 그리고 이를 기존 looped/length-scaling 연구가 도달하지 못한 100B+ MoE 규모에서 시연하는 것. 부가 목표는 확장 계수 n 자체가 스케일링 축처럼 동작하는지, 즉 n을 키울수록 이득이 커지는지 확인하는 것이다.
Method Hidden Decoding expands each token into n streams with independent embedding tables, processing the length-nL sequence in a single forward pass; next-token cross-entropy is applied only at the final-stream positions, while the first n−1 streams receive no loss and act as latent computation states. The intermediate streams' KV cache is retained so later tokens can read their computation as context — scratch-work pages that are never graded but stay on the desk to be consulted when solving later problems. The cost blow-up is contained by Stream-Factorized Attention: most layers attend only within their own stream (O(nL²) instead of dense O(n²L²)) and only a few layers mix streams following the base model's own attention pattern (sliding-window or full) — the 80B model uses 6 full + 23 sliding-window + 20 intra-stream layers out of 49, the 617B uses 25 full + 69 intra-stream out of 94. The expansion factor is grown progressively 1→2→4→8 with Cyclic Replication Initialization, which copies the existing tables when doubling.
방법 Hidden Decoding은 각 토큰을 독립 embedding table을 가진 n개 스트림으로 확장해 길이 nL 시퀀스를 한 번의 forward pass로 처리하되, next-token cross-entropy는 마지막 스트림 위치에만 걸고 앞의 n−1개 스트림은 loss 없이 latent computation 상태로 남긴다. 중간 스트림들의 KV cache는 유지되어 이후 토큰이 그 계산 결과를 context로 읽는다 — 채점되지는 않지만 책상 위에 남아 다음 문제를 풀 때 참조되는 연습장인 셈이다. 비용 폭발은 Stream-Factorized Attention으로 막는다: 대부분의 레이어는 자기 스트림 내부만 attend하고(O(nL²), dense는 O(n²L²)) 소수의 레이어만 base 모델의 원래 attention 패턴(sliding-window 또는 full)을 따라 스트림을 섞는다 — 80B는 49개 레이어 중 full 6 + sliding-window 23 + intra 20, 617B는 94개 중 full 25 + intra 69. 확장 계수는 1→2→4→8로 점진 확장하며, 배가할 때 기존 table을 복제하는 Cyclic Replication Initialization을 쓴다.
Key idea Reframing "more computation per token" as sequence-length expansion instead of depth recurrence makes the extra computation look, to the hardware and training stack, like nothing more than a longer input — repackaging special-handling cargo as ordinary freight so it rides the existing logistics network unchanged. What turns this into capability scaling rather than mere token repetition (PHD) are two design choices: per-stream independent embedding tables (distinct initial states) and retained per-stream KV (intermediate computation persists for later tokens).
핵심 아이디어 "토큰당 연산 추가"를 depth 반복이 아니라 시퀀스 길이 확장으로 재구성하면, 추가 연산이 하드웨어와 학습 스택 입장에서는 그냥 "더 긴 입력"이 된다 — 특수 취급이 필요한 화물을 일반 화물로 포장해 기존 물류망에 그대로 태우는 것이다. 이를 단순 토큰 반복(PHD)이 아닌 capability scaling으로 만드는 두 설계가 스트림별 독립 embedding table(서로 다른 초기 상태)과 스트림별 KV 유지(중간 계산이 이후 토큰까지 지속)다.
Validation WeLM MoE checkpoints at 80B (3B activated) and 617B (23B activated) are expanded to n=4 via CPT into WeLM-HD4-80B/617B and compared against non-HD counterparts matched on data, schedule, and the identical early SFT-only post-training (no RL) — the HD-only token budget is about 5.3% of the full base path. The expansion-factor study runs n∈{2,4,8} via progressive expansion on dense Qwen3-8B-Base and the 80B MoE, while ablations on supervision design, shared KV (a PHD-like control), and cross-stream layer count use smaller 21B/6B MoE models. Serving cost is measured as decode-only throughput with HD/non-HD pairs matched on the same 8×H20 GPUs.
검증 WeLM MoE checkpoint 80B(활성 3B)와 617B(활성 23B)를 n=4로 CPT해 WeLM-HD4-80B/617B를 만들고, 동일 데이터·스케줄에 동일한 early SFT-only post-training(RL 없음)까지 맞춘 non-HD 짝과 비교했다 — HD 구간의 토큰 예산은 전체 base 경로의 약 5.3%다. 확장 계수 연구는 dense Qwen3-8B-Base와 80B MoE에서 n∈{2,4,8} 점진 확장으로 수행하고, supervision 설계·shared-KV(PHD식 대조)·cross-stream 레이어 수 ablation은 소형 21B/6B MoE로 돌렸다. 서빙 비용은 같은 8×H20 GPU에서 HD/non-HD 짝을 맞춰 decode-only throughput으로 측정했다.
Results All nine shared benchmarks improve at both scales: the 80B gains SciCode 45.8→50.0 and PHYBench 69.8→73.8, and the 617B gains GPQA Diamond 89.1→91.2, HLE 33.6→35.4, and FrontierMath 49.0→51.0. The expansion factor acts as a scaling knob: 80B-MoE MMLU rises monotonically from 85.1 (n=1) to 87.5 (n=8) and Pile-test BPB falls 0.386→0.378. Training cost stays near-linear — the 4× expanded sequence costs 5.1× per batch on 80B and 4.4× on 617B, far below the 16× dense-attention cost. On the broader 80B suite in the appendix, the largest gains shift to agentic and long-horizon tasks: Terminal-Bench 2 44.9→58.4, ARC-AGI-2 6.9→11.6.
결과 두 스케일 모두 공유 9개 벤치마크 전부에서 향상됐다: 80B는 SciCode 45.8→50.0, PHYBench 69.8→73.8, 617B는 GPQA Diamond 89.1→91.2, HLE 33.6→35.4, FrontierMath 49.0→51.0. 확장 계수는 스케일링 노브처럼 동작해 80B MoE의 MMLU가 n=1의 85.1에서 n=8의 87.5까지 단조 증가하고 Pile-test BPB는 0.386→0.378로 내려간다. 학습 비용은 near-linear로, 4× 확장 시퀀스가 배치당 80B에서 5.1×, 617B에서 4.4×로 dense-attention의 16×를 크게 밑돈다. 부록의 더 넓은 80B 스위트에서는 이득이 agentic·long-horizon 태스크로 옮겨가 Terminal-Bench 2 44.9→58.4, ARC-AGI-2 6.9→11.6을 기록한다.
Comparison The primary comparison is against non-HD CPT baselines of the same backbone, matched down to data, schedule, and post-training. Kimi K2.6 (1T total, 32B activated) is included as an absolute-score reference: WeLM-HD4-617B is higher on GPQA Diamond, PHYBench, MathArena Apex, HMMT, and SciCode, while Kimi K2.6 is higher on HLE, MMMLU, FrontierMath, and IMO-AnswerBench. There is no direct head-to-head against looped-transformer methods because none exist at this scale (reviewer judgment); instead, the PHD-style shared-KV control serves as the within-family comparison for sequence-expansion approaches.
비교 1차 비교 대상은 데이터·스케줄·post-training까지 맞춘 동일 backbone의 non-HD CPT baseline이다. 절대 점수의 눈금용으로 Kimi K2.6(총 1T, 활성 32B)을 참조로 놓는데, WeLM-HD4-617B가 GPQA Diamond·PHYBench·MathArena Apex·HMMT·SciCode에서 높고 Kimi K2.6이 HLE·MMMLU·FrontierMath·IMO-AnswerBench에서 높다. Looped-transformer 방법과의 직접 대결은 없는데 이 스케일의 looped 모델 자체가 존재하지 않기 때문이며(리뷰어 판단), 대신 PHD식 shared-KV 대조 실험이 시퀀스-확장 계열 내부의 비교 역할을 한다.
Significance In the authors' words this is "the first demonstrated sequence-length scaling method at the 100B+ MoE scale," establishing the expansion factor n as a practical scaling knob for a fixed backbone — growing an already-built building by an extension (CPT on ~5.3% of the tokens) rather than a teardown and rebuild (a new pretraining run). The analysis supports the latent-computation reading: same-token streams differentiate inside the Transformer (inter-stream cosine 0.987→0.637→0.783), the final stream reads them back (attention affinity to E0 peaking at 0.52), and intermediate LM-head probes keep a broader candidate space (top-1 disagreement with the final stream up to ~63%, entropy above 3 bits vs. the final stream's 2.09 bits). The core contribution is bringing the fixed-backbone scaling promised by looped transformers to frontier scale in a pipeline-parallel-compatible form (reviewer judgment).
의의 저자들 표현으로 "100B+ MoE 스케일에서 시연된 최초의 sequence-length scaling 방법"이며, 확장 계수 n을 고정 backbone에 대한 실용적 스케일링 노브로 확립한다 — 재건축(새 사전학습) 없이 증축(약 5.3% 토큰의 CPT)으로 이미 지어진 건물을 키우는 경로다. 분석도 latent computation 해석을 뒷받침한다: 같은 토큰의 스트림들이 내부에서 분화했다가(스트림 간 cosine 0.987→0.637→0.783) 최종 스트림이 이를 되읽고(E0에 대한 attention affinity 최대 0.52), 중간 스트림의 LM-head probe는 더 넓은 후보 공간을 유지한다(최종 스트림과 top-1 불일치 최대 약 63%, entropy 3bit 이상 vs 최종 스트림 2.09bit). Looped transformer가 약속한 fixed-backbone 스케일링을 pipeline-parallel 호환 형태로 처음 frontier 규모에 올렸다는 점이 핵심 기여다(리뷰어 판단).
Limitations Serving cost grows with batch size and context: batch 1 keeps 83–88% of baseline decode throughput, but batch 16 falls to 44–60% and 32k-input/batch-32 keeps only 27% — the authors state the throughput penalty is smallest in the latency-sensitive, short-input/small-batch regime and grows with larger batches or longer inputs. Retaining per-stream KV enlarges the KV cache, the remaining overhead in the memory-bound regime; limiting cross-stream layers to a few mitigates but does not remove it. Reported comparisons use an early SFT-only post-training recipe without RL, so whether the gains persist under mature post-training is open, and the WeLM-specific KV-mirror decoding optimization is not yet integrated into the serving kernel.
한계 서빙 비용은 배치·컨텍스트가 커질수록 커진다: batch 1에서는 baseline decode throughput의 83–88%를 유지하지만 batch 16에서 44–60%로, 32k 입력·batch 32에서는 27%까지 떨어진다 — 저자들도 throughput 패널티가 latency-민감한 short-input/small-batch 영역에서 가장 작고 배치·입력이 커질수록 커진다고 명시한다. 스트림별 KV 유지로 KV cache가 커지는 것이 memory-bound 영역의 잔여 오버헤드인데, cross-stream 레이어를 소수로 제한해 완화할 뿐 없애지는 못한다. 보고된 비교는 RL 없는 early SFT-only post-training 기준이라 성숙한 post-training에서도 이득이 유지되는지는 열려 있고, WeLM 고유의 KV-mirror decode 최적화도 서빙 커널에는 미통합 상태다.
Future work The paper has no dedicated future-work section (not stated in the paper). The two items the authors explicitly leave unfinished — integrating the KV-mirror decoding optimization into the serving kernel (stated to require separate engineering) and validating the gains under mature post-training including RL — are the natural next steps (reviewer judgment). A footnote points to the conclusion-and-future-work section of the official WeLM blog post for follow-up discussion.
향후 과제 본문에 별도의 future work 섹션은 없다 (논문 내 명시 없음). 다만 저자들이 명시적으로 미완으로 남긴 두 가지 — KV-mirror decode 최적화의 서빙 커널 통합(별도 엔지니어링 필요라고 명시)과 RL을 포함한 성숙한 post-training 하에서의 검증 — 이 자연스러운 다음 단계다(리뷰어 판단). 각주는 후속 논의를 WeLM 공식 블로그의 conclusion-and-future-work 절로 연결한다.
Released resources Code is linked in the paper's footnotes on GitHub (Tencent/Sequential-Hidden-Decoding) and models as a Hugging Face collection (tencent/sequential-hidden-decoding). An accompanying WeLM blog post reports scores for a newer non-HD WeLM after larger-scale post-training.
자원 공개 논문 각주에 코드가 GitHub(Tencent/Sequential-Hidden-Decoding)로, 모델이 Hugging Face collection(tencent/sequential-hidden-decoding)으로 링크되어 있다. 동반 WeLM 블로그 포스트에는 더 큰 규모의 post-training을 거친 최신 non-HD WeLM 점수가 보고되어 있다.
The research thread
Where this paper sits 연구의 흐름
Hidden Decoding continues an old question's lineage: how to buy a model more computation per token without buying it more parameters. The depth-recurrent branch runs from the Universal Transformer, the origin of the weight-tied loop, through Geiping et al.'s recurrent-depth latent-reasoning model and the Ouro family of looped LMs, up to the 40B LoopCoder — the largest instance, trained without pipeline parallelism. A younger sequence-direction branch, PHD (the Parallel Hidden Decoding Transformer), repeats each token in place so the extra computation rides an ordinary forward pass, but discards the repeated tokens' KV to keep inference cheap. This paper is the WeLM team's answer to both: it inherits PHD's layout and the looped models' ambition, and carries them to a 100B+ MoE scale neither had reached.
The conceptual shift is to treat the scaling bottleneck as a property of infrastructure, not of modeling. Looped transformers stalled not because recurrence fails to learn, but because it breaks the single assumption pipeline parallelism is built on: each input passes through each stage exactly once. Hidden Decoding rotates that axis ninety degrees — laid out along the sequence instead of depth, the extra computation is, to the training stack, nothing more than a longer input. Giving each stream its own embedding table and retaining its KV then turns the latent scratch-work from a calculation that dies inside its token into context every later token can read back. A problem of repetition (depth) is solved by relocation (sequence).
What it opens most immediately is a third scaling axis. The expansion factor n behaves like a knob (MMLU rises monotonically from n=1 to n=8 while BPB falls), and the natural follow-up is a joint scaling law that prices n against parameters and data — when is growing a fixed backbone sideways more compute-optimal than pretraining a larger one? The tension that remains is serving. HD deliberately spends the idle compute of memory-bound small-batch decoding, so it is cheapest exactly where inference is usually most wasteful — but as batch and context grow, throughput collapses to 27% of baseline, and the per-stream retained KV becomes the bill.
The next moves follow from the loose ends the paper leaves on the table. The authors leave the KV-mirror decoding kernel unintegrated and the comparison at SFT-only post-training, so the first wave will be serving engineering plus RL-era revalidation — once a model is also allowed to think longer in visible tokens, do latent streams still help, or do the two compute channels overlap? Further out, the uniform expansion — every token gets n streams, whether it is a comma or a proof step — repeats the fixed-thought-budget rigidity that adaptive-depth work targeted in looped models, and per-token allocation is where the field will push next.
Hidden Decoding은 "파라미터를 늘리지 않고 토큰당 연산을 늘린다"는 오래된 질문의 계보를 잇는다. depth-recurrent 갈래는 weight-tied loop의 원조인 Universal Transformer에서 Geiping et al.의 recurrent-depth latent-reasoning 모델과 Ouro 계열 looped LM을 거쳐, pipeline parallelism 없이 학습된 최대 사례인 40B LoopCoder까지 이어진다. 더 젊은 시퀀스 방향 갈래인 PHD(Parallel Hidden Decoding Transformer)는 각 토큰을 제자리에서 반복해 추가 연산을 평범한 forward pass에 태우되, inference 비용을 아끼려 반복 토큰의 KV를 버린다. 이 논문은 두 갈래에 대한 WeLM 팀의 답이다 — PHD의 배치와 looped 모델의 야심을 동시에 물려받아, 어느 쪽도 가보지 못한 100B+ MoE 규모까지 끌고 간다.
개념적 전환은 스케일링 병목을 모델링의 성질이 아니라 인프라의 성질로 다루는 데 있다. Looped transformer가 멈춘 것은 recurrence가 학습에 실패해서가 아니라, "입력은 각 stage를 정확히 한 번 통과한다"는 pipeline parallelism의 단 하나의 가정을 깨기 때문이다. Hidden Decoding은 recurrence 축을 90도 돌린다 — 추가 연산을 depth가 아니라 시퀀스 방향으로 펼치면, 학습 스택 입장에서 그것은 그저 더 긴 입력이다. 그리고 스트림마다 독립 embedding table을 주고 KV를 유지함으로써, latent 연습장은 토큰 안에서 소멸하는 일회성 계산이 아니라 이후 모든 토큰이 되읽을 수 있는 context가 된다. 반복(depth)의 문제를 자리바꿈(sequence)으로 푼 것이다.
당장 열리는 것은 제3의 스케일링 축이다. 확장 계수 n은 노브처럼 동작하고(MMLU가 n=1에서 n=8까지 단조 상승, BPB는 하락), 자연스러운 후속 질문은 n을 파라미터·데이터와 함께 가격 매기는 joint scaling law다 — 언제 고정 backbone을 옆으로 키우는 것이 더 큰 backbone을 새로 학습하는 것보다 compute-optimal인가. 남는 긴장은 서빙이다. HD는 memory-bound small-batch decoding의 노는 compute를 일부러 써버리는 설계라 inference가 가장 낭비되는 지점에서 가장 싸지만, 배치와 컨텍스트가 커지면 throughput이 baseline의 27%까지 무너지고 스트림별로 유지되는 KV가 청구서로 돌아온다.
다음 수는 논문이 스스로 남긴 매듭에서 나온다. 저자들은 KV-mirror decoding 커널을 미통합 상태로, 비교를 RL 없는 early SFT-only post-training에서 멈춰 두었으니 첫 물결은 서빙 엔지니어링과 RL 시대의 재검증일 것이다 — 모델이 보이는 토큰으로도 길게 생각할 수 있게 되면 latent 스트림은 여전히 돕는가, 아니면 두 compute 채널이 겹치는가. 더 멀리 보면, 쉼표든 증명 스텝이든 모든 토큰이 똑같이 n개 스트림을 받는 균일 확장은 looped 모델에서 adaptive-depth 연구가 겨냥했던 고정 사고 예산과 같은 경직성이고, 토큰별 할당이 필드가 다음으로 밀어붙일 자연스러운 지점이다.
Sparks — where one could take this 아이디어의 씨앗
-
One could fit joint scaling laws treating the expansion factor n as a third axis alongside parameters and data, asking when a compute-optimal budget should grow a fixed backbone sideways instead of pretraining a larger one. 확장 계수 n을 파라미터·데이터와 나란한 제3의 축으로 놓고 joint scaling law를 적합해, compute-optimal 예산이 언제 더 큰 backbone의 재사전학습 대신 고정 backbone의 측면 확장을 택해야 하는지 물어볼 수 있다.
-
One could replace the uniform per-token expansion with a learned allocator that grants streams only where they pay off — the sequence-direction analogue of adaptive depth, concentrating computation on hard reasoning tokens. 토큰마다 균일하게 n개 스트림을 주는 대신, 이득이 나는 곳에만 스트림을 배정하는 학습된 allocator — adaptive depth의 시퀀스 방향 대응물 — 로 바꿔, 어려운 reasoning 토큰에 연산을 몰아줄 수 있다.
-
One could run RL-heavy post-training on an HD model to test whether latent streams and explicit chain-of-thought are complementary or redundant compute channels — the interaction the authors' SFT-only comparison leaves open. HD 모델에 RL 중심의 성숙한 post-training을 돌려, latent 스트림과 명시적 chain-of-thought가 상호보완적 compute 채널인지 중복 채널인지 확인해볼 수 있다 — 저자들의 SFT-only 비교가 열어둔 상호작용이다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
The open question the original abstract-level read left — whether Hidden Decoding is a compute-for-memory mirror image of the usual acceleration tradeoff — is answered in the full text. Section 3.2 argues that small-batch decoding is memory-bandwidth-bound with idle compute that the parallel streams can soak up, leaving the enlarged per-stream KV cache as the one remaining overhead, and the Figure 5 serving matrix quantifies exactly where the regime flips: 83–88% of baseline decode throughput at batch 1, falling to 27% at 32k input with batch 32. Seen from a serving-efficiency angle (reviewer judgment, not the paper’s framing), this makes HD an interesting stress case: it deliberately spends the batch-1 memory-bound slack that acceleration work usually tries to reclaim, so HD-style models would raise the value of KV-cache reduction techniques precisely in the large-batch, long-context regime where their throughput collapses.
Linked reviews
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
A looped Transformer trained with dense per-latent-position chain-of-thought supervision closes the long-standing accuracy gap between latent and explicit reasoning at 3B parameters while cutting reasoning latency by 2.1-6.9x.
architectureLayerNorm as Implicit Gain Control in Looped Transformers
Analyzing the exact recurrence behind the Parcae looped-transformer design, this paper shows its stability constraint is necessary but not sufficient for convergence, and that gradient descent stores cross-iteration memory in the block's nonlinear recurrence rather than in the linear carry term built to hold it.