Paper Review
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
A looped Transformer trained with dense per-latent-position chain-of-thought supervision closes the long-standing accuracy gap between latent and explicit reasoning at 3B parameters while cutting reasoning latency by 2.1-6.9x.
잠재 위치마다 조밀한 chain-of-thought 지도학습을 적용한 looped Transformer가 30억 파라미터 규모에서 잠재적 추론과 명시적 추론 간의 오랜 정확도 격차를 좁히면서 추론 지연을 2.1-6.9배 단축한다.
Background Explicit chain-of-thought (CoT) reasoning generates intermediate steps token-by-token, while latent CoT instead performs multi-step reasoning within hidden states, replacing decoded tokens with continuous representations for greater efficiency. Since each explicit token costs one sequential model evaluation, a CoT of length N takes N forward passes — latent reasoning aims to condense many steps into far fewer evaluations, roughly the difference between writing out every line of working on paper and doing it in your head. There is also a theoretical basis: latent thoughts can carry strictly more information than discrete tokens, solving graph-reachability problems in linearly many latent steps where explicit CoT needs quadratically many.
배경 명시적 chain-of-thought(CoT)는 중간 추론 단계를 token 단위로 생성하는 반면, 잠재적(latent) CoT는 디코딩된 token을 연속 표현으로 대체해 모델의 hidden state 내부에서 다단계 추론을 수행함으로써 효율을 높인다. 명시적 CoT는 token 하나마다 순차적 모델 평가가 필요해 길이 N의 사슬에 N번의 forward pass가 들지만, 잠재 추론은 여러 단계를 훨씬 적은 평가 횟수로 압축하는 것을 노린다 — 풀이 과정을 한 줄씩 종이에 쓰는 것과 암산으로 처리하는 것의 차이다. 이론적 근거도 있다: 잠재 사고(latent thought)는 이산 token보다 엄밀히 더 많은 정보를 담을 수 있어, 명시적 CoT로는 이차 개수의 단계가 필요한 graph reachability를 선형 개수의 잠재 단계로 풀 수 있다.
Problem Existing latent-CoT methods underperform explicit CoT once model scale passes roughly 1 billion parameters, and this accuracy gap widens further as scale increases. The paper quantifies the trend: CODI+SIM-CoT is level with explicit CoT on GPT-2 (42.6% vs 42.7% on GSM8K) yet trails it by 9.2 points at 3B, and KaVa's gap similarly grows from 1.9 to 5.8 points. Latent reasoning thus breaks down precisely at the scales where CoT-style inference-time compute matters most.
문제 기존 latent-CoT 방법들은 모델 규모가 대략 10억 파라미터를 넘어서면 명시적 CoT보다 성능이 떨어지며, 이 정확도 격차는 규모가 커질수록 더 벌어진다. 논문은 이 추세를 수치로 보인다: CODI+SIM-CoT는 GPT-2에서는 명시적 CoT와 동률(GSM8K 42.6% vs 42.7%)이지만 3B에서는 9.2점 뒤지고, KaVa의 격차도 1.9점에서 5.8점으로 비슷하게 벌어진다. 즉 잠재 추론은 CoT식 inference-time compute가 가장 중요해지는 규모에서 정확히 무너진다.
Prior limitations The paper names two common issues in prior latent-CoT methods: (P1) Coconut, CODI, and SIM-CoT generate latent thoughts autoregressively, so sequential forward passes still scale linearly with the number of latent tokens — keeping CoT's sequential bottleneck while giving up its readable intermediate steps; and (P2) their latent grounding is indirect — answer-only supervision (Coconut), distillation of one designated latent onto a teacher's hidden state (CODI), or routing through an auxiliary decoder (SIM-CoT) — with no position-aligned direct token target, in the explicit-CoT sense, telling each latent which reasoning step it should represent. Parallel-latent methods PCCoT and KaVa fix P1 with Jacobi-style iteration but still rely on indirect signals (teacher hidden-state distillation, a compressed teacher KV cache), and without CoT-aligned targets latent traces can drift from meaningful computation and destabilize training at scale.
기존 한계 논문은 기존 latent-CoT 방법의 두 가지 공통 문제를 지목한다: (P1) Coconut·CODI·SIM-CoT는 잠재 사고를 autoregressive하게 생성하므로 순차 forward pass 횟수가 잠재 token 수에 선형 비례해, CoT의 순차 병목은 그대로 두면서 읽을 수 있는 중간 단계는 포기한다; (P2) 잠재 표현의 grounding이 간접적이다 — 답 손실만 쓰거나(Coconut), 지정된 잠재 하나를 teacher hidden state에 distillation하거나(CODI), 보조 decoder를 거치는(SIM-CoT) 식이라, 어떤 잠재가 어떤 추론 단계를 나타내야 하는지에 대한 명시적 CoT식의 위치 정렬된 직접 token target이 없다. 병렬 방식인 PCCoT와 KaVa는 Jacobi식 반복으로 P1은 해결하지만 여전히 teacher hidden-state distillation이나 압축된 teacher KV cache 같은 간접 신호에 의존하며, CoT 정렬 target이 없으면 잠재 궤적이 의미 있는 계산에서 이탈해 대규모 학습을 불안정하게 만들 수 있다.
Goal Close the accuracy gap between latent and explicit CoT at a real model scale (3B parameters) while preserving latent CoT's inference-speed advantage. The design brief follows directly from the two diagnosed issues: refine latents in a few parallel passes rather than one autoregressive step per token (P1), and ground them in a target as direct as explicit CoT's per-token supervision (P2).
목표 잠재 CoT의 추론 속도 이점을 유지하면서 실제 모델 규모(30억 파라미터)에서 잠재 CoT와 명시적 CoT 간의 정확도 격차를 좁히는 것. 설계 요구사항은 진단된 두 문제에서 곧바로 도출된다: token당 한 번의 autoregressive 단계가 아니라 소수의 병렬 pass로 잠재를 정제하고(P1), 명시적 CoT의 per-token supervision만큼 직접적인 target에 잠재를 grounding한다(P2).
Method LOTUS is a looped (recurrent-depth) Transformer that reuses its weights across R iterations without adding parameters: K learnable latent blocks of c tokens each sit between the question and the answer (K=6, c=25, R=6 on the Llama backbones), the question's KV cache is computed once, and all K·c=150 latent positions are refined jointly over R parallel passes. Training applies a cross-entropy loss to every post-loop latent position against its corresponding gold CoT-step token through the base model's own LM head, alongside a final-answer next-token loss computed with the post-loop latents inserted — like a worksheet with one numbered blank box per solution step, where the grader checks every box against the answer key at once rather than only the final answer. At inference the latents are never decoded: the answer is generated autoregressively while conditioning on the post-loop latents, so the only sequential decoding left is the short answer suffix.
방법 LOTUS는 파라미터를 추가하지 않고 R번의 반복에 걸쳐 가중치를 재사용하는 looped(recurrent-depth) Transformer로, 질문과 답 사이에 c개 token짜리 학습 가능한 잠재 block K개를 배치하고(Llama 백본에서 K=6, c=25, R=6), 질문의 KV cache를 한 번만 계산한 뒤 K·c=150개 잠재 위치 전체를 R번의 병렬 pass로 함께 정제한다. 학습은 loop 종료 후의 각 잠재 위치를 base 모델 자신의 LM head를 통해 대응하는 gold CoT-step token에 대한 cross-entropy로 지도하고, post-loop 잠재를 삽입한 상태에서 최종 답의 next-token 손실을 함께 사용한다 — 풀이 단계마다 번호 붙은 빈칸이 있는 답안지에서, 채점자가 마지막 답만이 아니라 모든 빈칸을 정답지와 한꺼번에 대조하는 셈이다. 추론 시 잠재는 결코 디코딩되지 않는다: 답은 post-loop 잠재에 조건화된 채 autoregressive하게 생성되므로, 순차 디코딩은 짧은 답 부분에만 남는다.
Key idea Combining per-position supervision (which tells each latent block what reasoning step it should represent) with a final-answer loss (which forces the whole chain of blocks to be jointly correct) is what makes the latent space both accurate and legible. The paper formalizes the division of labor: the step loss trains a parallel chain likelihood, playing a support-coverage role (each position puts mass on the right gold tokens), while the answer loss supplies the global selection pressure that the position-independent factorization lacks — like a choir where each singer is drilled on their own part but the ensemble is also judged on the full performance; either alone fails. Indeed, with only one loss kept, gold-step top-1 recovery collapses from 70.9% to 9.1-9.4%.
핵심 아이디어 각 잠재 block이 나타내야 할 추론 단계를 알려주는 위치별 지도와, 전체 block 사슬이 함께 정답을 내도록 강제하는 최종 답 손실을 결합하는 것이 잠재 공간을 정확하면서도 읽을 수 있게 만드는 핵심이다. 논문은 이 역할 분담을 정식화한다: step 손실은 parallel chain likelihood를 학습시켜 support coverage(각 위치가 올바른 gold token에 확률질량을 놓게 함)를 담당하고, 답 손실은 위치-독립 인수분해가 놓치는 전역 선택 압력을 공급한다 — 합창단에서 단원마다 자기 파트를 따로 연습시키되 전체 공연의 조화로도 평가하는 것과 같아서, 어느 한쪽만으로는 무너진다. 실제로 한 손실만 남기면 gold-step top-1 복원율이 70.9%에서 9.1-9.4%로 붕괴한다.
Validation Trained on GSM8k-Aug (385k examples) and evaluated on GSM8K (1,319 test examples) plus out-of-domain sets (GSM-Hard, MultiArith, SVAMP), using GPT-2, Llama-3.2-1B-Instruct, and Llama-3.2-3B-Instruct backbones with 3 seeds reported per configuration. A natural-language CoT stress test additionally retrains on a full-sentence-rationale version of GSM8K-Aug to cover the verbose-reasoning regime. Latency is measured per phase (query prefill / thought / answer) on a single NVIDIA H100 NVL at batch size 1 with greedy decoding; CODI and CODI+SIM-CoT share LOTUS's sequential budget (R=6), while Coconut, PCCoT, and KaVa are compared separately at their own compute budgets.
검증 GSM8k-Aug(38.5만 개)로 학습하고 GSM8K(1,319개 테스트) 및 out-of-domain 세트(GSM-Hard, MultiArith, SVAMP)에서 평가했으며, GPT-2·Llama-3.2-1B-Instruct·Llama-3.2-3B-Instruct 백본에 설정당 3개 시드를 보고한다. 추가로 각 추론 단계가 완전한 문장인 GSM8K-Aug의 자연어 버전으로 재학습하는 natural-language CoT stress test를 수행해 장황한 추론 영역까지 검증한다. 지연시간은 NVIDIA H100 NVL 1장, batch size 1, greedy decoding에서 query prefill / thought / answer 단계별로 측정하며, CODI와 CODI+SIM-CoT는 LOTUS와 같은 순차 예산(R=6)을 공유하고 Coconut·PCCoT·KaVa는 자체 compute 예산으로 별도 비교한다.
Results At 3B scale, LOTUS reaches 70.0% versus explicit CoT's 71.5% in-domain (a 1.5-point gap, tightened to under 1 point by the LOTUS+CODI variant at 70.6%) and leads 63.9% vs 62.1% on the out-of-domain average, while the prior latent-CoT baseline CODI+SIM-CoT sits at 62.3%, roughly 9 points behind explicit CoT. Thought-phase latency drops 2.5x on compact math-expression CoT (133.0 vs 338.8 ms; 2.1x end-to-end) and 6.9x on the verbose natural-language stress test (140.8 vs 963.6 ms), with accuracy on par (68.13% vs 68.41%). On that natural-language setting LOTUS also far exceeds the parallel-latent baselines PCCoT (47.6%), CODI (55.9%), and KaVa (60.0%).
결과 30억 규모에서 LOTUS는 in-domain 70.0%로 명시적 CoT 71.5%에 근접하고(1.5점 차; LOTUS+CODI 변형은 70.6%로 1점 이내), out-of-domain 평균에서는 63.9% vs 62.1%로 오히려 앞서며, 기존 latent-CoT 베이스라인 CODI+SIM-CoT는 62.3%로 명시적 CoT에 약 9점 뒤진다. 사고 단계(thought-phase) 지연은 간결한 수식 CoT에서 2.5배(133.0 vs 338.8 ms; 전체 기준 2.1배), 장황한 자연어 stress test에서 6.9배(140.8 vs 963.6 ms) 줄면서 정확도는 동률을 유지한다(68.13% vs 68.41%). 그 자연어 설정에서 LOTUS는 병렬-잠재 베이스라인인 PCCoT(47.6%), CODI(55.9%), KaVa(60.0%)도 크게 앞선다.
Comparison Compared against explicit CoT and prior latent-CoT methods (CODI, SIM-CoT) at matched model scale and sequential budget; an ablation shows removing either the per-step or the final-answer loss collapses in-domain top-1 gold-step recovery from 70.9% to 9.1-9.4%. The looped padded backbone alone (answer loss only) already scores 63.3%, above CODI+SIM-CoT's 62.3%, and adding direct gold-CoT supervision lifts it to 70.0% — both ingredients contribute. Architecture sweeps show steep returns to loop depth (14.6% at R=2 → 70.0% at R=6) and block width (49.7% at c=1 → 67.5% at c=5, plateauing by c=25), whereas widening the latent prefix from 6 to 300 positions adds only ~30 ms of thought latency since positions are processed in parallel. The auxiliary-decoder routing (LOTUS-aux) matches direct LM-head supervision at 3B but degrades at smaller scales (35.5% vs 44.1% on GPT-2), making the direct routing the scale-robust choice.
비교 동일한 모델 규모·순차 예산에서 명시적 CoT와 기존 latent-CoT 방법(CODI, SIM-CoT)에 대해 비교했으며, ablation에서 단계별 손실이나 최종 답 손실 중 하나를 제거하면 in-domain top-1 gold-step 복원율이 70.9%에서 9.1-9.4%로 붕괴한다. looped padded 백본 단독(답 손실만)으로도 63.3%로 CODI+SIM-CoT의 62.3%를 이미 넘고, 직접적 gold-CoT 지도를 더하면 70.0%까지 오른다 — 두 요소 모두 기여한다. 구조 sweep에서는 loop 깊이(R=2에서 14.6% → R=6에서 70.0%)와 block 폭(c=1에서 49.7% → c=5에서 67.5%, c=25에서 정체)의 효과가 가파른 반면, 잠재 prefix를 6에서 300 위치로 늘려도 병렬 처리 덕에 thought 지연은 약 30ms만 증가한다. 보조 decoder 라우팅(LOTUS-aux)은 3B에서는 직접 LM-head 지도와 대등하지만 작은 규모에서 무너져(GPT-2에서 35.5% vs 44.1%), 규모에 강건한 선택은 직접 라우팅이다.
Significance It is reported as the first latent-CoT method to match explicit CoT accuracy at 3B scale, and shows that projecting the post-loop latents through the base language-model head recovers gold reasoning steps (70.9% top-1, 85.8% top-5) and even previously-unseen valid reasoning chains (15.3% top-1, 64.0% top-5). The latent space is thus no opaque black box — hold the model's scratch paper up to the light (the LM head) and readable intermediate steps appear, including alternative solution paths it was never trained on, evidence of generalized representation rather than trace memorization. More broadly, it suggests that looped-transformer compute plus direct token-level grounding is a recipe whose gap does not widen with scale, unlike distillation-grounded baselines.
의의 30억 규모에서 명시적 CoT 정확도에 도달한 최초의 latent-CoT 방법으로 보고되며, loop 이후의 잠재 표현을 base 언어모델 head에 통과시키면 gold 추론 단계(top-1 70.9%, top-5 85.8%)뿐 아니라 학습 중 본 적 없는 타당한 추론 사슬(top-1 15.3%, top-5 64.0%)까지 복원된다. 즉 잠재 공간이 불투명한 블랙박스가 아니다 — 모델의 연습장을 불빛(LM head)에 비춰 보면 중간 단계가 글자로 드러나는 셈이고, 학습한 적 없는 대안 풀이 경로까지 나타나므로 궤적 암기가 아닌 일반화된 표현이라는 증거가 된다. 더 넓게는, distillation 기반 grounding의 격차가 규모와 함께 벌어지는 것과 달리, looped-transformer 연산과 직접적 token 수준 grounding의 조합은 규모가 커져도 격차가 벌어지지 않는 레시피임을 시사한다.
Limitations Evaluation is concentrated on math word-problem benchmarks (the GSM8K family), and the number of latent blocks (K), tokens per block (c), and loop iterations (R) are fixed, hand-set hyperparameters rather than adaptive ones. K must be pre-set to cover the expected step count (K=6 covers 99% of GSM8K solutions), and chains longer than K steps fall back to autoregressive completion of the tail. (Reviewer judgment: performance on non-math reasoning domains with more variable reasoning-chain length and structure is untested.)
한계 평가가 수학 문장제 벤치마크(GSM8K 계열)에 집중되어 있고, 잠재 block 수(K)·block당 token 수(c)·loop 반복 수(R)가 적응적이지 않은 고정 hyperparameter다. K는 예상 단계 수를 덮도록 미리 골라야 하며(K=6이 GSM8K 풀이의 99%를 커버), K단계를 넘는 사슬은 꼬리 부분을 autoregressive 생성으로 되돌아가 처리한다. (리뷰어 판단: 추론 사슬 길이와 구조가 더 가변적인 비수학 추론 영역에서의 성능은 검증되지 않았다.)
Future work The authors name adaptive selection of K, c, and R as a direction for future work, since the fixed budgets must be pre-set to cover the expected reasoning length. Whether the recipe transfers beyond math benchmarks to other reasoning domains is likewise left open.
향후 과제 저자들은 고정 예산을 예상 추론 길이에 맞춰 미리 정해야 하는 만큼 K·c·R의 적응적 선택을 향후 방향으로 제시한다. 이 레시피가 수학 벤치마크를 넘어 다른 추론 영역으로 이전되는지도 열린 문제로 남긴다.
Released resources Code is released on GitHub at yingfan-bot/lotus. The appendix carries the detailed positioning: side-by-side comparisons with Coconut, CODI, SIM-CoT, PCCoT, and KaVa (Appendix C), full training and configuration details (Appendix D), and block-by-block latent decode examples (Appendix F).
자원 공개 코드는 GitHub의 yingfan-bot/lotus에 공개되어 있다. 부록에 상세한 포지셔닝이 담겨 있다: Coconut·CODI·SIM-CoT·PCCoT·KaVa와의 방법별 비교(Appendix C), 학습·설정 세부사항(Appendix D), block별 잠재 decode 예시(Appendix F).
The research thread
Where this paper sits 연구의 흐름
LOTUS stands at the junction of two research lines that have mostly run in parallel. The latent-reasoning line opens with Coconut, which fed a model's hidden states back in as inputs so it could think in continuous space rather than in tokens; CODI and SIM-CoT then tried to stabilize those latent thoughts with distillation-style grounding, while PCCoT and KaVa attacked the other weakness — sequential latent generation — with Jacobi-style parallel iteration. The second line is the looped, weight-tied Transformer: from the Universal Transformer through recent recurrent-depth models, buying extra computation by re-running the same layers instead of stacking new ones. Each line held half the answer: parallel-latent methods kept indirect supervision; looped models lacked a story for what the loop should compute.
The conceptual move here is to stop treating latent reasoning as a compressed distillate of explicit reasoning and to treat it as explicit reasoning relocated. Every previous grounding mechanism was indirect — an answer loss, a teacher's hidden state, an auxiliary decoder — as if opacity were the tax you pay for skipping decoding. LOTUS says the latent slots can be supervised exactly the way explicit CoT tokens are: position-aligned, through the model's own LM head, one gold step token per slot. Under that reading, the scale-widening gap was never a capacity problem but a credit-assignment problem, and the ablation — gold-step recovery collapsing from 70.9% to around 9% with either loss removed — is the receipt.
Where does the line go next? The nearest open door is adaptive compute. K, c, and R are fixed budgets pre-set to cover the expected reasoning length — every problem gets the same 150 latent slots and six loops. The authors name adaptive selection as future work, and it points straight at test-time-compute scaling: a looped model that decides per problem how many more iterations to spend is the latent-space cousin of "think longer on hard questions." The harder tension is data. Dense supervision requires step-aligned gold rationales, and most domains outside grade-school math do not arrive with numbered blanks; extracting position-aligned targets from free-form traces — proofs, code, multi-hop QA — is the unglamorous problem the recipe now depends on.
A quieter thread concerns legibility. A standing objection to latent reasoning in the oversight discourse is that moving thought out of tokens destroys our means of watching it. LOTUS's latents decode into readable steps — including valid reasoning chains never seen in training — suggesting that latent need not mean unmonitorable. Expect follow-ups probing whether that transparency is intrinsic or an artifact of the cross-entropy objective: does it survive RL post-training, or drift back into an opaque code once the token-level anchor is removed? The answer will decide whether this recipe is a bridge between efficient and auditable reasoning, or a lucky property of one training regime.
LOTUS는 대체로 따로 달려온 두 연구 계보의 교차점에 서 있다. latent reasoning 계보는 모델의 hidden state를 다시 입력으로 되먹여 token 대신 연속 공간에서 생각하게 한 Coconut에서 출발했고, CODI와 SIM-CoT가 distillation식 grounding으로 그 잠재 사고를 안정화하려 했으며, PCCoT와 KaVa는 또 다른 약점인 순차적 잠재 생성을 Jacobi식 병렬 반복으로 공략했다. 다른 하나는 looped, weight-tied Transformer 계보다 — Universal Transformer에서 최근의 recurrent-depth 모델까지, 새 layer를 쌓는 대신 같은 layer를 반복 실행해 추가 연산을 사는 방식이다. 두 계보는 각각 답의 절반씩만 쥐고 있었고 어느 쪽도 혼자서는 규모를 넘지 못했다. 병렬-잠재 방법들은 간접 supervision에 머물렀고, looped 모델에는 그 loop가 정확히 무엇을 계산해야 하는지에 대한 이야기가 없었다.
이 논문의 개념적 전환은 latent reasoning을 명시적 추론의 압축된 증류물로 다루기를 멈추고, 자리만 옮긴 명시적 추론으로 다루는 것이다. 기존의 grounding은 전부 간접적이었다 — answer loss, teacher hidden state, 보조 decoder — 마치 불투명함이 디코딩을 건너뛴 대가로 내는 세금인 것처럼. LOTUS는 잠재 slot도 명시적 CoT token과 정확히 같은 방식으로, 즉 위치 정렬된 채 모델 자신의 LM head를 통해 slot마다 gold step token 하나씩으로 지도할 수 있다고 말한다. 이 관점에서 보면 규모와 함께 벌어지던 격차는 capacity 문제가 아니라 credit assignment 문제였고, 두 손실 중 하나만 제거해도 gold-step 복원율이 70.9%에서 9%대로 무너지는 ablation이 그 영수증이다.
이 계보는 어디로 갈까. 가장 가까운 열린 문은 adaptive compute다. K·c·R은 예상 추론 길이를 덮도록 미리 정하는 고정 예산이라 사고 할당이 정적이다 — 모든 문제가 똑같이 150개의 잠재 slot과 여섯 번의 loop를 받는다. 저자들이 adaptive selection을 future work로 지목했고, 이는 test-time compute scaling 논의와 곧장 맞닿는다. 문제마다 몇 번 더 돌지 스스로 정하는 looped 모델은 "어려운 문제에 더 오래 생각하기"의 latent-space 사촌이다. 더 어려운 긴장은 데이터다. dense supervision은 step 정렬된 gold rationale을 요구하는데, 초등 수학 밖의 대부분 도메인은 번호 매겨진 빈칸을 들고 오지 않는다. 증명·코드·multi-hop QA 같은 자유 형식 trace에서 위치 정렬 target을 뽑아내는 일이, 이제 이 레시피가 기대게 된 수수한 난제다.
더 조용한 갈래는 legibility다. oversight 논의에서 latent reasoning에 늘 따라붙던 반론은, 사고를 token 밖으로 옮기면 그것을 지켜볼 수단이 사라진다는 것이었다. LOTUS의 잠재는 읽을 수 있는 단계로 — 학습 중 본 적 없는 타당한 추론 사슬까지 — 디코딩되며, latent가 곧 unmonitorable을 뜻하지는 않음을 시사한다. 후속 연구는 이 투명성이 본질적인 성질인지 cross-entropy objective의 부산물인지 파고들 것이다. RL post-training을 거쳐도 살아남는가, 아니면 token 수준 anchor가 사라지는 순간 불투명한 코드로 되돌아가는가. 그 답이 이 레시피가 효율적 추론과 감사 가능한 추론 사이의 다리인지, 한 학습 체제의 운 좋은 성질인지를 가를 것이다.
Sparks — where one could take this 아이디어의 씨앗
-
One could train a lightweight halting head that reads the latent blocks after each loop and sets R (and effectively K) per problem, turning the authors' fixed thought budget into difficulty-dependent compute. loop 반복이 끝날 때마다 잠재 block을 읽어 문제별로 R(사실상 K까지)을 정하는 가벼운 halting head를 학습시켜, 저자들이 한계로 지목한 고정 사고 예산을 난이도 의존 compute로 바꿔볼 수 있다.
-
One could stress the recipe outside math by auto-segmenting free-form rationales into position-aligned step targets, measuring how much of the dense-supervision gain survives noisy step boundaries. 자유 형식 rationale을 자동 분할해 위치 정렬된 step target으로 만들고, step 경계가 노이즈일 때 dense supervision의 이득이 얼마나 남는지를 수학 밖 도메인에서 재보는 것도 가능하다.
-
One could turn the latents' LM-head decodability into a process-monitoring channel, decoding intermediate loop states to catch drifting chains or score them with a process reward model. 잠재의 LM-head decodability를 process-monitoring 채널로 돌려, 중간 loop 상태를 디코딩해 이탈하는 추론 사슬을 잡아내거나 process reward model로 채점해볼 수도 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
The ablation table is the load-bearing evidence here: neither the per-step latent supervision nor the final-answer loss alone gets anywhere close to the combined result, which suggests the fix is less a new architectural primitive and more a credit-assignment trick — give every latent slot a specific target and check the whole chain is jointly correct. Worth flagging that every reported number is on math word problems; whether the same recipe holds for reasoning tasks with more variable chain length and structure is untested.
Linked reviews
DeepLoop: Depth Scaling for Looped Transformers
Standard DeepNorm residual scaling assumes every layer has independent parameters, but a looped transformer revisits the same physical block many times — this paper shows that breaks the scaling math, derives the correct exponent (1/4 to 1/2) for the tied case, and gets consistent gains in loss, downstream accuracy, and ARC-AGI reasoning from changing two scalar constants.
architectureLayerNorm as Implicit Gain Control in Looped Transformers
Analyzing the exact recurrence behind the Parcae looped-transformer design, this paper shows its stability constraint is necessary but not sufficient for convergence, and that gradient descent stores cross-iteration memory in the block's nonlinear recurrence rather than in the linear carry term built to hold it.
architectureT2MLR: Transformer with Temporal Middle-Layer Recurrence
Fuses a cached middle-layer representation from the previous token directly into an earlier layer of the current token, letting abstract intermediate computation persist across decoding steps for a fraction of the network's depth.
looped-transformerHidden Decoding at Scale: Latent Computation Scaling for Large Language Models
A continued-pretraining method lets an existing LLM backbone keep improving by expanding each token into several parallel streams with their own KV cache instead of looping the same layers, avoiding the pipeline-parallelism problems that make depth-recurrent transformers hard to scale.