T2MLR: Transformer with Temporal Middle-Layer Recurrence

Background Standard Transformers decode autoregressively while repeatedly compressing rich hidden computation — built up across many layers for one token — down into token space (a single next-token distribution). That compression leaves no route for an abstract intermediate state to carry over intact into the next token.

배경 표준 트랜스포머는 자기회귀적으로 디코딩하면서, 한 토큰이 여러 레이어를 거쳐 쌓아올린 풍부한 중간 연산(hidden computation)을 매번 토큰 공간(하나의 다음-토큰 확률분포)으로 압축해버린다. 이 압축은 다음 토큰을 예측할 때 이전의 추상적 중간 상태를 그대로 이어받을 방법을 남기지 않는다.

Problem As a result, abstract reasoning state that spans multiple tokens struggles to persist across decoding steps — each new token effectively has to reconstruct that abstract state from scratch.

문제 따라서 토큰을 넘나드는 추상적 추론 상태(reasoning state)가 디코딩 스텝 사이에서 지속되기 어렵다 — 각 토큰은 사실상 처음부터 다시 그 추상 상태를 재구성해야 한다.

Prior limitations Prior looped / recurrent-depth Transformers typically loop over the entire stack of layers, which is compute-expensive and does not distinguish which layers actually benefit from the recurrence.

기존 한계 기존의 루프형(looped)·재귀 깊이(recurrent-depth) 트랜스포머들은 전체 레이어를 통째로 반복(loop over all layers)하는 방식이 일반적이었는데, 이는 연산 비용이 크고 어느 레이어가 실제로 재귀로부터 이득을 보는지 구분하지 않는다.

Goal Get the reasoning benefits of recurrence without looping the whole network, by letting the current token inherit a deep-layer computation result from the previous token.

목표 전체 네트워크를 반복하지 않고도, 이전 토큰의 깊은 레이어 계산 결과를 현재 토큰이 이어받게 해 더 강한 추론 성능을 얻는 것이 목표다.

Method T2MLR caches a representation from a specific middle layer at the previous token position, then fuses it directly into an earlier (shallower) layer at the current token position — applying recurrence to a localized block rather than the whole stack (the paper finds the best results looping only about 20% of the middle layers).

방법 T2MLR은 이전 토큰 위치의 특정 중간(middle) 레이어 표현을 캐싱해두었다가, 현재 토큰 위치의 더 앞쪽(shallow) 레이어에 직접 융합한다 — 전체 레이어를 반복하는 대신 국소적인 블록(논문에서는 전체 네트워크의 약 20%에 해당하는 중간 레이어 구간)에만 타깃으로 재귀를 적용한다.

Key idea The key move is choosing *where* to loop rather than looping everything — one deep-layer representation from the previous token is wired as a shortcut into a shallow layer of the current token. It's like handing off a one-line summary of the conclusion you just reached as the starting point for your next thought, instead of re-deriving it from scratch every time.

핵심 아이디어 핵심은 "어디를 반복할지"를 고르는 것이다 — 모든 레이어를 도는 대신, 이전 토큰의 깊은 레이어 표현 하나를 현재 토큰의 얕은 레이어에 지름길처럼 연결한다. 마치 매번 처음부터 생각을 다시 정리하는 대신, 방금 도달했던 결론의 요약본을 다음 생각의 출발점으로 바로 건네받는 것과 같다.

Validation Evaluated on natural-language pretraining and multi-hop reasoning fine-tuning, tested on math reasoning benchmarks (GSM8K, MATH500) and zero-shot NLP tasks (ARC-C, ARC-E, HellaSwag, etc.), including retrofitting the recurrence into an existing 1.7B-parameter model with brief fine-tuning.

검증 자연어 사전학습과 다중 홉(multi-hop) 추론 파인튜닝 과제로 평가했고, 수학 추론 벤치마크(GSM8K, MATH500)와 ARC-C/ARC-E/HellaSwag 등 제로샷 NLP 과제로 검증했다. 기존 1.7B 파라미터 모델에 짧은 파인튜닝만으로 재귀 구조를 이식(retrofit)하는 실험도 포함한다.

Results GSM8K accuracy improves 35.78% → 39.88% (+11.5% relative), MATH500 improves 12.80% → 18.00% (+40.6% relative), with consistent but smaller gains on zero-shot NLP tasks. The best results come from looping only about 20% of the middle layers, not the full stack.

결과 GSM8K 정확도가 35.78% → 39.88%(상대 +11.5%), MATH500이 12.80% → 18.00%(상대 +40.6%)로 개선되었으며, 제로샷 NLP 과제들에서도 일관되지만 더 작은 폭의 향상을 보였다. 전체 레이어가 아니라 중간 레이어의 약 20%만 반복했을 때 가장 좋은 결과가 나왔다.

Comparison Reports consistent gains over data- and parameter-matched standard Transformer baselines. Compared to prior full-stack looped Transformers, the distinguishing claim is that localized (20%) recurrence delivers stronger reasoning gains than looping everything.

비교 데이터·파라미터를 맞춘(data- and parameter-matched) 표준 트랜스포머 베이스라인과 일관되게 비교해 앞선다고 보고한다. 전체 레이어를 반복하는 기존 루프형 트랜스포머 대비, 국소적(20%) 재귀만으로 더 강한 추론 이득을 얻는다는 것이 차별점이다.

Significance Adds a new design axis — *which* layers to loop, not just whether to loop — to the looped/recurrent-depth Transformer line, with evidence that looping the full depth isn't necessary to capture most of recurrence's benefit; also practically notable since it retrofits onto an existing pretrained model with brief fine-tuning.

의의 루프형·재귀 깊이 트랜스포머 계열 연구에 "어느 레이어를 반복할지"라는 설계 축을 추가한다 — 전체 깊이를 반복하는 것이 재귀의 이득 대부분을 내는 데 필요하지 않을 수 있다는 실증이며, 짧은 파인튜닝만으로 기존 사전학습 모델에 이식 가능하다는 점에서 실용적 의미도 크다.

Limitations Training is slower than a parameter-matched Transformer baseline — roughly 2-4× wall-clock training overhead depending on the recurrent block size, which the authors explicitly call out as a trade-off.

한계 학습이 파라미터를 맞춘 표준 트랜스포머 베이스라인보다 느리다 — 재귀 블록 크기에 따라 학습 시 약 2~4배의 wall-clock 오버헤드가 발생하며, 저자들은 이를 "트레이드오프"로 명시한다.

Future work The authors point to (1) reducing training cost via better temporal-mixing mechanisms, (2) a mechanistic understanding of information flow through the recurrent pathway, (3) scaling to larger models and harder benchmarks, and (4) applications in reinforcement-learning settings.

향후 과제 저자들은 (1) 더 나은 시간축 믹싱(temporal mixing) 메커니즘을 통한 학습 비용 절감, (2) 재귀 경로를 통한 정보 흐름의 메커니즘적 이해, (3) 더 큰 모델과 더 어려운 벤치마크로의 확장, (4) 강화학습 환경으로의 응용을 향후 연구 방향으로 제시한다.

Released resources The arXiv preprint is the only verified public resource (reviewer judgment — whether code is separately released is not confirmed).

자원 공개 arXiv 프리프린트가 유일하게 확인된 공개 자료다 (리뷰어 판단 — 코드 공개 여부는 확인되지 않음).