DeepLoop: Depth Scaling for Looped Transformers

Background Looped (weight-tied) transformers reuse a small stack of physical blocks for R rounds instead of stacking distinct layers, buying much greater effective depth without increasing stored parameters. Training a deep transformer stably typically requires DeepNorm-style residual scaling, whose formula (α, β) is derived as a specific exponent rule in the layer count N.

배경 루프형(looped, weight-tied) Transformer는 서로 다른 층을 쌓는 대신 하나의 작은 block 묶음을 R번 반복 실행해, 저장 파라미터를 늘리지 않고도 훨씬 깊은 유효 depth를 얻는다. 깊은 Transformer를 안정적으로 학습시키려면 DeepNorm류의 잔차(residual) 스케일링이 필요한데, 이 스케일 공식(α, β)은 층 수 N에 대한 특정 지수 규칙으로 유도되어 있다.

Problem The problem is that DeepNorm's derivation assumes each layer has distinct, independent parameters. When the same physical block is revisited R times, as in a looped model, the optimizer aggregates the gradients from all R visits before applying one update, and that single update is then read back by every one of those visits in the next forward pass — a "coupled aggregation path" that independent layers never have. Ignoring this correlation and applying the standard DeepNorm coefficients unmodified can silently break the stability guarantee the moment recurrence is turned on.

문제 문제는 그 DeepNorm 유도가 "각 층이 서로 다른, 독립적인 파라미터를 가진다"는 가정 위에 서 있다는 점이다. 루프형 모델처럼 같은 물리적 block이 R번 재방문되면, optimizer는 R번의 방문에서 나온 gradient를 모두 합산한 뒤 그 하나의 업데이트를 다음 forward 계산의 모든 방문이 함께 읽어 쓴다 — 독립 층에는 없는 "결합된 집계 경로"가 생긴다. 이 상관관계를 무시하고 표준 DeepNorm 계수를 그대로 쓰면, 재귀(recurrence)가 켜지는 순간 안정성 보장이 깨질 수 있다.

Prior limitations DeepNorm/DeepNet-style analyses do not address the extra correlation introduced when parameters are reused across loop visits at all. Recent looped-model stability work (Parcae's spectral constraint on a diagonal carry, LayerNorm's implicit gain control) points in a different direction too — it studies the forward dynamics of the recurrence itself (whether it converges), not whether the residual-scaling/initialization rule used to start training is even valid once the block is tied.

기존 한계 DeepNorm/DeepNet 계열 분석은 파라미터가 loop 방문마다 재사용될 때 생기는 이 추가 상관관계를 아예 다루지 않는다. 최근의 루프형 안정성 연구들(Parcae의 대각 carry 스펙트럴 제약, LayerNorm의 암묵적 gain control 등)도 방향은 다르다 — 이들은 순환 그 자체의 forward 동역학(수렴 여부)을 다루지, 애초에 학습을 시작할 때 쓰는 잔차-스케일링/초기화 규칙이 tied 상황에서도 유효한지는 묻지 않는다.

Goal Determine the residual-scaling exponent that is actually correct for a tied (weight-shared) transformer block, as a function of how many times it is revisited (R) and how correlated ("aligned") the gradients from those visits are, and empirically test whether it improves training once recurrence is active.

목표 block이 몇 번 재방문되는가(R)와 그 방문들의 gradient가 서로 얼마나 상관되어("정렬"되어) 있는가의 함수로, 묶인(tied) Transformer block에 맞는 올바른 잔차-스케일링 지수를 규명하고, 실제로 재귀가 켜졌을 때 학습 품질을 개선하는지 검증한다.

Method The paper derives a first-order perturbation expansion of the residual update, which produces a double-sum structure — the sum of per-visit updates multiplied by the sum of per-visit gradients — and summarizes this with a "visit-alignment coefficient" κ_R (Θ(1) for decorrelated visits, up to Θ(R) for fully aligned visits). For a scaling family α=(cN)^p, β=(dN)^{-p}, the stability condition becomes p≥(1+γ)/4 where κ_R=Θ(R^γ); at full alignment (γ=1) this forces p≥1/2 rather than DeepNorm's p=1/4.

방법 잔차 업데이트의 1차 섭동(perturbation) 식을 유도하면 방문별 업데이트 합과 방문별 gradient 합이 곱해지는 이중합 구조가 나오는데, 이를 "visit-alignment coefficient" κ_R(비상관 방문이면 Θ(1), 완전히 정렬된 방문이면 Θ(R))로 요약한다. α=(cN)^p, β=(dN)^{-p} 형태의 스케일링 계열에서 안정성 조건은 p≥(1+γ)/4(단 κ_R=Θ(R^γ))가 되며, 완전 정렬(γ=1)일 때 표준 DeepNorm의 p=1/4가 아니라 p≥1/2가 요구된다.

Key idea The core idea in one sentence: a shared block visited R times is not R independent layers — the visits' gradients get combined before being applied, and that combined update is read by every visit again, so the residual branch has to shrink much more aggressively (an N^{1/2} rather than N^{1/4} rate) as recurrence deepens to stay stable. It is a bit like the difference between R people each editing their own private copy of a document versus R people editing one shared document at the same time — in the shared-document case the edits reinforce each other, so each individual edit has to be made smaller for the combined change to stay within a safe range.

핵심 아이디어 핵심은 한 문장으로 줄일 수 있다 — R번 재방문되는 공유 block은 R개의 독립 층이 아니라, 방문들의 gradient가 합쳐진 뒤 그 결과를 다시 모든 방문이 함께 읽는 구조이므로, 재귀가 깊어질수록 잔차 분기를 표준보다 훨씬 더(N^{1/4}가 아니라 N^{1/2} 비율로) 줄여야 안정적이다. R명이 각자 자기 사본을 편집하는 것과, R명이 하나의 공유 문서를 동시에 편집하는 것의 차이에 비유할 수 있다 — 공유 문서에서는 각자의 편집이 서로 보강되어 합쳐진 변화량이 더 커지므로, 개별 편집 하나하나는 더 작게 눌러야 전체가 안전한 범위 안에 머문다.

Validation Validated by training GPT-2 small (4×H200) and medium (8×H200) on FineWeb-Edu, 50B tokens, 100K steps, at loop counts R∈{1,3,5,7}. At R=1 (no recurrence) DeepLoop reduces exactly to standard DeepNorm, confirmed as a sanity check; an appendix p-sweep experiment (R=3, GPT-2 small) directly varies the exponent p and finds training destabilizes below p≈0.45 and is reliable at p≥0.50 — an empirical phase boundary that lines up with the theory's predicted 1/2.

검증 GPT-2 small(4×H200) 과 medium(8×H200)을 FineWeb-Edu 50B 토큰, 100K step, loop 횟수 R∈{1,3,5,7}로 학습해 검증한다. R=1(재귀 없음)에서는 DeepLoop가 정확히 표준 DeepNorm으로 환원되는 것을 sanity check로 확인하고, 부록의 p-sweep 실험(R=3, GPT-2 small)에서는 지수 p를 직접 스윕해 p≈0.45 이하에서 학습이 불안정해지고 p≥0.50에서 안정해지는 실증적 위상 경계가 이론이 예측한 1/2와 일치함을 보인다.

Results Validation loss improves with DeepLoop whenever recurrence is active — at medium scale, R=7, loss drops by -0.0278 nats (2.5558→2.5280). 1-shot downstream accuracy averaged over 8 tasks (medium, R=7) rises from a 54.62% baseline to 55.20% with DeepLoop. On ARC-AGI-1 with a Hierarchical Reasoning Model on top (voting budget K=2), vanilla HRM scores 36.50% versus 39.75% with DeepLoop — roughly a 6σ-scale gain.

결과 Validation loss는 재귀가 켜질 때마다 DeepLoop가 baseline보다 낮다 — medium 모델 R=7에서 -0.0278 nats 개선(2.5558→2.5280). 1-shot 다운스트림 8과제 평균(medium, R=7)은 baseline 54.62%에서 DeepLoop 55.20%로 개선. Hierarchical Reasoning Model을 얹은 ARC-AGI-1(투표 예산 K=2)에서는 vanilla HRM 36.50%에서 DeepLoop 적용 시 39.75%로 약 6σ 규모의 개선을 보인다.

Comparison The only comparison run throughout is against a standard-DeepNorm baseline at matched loop counts, and the two converge to identical behavior at R=1 (no recurrence) — confirming there is no downside when recurrence is off. The paper does not directly benchmark against Universal Transformer- or Parcae-style recurrence-dynamics stabilizers, positioning itself instead as addressing an orthogonal axis (residual-scaling rule versus the spectral stability of the recurrence itself) — the authors state this orthogonality explicitly.

비교 전 실험에서 유일한 비교 대상은 같은 loop 횟수에서의 표준 DeepNorm baseline이며, R=1(재귀 없음)에서는 완전히 동일한 결과로 수렴해 "재귀가 없으면 손해도 없다"는 것을 확인한다. Universal Transformer/Parcae류의 순환-동역학 안정화 기법과는 직접 비교하지 않고, 대신 서로 다른 축(잔차-스케일링 규칙 대 순환 자체의 스펙트럴 안정성)을 다룬다고 위치시킨다 — 저자들은 이를 "orthogonal"하다고 명시적으로 표현한다.

Significance The practical appeal for efficient AI is that this is close to a free lunch — no new parameters, no extra compute, just two scalar exponents changed — that preserves the deployment-memory advantage of looped architectures (buying effective depth without more stored parameters) while measurably improving quality. If the finding holds at real deployment scale, it becomes a turn-key correction any team training a looped or recurrent-depth model could simply adopt.

의의 효율적 AI 관점에서 이 논문의 실질적 가치는 "거의 공짜"라는 데 있다 — 새 파라미터도, 추가 연산도 없이 스칼라 상수 두 개(α, β)의 지수만 바꾸는 것으로, 파라미터를 늘리지 않고 유효 depth를 사는 루프형 아키텍처의 배포 경제성을 그대로 지키면서 품질을 끌어올린다. 이 결과가 실제 배포 규모에서도 유지된다면, 루프형/recurrent-depth 모델을 학습하는 누구나 채택할 수 있는 turn-key 보정이 된다.

Limitations The analysis is restricted to first-order perturbation terms and does not address second-order effects. (Reviewer judgment: the p-sweep validation is narrow in scope — one scale (GPT-2 small), one loop depth (R=3), one optimizer-step budget — and the headline runs appear to come from a single seed each, so variance is not quantified. The Hierarchical Reasoning Model analysis used for the ARC-AGI result assumes one-step gradient truncation, and conclusions could differ under the full, untruncated forward map.)

한계 분석은 1차 섭동(first-order perturbation) 항에 한정되어 있어 2차 이상의 효과는 다루지 않는다. (리뷰어 판단: p-sweep 검증은 한 규모(GPT-2 small)·한 loop 깊이(R=3)·한 optimizer-step 예산에서만 이뤄져 범위가 좁고, 주요 결과들도 시드(seed) 하나에서 나온 것으로 보여 분산이 정량화되어 있지 않다. ARC-AGI 분석에 쓰인 Hierarchical Reasoning Model 부분은 1-step gradient truncation을 가정하는데, truncation 없는 완전한 forward map에서는 결론이 달라질 수 있다.)

Future work The authors explicitly propose measuring κ_R or cross-round gradient alignment directly, testing whether the same stability boundary holds at larger scale or under alternative parameterizations, and exploring whether training can be encouraged toward more decorrelated visits so that a smaller, less conservative exponent could be used safely.

향후 과제 저자들은 향후 방향으로 κ_R 또는 방문 간 gradient 정렬을 직접 측정하는 것, 동일한 안정성 경계가 더 큰 규모나 다른 파라미터화 방식에서도 유지되는지 검증하는 것, 그리고 학습이 방문들을 더 비상관(decorrelated)하게 만들도록 유도해 더 느슨한(작은) 지수를 안전하게 쓸 수 있는지 탐구하는 것을 명시적으로 제안한다.

Released resources The paper releases a GitHub repository (lszshu/DeepLoop) as its project page. Training used the public FineWeb-Edu dataset (50B tokens) and evaluation used the public ARC-AGI-1 benchmark — both reproducible without special access.

자원 공개 논문은 GitHub 저장소(lszshu/DeepLoop)를 프로젝트 페이지로 공개했다. 학습에는 공개 데이터셋 FineWeb-Edu(50B 토큰)를, 추론 평가에는 공개 벤치마크 ARC-AGI-1을 사용했다 — 둘 다 별도 접근 제한 없이 재현 가능하다.