LayerNorm as Implicit Gain Control in Looped Transformers

Background Looped (recurrent-depth) transformers reuse a single shared block of weights across T iterations instead of stacking distinct layers, buying the effective depth of a much deeper network while storing only the shared block's weights — cutting the memory a served model needs, which is why the design is attractive for large-scale deployment. Parcae (Prairie et al., 2026) is the reference design that makes this trainable in practice, imposing a spectral-norm constraint ρ(Ā)<1 on a diagonal "carry" term borrowed from S4/Mamba-style state-space models to keep the recurrence well-behaved across many loop iterations.

배경 루프형(looped, recurrent-depth) Transformer는 서로 다른 layer를 쌓는 대신 하나의 공유 block을 T번 반복 실행해, 그 block의 가중치만 저장하면서 훨씬 깊은 네트워크에 맞먹는 유효 depth를 얻는다 — 서빙 시 메모리를 크게 줄일 수 있어 대규모 배포에 매력적인 구조다. Parcae(Prairie et al., 2026)는 이를 실제로 학습 가능하게 만드는 기준 설계로, S4/Mamba류 state-space 모델에서 가져온 대각(diagonal) "carry" 항에 스펙트럴-노름 제약 ρ(Ā)<1을 걸어 여러 loop 반복에 걸친 순환을 안정화한다.

Problem Looped-transformer training can diverge at scale, and in the paper's own framing, "a single training divergence at 70B parameters wastes weeks of compute time and hundreds of thousands of dollars." Understanding exactly which conditions keep the recurrence stable before committing to an expensive training run is therefore not merely academic but economically necessary.

문제 루프형 Transformer는 대규모에서 학습이 불안정해질 수 있고, 논문 자신의 표현으로 "70B 파라미터 규모에서의 학습 발산 한 번이 수 주의 연산 시간과 수십만 달러를 낭비"할 수 있다. 따라서 값비싼 학습을 시작하기 전에 정확히 어떤 조건이 순환을 안정하게 유지하는지 이해하는 일은 단순한 이론적 관심이 아니라 경제적으로 꼭 필요한 일이다.

Prior limitations Parcae names two stabilizing mechanisms (the diagonal carry's spectral constraint, prelude normalization) but does not establish *why* they suffice, or whether they are merely necessary rather than sufficient. More fundamentally, it never asks where in the architecture the memory that persists across loop iterations is actually stored — the pre-LayerNorm inside the recurrent block itself is treated only as a perturbation to keep in check, not examined as an active stabilizing force.

기존 한계 Parcae는 두 가지 안정화 장치(대각 carry의 스펙트럴 제약, prelude normalization)를 제시하지만 그것들이 *왜* 충분한지, 혹은 필요조건일 뿐 충분조건은 아닌지를 규명하지 않는다. 더 근본적으로, loop 반복에 걸쳐 지속되는 "기억"이 아키텍처의 어디에 실제로 저장되는지도 다루지 않는다 — recurrent block 내부의 pre-LayerNorm은 그저 억눌러야 할 섭동 정도로만 취급될 뿐, 능동적인 안정화 장치로는 검토되지 않는다.

Goal Characterize precisely what does and does not certify convergence of Parcae's exact recurrence, and directly test — through controlled training experiments — whether the depth-persistent memory that carries across loop iterations actually lives in the diagonal carry.

목표 Parcae의 순환식이 정확히 어떤 조건에서 수렴을 보장받는지 규명하고, 통제된 학습 실험을 통해 loop 간 지속되는 depth-memory가 실제로 대각 carry에 저장되는지를 직접 검증한다.

Method The paper derives, analytically, the Lipschitz-scaling relationship LayerNorm induces (a "gain control" property that follows from any scale-invariant normalizer, not LayerNorm's specific formula), then verifies it by measuring the Jacobian's operator norm and spectral radius via power iteration on a from-scratch CPU implementation. It then runs six controlled training tasks — constrained versus unconstrained carry on Tiny Shakespeare, a full-attention copy task, and a windowed-attention copy task deliberately designed to force reliance on the carry — to observe what gradient descent actually does with the carry parameter.

방법 LayerNorm이 유발하는 Lipschitz 상수 스케일링 관계(어떤 scale-invariant normalizer에도 적용되는 "gain control" 성질)를 해석적으로 유도하고, from-scratch CPU 구현에서 Jacobian의 연산자 노름과 스펙트럴 반경을 power iteration으로 측정해 검증한다. 이어서 6개의 통제된 학습 과제(Tiny Shakespeare에서 제약 carry 대 무제약 carry, full-attention copy 과제, carry 의존을 강제하도록 설계된 windowed-attention copy 과제)를 통해 gradient descent가 carry 파라미터를 실제로 어떻게 쓰는지 관찰한다.

Key idea The central move is separating two stability quantities that are usually conflated: the operator norm of the recurrence Jacobian (a worst-case, direction-agnostic bound) and its spectral radius (the actual asymptotic convergence rate). The paper shows the operator norm exceeds 1 exactly where a naive Parcae-style analysis would assume safety (at low-to-moderate carry), while the harder-to-compute spectral radius is what is actually protecting the loop. Like a bridge whose official load rating (the operator norm) says it should already have collapsed, but whose real structural behavior — because the load and the structure's weak points do not line up (a non-normal Jacobian) — keeps it standing: the "official" safety margin and the "actual" one are different numbers, and only the second is real.

핵심 아이디어 핵심은 흔히 하나로 뭉뚱그려지는 두 안정성 지표를 분리한 것이다 — 순환 Jacobian의 연산자 노름(방향에 무관한 최악의 경우 상한)과 스펙트럴 반경(실제 점근적 수렴 속도). 논문은 순진한 Parcae식 분석이 안전하다고 가정할 법한 지점(낮은-중간 carry)에서 정확히 연산자 노름이 1을 넘는데도, 계산하기 훨씬 어려운 스펙트럴 반경은 실제로 loop를 보호하고 있음을 보인다. 다리에 비유하면, 공식 하중 등급으로는 이미 무너졌어야 하는데(연산자 노름 기준), 실제 하중과 구조의 취약점이 정확히 겹치지 않아서(비정규 Jacobian) 실제로는 버티고 서 있는 셈이다 — "공식" 안전 마진과 "실제" 안전 마진은 다른 숫자이고, 후자만이 진짜다.

Validation All measurements come from a from-scratch Clojure implementation with gradients checked against finite differences to a 1e-6 tolerance. Stability quantities (operator norm, spectral radius) are measured by power iteration on Jacobian-vector products, cross-checked against a fully materialized dense Jacobian to within 0.004. Analytical claims are verified across 10 random-weight initializations, and training results come from small controlled tasks — a character-level Tiny Shakespeare model, and two synthetic copy tasks built specifically to isolate the carry's role — run on CPU at `d=8-32`.

검증 모든 측정은 finite-difference로 1e-6 오차 내에서 gradient를 검증한 from-scratch Clojure 구현에서 이뤄진다. 안정성 지표(연산자 노름, 스펙트럴 반경)는 Jacobian-vector product에 대한 power iteration으로 측정하고, 완전히 materialize한 dense Jacobian과 교차검증해 0.004 이하의 오차로 일치함을 확인한다. 해석적 주장은 10개의 무작위 가중치 초기화에 대해 검증하며, 학습 결과는 CPU에서 `d=8-32` 규모의 작은 통제 과제(character-level Tiny Shakespeare 모델, carry의 역할만 분리하도록 설계된 두 개의 합성 copy 과제)에서 나온다.

Results The diagonal carry constraint `ρ(Ā)<1` alone does not guarantee the full recurrence converges — 1-2 of 10 random initializations never settle to a fixed point despite satisfying it. The quantity that actually separates convergent from non-convergent instances is the spectral radius of the FULL Jacobian (carry plus nonlinear block), which stays below 1 in every converging instance but whose safety margin collapses from 0.159 at low carry to just 0.012 near the high-carry limit. Across six training tasks, the carry stays low and largely unused whenever the task is solvable via ordinary cross-position attention (cross-channel, language-like tasks) — memory is instead stored in the block's nonlinear recurrence — and gradient descent recruits the carry, with the predicted scaling law reappearing, only when attention is artificially restricted to force position-locked, depth-only information transport.

결과 대각 carry 제약 `ρ(Ā)<1` 자체는 전체 순환의 수렴을 보장하지 못한다 — 무작위 초기화 10개 중 1-2개는 이 제약을 만족하면서도 고정점에 전혀 수렴하지 않는다. 수렴 여부를 실제로 가르는 지표는 (carry와 비선형 블록을 합친) 전체 Jacobian의 스펙트럴 반경으로, 수렴하는 모든 사례에서 1 미만을 유지하지만 그 안전 마진은 낮은 carry에서 0.159였다가 carry가 1에 가까워지면 0.012로 붕괴한다. 6개 학습 과제에서, 과제가 위치 간 attention만으로 풀 수 있는 성격(언어와 같은 cross-channel 과제)일 때는 carry가 낮게 유지되며 거의 쓰이지 않고 — 기억은 대신 블록의 비선형 순환에 저장된다 — attention을 인위적으로 제한해 위치 고정·depth-전용 정보 전달을 강제했을 때만 gradient descent가 carry를 동원하며, 이때 예측된 스케일링 법칙이 다시 나타난다.

Comparison Relative to Parcae's own stability account (a diagonal spectral-norm constraint plus prelude normalization), this paper adds LayerNorm-driven implicit gain control as a third mechanism and argues it dominates at typical operating points. It also draws an explicit structural parallel to diagonal state-space models like S4/Mamba: the same memory-versus-stability tradeoff — the slowest-decaying state variable carries the most memory and the least stability margin — governs Parcae's carry on the depth axis exactly as it governs S4/Mamba's state matrix on the sequence-position axis.

비교 Parcae 자신의 안정성 설명(대각 스펙트럴-노름 제약 + prelude normalization)에 LayerNorm 기반 암묵적 gain control을 세 번째 메커니즘으로 추가하고, 통상적인 동작 지점에서는 이것이 지배적이라고 주장한다. 또한 S4/Mamba 같은 대각 state-space 모델과의 구조적 대응을 명시적으로 보인다 — 가장 느리게 감쇠하는 state 변수가 가장 많은 기억과 가장 적은 안정성 마진을 갖는 동일한 tradeoff가, Mamba류에서는 sequence-position 축을 지배하듯 Parcae의 carry에서는 depth 축을 정확히 동일한 수학적 구조로 지배한다.

Significance For efficient-AI purposes the practical stakes are deployment economics: looped transformers are attractive precisely because reusing one block's weights across many effective layers cuts the memory a served model needs, and this paper's contribution is a training-time diagnostic (watch the spectral radius of the full recurrence Jacobian and the minimum per-token activation norm, not just the carry's own eigenvalues) that could catch a stability failure before it wastes a large run. Its most consequential architectural claim — that the diagonal carry is a safety rail rather than the actual memory mechanism on ordinary language-like tasks — also reframes what future looped-transformer designs should optimize: the nonlinear block's expressiveness, not the linear carry's memory capacity.

의의 효율적 AI의 관점에서 실질적 이해관계는 배포 경제성이다 — 루프형 Transformer가 매력적인 이유는 정확히 하나의 block 가중치를 여러 유효 layer에 걸쳐 재사용해 서빙 메모리를 줄이기 때문이며, 이 논문의 기여는 값비싼 학습 실행을 낭비하기 전에 잡아낼 수 있는 학습-시간 진단(carry 자체의 고유값이 아니라 전체 순환 Jacobian의 스펙트럴 반경과 토큰별 최소 활성화 노름을 감시하라)이다. 가장 결정적인 아키텍처 주장 — 대각 carry가 통상적인 언어 과제에서는 실제 기억 메커니즘이 아니라 안전장치일 뿐이라는 것 — 은 향후 루프형 모델 설계가 무엇을 최적화해야 하는지도 다시 짚는다: 선형 carry의 기억 용량이 아니라 비선형 블록의 표현력이다.

Limitations The authors are explicit that every quantitative result is measured at toy scale (embedding dimension 8-32, at most 4 heads, sequence lengths 1-32, CPU-only) by a single author using a non-standard, from-scratch implementation, stating outright in the abstract that "verification at larger scale is needed." The training-dynamics claim (carry is stabilization, not memory) is demonstrated on one language-style task plus one deliberately constructed counter-example, which the paper itself calls "an empirical dichotomy, not a proven biconditional" rather than a result covering the full space of possible tasks. (Reviewer judgment: no downstream language-modeling benchmark at any real scale is reported, so how this mechanism affects actual model quality is left unaddressed.)

한계 저자는 모든 정량적 결과가 소규모(embedding 차원 8-32, 최대 4 head, 시퀀스 길이 1-32, CPU 전용)에서, 단일 저자의 표준적이지 않은 from-scratch 구현으로 측정되었음을 명시하며 "더 큰 규모에서의 검증이 필요하다"고 abstract에서부터 밝힌다. 학습 동역학 주장(carry는 기억이 아니라 안정화 장치)은 언어형 과제 하나와 의도적으로 구성한 반례 하나로만 입증되며, 논문 스스로 이를 "경험적 이분법이지 증명된 필요충분조건은 아니다"라고 규정한다. (리뷰어 판단: 실제 규모의 downstream 언어모델링 벤치마크는 전혀 보고되지 않아, 이 메커니즘이 실제 모델 품질에 미치는 영향은 다루어지지 않는다.)

Future work The authors name scaling verification as the central open direction, and suggest extending the Lipschitz-estimation methodology from a purely empirical one to analytical bounds, possibly via structured singular value theory. They also explicitly leave open how "hybrid" tasks mixing axis-aligned and cross-channel demands behave, since the carry-recruitment dichotomy was only tested at its two extremes.

향후 과제 저자들은 규모 검증을 핵심 열린 방향으로 지목하며, Lipschitz 추정 방법론을 순수 경험적 방식에서 구조적 특이값 이론 등을 활용한 해석적 상한으로 확장하는 것을 제안한다. 또한 axis-aligned 요구와 cross-channel 요구가 섞인 "hybrid" 과제에서의 거동은, carry-동원 이분법을 양극단에서만 검증했기 때문에 명시적으로 열린 문제로 남긴다.

Released resources The paper releases a from-scratch Clojure implementation on GitHub (clojure-finance/mythjure, tag paper-v1), stated to reproduce in hours on a consumer laptop with no GPU. No separate project page, dataset, or pretrained checkpoint was found.

자원 공개 논문은 GitHub에 from-scratch Clojure 구현을 공개했다(clojure-finance/mythjure, tag paper-v1) — GPU 없이 일반 노트북에서 수 시간 내 재현 가능하다고 명시되어 있다. 별도의 프로젝트 페이지, 데이터셋, 사전학습 checkpoint는 확인되지 않았다.