The Key to Going Linear: Analysis-Driven Transformer Linearization

Background Causal self-attention's quadratic compute and linearly-growing KV cache are the main obstacle to scaling pretrained transformers to long contexts, and post hoc linearization, converting an already-pretrained full-attention model into a linear-time architecture without pretraining from scratch, is the appealing fix. Existing linearization pipelines (LoLCATs, Liger, LoLA, STILL, Lizard) all combine several interventions at once, LoRA, sliding-window attention, hybrid caching, distillation, which makes it impossible to isolate which piece of the recipe is actually responsible for recovering quality. Underneath all of them sits a menu of candidate linear-time state updates: kernelized feature-map methods (Hedgehog), pure gated-decay recurrences (Gated Linear Attention, GLA), and gated delta-rule updates (Gated DeltaNet, GDN, as used in Kimi Linear).

배경 인과적 self-attention의 이차 계산량과 선형으로 늘어나는 KV 캐시는 사전학습된 트랜스포머를 긴 문맥으로 확장하는 데 가장 큰 걸림돌이며, 이미 사전학습된 full-attention 모델을 처음부터 다시 학습하지 않고 선형-시간 아키텍처로 변환하는 post hoc linearization이 매력적인 해법이다. 기존 선형화 파이프라인들(LoLCATs, Liger, LoLA, STILL, Lizard)은 모두 LoRA, 슬라이딩 윈도우 attention, 하이브리드 캐싱, distillation 등 여러 개입을 한꺼번에 결합하기 때문에 레시피의 어느 부분이 실제로 품질 회복을 담당하는지 분리할 수 없다. 이 모든 파이프라인 아래에는 후보 선형-시간 상태 업데이트들의 메뉴가 깔려 있다. 커널화된 feature-map 방식(Hedgehog), 순수 게이트-감쇠 순환(Gated Linear Attention, GLA), 게이트된 delta-rule 업데이트(Gated DeltaNet, GDN, Kimi Linear가 사용).

Problem The paper isolates a single question buried under all the confounds, which linear state update, on its own, best approximates pretrained softmax attention, by freezing the entire pretrained backbone and training only the newly added linear-mechanism parameters, with no LoRA, no sliding window, and no distillation. Under this strict regime it is not obvious a priori why delta-rule updates (which subtract a rank-1, key-dependent correction from the recurrent state) should beat gated accumulation (which only decays the state by a key-independent, input-dependent gate), despite delta-based models empirically pretraining well; the paper wants a first-principles reason, not just an empirical ranking.

문제 이 논문은 모든 confound 아래 묻혀 있던 단일 질문, 즉 어떤 선형 상태 업데이트가 그 자체로 사전학습된 softmax attention을 가장 잘 근사하는가를, 사전학습 백본 전체를 동결하고 새로 추가된 선형 메커니즘 파라미터만 학습해(LoRA도, 슬라이딩 윈도우도, distillation도 없이) 분리해낸다. 이 엄격한 조건 아래에서는 delta-rule 업데이트(순환 상태에서 rank-1의 key-의존적 보정을 빼는 방식)가 gated accumulation(key와 무관하게 입력-의존적 게이트로만 상태를 감쇠시키는 방식)을 왜 이겨야 하는지가 선험적으로 자명하지 않다. delta 기반 모델이 실증적으로 사전학습이 잘 되는 것과 별개로, 논문은 단순한 실증적 순위가 아니라 제1원리적 이유를 원한다.

Prior limitations Prior linearization work treats SWA, sink tokens, LoRA, and distillation as a package deal, so a strong downstream number could be masking a weak core state-update mechanism propped up by the other interventions, and a weak number could be blaming the state update for a gap that the missing interventions would have closed anyway. Separately, kernelized methods like Hedgehog are known to approximate the softmax kernel via feature maps, but whether the more hardware-efficient state-based recurrences (GLA, GDN) correspond to softmax attention in any precise mathematical sense had remained an open, empirically-observed-but-untheorized question.

기존 한계 기존 선형화 연구는 SWA, sink 토큰, LoRA, distillation을 하나의 패키지로 취급하므로, 좋은 다운스트림 수치가 사실은 다른 개입들이 떠받치고 있는 약한 핵심 상태-업데이트 메커니즘을 가리고 있을 수도 있고, 나쁜 수치가 실은 빠진 개입들이 어차피 메꿔줬을 격차를 상태 업데이트 탓으로 돌리는 것일 수도 있다. 별개로, Hedgehog 같은 커널화 방법이 feature map을 통해 softmax 커널을 근사한다는 것은 알려져 있었지만, 더 하드웨어 효율적인 상태-기반 순환(GLA, GDN)이 정밀한 수학적 의미에서 softmax attention에 대응하는지는 실증적으로 관찰됐을 뿐 이론화되지 않은 열린 질문으로 남아 있었다.

Goal The paper wants a first-order mathematical approximation that connects exact softmax attention weights to a linear recurrence's implicit weights, in order to predict, rather than just measure after the fact, which state-update family should linearize pretrained attention best, and then to identify the minimal structural add-ons that patch whatever the theory says the chosen mechanism still misses.

목표 논문은 정확한 softmax attention 가중치를 선형 순환의 암묵적 가중치와 연결하는 1차 수학적 근사를 얻어, 사후에 측정하는 대신 사전에 어떤 상태-업데이트 계열이 사전학습된 attention을 가장 잘 선형화해야 하는지 예측하고, 그 다음 이론이 선택된 메커니즘에 여전히 부족하다고 말하는 부분을 메우는 최소한의 구조적 추가 요소를 찾고자 한다.

Method Via a three-step Taylor/projection argument, the authors show softmax attention weights are, to first order, an affine function of the query through the term q^T(I - Pi_kbar)k_i, i.e. the query's inner product with each key after removing the component along the mean key direction (a key-dependent, rank-1 orthogonal projection). Gated DeltaNet's rank-1 update (I - beta_j k_j k_j^T) implements exactly this key-dependent correction across the whole key history, while Gated Linear Attention's decay gate is diagonal and only input-dependent, never keyed to any particular past key, so GDN is a faithful first-order approximation of softmax and GLA structurally cannot be. The authors additionally propose kGLA, a hybrid that adds a diagonal (not full rank-1) key-dependent term to GLA's gate, trading some of the delta rule's expressivity for GLA's more hardware-optimized kernels. Building on this diagnosis, they add three structural patches predicted to matter: a disjoint sliding-window path (tokens are routed to either the linear path or a small local-attention window, never both), a fixed sink-token budget carved out of that window (since the theory's uniform 1/t bias term, dropped by real implementations, makes early-sequence tokens hardest to approximate), and short convolutions or LoRA on the frozen Q/K/V projections.

방법 3단계 Taylor/투영 논증을 통해 저자들은 softmax attention 가중치가 1차 근사에서 q^T(I - Pi_kbar)k_i 항, 즉 query와 각 key의 내적에서 평균 key 방향 성분을 제거한 것(key-의존적, rank-1 직교 투영)을 통해 query의 아핀 함수임을 보인다. Gated DeltaNet의 rank-1 업데이트 (I - beta_j k_j k_j^T)는 전체 key 이력에 걸쳐 정확히 이 key-의존적 보정을 구현하는 반면, Gated Linear Attention의 감쇠 게이트는 대각(diagonal)이고 입력에만 의존할 뿐 특정 과거 key에 결코 연결되지 않는다. 따라서 GDN은 softmax의 충실한 1차 근사이고 GLA는 구조적으로 그럴 수 없다. 저자들은 추가로 kGLA를 제안하는데, GLA의 게이트에 (완전한 rank-1이 아닌) 대각 key-의존 항을 더해 delta rule의 표현력 일부를 GLA의 더 하드웨어-최적화된 커널과 맞바꾼다. 이 진단을 토대로 저자들은 중요할 것으로 예측되는 세 가지 구조적 패치를 더한다. 분리된 슬라이딩 윈도우 경로(토큰은 선형 경로나 작은 로컬 attention 윈도우 중 하나로만 라우팅되고 둘 다는 아님), 그 윈도우에서 떼어낸 고정 sink-토큰 예산(실제 구현이 생략하는 이론상의 균일 1/t 편향 항 때문에 시퀀스 초반 토큰이 근사하기 가장 어렵다는 점에서), 그리고 동결된 Q/K/V 투영에 대한 short convolution 또는 LoRA다.

Key idea The central idea is that a specific architectural choice already popular for its empirical strength, the delta rule, can be derived, not just observed, from a first-order Taylor expansion of softmax itself: softmax intrinsically computes a key-dependent rank-1 orthogonal correction, and only an update rule built from the same rank-1 key-outer-product ingredients can track it, which is like realizing a workaround engineers already preferred for it just performs better reasons is actually the unique first-order-correct answer to a simplified version of the exact problem.

핵심 아이디어 핵심 아이디어는 이미 실증적 강점으로 인기 있던 특정 아키텍처 선택인 delta rule이 단순히 관찰되는 게 아니라 softmax 자체의 1차 Taylor 전개에서 유도될 수 있다는 것이다. softmax는 본질적으로 key-의존적 rank-1 직교 보정을 계산하며, 같은 rank-1 key-외적 재료로 만들어진 업데이트 규칙만이 그것을 따라갈 수 있다. 이는 엔지니어들이 그냥 더 잘 작동해서 선호해 온 우회 방법이 실은 단순화된 문제의 정확한 1차 정답이었음을 깨닫는 것과 같다.

Validation Frozen-backbone linearization is evaluated on LLaMA-3.1-8B and Qwen3-8B-Base by replacing all attention layers with GLA, kGLA, GDN, or Hedgehog and training only the new parameters for 2,500 iterations (10M tokens) on DCLM-Edu; layerwise/tokenwise MSE against the real frozen attention outputs, plus the theory's own diagnostic quantities (projection residual, key concentration), are measured directly, then downstream accuracy is reported on five common-reasoning tasks, 5-shot MMLU, and LAMBADA. The recipe is progressively built up (bare mechanism, then plus SWA/sink, then plus short-conv/LoRA) with each stage's contribution isolated, then scaled to the full Qwen3 family (0.6B-32B), tested on long-context RULER/S-NIAH, and tested in a hybrid setting that keeps 10-50% of layers as full attention (chosen either uniformly or via the theory's own hardness signals).

검증 동결-백본 선형화는 LLaMA-3.1-8B와 Qwen3-8B-Base에서 모든 attention 층을 GLA, kGLA, GDN, Hedgehog로 교체하고 DCLM-Edu에서 새 파라미터만 2,500 iteration(1000만 토큰) 학습해 평가한다. 실제 동결된 attention 출력 대비 층별/토큰별 MSE와 이론 자체의 진단량(투영 잔차, key 집중도)을 직접 측정한 뒤, 5개 공통 추론 과제, 5-shot MMLU, LAMBADA로 다운스트림 정확도를 보고한다. 레시피는 기본 메커니즘에서 SWA/sink를 더하고 다시 short-conv/LoRA를 더하는 순으로 단계적으로 쌓아 각 단계의 기여를 분리하고, 전체 Qwen3 계열(0.6B~32B)로 확장하며, 장문맥 RULER/S-NIAH로 시험하고, 층의 10~50%를 (균일하게 혹은 이론 자체의 난이도 신호로) full attention으로 유지하는 하이브리드 설정에서도 시험한다.

Results In the strict bare-mechanism setting, GDN's approximation MSE is consistently lowest and its downstream scores clearly the strongest among linear replacements, e.g. on LLaMA-3.1-8B, GDN reaches 44.67 LAMBADA accuracy versus GLA's 28.26 and Hedgehog's 0.00, against a 74.79 full-attention reference, confirming the delta rule's structural advantage before any compensating tricks are added. With the final recipe (SWA + 8 sink tokens in a 64-token budget + short convolutions), the gap to full attention shrinks to 0.16-1.44% on common reasoning and roughly 5-6% on MMLU/LAMBADA across both backbones, and the method outperforms prior post hoc baselines LoLCaT and Liger-GLA on 5-shot MMLU (59.17 vs 54.88/46.9) while using far fewer training tokens (0.01B vs their reported budgets) and matches the long-context retrieval of more complex adaptive-caching frameworks (Lizard, LoLA) at a comparable cache budget.

결과 엄격한 기본-메커니즘 설정에서 GDN의 근사 MSE가 일관되게 가장 낮고 다운스트림 점수도 선형 대체 중 확연히 가장 강하다. 예컨대 LLaMA-3.1-8B에서 GDN은 LAMBADA 정확도 44.67을 기록해(GLA 28.26, Hedgehog 0.00, full-attention 기준 74.79 대비) 어떤 보완 트릭도 더하기 전에 delta rule의 구조적 우위를 확인해준다. 최종 레시피(SWA + 64-토큰 예산 내 8개 sink 토큰 + short convolution)에서는 두 백본 모두 공통 추론에서 full attention과의 격차가 0.16~1.44%로, MMLU/LAMBADA에서 대략 5~6%로 줄어들고, 5-shot MMLU에서 기존 post hoc baseline인 LoLCaT·Liger-GLA를 앞서며(59.17 vs 54.88/46.9) 훨씬 적은 학습 토큰(0.01B, 그들이 보고한 예산 대비)을 쓰고, 비슷한 캐시 예산에서 더 복잡한 적응형 캐싱 프레임워크(Lizard, LoLA)의 장문맥 검색 성능에 필적한다.

Comparison Against Hedgehog, the kernelized incumbent, both state-based mechanisms (GLA, GDN) win decisively, showing that abandoning explicit softmax-kernel mimicry for a recurrent state update is not itself the risk, the risk is which recurrent update you pick. Against GLA specifically, the paper's own hybrid kGLA closes some of the initialization-time MSE gap but that advantage largely disappears after training, indicating lightweight fine-tuning can partially compensate for a weaker inductive bias but the rank-1 structure still yields a better final approximation. Against full end-to-end linearization pipelines (LoLCaT, Liger-GLA, Llamba), the paper's minimal frozen-backbone-plus-three-patches recipe matches or beats their downstream numbers using roughly two to three orders of magnitude fewer training tokens (0.01B vs Llamba's 12B), suggesting most of those pipelines' complexity was compensating for using a weaker state update in the first place.

비교 커널화된 기존 강자 Hedgehog 대비 두 상태-기반 메커니즘(GLA, GDN) 모두 압도적으로 이겨, 명시적 softmax-커널 모방을 버리고 순환 상태 업데이트로 가는 것 자체가 위험이 아니라 어떤 순환 업데이트를 고르느냐가 위험임을 보여준다. GLA에 국한해 보면, 논문 자체의 하이브리드 kGLA는 초기화 시점 MSE 격차 일부를 좁히지만 그 우위는 학습 후 대부분 사라지는데, 이는 가벼운 미세조정이 더 약한 귀납 편향을 부분적으로 보완할 수 있지만 rank-1 구조가 여전히 더 나은 최종 근사를 낸다는 뜻이다. 전체 end-to-end 선형화 파이프라인(LoLCaT, Liger-GLA, Llamba) 대비, 논문의 최소한의 동결-백본-플러스-세-패치 레시피는 대략 2~3자릿수 더 적은 학습 토큰(0.01B vs Llamba의 12B)으로 그들의 다운스트림 수치를 맞추거나 능가하는데, 이는 그 파이프라인들의 복잡성 대부분이 애초에 더 약한 상태 업데이트를 쓴 것을 보완하고 있었음을 시사한다.

Significance By separating which state update from which compensating tricks, the paper turns a previously entangled empirical practice into a principled default: pick delta-style updates because they are the first-order-correct linearization of softmax, then add sink tokens and short convolutions because the theory predicts exactly where the first-order approximation still fails (early-sequence tokens, projection-adaptation capacity). For efficient-inference practice, this both justifies the industry's growing adoption of delta-rule-family mechanisms (Gated DeltaNet, Kimi Linear) on architectural grounds rather than purely empirical ones, and gives practitioners a diagnostic (projection residual, key concentration) to decide, per layer, which layers are hardest to linearize and therefore worth keeping as full attention in a hybrid model.

의의 어떤 상태 업데이트냐와 어떤 보완 트릭이냐를 분리함으로써, 논문은 이전까지 뒤엉켜 있던 실증적 관행을 원리에 기반한 기본값으로 바꾼다. delta 스타일 업데이트를 고르는 이유는 그것이 softmax의 1차-정확한 선형화이기 때문이고, sink 토큰과 short convolution을 더하는 이유는 이론이 1차 근사가 여전히 실패하는 지점(시퀀스 초반 토큰, 투영-적응 용량)을 정확히 예측하기 때문이다. 효율적 추론 실무에서 이는 업계가 delta-rule 계열 메커니즘(Gated DeltaNet, Kimi Linear)을 채택해가는 것을 순전히 실증적이 아니라 아키텍처적 근거 위에서 정당화하며, 실무자들에게 층별로 어느 층이 선형화하기 가장 어려워 하이브리드 모델에서 full attention으로 남겨둘 가치가 있는지 판단할 진단 도구(투영 잔차, key 집중도)를 제공한다.

Limitations The authors state their first-order theory relies on approximate assumptions that may not hold uniformly across layers or very short prefixes, which is consistent with their own finding that approximation error is largest at the very start of a sequence (where the theory's dropped uniform bias term and low key-concentration both predict trouble). They also note the Taylor expansion technically implies a 1/t bias term that real GDN/GLA implementations omit, treating this as a plausible explanation for early-sequence error rather than a fully confirmed causal account. The comparison omits pure state-space/Mamba-style architectures and any pretraining-from-scratch mechanisms, restricting claims to the post-hoc, frozen-backbone linearization setting specifically.

한계 저자들은 자신들의 1차 이론이 모든 층이나 매우 짧은 prefix에 걸쳐 균일하게 성립하지 않을 수 있는 근사적 가정에 의존한다고 명시하며, 이는 근사 오차가 시퀀스 맨 초반에서 가장 크다는 그들 자신의 발견(이론이 생략한 균일 편향 항과 낮은 key 집중도가 모두 문제를 예측하는 지점)과 일치한다. 또한 Taylor 전개가 기술적으로 1/t 편향 항을 내포하지만 실제 GDN/GLA 구현은 이를 생략한다고 지적하며, 이를 초반 시퀀스 오차에 대한 그럴듯한 설명으로 취급할 뿐 완전히 확증된 인과 설명으로 제시하지는 않는다. 비교 대상에서 순수 state-space/Mamba류 아키텍처나 처음부터 사전학습하는 메커니즘은 제외되어, 주장은 구체적으로 post-hoc 동결-백본 선형화 설정에 한정된다.

Future work The paper's stated limitation section explicitly defers the extension of adaptive caching strategies to GDN linearization, i.e. combining their theoretically-motivated delta-rule linearization with the content-aware token-selection caches (Lizard, LoLA, STILL) that current use only via a naive enlarged sliding window, to future work. They separately note, without formally proposing it as future work, that LoRA's underperformance relative to short convolutions in their experiments may be an artifact of the lower learning rate they used for training stability and might close with the longer token budgets (e.g. 20M tokens) used in prior pipelines (reviewer judgment: this reads as an open empirical question the authors flag but do not resolve).

향후 과제 논문의 명시된 한계 절은 적응형 캐싱 전략을 GDN 선형화로 확장하는 것, 즉 이론에 기반한 delta-rule 선형화를 현재는 그저 확장된 슬라이딩 윈도우로만 활용하는 콘텐츠-인식 토큰-선택 캐시(Lizard, LoLA, STILL)와 결합하는 것을 명시적으로 향후 과제로 미룬다. 별도로, 논문은 공식적으로 향후 과제로 제안하지는 않지만, 실험에서 LoRA가 short convolution보다 성능이 떨어진 것이 학습 안정성을 위해 사용한 더 낮은 학습률의 부작용일 수 있고 이전 파이프라인이 쓴 더 긴 토큰 예산(예: 2천만 토큰)에서는 격차가 좁혀질 수 있다고 언급한다(리뷰어 판단: 저자들이 짚었지만 해결하지는 않은 열린 실증적 질문으로 읽힌다).

Released resources No public code, checkpoint, or project-page link is stated in the paper's text or references; the authors are affiliated with Qualcomm AI Research, and no GitHub or artifact URL could be verified as of this review.

자원 공개 논문 본문이나 참고문헌 어디에도 공개 코드·체크포인트·프로젝트 페이지 링크가 명시되어 있지 않다. 저자들은 Qualcomm AI Research 소속이며, 이 리뷰 시점까지 GitHub나 아티팩트 URL은 확인되지 않았다.