Paper Review
MiniMax-01: Scaling Foundation Models with Lightning Attention
One softmax-attention block per seven lightning (linear) attention blocks, scaled to a 456B-parameter MoE, matches GPT-4o-class quality while training at 1M-token context and extrapolating to 4M.
Softmax attention 1층 + lightning(linear) attention 7층 hybrid를 456B MoE로 스케일업해, GPT-4o급 품질을 유지하면서 1M-token 학습·4M-token 추론 context를 달성한 최초의 frontier-scale linear attention 모델.
Background Linear attention has long promised O(n) context scaling against the quadratic compute and ever-growing KV cache of softmax attention, but it had never been validated beyond small academic models. The trick is to compute Q(KᵀV) instead of (QKᵀ)V, replacing the N×N attention map with a d×d recurrent KV state updated at constant per-token cost regardless of sequence length. The paper notes that although a cheap linear attention was proposed as early as 2016, none of the leading open LLMs — Llama-3, Qwen2.5, DeepSeek-V3, Mistral — had adopted it, in large part because the causal form degenerates into a slow cumsum that breaks parallelism.
배경 Linear attention은 softmax attention의 quadratic 연산량과 계속 자라는 KV cache에 대한 O(n) 대안으로 오래 제시되어 왔지만, 소규모 학술 모델 밖에서는 검증된 적이 없었다. 핵심 트릭은 (QKᵀ)V 대신 Q(KᵀV)를 계산해 N×N attention map을 d×d recurrent KV state로 대체하는 것이고, 그러면 token당 비용이 시퀀스 길이와 무관해진다. 논문은 값싼 linear attention이 이미 2016년에 제안됐음에도 Llama-3·Qwen2.5·DeepSeek-V3·Mistral 등 주요 오픈 LLM이 하나도 채택하지 않았다고 지적하는데, causal 형태에서 우변 곱이 느린 cumsum 연산으로 퇴화해 병렬화가 깨지는 것이 큰 이유다.
Problem Whether a linear-attention-dominant architecture can match state-of-the-art softmax-attention LLM quality at hundreds of billions of parameters and million-token contexts was an open, untested question. The failure mode is specific: in the authors' own 410M-7B experiments, pure lightning attention matches Transformers on language modeling yet collapses on needle-in-a-haystack retrieval (NIAH), ruling it out as a drop-in LLM backbone. On top of the capability question sits a systems one — every mature distributed training/inference stack assumes softmax attention, so a linear hybrid had simply never been run at frontier scale.
문제 Linear attention 위주 아키텍처가 수천억 parameter·백만 token context 규모에서 최신 softmax attention LLM 품질을 따라갈 수 있는지는 검증되지 않은 열린 문제였다. 실패 양상은 구체적이다 — 저자들의 410M-7B 자체 실험에서 pure lightning attention은 language modeling에서는 Transformer와 대등하지만 needle-in-a-haystack retrieval(NIAH)에서 무너져, LLM backbone으로 그대로 쓸 수 없다. 능력 문제 위에 시스템 문제가 겹친다: 성숙한 분산 학습·추론 스택이 전부 softmax attention 전제라, linear hybrid를 frontier 규모로 돌려본 사례 자체가 없었다.
Prior limitations Prior linear/SSM layers (TransNormer, Mamba2, HGRN2) were only trained at small scale, show clearly weak needle-retrieval (NIAH) ability, and every mature distributed training/inference stack is optimized for softmax attention alone. Even in the paper's own 1B-parameter head-to-head, hybrid-lightning scores 95.7 on NIAH while hybrid-cosformer2 reaches 43.6 and a sliding-window hybrid tops out at 53.9 with a 1024 window. Framework support was so thin that the team reports rebuilding its distributed training and inference framework essentially from scratch (varlen ring attention, LASP+, EP-ETP overlap).
기존 한계 기존 linear/SSM 계열(TransNormer, Mamba2, HGRN2)은 소규모 학습에 그쳤고 needle-retrieval(NIAH) 능력이 뚜렷하게 약하며, 성숙한 분산 학습·추론 스택은 전부 softmax attention 전용으로 최적화되어 있었다. 논문 자체의 1B 규모 비교에서도 hybrid-lightning이 NIAH 95.7을 기록하는 동안 hybrid-cosformer2는 43.6, sliding-window hybrid는 window 1024를 줘도 53.9에 그친다. 프레임워크 지원은 워낙 얇아서 저자들은 분산 학습·추론 프레임워크를 사실상 처음부터 다시 만들었다고 보고한다(varlen ring attention, LASP+, EP-ETP overlap).
Goal Build a frontier-class open model whose attention cost stays near-linear so it can train natively at 1M-token context and extrapolate to 4M tokens at inference at affordable cost. The design target is concrete: total parameters were capped below 500B precisely so that a single 8×80GB node can serve 1M-token contexts under 8-bit quantization. The stated positioning is a context window 20-32× longer than GPT-4o or Claude-3.5-Sonnet at comparable short-context quality.
목표 Attention 비용을 near-linear로 유지해 1M-token context를 네이티브로 학습하고 추론에서 4M token까지 extrapolate하는 frontier급 오픈 모델을 만드는 것이 목표다. 설계 타깃도 구체적이다: 8-bit quantization 하에서 8×80GB 단일 노드가 1M-token context를 서빙할 수 있도록 총 parameter를 500B 미만으로 못박았다. 포지셔닝은 GPT-4o·Claude-3.5-Sonnet 대비 short-context 품질은 대등하게 유지하면서 context window는 20-32배 길게 가져가는 것이다.
Method MiniMax-Text-01 is a 456B-parameter / 45.9B-activated MoE transformer (80 layers, hidden 6144, 32 experts with top-2 routing) that places one GQA softmax-attention block after every seven lightning-attention blocks — an I/O-aware tiled implementation of TransNormer linear attention — and applies RoPE to half the head dimensions. The hyperparameters were measured, not guessed: mixing ratio, depth-to-width, and RoPE fraction were swept on small models, and a Chinchilla-style scaling law extended with expert count as a variable picked the 456B/45.9B point — the way an aircraft design is committed only after wind-tunnel runs on scale models, not by building the full airframe first. Training runs on 1,500-2,500 H800 GPUs with three purpose-built systems pieces — LASP+ parallelizes lightning attention's sequential KV-prefix computation via AllGather, varlen ring attention removes padding waste in data-packed batches, and an EP-ETP overlap scheme cuts MoE communication overhead by 50%. Context is extended in three pre-training stages (128K → 512K → 1M, RoPE base 5M → 10M), followed by a five-stage alignment schedule alternating 8K and ~1M sequence lengths.
방법 MiniMax-Text-01은 456B parameter / 45.9B activated MoE transformer(80 layers, hidden 6144, 32 experts top-2 routing)로, lightning attention(TransNormer linear attention의 I/O-aware tiling 구현) block 7개마다 GQA softmax attention block 1개를 배치하고 head dimension 절반에만 RoPE를 적용한다. Hyperparameter는 추측이 아니라 측정으로 정했다: mixing ratio·depth-to-width·RoPE 비율을 소형 모델에서 sweep하고, expert 수를 변수로 넣어 확장한 Chinchilla식 scaling law로 456B/45.9B 지점을 골랐다 — 실물 기체 대신 축소 모형을 풍동에 돌려 보고 설계를 확정하는 방식이다. 학습은 H800 GPU 1,500-2,500장 위에서 세 가지 시스템 장치로 돌아간다 — LASP+는 lightning attention의 순차적 KV prefix 계산을 AllGather로 병렬화하고, varlen ring attention은 data-packing된 배치의 padding 낭비를 없애며, EP-ETP overlap은 MoE 통신 오버헤드를 50% 줄인다. Context는 pre-training 3단계(128K → 512K → 1M, RoPE base 5M → 10M)로 늘리고, 이후 8K와 ~1M 시퀀스를 번갈아 쓰는 5단계 alignment를 얹었다.
Key idea A thin 1-in-8 dose of softmax attention restores the retrieval capability that pure linear attention lacks — the hybrid matches or surpasses full softmax attention on retrieval and length extrapolation while keeping 7/8 of the layers at linear cost. The paper's mechanism story: softmax attention is a linear RNN that recomputes its state from position 1 at every step ("Going Through a Book"), which is what enables exact recall, while lightning attention skips that recomputation but carries a larger recurrent state (O(d²/h) vs O(d)) — the hybrid inherits both advantages. Pure linear attention is like reading with only a running summary in hand: fine for the plot, hopeless for quoting page 214 — the occasional softmax layer is the one reader still allowed to flip back through the actual pages. Scaling-law fits even show the hybrid reaching lower loss than pure softmax at equal compute.
핵심 아이디어 Softmax attention을 1/8만 섞으면 pure linear attention이 잃는 retrieval 능력이 복원되어, hybrid가 retrieval과 length extrapolation에서 full softmax를 따라잡거나 능가하면서 layer의 7/8을 linear 비용으로 유지한다는 것이 핵심이다. 논문의 메커니즘 설명은 이렇다: softmax attention은 매 step마다 state를 위치 1부터 다시 계산하는 linear RNN("Going Through a Book")이라 정확한 recall이 가능하고, lightning attention은 그 재계산이 없는 대신 더 큰 recurrent state(O(d²/h) vs O(d))를 갖는데, hybrid는 두 장점을 모두 물려받는다. Pure linear attention은 요약 노트만 들고 책을 읽는 것과 같다 — 줄거리는 충분하지만 214쪽을 그대로 인용하라면 속수무책이고, 사이사이 끼워넣은 softmax layer가 실제 페이지를 다시 펼쳐볼 수 있는 유일한 독자다. Scaling law fit에서는 hybrid가 같은 compute에서 pure softmax보다 낮은 loss에 도달하기까지 한다.
Validation Chinchilla-style scaling-law fits over 70M-7B models trained on up to 300B tokens compare softmax, lightning, and hybrid variants, and the full model is evaluated on MMLU/MMLU-Pro/GPQA/IFEval/Arena-Hard, RULER up to 1M tokens, LongBench-v2, a 4M-token NIAH pressure test, and MTOB long in-context learning. The architecture choice is separately stress-tested: CSR/NIAH/SCROLLS downstream comparisons across 410M-7B, alternative hybrids (hybrid-cosformer2, hybrid-hgrn2, sliding-window hybrids) at 1B/3B, and a 28B-total MoE ablation trained on 1T tokens. To go beyond synthetic needles, the authors also construct MR-NIAH, a multi-round dialogue recall test spanning 2K-1M tokens.
검증 70M-7B 모델을 최대 300B token으로 학습한 Chinchilla식 scaling law로 softmax/lightning/hybrid를 비교하고, 본 모델은 MMLU/MMLU-Pro/GPQA/IFEval/Arena-Hard, 1M-token까지의 RULER, LongBench-v2, 4M-token NIAH pressure test, MTOB long in-context learning으로 평가했다. 아키텍처 선택 자체도 따로 검증한다: 410M-7B 구간의 CSR/NIAH/SCROLLS downstream 비교, 1B/3B에서의 대안 hybrid(hybrid-cosformer2, hybrid-hgrn2, sliding-window hybrid) 대결, 28B-total MoE를 1T token으로 학습한 ablation이다. 합성 needle을 넘어서기 위해 2K-1M token 멀티턴 대화 recall 테스트인 MR-NIAH도 직접 만들어 추가했다.
Results MiniMax-Text-01 reaches 88.5 MMLU and 54.4 GPQA-diamond, holds RULER 0.910 at 1M-token input, tops the evaluated set on LongBench-v2 with-CoT at 56.5, stays near-perfect on NIAH out to 4M tokens, and inference achieves over 75% MFU on H20 GPUs. Its MATH score of 77.4 beats GPT-4o (76.6), Claude-3.5-Sonnet (74.1), and Llama-3.1-405B (73.8). On RULER it overtakes every compared model from 128k onward (0.947 vs Gemini-1.5-Pro's 0.917), while GPT-4o and Claude have no entries at all beyond 64k and 128k respectively. Measured prefill latency stays far below Llama-3-70B's quadratic curve on H800 as context grows toward 1M tokens.
결과 MMLU 88.5, GPQA-diamond 54.4를 기록하고, 1M-token 입력에서 RULER 0.910을 유지하며, LongBench-v2 with-CoT 56.5로 평가 대상 중 최고, NIAH는 4M token까지 near-perfect, 추론은 H20 GPU에서 MFU 75% 이상을 달성했다. MATH 77.4는 GPT-4o(76.6)·Claude-3.5-Sonnet(74.1)·Llama-3.1-405B(73.8)를 앞선다. RULER에서는 128k부터 비교 대상 전부를 추월하고(0.947 vs Gemini-1.5-Pro 0.917), GPT-4o·Claude는 각각 64k·128k 너머 구간에는 점수 자체가 없다. H800 실측 prefill latency 곡선은 context가 1M으로 갈수록 Llama-3-70B의 quadratic 곡선보다 훨씬 아래에 머문다.
Comparison It is benchmarked head-to-head against GPT-4o (11-20), Claude-3.5-Sonnet, Gemini-1.5-Pro/2.0-Flash, DeepSeek-V3, Qwen2.5-72B, and Llama-3.1-405B — roughly at parity in short context, with a widening lead beyond 128k where most baselines degrade sharply or cannot accept the input at all. At 1M tokens the only model still standing on RULER is Gemini-1.5-Pro, and MiniMax leads it 0.910 vs 0.850. On MTOB (learning translation from one grammar book) it posts the largest eng→kalam half-book delta (+45.7 ChrF) despite the lowest no-context starting point (6.0) — the gain comes from reading the book in context, not from memorized Kalamang.
비교 GPT-4o(11-20), Claude-3.5-Sonnet, Gemini-1.5-Pro/2.0-Flash, DeepSeek-V3, Qwen2.5-72B, Llama-3.1-405B와 직접 비교해 short context에서는 대등하고, 대부분의 baseline이 급락하거나 아예 입력 불가능한 128k 이상 구간에서 격차를 벌린다. 1M token에서 RULER에 남아 있는 상대는 Gemini-1.5-Pro뿐이고, 여기서도 0.910 vs 0.850으로 앞선다. MTOB(문법책 한 권으로 번역 배우기)에서는 no-context 시작점이 6.0으로 가장 낮은데도 eng→kalam half-book delta가 +45.7 ChrF로 최대다 — 외워둔 Kalamang이 아니라 context의 책을 읽어서 얻은 이득이라는 뜻이다.
Significance It is the first demonstration that linear attention survives frontier scale, turning hybrid attention ratios from a small-model research question into a deployed design point and making 1M-4M-token context windows economically plausible. The authors frame it as a direct challenge to the assumption that state-of-the-art LLMs must be built on traditional attention. The effect is like the four-minute mile: once one 456B model proves the route exists, the field's question flips from "can linear attention scale?" to "how little softmax attention do we actually need?" — the same question DuoAttention poses at head level. Open weights plus the working recipe (scaling laws, kernels, parallelism) also cut the entry cost for every subsequent hybrid design.
의의 Linear attention이 frontier 규모에서 살아남는다는 최초의 실증으로, hybrid attention 비율을 소규모 연구 주제에서 실배포 설계점으로 끌어올리고 1M-4M token context의 경제성을 현실로 만들었다. 저자들은 이를 "최신 LLM은 전통적 attention 위에 지어야 한다"는 통념에 대한 정면 도전으로 규정한다. 4분 마일 기록과 같은 효과다: 456B 모델 하나가 경로의 존재를 증명하는 순간, 분야의 질문은 "linear attention이 스케일되나?"에서 "softmax attention이 실제로 얼마나 조금 필요한가?"로 뒤집힌다 — DuoAttention이 head 수준에서 던지는 것과 같은 질문이다. 공개 weight에 scaling law·kernel·parallelism 레시피까지 딸려 있어 후속 hybrid 설계의 진입 비용도 크게 낮췄다.
Limitations The paper itself lists three limitations: artificial long-context benchmarks, the remaining 1/8 softmax component as the efficiency ceiling, and weak complex-coding performance traced to limited code data. That softmax residue is not cosmetic — by the authors' own profiling, at a 1,024,000-token sequence the softmax layers constitute 95% of the latency while all lightning layers combined contribute under 12%. It is Amdahl's law in the flesh: speed up seven of eight lanes and the one remaining lane becomes the traffic jam. (reviewer judgment) There is also no matched-scale end-to-end serving comparison against a pure-softmax peer, and the 1:7 ratio itself is justified by small-scale sweeps rather than systematically ablated, so the real deployment win is inferred rather than measured.
한계 논문 스스로 세 가지 한계를 명시한다: 인공적인 long-context 벤치마크, 효율 상한으로 남은 1/8 softmax 성분, 코드 데이터 부족으로 인한 복잡한 coding 약세. 이 softmax 잔여물은 장식적 한계가 아니다 — 저자들의 자체 프로파일링에서 1,024,000-token 시퀀스 기준 softmax layer가 latency의 95%를 차지하고 lightning layer 전체 기여는 12% 미만이다. 말 그대로 Amdahl's law다: 8차선 중 7차선을 뚫어놓으면 남은 한 차선이 정체 구간이 된다. (리뷰어 판단) 동일 규모 pure-softmax 모델과의 end-to-end serving 비교가 없고 1:7 비율 자체도 소규모 sweep으로 정당화될 뿐 체계적으로 ablate되지 않아, 실제 배포 이득은 측정이 아니라 추정에 가깝다.
Future work The authors state plans for more realistic long-context evaluation, architectures that eliminate softmax attention entirely toward effectively unlimited context, and stronger code-data curation for the next model version. They also treat long in-context learning (measured via MTOB) not as an isolated skill but as one facet of long-context reasoning, to be attacked through data quality and scale. The softmax-free direction is the pivotal one: it would remove the last O(n²) term — and, per their own latency profile, the dominant long-context cost.
향후 과제 저자들은 더 현실적인 long-context 평가, softmax attention을 완전히 제거해 사실상 무제한 context로 가는 아키텍처 탐색, 다음 버전을 위한 코드 데이터 보강을 계획한다고 밝혔다. MTOB로 측정한 long in-context learning도 별개 스킬이 아니라 long-context reasoning의 한 단면으로 보고, 데이터 품질과 스케일 쪽에서 근본적으로 파겠다고 적었다. 셋 중 핵심은 softmax-free 방향이다: 마지막 남은 O(n²) 항이자, 자체 latency 프로파일 기준 long-context 비용의 지배 항을 제거하는 일이기 때문이다.
Released resources Weights and code are public (GitHub MiniMax-AI, HuggingFace MiniMax-Text-01 and MiniMax-VL-01), alongside the Hailuo chatbot and a commercial API. The report itself is an unusually complete engineering handoff — scaling-law fits, kernel-level inference optimizations (batched kernel fusion, multi-level padding), parallelism recipes (LASP+, varlen ring attention, EP-ETP), and the full five-stage alignment schedule are all documented. The VL-01 sibling adds a 303M-parameter ViT, trained from scratch on 694M image-caption pairs, on top of the same text backbone.
자원 공개 GitHub(MiniMax-AI)와 HuggingFace(MiniMax-Text-01/VL-01)에 weight와 코드가 공개되어 있고, Hailuo chatbot과 상용 API도 제공된다. 리포트 자체가 이례적으로 완결된 엔지니어링 handoff다 — scaling law fit, kernel 수준 추론 최적화(batched kernel fusion, multi-level padding), parallelism 레시피(LASP+, varlen ring attention, EP-ETP), 5단계 alignment 스케줄까지 문서화되어 있다. VL-01은 같은 텍스트 backbone 위에 694M image-caption pair로 처음부터 학습한 303M-parameter ViT를 얹은 형제 모델이다.
The research thread
Where this paper sits 연구의 흐름
MiniMax-01 is the scale-up payoff of the linear-attention lineage that runs from Katharopoulos et al.'s 2020 "Transformers are RNNs" through Qin et al.'s TransNormer and its I/O-aware kernel realization, Lightning Attention-2 — precisely the operator this model deploys in seven of every eight layers. It also inherits from the parallel RNN/SSM revival (Mamba-2, HGRN2, and the delta-rule line culminating in Gated DeltaNet) and from smaller hybrid forerunners: Jamba had already interleaved one attention layer per seven Mamba layers in a 52B MoE, and Samba paired Mamba with sliding-window attention. What none of those predecessors had was a frontier-scale bet — they stayed 7B-52B demonstrations, judged promising and adopted by no flagship model.
What the paper changes is the shape of the question. It abandons the replacement question ("can linear attention match softmax?") that had idled at academic scale for years, and instead treats softmax attention as a scarce resource to be dosed, asking for the minimal dose. A methodological shift comes with it: the architecture is chosen like an engineering artifact, not a conviction — small-model sweeps, scaling laws, and purpose-built parallelism come first, and only then is irreversible compute committed. The axis of comparison moves from perplexity to retrieval, too. The clean diagnosis that pure linear attention fails specifically at recall redefines what a hybrid is for — the softmax layers are there as the one mechanism that can still flip back through the pages.
That is where the line's next battles are set. At 1M tokens the remaining 1/8 softmax layers are roughly 95% of latency — an Amdahl residue — so the fight splits three ways: softmax-free operators with genuine retrieval (the authors' stated future work, with the delta-rule line the obvious candidate), structural thrift on the remaining softmax in the style of DuoAttention's head-level parsimony, and a principled science of ratio and placement — 1:7 was swept, not derived. The successors did arrive: MiniMax-M1 carried the same hybrid backbone into RL-trained long reasoning, and Qwen3-Next and Kimi Linear shipped 3:1 hybrids built on gated delta-rule operators.
The sharpest twist came from MiniMax itself. In October 2025, M2 reverted to full softmax attention, the team explaining publicly that hybrids showed regressions on complex multi-hop reasoning and agentic tasks that proxy evals failed to catch until large scale. The paper's own first-listed limitation — artificial long-context benchmarks — had landed exactly as written. So the bottleneck of this lineage is now evaluation: until long-context evals measure what production agents actually do, hybrid ratios will keep being adopted on faith and withdrawn on faith. The four-minute mile has been run; the argument over the shoes continues.
MiniMax-01은 Katharopoulos et al.의 2020년 "Transformers are RNNs"에서 출발해 Qin et al.의 TransNormer와 그 I/O-aware kernel 구현인 Lightning Attention-2로 이어지는 linear attention 계보의 스케일업 결실이다 — 이 모델이 8층 중 7층에 배치한 연산자가 정확히 그것이다. 병렬로 달려온 RNN/SSM 부활 계보(Mamba-2, HGRN2, 그리고 Gated DeltaNet으로 이어지는 delta-rule 라인)와 더 작은 hybrid 선행자들의 유산도 물려받았다: Jamba는 이미 52B MoE에서 attention 1층당 Mamba 7층을 끼워 넣었고, Samba는 Mamba를 sliding-window attention과 짝지었다. 이 선행자들에게 없던 것은 frontier급 베팅이다 — 전부 7B-52B 실증에 머물렀고, 유망하다는 평가만 받았을 뿐 어떤 flagship 모델에도 채택되지 못했다.
이 논문이 바꾼 것은 질문의 형태다. 몇 년째 학술 스케일에 묶여 있던 대체 질문("linear attention이 softmax를 따라잡을 수 있나?")을 버리고, softmax attention을 용량을 재서 투여하는 희소 자원으로 취급하며 최소 투여량을 묻는다. 방법론의 전환도 함께 온다: 아키텍처를 신념이 아니라 공학 산출물처럼 골랐다 — 소형 모델 sweep과 scaling law, 전용 parallelism을 갖춘 뒤에야 되돌릴 수 없는 compute를 태운다. 비교 축도 perplexity에서 retrieval로 옮겨 놓았다. pure linear attention이 정확히 recall에서만 무너진다는 깨끗한 진단이 hybrid의 존재 이유를 재정의한다 — softmax 층은 페이지를 다시 펼쳐볼 수 있는 유일한 메커니즘으로서 거기 있는 것이다.
이 지점에서 계보의 다음 전선이 정해진다. 1M token에서 남은 1/8 softmax 층이 latency의 약 95%를 차지하는 Amdahl 잔여물이므로, 싸움은 셋으로 갈라진다: 진짜 retrieval이 되는 softmax-free 연산자(저자들이 명시한 future work — delta-rule 라인이 유력 후보), 남은 softmax를 구조적으로 아끼는 DuoAttention식 head-level 절약, 그리고 비율·배치의 원리적 과학 — 1:7은 유도된 값이 아니라 sweep된 값이다. 후속은 실제로 도착했다: MiniMax-M1은 같은 hybrid backbone을 RL 기반 long reasoning으로 가져갔고, Qwen3-Next와 Kimi Linear는 gated delta-rule 연산자를 쓴 3:1 hybrid를 출하했다.
가장 날카로운 반전은 MiniMax 자신에게서 나왔다. 2025년 10월의 M2는 full softmax attention으로 회귀했고, 팀은 hybrid가 복잡한 multi-hop reasoning·agentic 태스크에서 보이는 퇴행을 proxy eval이 큰 스케일 전까지 잡아내지 못했다고 공개적으로 설명했다. 논문이 스스로 첫 번째로 꼽은 한계 — 인공적인 long-context benchmark — 가 그대로 적중한 셈이다. 그래서 이 계보의 병목은 이제 평가다: long-context eval이 실제 production agent가 하는 일을 측정하기 전까지, hybrid 비율은 믿음으로 채택되고 믿음으로 철회되기를 반복할 것이다. 4분 마일은 이미 달렸지만, 신발을 두고는 아직 논쟁 중이다.
Sparks — where one could take this 아이디어의 씨앗
-
Taking the authors' first-listed limitation at face value, one could try building long-context benchmarks from real agentic and multi-hop workloads rather than synthetic needle retrieval — where MiniMax-M2's later reversal suggests hybrid regressions actually hide. 저자들이 첫 번째로 꼽은 한계를 그대로 받아, 합성 needle retrieval 대신 실제 agentic·multi-hop 워크로드에서 long-context benchmark를 구축해볼 수 있다 — MiniMax-M2의 회귀가 시사하듯 hybrid의 퇴행이 실제로 숨는 곳이 거기다.
-
Since the 1:7 ratio was set only by small-scale sweeps, one could try a systematic ratio-and-placement ablation at fixed compute, mapping the retrieval-versus-cost frontier to locate the true minimal dose of softmax attention. 1:7 비율이 소규모 sweep으로만 정해졌으므로, 고정 compute에서 softmax 층의 비율과 배치를 체계적으로 ablate해 retrieval-대-비용 frontier를 그리고 softmax attention의 진짜 최소 투여량을 찾아볼 수 있다.
-
Toward the authors' stated softmax-free goal, one could try swapping stronger delta-rule operators (e.g., Gated DeltaNet) into the same hybrid training harness, testing whether operator quality alone closes the NIAH gap that forced the softmax layers in. 저자들이 명시한 softmax-free 목표를 향해, 같은 hybrid 학습 harness에 더 강한 delta-rule 연산자(예: Gated DeltaNet)를 끼워 넣어 연산자 품질만으로 softmax 층을 불러들인 NIAH 격차가 닫히는지 시험해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
MiniMax-01 is the existence proof the hybrid-attention line needed: its 1:7 softmax-to-lightning layer ratio at 456B scale is the same underlying question DuoAttention poses at head level and Gated DeltaNet at layer level — how little full attention does retrieval actually require? The most reusable parts for efficiency work are the scaling-law comparison (hybrid reaches lower loss than pure softmax at equal compute) and the clean diagnosis that pure linear attention fails specifically at retrieval, not at language modeling. The systems contribution is equally real: LASP+ and varlen ring attention are what made 1M-token training of a linear-hybrid practical at this scale.
Hybrid 비율(1/8)과 softmax layer 배치 위치 자체에 대한 ablation은 얇은 편이라, full-vs-linear 배치 설계는 여전히 열린 연구 공간이다.
Linked reviews
Gated Delta Networks: Improving Mamba2 with Delta Rule
Unifies Mamba2-style gated decay with the delta-rule targeted memory update into a single hardware-efficient linear-attention layer that beats both parents and anchors strong hybrid stacks with sliding-window attention.
kv-cacheDuoAttention: Efficient Long-Context Inference with Retrieval and Streaming Heads
Learns which attention heads actually retrieve from long context and gives only those a full KV cache, cutting long-context memory up to 2.55x with retrieval accuracy intact.
post-trainingDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Pure RL with rule-verifiable rewards (GRPO) incentivizes o1-level reasoning to emerge from a base model without supervised CoT, and the capability transfers to small dense models via distillation.
speculative-decodingLess Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts (EcoSpec)
Speculative decoding for Mixture-of-Experts models optimizes for token-acceptance likelihood alone, ignoring that each draft token also determines which experts get loaded from HBM during verification; EcoSpec adds a lightweight expert-activation predictor and a dynamic expert buffer to draft-tree selection, cutting the number of distinct experts touched per verification step and reaching up to 1.62x speedup on DeepSeek-V3.1, Qwen3-235B-A22B, and GPT-OSS-120B without touching the verification rule itself.
architectureKimi K3: Open Frontier Intelligence
A 2.8T-parameter (104B active) native multimodal MoE model with a 1M-token context, built on Kimi Delta Attention, Attention Residuals, and Stable LatentMoE — architecture co-design that yields a 2.5x scaling-efficiency gain over Kimi K2 and full open weights.
on-deviceMobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
A systematic sub-billion design-space study showing that at 125M-350M scale deep-thin layouts, embedding sharing, GQA, and block-wise layer sharing buy accuracy per byte, yielding state-of-the-art on-device LMs.