Paper Review
TriAttention: Efficient Long Reasoning with Trigonometric KV Compression
Observes that pre-RoPE Q/K vectors concentrate around fixed centers, so attention can be predicted as a trigonometric series in token distance — a query-free KV eviction score that matches full-attention AIME25 accuracy at 2.5x throughput or 10.7x less KV memory.
pre-RoPE 공간에서 Q/K 벡터가 고정된 center 주위에 강하게 집중된다는 관측에서 출발해, attention을 token 거리에 대한 trigonometric series로 예측하는 query-free KV eviction 점수를 제안 — AIME25에서 full attention 정확도를 유지하며 2.5배 throughput 또는 10.7배 KV 메모리 절감을 달성한다.
Background Reasoning-tuned LLMs generate tens of thousands of tokens per problem, and every decoded token appends to the KV cache, so long chain-of-thought turns decoding into a KV-memory-bound workload. Unlike long-prompt serving, the cache here grows during generation, so compression has to run online while the model is still reasoning. That is exactly the regime the paper targets — 32K-token generation on competition-math benchmarks — where the cache, not the weights, becomes the binding constraint.
배경 Reasoning 특화 LLM은 문제 하나에 수만 token을 생성하고, decode된 모든 token이 KV cache에 쌓이므로 긴 chain-of-thought는 decoding을 KV-memory-bound 워크로드로 만든다. long-prompt 서빙과 달리 여기서는 cache가 생성 도중에 자라기 때문에, 압축이 모델이 추론하는 동안 online으로 돌아가야 한다. 논문이 겨냥하는 것도 정확히 이 regime — 경시대회 수학 벤치마크에서의 32K-token 생성 — 으로, weight가 아니라 cache가 병목이 되는 구간이다.
Problem Eviction must predict which cached keys future queries will attend to, but leading methods estimate importance from attention scores of recent queries observed in post-RoPE space. Because RoPE rotates queries with position, only the most recent queries carry an up-to-date orientation — prior work cited in the paper finds usefulness peaks at around 25 queries and declines beyond that. It is like judging a star's position with a camera bolted to a spinning carousel: every older frame was taken at a different rotation, so only the last few snapshots are usable. This tiny observation window makes top-key selection myopic, evicting keys the reasoning chain will need thousands of tokens later.
문제 Eviction은 미래의 query가 어떤 key를 볼지 예측해야 하는데, 주류 방법들은 post-RoPE 공간에서 관측한 최근 query의 attention score로 중요도를 추정한다. RoPE가 query를 위치에 따라 회전시키므로 최신 query만 유효한 방향을 갖고, 논문이 인용하는 선행 연구에 따르면 observation window를 늘려도 유용성은 약 25개 query에서 정점을 찍고 오히려 감소한다. 회전목마에 볼트로 고정한 카메라로 별의 위치를 재는 것과 같다 — 오래된 프레임일수록 카메라 자체가 다른 각도로 돌아가 있어 마지막 몇 장만 쓸 수 있다. 이 좁은 관측 창이 top-key 선택을 근시안적으로 만들어, reasoning chain이 수천 token 뒤에 다시 필요로 할 key를 지워버린다.
Prior limitations Attention-score methods (H2O, SnapKV, Scissorhands, R-KV, LazyEviction) all inherit the recent-query window no matter how they accumulate scores. Norm-based scores (KnormPress, VATP) avoid queries but discard direction, because in post-RoPE space a vector's direction is entangled with its position. Concretely, at a 2,048-token KV budget on AIME25 (Qwen3-8B), SnapKV reaches 20.0% and R-KV 17.5% against Full Attention's 40.8% — roughly half the accuracy.
기존 한계 Attention-score 계열(H2O, SnapKV, Scissorhands, R-KV, LazyEviction)은 score를 어떻게 누적하든 최근-query 창의 한계를 그대로 물려받는다. Norm 기반 score(KnormPress, VATP)는 query 의존을 피하지만 방향 정보를 버리는데, post-RoPE 공간에서는 벡터의 방향이 위치와 얽혀 있어 쓸 수 없기 때문이다. 실제로 AIME25(Qwen3-8B, KV budget 2,048)에서 SnapKV는 20.0%, R-KV는 17.5%로 Full Attention의 40.8% 대비 절반 수준에 그친다.
Goal Build an importance score that does not depend on observing transient queries at all, using statistics that are stable across positions and contexts. The bar is matching full-attention reasoning accuracy under an aggressive fixed KV budget, with the savings realized as actual decoding throughput and memory rather than a smaller cache on paper.
목표 일시적인 query 관측에 전혀 의존하지 않고, 위치와 context에 걸쳐 안정적인 통계로 key 중요도를 매기는 것이 목표다. 공격적인 고정 KV budget 아래에서 full-attention 수준의 reasoning 정확도를 유지하되, 절감을 종이 위 cache 크기가 아니라 실제 decoding throughput과 메모리로 실현하는 것까지가 과제다.
Method An offline calibration pass estimates, per frequency band, the pre-RoPE query center E[q_f], mean norm, and concentration (mean resultant length R_f) from a small calibration corpus. Online, each cached key gets a query-free score: a trigonometric term Σ_f ||E[q_f]||·||k_f||·cos(ω_f·Δ + φ_f) capturing distance preference, plus a norm term weighted by (1−R_f) that takes over where concentration is weak; scores are averaged over geometrically spaced future offsets {1, 2, 4, …, 2^16}, and for GQA are z-score-normalized per head then max-aggregated. Every 128 decoded tokens the cache is pruned back to budget (default 2,048 tokens). It works like a tide table: instead of watching the water, a handful of harmonic constants calibrated in advance predict the level at any future time through a trigonometric series.
방법 Offline calibration 단계에서 frequency band별로 pre-RoPE query center E[q_f], 평균 norm, 집중도(mean resultant length R_f)를 소량의 calibration 데이터로 추정한다. Online에서는 cache의 각 key에 query-free 점수를 부여한다: 거리 선호를 담는 trigonometric 항 Σ_f ||E[q_f]||·||k_f||·cos(ω_f·Δ + φ_f)에, 집중이 약한 곳을 보완하도록 (1−R_f)로 가중된 norm 항을 더하고, 미래 query 위치를 반영해 기하급수 간격 offset {1, 2, 4, …, 2^16}에 대해 평균하며, GQA에서는 head별 z-score 정규화 후 max로 집계한다. 128 token을 decode할 때마다 cache를 budget(기본 2,048 token)으로 다시 pruning한다. 조석표(tide table)와 같은 원리다 — 바다를 계속 지켜보는 대신, 미리 보정해 둔 소수의 조화상수가 trigonometric series를 통해 임의 시점의 물높이를 예측한다.
Key idea The enabling observation is that pre-RoPE Q/K vectors concentrate tightly around fixed non-zero centers (mean resultant length approaching 1.0 on nearly all heads) and stay there across positions and contexts. Approximating Q/K by their centers collapses the RoPE attention logit into a trigonometric series in query-key distance Δ whose coefficients are set by the centers — attention becomes something you can predict rather than something you must observe. It is the same move as switching from geocentric to heliocentric coordinates: planetary motion looks tangled (retrograde) from a rotating vantage point, but becomes a simple closed form once you shift to the frame where the structure is stationary.
핵심 아이디어 출발점이 되는 관측은 pre-RoPE Q/K 벡터가 0이 아닌 고정 center 주위에 강하게 집중되어 있고(거의 모든 head에서 mean resultant length가 1.0에 근접) 이것이 위치·context에 걸쳐 유지된다는 것이다. Q/K가 center에 있다고 근사하면 RoPE attention logit은 query-key 거리 Δ에 대한 trigonometric series로 붕괴하고, 그 계수는 center가 결정한다 — attention이 관측 대상이 아니라 예측 가능한 양이 된다. 지구 중심에서 태양 중심 좌표로 바꾸는 것과 같은 수다: 회전하는 관측점에서는 행성 운동이 역행처럼 뒤엉켜 보이지만, 구조가 정지해 있는 좌표계로 옮기면 단순한 닫힌 형태가 된다.
Validation Evaluated on Qwen3-8B, DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B, and GPT-OSS-20B with 32K-token generation on AIME24/25 (8 samples per problem) and MATH 500, plus LongBench (16 subtasks), RULER, and a custom Recursive State Query benchmark that ties accuracy directly to retaining DFS intermediate states. The premise itself is tested: per-head Pearson correlation between the trigonometric-series reconstruction and true attention averages above 0.5 across three architectures, and Q/K concentration is confirmed on an MLA model (GLM-4.7-Flash) as well as GQA. Experiments run on A100 80GB in bfloat16 with FlashAttention-2 (H100 + FlashAttention-3 for GPT-OSS).
검증 Qwen3-8B, DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B에서 32K-token 생성으로 AIME24/25(문제당 8회 샘플링)와 MATH 500을 평가하고, LongBench 16개 subtask, RULER, 그리고 DFS 중간 상태 유지 능력을 정확도에 직결시킨 자체 Recursive State Query 벤치마크로 보강했다. 전제 자체도 직접 검증한다: 세 아키텍처에서 trigonometric-series 재구성과 실제 attention의 per-head Pearson 상관 평균이 0.5를 넘고, Q/K 집중은 GQA뿐 아니라 MLA 모델(GLM-4.7-Flash)에서도 확인된다. 실험은 A100 80GB, bfloat16, FlashAttention-2(GPT-OSS는 H100 + FlashAttention-3) 환경이다.
Results At the budget that matches Full Attention's AIME25 accuracy (40.8%), TriAttention delivers 2.5x decoding throughput (563.5 vs 222.8 tokens/s) — or, viewed the other way, a 10.7x KV memory reduction; on MATH 500 the speedup grows to 6.3x at near-parity (68.4% vs 69.6%). At a hard 2,048-token budget it scores 32.9% on AIME25 where SnapKV/R-KV manage 20.0/17.5%. Generalization holds beyond math: LongBench average 48.1 (best on 11 of 16 subtasks, +2.5 over Ada-KV+SnapKV) and RULER 66.1 (+10.5 over SnapKV).
결과 Full Attention의 AIME25 정확도(40.8%)를 그대로 맞추는 budget에서 2.5배 decoding throughput(563.5 vs 222.8 tokens/s)을, 관점을 바꾸면 10.7배 KV 메모리 절감을 얻는다; MATH 500에서는 근사 동률(68.4% vs 69.6%)에서 speedup이 6.3배까지 커진다. 빡빡한 2,048-token budget에서는 AIME25 32.9%로 SnapKV/R-KV의 20.0/17.5%를 크게 앞선다. 수학 밖에서도 일반화된다: LongBench 평균 48.1(16개 중 11개 subtask 1위, Ada-KV+SnapKV 대비 +2.5), RULER 66.1(SnapKV 대비 +10.5).
Comparison The gap over SnapKV and R-KV widens exactly where long-range retention matters: on Recursive State Query, TriAttention tracks Full Attention up to recursion depth 16 while R-KV collapses from about 61% to 31%. Ablations show the trigonometric term is the engine — removing S_trig drops AIME24 from 42.1% to 18.8% — while the concentration weighting contributes about 4 points on AIME25 (32.9 vs 28.7 without it). Calibration is also domain-insensitive: calibrating on coding data still yields 44.2% on AIME24 (vs 42.1% with reasoning data), evidence that the centers are a property of the model rather than of the calibration set.
비교 SnapKV·R-KV와의 격차는 장거리 기억이 중요한 지점에서 정확히 벌어진다: Recursive State Query에서 TriAttention은 recursion depth 16까지 Full Attention을 추종하지만 R-KV는 약 61%에서 31%로 붕괴한다. Ablation은 trigonometric 항이 엔진임을 보여준다 — S_trig 제거 시 AIME24가 42.1%에서 18.8%로 추락하고, 집중도 가중 제거는 AIME25에서 약 4pp를 잃는다(32.9→28.7). Calibration은 도메인에도 둔감해서, coding 데이터로 보정해도 AIME24 44.2%(reasoning 보정 42.1%)가 나온다 — center가 데이터가 아니라 모델의 속성이라는 방증이다.
Significance It relocates KV importance estimation from reactive observation of attention — which RoPE keeps invalidating — to a position-stable, query-free statistic calibrated once offline, a different axis from head-level structure (DuoAttention) or quantization. The Q/K-concentration observation is itself a reusable structural fact about trained Transformers, verified across GQA and MLA architectures, that others can build on. Practically, the paper shows an agentic deployment: Qwen3-32B (AWQ INT4) running the OpenClaw multi-turn agent on a single RTX 4090 (24GB), a setting where full attention goes out-of-memory.
의의 KV 중요도 추정을 RoPE가 계속 무효화하는 attention 관측에서, offline에서 한 번 보정하는 위치-안정적 query-free 통계로 옮겼다 — head 수준 구조(DuoAttention)나 quantization과는 다른 축이다. Q/K 집중이라는 관측 자체가 GQA와 MLA에 걸쳐 검증된, 학습된 Transformer의 재사용 가능한 구조적 사실이라는 점도 이 논문의 기여다. 실용 면에서는 Qwen3-32B(AWQ INT4)로 multi-turn agent인 OpenClaw를 단일 RTX 4090(24GB)에서 구동하는 배포 사례를 보인다 — full attention으로는 out-of-memory가 나는 설정이다.
Limitations The authors state that the current implementation lacks a dedicated hardware-aware kernel, so the trigonometric scoring and pruning path leaves latency on the table. At the default 2,048 budget, accuracy still trails Full Attention on the hardest sets (32.9% vs 40.8% on AIME25) — full parity requires relaxing the budget to about 3K. The method also leans on heads being concentrated; the (1−R_f) fallback covers weakly concentrated heads, but behavior on models where concentration breaks broadly is untested (reviewer judgment).
한계 저자들은 현재 구현에 전용 hardware-aware kernel이 없어 trigonometric scoring과 pruning 경로에 latency 여지가 남아 있다고 명시한다. 기본 2,048 budget에서는 가장 어려운 세트에서 여전히 Full Attention에 못 미치고(AIME25 32.9% vs 40.8%), 완전한 동률에는 budget을 약 3K로 늘려야 한다. 또한 방법이 head의 집중성에 기대는 만큼 (1−R_f) 보완이 있더라도 집중이 광범위하게 깨지는 모델에서의 거동은 검증되지 않았다(리뷰어 판단).
Future work The paper names three directions: a dedicated high-performance kernel to accelerate the trigonometric-series computation and cache pruning, extending evaluation to coding and agentic domains, and refined compression strategies including head-specific budgets. No preliminary results or timeline are given for these.
향후 과제 논문은 세 방향을 명시한다: trigonometric-series 계산과 cache pruning을 가속할 전용 고성능 kernel, coding·agentic 도메인으로의 평가 확장, head-specific budget을 포함한 정교화된 압축 전략. 이들에 대한 예비 결과나 일정은 제시되지 않는다.
Released resources Official code is released at github.com/WeianMao/triattention, and the arXiv HTML version carries the full appendix (recursive-benchmark details, MLA validation, the deployment case study). The method needs only a statistics-gathering calibration pass — no gradient training — so it runs on stock models directly.
자원 공개 공식 코드가 github.com/WeianMao/triattention에 공개되어 있고, arXiv HTML 버전에 recursive 벤치마크 세부, MLA 검증, 배포 사례 연구를 담은 전체 appendix가 포함된다. 방법은 gradient 학습 없이 통계 수집 calibration pass만 요구하므로 stock 모델 위에서 바로 동작한다.
The research thread
Where this paper sits 연구의 흐름
TriAttention descends from the eviction line H2O opened in 2023 — score every cached token, keep the heavy hitters — which SnapKV and Scissorhands refined by betting that recent attention patterns predict future ones. The reasoning era stressed that bet to breaking: R-KV and LazyEviction adapted scoring to caches that grow during generation, yet all of them still read importance off a window of recent queries. Beside it runs a quieter second line — StreamingLLM and DuoAttention from the same MIT-HAN lab lineage, plus norm-based scores like KnormPress and VATP — hunting for signals that never expire: attention sinks, static head roles, key norms. TriAttention is the strongest statement of that second line so far: the stable signal exists, but you have to change coordinates to see it.
The conceptual move is from measurement to prediction. Attention-score methods treat the attention map as data — something to observe, accumulate, extrapolate — and RoPE quietly corrupts the archive: every older query was recorded at a different rotation, so usefulness dies past roughly 25 queries. TriAttention notices that in pre-RoPE coordinates the queries barely move at all — they cluster around fixed centers, so the attention a future query will pay to a key becomes a trigonometric function of distance whose coefficients can be calibrated once, offline. Importance stops being a property of the traffic and becomes a property of the model's geometry, which is why calibrating on coding data works about as well as calibrating on math.
What this opens is bigger than eviction. If attention logits are predictable from a few calibrated harmonic constants, any cache decision can consume that signal ahead of time — which keys to keep, and, in the paper's own named next steps, how to split budgets per head and how to fuse scoring into a dedicated kernel (the current implementation still leaves latency on the table). The observation itself also travels: Q/K concentration holds across GQA and MLA architectures, leaving the field a reusable structural fact about trained Transformers rather than a trick tied to one model family.
The tension that remains is that the whole edifice rests on concentration holding. The (1−R_f) fallback patches weakly concentrated heads, but nobody yet knows which training recipes break concentration broadly — or whether it can be encouraged on purpose, turning a found property into a designed one, the same migration post-hoc sparsity made into natively trainable attention. And at the hard 2,048 budget the method still trails full attention on AIME25 (32.9% vs 40.8%). Expect the next round to test the centers where the paper has not: agentic and coding workloads, whose long multi-turn traces impose exactly the distribution shift an offline calibration has never seen.
TriAttention은 2023년 H2O가 연 eviction 계보 — cache된 모든 token에 점수를 매겨 heavy hitter만 남기는 — 를 잇고, 그 계보를 SnapKV와 Scissorhands가 "최근 attention 패턴이 미래를 예측한다"는 베팅으로 정교화했다. Reasoning 시대는 그 베팅을 한계까지 밀어붙였다: R-KV와 LazyEviction이 생성 도중 자라는 cache에 scoring을 적응시켰지만, 여전히 모두 최근 query 창에서 중요도를 읽는다. 그 옆에는 더 조용한 둘째 계보가 달린다 — 같은 MIT-HAN lab 계열의 StreamingLLM과 DuoAttention, 그리고 KnormPress·VATP 같은 norm 기반 점수 — 만료되지 않는 신호(attention sink, 정적 head 역할, key norm)를 찾는 흐름이다. TriAttention은 지금까지 이 둘째 계보의 가장 강한 진술이다: 안정적인 신호는 존재하지만, 그것을 보려면 좌표계를 바꿔야 한다.
개념적 전환은 측정에서 예측으로다. Attention-score 계열은 attention map을 데이터로 취급한다 — 관측하고, 누적하고, 외삽하는 대상 — 그런데 RoPE가 그 아카이브를 조용히 오염시킨다: 오래된 query일수록 다른 회전에서 기록된 것이라 유용성이 약 25개 query를 넘으면 죽는다. TriAttention이 본 것은 pre-RoPE 좌표에서는 query가 거의 움직이지 않는다는 사실이다 — 고정 center 주위에 뭉쳐 있으므로, 미래 query가 어떤 key에 줄 attention이 거리에 대한 trigonometric 함수가 되고 그 계수는 offline에서 한 번만 보정하면 된다. 중요도가 트래픽의 속성이기를 멈추고 모델 기하의 속성이 된다 — coding 데이터로 보정해도 수학 보정만큼 잘 되는 이유가 여기 있다.
이 논문이 여는 것은 eviction보다 크다. attention logit이 소수의 보정된 조화 상수로 예측 가능하다면, 어떤 cache 결정이든 그 신호를 미리 소비할 수 있다 — 어떤 key를 남길지, 그리고 논문이 직접 지목한 다음 단계인 head별 budget 분할과 scoring의 전용 kernel 융합까지(현재 구현은 여전히 latency를 남겨두고 있다). 관측 자체도 이동 가능하다: Q/K 집중은 GQA와 MLA 아키텍처 양쪽에서 성립해, 특정 모델 계열에 묶인 트릭이 아니라 학습된 Transformer에 대한 재사용 가능한 구조적 사실을 필드에 남긴다.
남은 긴장은 이 구조물 전체가 "집중이 유지된다"는 전제 위에 서 있다는 점이다. (1−R_f) fallback이 약하게 집중된 head를 보완하지만, 어떤 학습 레시피가 집중을 광범위하게 깨는지 — 혹은 거꾸로 집중을 의도적으로 유도해 발견된 속성을 설계된 속성으로 바꿀 수 있는지 — 는 아직 아무도 모른다. post-hoc sparsity가 natively trainable attention으로 이주했던 것과 같은 경로다. 그리고 빡빡한 2,048 budget에서는 여전히 AIME25에서 full attention에 못 미친다(32.9% vs 40.8%). 다음 라운드는 논문이 아직 보지 않은 곳에서 center를 시험할 것이다: 긴 multi-turn trace가 offline calibration이 한 번도 본 적 없는 분포 이동을 강제하는 agentic·coding 워크로드다.
Sparks — where one could take this 아이디어의 씨앗
-
One could screen a zoo of open models for pre-RoPE Q/K concentration and correlate each concentration profile with accuracy retention under TriAttention, mapping in advance where the trigonometric approximation is safe to deploy. 다양한 open model zoo에서 pre-RoPE Q/K 집중도를 스크리닝하고 각 모델의 집중 프로파일을 TriAttention의 정확도 유지율과 상관시켜, trigonometric 근사가 안전하게 배포될 수 있는 영역을 미리 지도화해볼 수 있다.
-
One could realize the paper's proposed head-specific budgets by giving each head a cache share proportional to how faithfully the trigonometric series reconstructs its true attention, testing whether fidelity-weighted allocation closes the 2,048-budget gap. 논문이 제안한 head-specific budget을 — trigonometric series가 실제 attention을 얼마나 충실히 재구성하는지에 비례해 head마다 cache 지분을 주는 식으로 — 구현해, fidelity 가중 할당이 2,048 budget에서의 격차를 좁히는지 시험해볼 수 있다.
-
One could extend the calibration-stability checks to the paper's named agentic and coding domains, measuring whether Q/K centers drift over long multi-turn tool-use traces before trusting a single offline calibration there. Calibration 안정성 검증을 논문이 지목한 agentic·coding 도메인으로 확장해, 하나의 offline calibration을 신뢰하기 전에 긴 multi-turn tool-use trace에서 Q/K center가 drift하는지부터 측정해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
TriAttention is best read as an observation paper wearing a method: the load-bearing contribution is that pre-RoPE Q/K vectors sit near fixed centers, which makes RoPE attention approximately a trigonometric function of token distance. Everything else — the scoring rule, the norm fallback, the offset averaging — follows almost mechanically from that one structural fact. It pairs interestingly with DuoAttention: both replace transient attention-score inspection with something stable (a static head split there, a stationary calibrated statistic here), and both argue that the reliable signal for cache decisions lives outside the attention map itself. The ablation table is unusually clean — removing the trigonometric term more than halves AIME24 accuracy — and the cross-domain calibration result (coding data works as well as reasoning data) supports the claim that the centers are model properties, not dataset artifacts.
attention을 ‘관측’하지 않고 ‘예측’한다는 전환이 핵심이다. eviction 논문이지만, 진짜 기여는 pre-RoPE 공간의 Q/K 집중이라는 관측 그 자체 — 좌표계를 바꾸자 중요도 구조가 정지해 보인다는 발견이다.
Linked reviews
DuoAttention: Efficient Long-Context Inference with Retrieval and Streaming Heads
Learns which attention heads actually retrieve from long context and gives only those a full KV cache, cutting long-context memory up to 2.55x with retrieval accuracy intact.
kv-cacheH2O: Heavy-Hitter Oracle for Efficient Generative Inference of LLMs
A small set of "heavy-hitter" tokens dominates attention mass, so greedily evicting low-accumulated-attention entries keeps only ~20% of the KV cache while matching full-cache accuracy and raising serving throughput up to 29x.
quantizationKIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache
Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x.
kv-cacheKVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
Pre-RoPE per-channel key and per-token value quantization with sensitivity-weighted non-uniform datatypes plus ~1% fp16 outliers pushes the KV cache to 3 bits at under 0.1 perplexity cost, reaching million-token contexts on a single A100.
post-trainingDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Pure RL with rule-verifiable rewards (GRPO) incentivizes o1-level reasoning to emerge from a base model without supervised CoT, and the capability transfers to small dense models via distillation.