Paper Review
What to Keep, What to Forget: A Rate-Distortion View of Memory Compaction in LLMs and Agents
A survey reframes KV-cache eviction, prompt compression, bounded architectural state, and agent memory consolidation as one rate-distortion decision on a shared bytes-per-token-of-history axis, showing all four communities' scoring signals fail identically (deciding what to keep before the query is known) and proposing a COMPACT-Bench benchmark.
KV-cache eviction, prompt 압축, bounded architectural state, agent 메모리 통합이라는 네 개 별도 연구 커뮤니티를 bytes-per-token-of-history라는 공통 축 위의 하나의 rate-distortion 결정으로 재구성한 survey. 네 커뮤니티 모두 query를 보기 전에 유지할 정보를 결정한다는 동일한 실패 패턴을 공유함을 보이고 COMPACT-Bench 벤치마크를 제안한다.
Background Large language models, and the agents built on them, spend an ever-growing share of compute and memory on remembering — caching attention keys and values, carrying long prompts, maintaining recurrent state, and storing what happened in previous turns and sessions. Because none of this memory is free, four largely separate research communities have each developed their own compaction methods: one evicts or quantizes the KV cache, one prunes or distills prompts, one bounds architectural state, and one consolidates agent memory.
배경 LLM과 그 위에 지어진 agent는 기억하는 데(KV cache 유지, 긴 prompt 보존, recurrent state 유지, 이전 turn·세션 기록 저장) 갈수록 많은 연산·메모리를 쓴다. 이 메모리는 전혀 공짜가 아니어서, 네 개의 서로 분리된 연구 커뮤니티가 각자 압축법을 발전시켜 왔다 — KV cache를 evict/quantize하는 그룹, prompt를 pruning/distill하는 그룹, 아키텍처 state를 bound하는 그룹, agent 메모리를 통합(consolidate)하는 그룹이다.
Problem These four communities rarely talk to each other and each measures compression only on its own axis (KV bytes, prompt tokens, hidden-state dimension, agent memory slots). This is like four departments each budgeting in a different currency, never once reconciling into one company-wide budget — there has been no common yardstick to compare which method is actually more efficient across layers.
문제 이 네 커뮤니티는 서로 거의 소통하지 않고 각자의 축(KV byte, prompt token, hidden-state 차원, agent 메모리 슬롯)에서만 압축률을 측정해 왔다. 이는 서로 다른 통화(currency)로 각자 예산을 짜는 네 부서가 회사 전체 예산을 한 번도 통합해본 적 없는 것과 같다 — 결과적으로 어느 방법이 실제로 더 효율적인지 층을 넘어 비교할 공통 잣대가 없었다.
Prior limitations Existing surveys treat KV-cache compression, prompt compression, and architectural state compression separately (compared explicitly in Table 1), and treat agent memory as an unrelated topic. Compression ratios are measured carefully for single-turn long context, but the repeated compaction agents actually perform — compaction accumulating across many turns — is almost never measured, and no benchmark holds a single budget axis fixed across all layers at once.
기존 한계 기존 서베이들은 KV-cache 압축, prompt 압축, 아키텍처 state 압축을 각각 따로 다루거나(Table 1에서 비교), agent 메모리를 별개 주제로 취급해 왔다. 압축률은 single-turn 긴 context에서는 꼼꼼히 측정되지만, agent가 실제로 수행하는 반복적 compaction(여러 턴에 걸쳐 계속 압축이 누적되는 상황)은 거의 측정된 적이 없고, 모든 계층에서 하나의 budget 축을 동시에 고정하는 벤치마크도 없었다.
Goal Unify compaction across these four layers as one rate-distortion problem: deciding what context-derived information to retain, at what fidelity, under a resource budget, so as to preserve downstream task utility. The goal is to make this lens precise with a single compaction objective and a layer-agnostic lower bound, formalize it into a seven-axis taxonomy, and use it to transfer mechanisms between layers that have never been connected before, such as serving-stack KV management and agent long-term memory.
목표 이 네 계층의 압축을 "budget 제약 하에서 downstream task utility를 보존하도록 어떤 context-derived 정보를 어느 정도 fidelity로 유지·폐기할지 결정하는 하나의 rate-distortion 문제"로 통합하는 것. 이 렌즈를 정밀하게 만들 단일 compaction objective와 layer-agnostic lower bound를 세우고, 이를 7축 taxonomy로 구체화해 지금까지 연결된 적 없는 계층(serving-stack KV 관리 ↔ agent 장기 메모리) 사이에 메커니즘을 전이(transfer)하는 것이 목표다.
Method The paper formulates a single rate-distortion compaction objective, derives a layer-agnostic lower bound from it, and builds a seven-axis taxonomy (covering reversibility, query-awareness, compression granularity, and more) that classifies methods across the full stack, from KV-cache eviction to agent memory consolidation, under one uniform frame. Using this taxonomy, it demonstrates mechanism transfer between previously unconnected layers (e.g., porting serving-stack KV management techniques to agent memory), and validates the framework with a proposed benchmark, COMPACT-Bench, plus two small reference experiments (Section 14).
방법 단일 rate-distortion compaction objective를 공식화하고 이로부터 layer-agnostic lower bound를 유도한 뒤, 7개 축(가역성, query 인지 여부, 압축 granularity 등)으로 구성된 taxonomy를 세워 KV-cache eviction부터 agent 메모리 통합까지 전 스택의 방법을 동일한 틀로 분류한다. 이 taxonomy를 이용해 서로 연결된 적 없는 계층 간에 메커니즘을 이식할 수 있음을 보이고(예: serving-stack의 KV 관리 기법을 agent 메모리에 적용), COMPACT-Bench라는 벤치마크 제안과 두 개의 소규모 참조 실험(Section 14)으로 이론을 검증한다.
Key idea Two patterns hold across the survey. (1) At every layer, the signal that decides what to keep is either attention magnitude or recency, and it fails the same way everywhere: it discards information the query later needs, decided before the query is known and with no way to undo it. (2) Compression ratio is measured carefully for single-turn long context, but the repeated compaction agents actually undergo is almost never measured. This is like measuring a car's fuel economy only on a single highway run and never on stop-and-go city driving with repeated restarts — repetition is the real usage pattern, yet performance under it is never validated.
핵심 아이디어 핵심 통찰은 두 가지다. (1) 모든 계층에서 "무엇을 유지할지" 결정하는 신호는 결국 attention magnitude 아니면 recency이며, 이 신호는 모든 계층에서 동일한 방식으로 실패한다 — query가 알려지기 전에, 되돌릴 수 없게, 나중에 query가 필요로 할 정보를 버린다는 것이다. (2) 압축률은 single-turn 긴 context에서는 정교하게 측정되지만, agent가 실제로 겪는 반복적 compaction은 거의 측정되지 않는다. 이는 마치 자동차 연비를 고속도로 주행 한 번으로만 측정하고 신호등 많은 시내 주행(반복 정지·재출발)에서는 아예 측정하지 않는 것과 같다 — 반복이 실제 사용 패턴인데도 그 조건에서 성능이 검증되지 않은 것이다.
Validation Beyond the theoretical unification (single objective + lower bound + seven-axis taxonomy), the authors ran two small reference experiments directly, on a single commodity GPU (NVIDIA RTX 4060, 8GB) with Qwen2.5-1.5B-Instruct. Experiment 1 is a natural-filler (Wikitext) needle-in-a-haystack retrieval task: a unique key-value needle is planted at 10-90% depth in 2k-8k token contexts, and six KV-compaction methods (SnapKV, StreamingLLM, TOVA, Knorm, expected-attention, and a random-eviction control) are compared on a bytes-per-token (BPT) axis at five budgets (1,395 generations, averaged over depth, length, and 3 trials).
검증 이론적 통합(단일 objective + lower bound + 7축 taxonomy)에 더해, 상용 GPU(NVIDIA RTX 4060 8GB) 한 대에서 Qwen2.5-1.5B-Instruct로 두 개의 소규모 참조 실험을 직접 수행했다. 실험 1은 natural-filler(Wikitext) needle-in-a-haystack 검색 과제로, 2k~8k 토큰 컨텍스트의 10~90% 깊이에 유일한 key-value needle을 심고 SnapKV·StreamingLLM·TOVA·Knorm·expected-attention·random-eviction 6개 KV-compaction 방법을 bytes-per-token(BPT) 축 위 5개 budget에서 비교했다(1,395회 생성, 깊이·길이·3회 반복 평균).
Results In Experiment 1 (Figure 5), the full cache answers perfectly (accuracy 1.00), but as budget shrinks every method traces a frontier sliding toward zero, and below roughly a quarter of the full budget nearly every method sits near zero — exactly matching the prediction that the needle task concentrates its task-conditioned information in a few tokens, so once budget drops below that content, no scorer can recover the answer. The random-eviction control does the diagnostic work: it stays competitive at high budget but collapses fastest as budget tightens, so the gap between a real method and random measures how much its scoring actually buys. In Experiment 2 (Figure 6), reversible (retrieve) memory stays near 0.95 at every compaction frequency while irreversible (summarize) memory sits at recall 0.33-0.56, losing roughly half its facts — a gap invisible under single-turn evaluation and only visible once compaction repeats.
결과 실험 1(Figure 5)에서 full cache는 완벽한 정확도(1.00)를 내지만, budget이 줄어들수록 모든 방법이 0으로 수렴하는 frontier를 그리며, 전체 budget의 약 1/4 미만에서는 거의 모든 방법이 0에 가깝다 — needle task의 task-conditioned 정보량이 소수의 토큰에 집중되어 있어 budget이 그 이하로 떨어지면 어떤 scorer도 복구할 수 없다는 예측과 정확히 일치한다. Random-eviction control은 고예산에서는 경쟁력 있지만 budget이 줄면 가장 빨리 무너져, 실제 방법과 random 사이의 격차가 그 방법의 scoring이 해당 budget에서 실제로 벌어주는 이득을 드러낸다. 실험 2(Figure 6)에서는 reversible(retrieve) 메모리가 어느 compaction 빈도에서든 약 0.95 수준을 유지하는 반면 irreversible(summarize) 메모리는 recall 0.33~0.56에 머물러 사실의 약 절반을 잃으며, 이 차이는 단일 턴 평가에서는 전혀 드러나지 않고 compaction이 반복될 때만 나타난다.
Comparison Compared to prior surveys (explicitly benchmarked in Table 1), this paper's coverage is broader, spanning all four layers — KV-cache, prompt, architectural state, and agent memory — in one framework. The authors explicitly state the relative ranking among the six KV-compaction methods in the reference experiment "is beside the point"; what matters is the comparability the shared BPT axis delivers.
비교 기존 서베이 대비(Table 1에서 명시적으로 비교) 이 논문의 범위(coverage)는 KV-cache, prompt, 아키텍처 state, agent 메모리 네 계층을 모두 아우른다는 점에서 넓다. 참조 실험에서 비교한 6개 KV-compaction 방법 사이의 우열 순서 자체는 저자들이 "핵심이 아니다"라고 명시하며, 중요한 것은 BPT 축이 제공하는 비교 가능성(comparability)이라고 강조한다.
Significance Framing KV-cache compression and agent memory compaction as one rate-distortion problem, viewed through our efficient-AI/KV-cache/compression lens, traces eviction heuristics that have been independently reinvented across layers back to one theoretical root. Explicitly naming the shared failure mode — deciding before the query is known — gives a reusable theoretical grounding for future query-aware compaction methods (reviewer judgment).
의의 KV-cache 압축과 agent 메모리 압축을 하나의 rate-distortion 문제로 묶은 프레이밍은, 우리 리뷰어 렌즈(KV-cache/압축/아키텍처)에서 볼 때 서로 다른 계층에서 독립적으로 재발명되고 있는 eviction 휴리스틱들을 하나의 이론적 뿌리로 되돌린다는 의의가 있다. "query를 보기 전에 결정한다"는 공통 실패 모드를 명시적으로 지목한 것은, 앞으로 나올 query-aware 압축 방법들의 정당성을 이론적으로 뒷받침하는 근거로 재사용될 수 있다(리뷰어 판단).
Limitations The reference experiments are a scaled-down demonstration on a small model (Qwen2.5-1.5B) and a single 8GB-class GPU; the authors explicitly state they are "not chasing state of the art." The absolute numbers are tied to this small model, and the paper only claims the shape of the curves carries over to larger scale without directly validating that on larger models. COMPACT-Bench is a proposal, not an executed benchmark suite, and whether it exists as a complete benchmark is not confirmed as of the paper.
한계 참조 실험은 Qwen2.5-1.5B라는 소형 모델과 8GB급 단일 GPU에서 수행된 축소판이며, 저자들 스스로 "state-of-the-art를 노리는 것이 아니다"라고 명시한다 — 절대 수치는 이 소형 모델에 종속적이고, 곡선의 형태(shape)만 더 큰 스케일로 이어진다고 주장할 뿐 대형 모델에서 직접 검증하지는 않았다. 또한 COMPACT-Bench는 실행된 벤치마크가 아니라 제안(proposal)이며, 완전한 벤치마크 스위트로서의 실제 존재 여부는 논문 시점에는 확인되지 않는다.
Future work The authors name, as an explicit open research agenda (Section 15), actually building COMPACT-Bench into a complete benchmark that fixes one budget axis across all layers simultaneously, and validating the cross-layer mechanism transfer (serving-stack to agent memory) proposed in this paper on larger models and real agent workloads.
향후 과제 저자들은 COMPACT-Bench를 실제로 구축해 하나의 budget 축을 모든 계층에 동시에 고정하는 완전한 벤치마크로 만드는 것, 그리고 이 논문이 제시한 계층 간 메커니즘 이식(serving-stack ↔ agent 메모리)을 더 큰 모델·실제 agent 워크로드에서 검증하는 것을 열린 연구 의제(Section 15)로 명시한다.
Released resources The paper states "code and configurations accompany the survey," but no specific repository URL was found on the arXiv page or in the body text (no public release verified). The reference experiments state they build on existing public tools such as NVIDIA/kvpress and LLMTest_NeedleInAHaystack, but these are not the authors' own code release.
자원 공개 논문은 "Code and configurations accompany the survey"라고 언급하지만, arXiv 페이지·본문에서 구체적인 저장소 URL은 확인되지 않았다(공개 링크 확인 안 됨). 참조 실험은 NVIDIA/kvpress, LLMTest_NeedleInAHaystack 같은 기존 공개 도구를 활용한다고 명시하지만 이들은 저자 자신의 코드 릴리스가 아니다.
The research thread
Where this paper sits 연구의 흐름
The pressure this survey organizes is older than any method in it: run a transformer past a hundred thousand tokens and the cached keys and values of what it has read take up more of the accelerator than the model's own weights — the very observation PagedAttention (Kwon et al., 2023) built the serving stack around. Four research lines grew around that pressure with remarkably little contact. KV-cache compression acts during decoding — H2O and TOVA evict tokens, KIVI and KVQuant store what remains at a few bits, DeepSeek's MLA factorizes it away. Prompt compression acts before the model reads — LLMLingua deletes and rewrites tokens, gisting swaps spans for a few learned vectors. The architecture line bounds memory by construction — RMT's segment recurrence, Mamba's fixed-size state. And agent-memory work curates at the scale of whole trajectories — MemGPT's archival tiers, Mem0's consolidation, RAPTOR's hierarchical stores. Each line kept its own benchmarks and its own currency (compression ratio at fixed perplexity, tokens saved at fixed accuracy, recall at fixed state size), and a method from one line seldom cited a method from another. Prior surveys respected the borders: the KV-cache surveys (Li et al. 2025's KV Cache Management among them) stay inside serving, and Memory in the Age of AI Agents (Hu et al., 2026), which does reach across, classifies descriptively rather than deriving.
What this paper changes is the unit in which the field thinks — in the conclusion's own words, these four are "one problem wearing four disguises." Any method takes the history of everything read and emits a smaller representation that fits a budget; call that a compaction operator, and the differences between methods reduce to three questions — what unit is compressed, when in the model's life the operator acts, and whether it decides what to keep before or after the query is known. The bytes-per-token-of-history axis makes the first question commensurable: eviction keeping a fraction f of tokens, b-bit quantization (b/16 of full cost), and summarization of n tokens down to m all land on one axis, so a KV evictor and an agent summarizer sit on the same chart for the first time. The rate-distortion bound then prices the third question: a query-agnostic operator pays a penalty of H(Q) bits it cannot recover, and an irreversible one cannot re-spend its budget once the query arrives. Under this light, attention magnitude and recency — the two importance signals every layer independently converged on — are revealed as surrogate estimators of the same distortion gradient, failing the same way everywhere.
The bridge chapter (Section 10) is where the frame earns its keep. An agent's memory forms a three-tier hierarchy much like a processor's — a sub-second on-GPU KV cache, a within-task working context, a cross-session long-term store — and the same five design knobs (importance signal, forgetting schedule, query-conditioning, reversibility, stop rule) recur at every tier, a knob polished in one community often sitting blank in the next. So mechanisms port: an Ebbinghaus-style forgetting curve and an attention-score eviction rule are two estimates of one quantity; Quest's no-evict per-query paging becomes a design for agent memory; Ada-KV's output-error bound becomes a stop rule for summarization — a cell Table 4 marks, literally, "(open)". The two commodity-GPU experiments then convert the framing into falsifiable curves: retrieval accuracy collapses once budget drops below the task's information content, and a reversible and an irreversible operator, indistinguishable in any single-turn test, part by roughly 0.5 recall the moment compaction repeats.
What the survey opens is stated as a nine-item agenda ordered by impact times tractability — calibrated loss attribution, an operator-composition map, and a predictive compression law among them — but the deeper opening is a missing evaluation axis. The regime agents actually live in, compaction repeated over a long horizon, is untested by every current suite; methods report single-turn ratios at budgets they choose for themselves. The authors candidly concede that until something like COMPACT-Bench exists, their unification "stays a framing rather than a tested science" — and that candor sets the test for the frame itself: whether the next KV-eviction paper and the next agent-memory paper find themselves citing the same bound.
이 서베이가 정리하는 압력은 그 안의 어떤 방법보다 오래됐다. Transformer를 십만 토큰 넘게 돌리면 지금까지 읽은 것의 key·value cache가 모델 weight보다 accelerator를 더 차지한다 — PagedAttention(Kwon et al., 2023)이 serving stack 전체를 그 위에 세운 바로 그 관측이다. 이 압력을 둘러싸고 네 갈래 연구가 거의 접촉 없이 자랐다. KV-cache 압축은 decoding 중에 작동한다 — H2O와 TOVA는 토큰을 evict하고, KIVI와 KVQuant는 남긴 것을 몇 bit로 저장하며, DeepSeek의 MLA는 factorize해서 치운다. Prompt 압축은 모델이 읽기 전에 개입한다 — LLMLingua는 토큰을 지우고 고쳐 쓰고, gisting은 span을 학습된 벡터 몇 개로 바꾼다. 아키텍처 갈래는 메모리를 구조적으로 유계로 만든다 — RMT의 segment recurrence, Mamba의 고정 크기 state. 그리고 agent-memory 갈래는 trajectory 전체 규모에서 큐레이션한다 — MemGPT의 archival 계층, Mem0의 consolidation, RAPTOR의 계층적 저장소. 각 갈래는 자기 벤치마크와 자기 통화(고정 perplexity에서의 압축률, 고정 정확도에서 절약한 토큰, 고정 state 크기에서의 recall)를 갖고, 한 갈래의 방법이 다른 갈래를 인용하는 일은 드물었다. 기존 서베이도 이 국경을 존중했다 — KV-cache 서베이(Li et al. 2025의 KV Cache Management 등)는 serving 안에 머물고, 경계를 넘은 Memory in the Age of AI Agents(Hu et al., 2026)는 유도가 아니라 기술적(descriptive) 분류에 그친다.
이 논문이 바꾸는 것은 분야가 사고하는 단위다 — 결론의 표현을 빌리면, 이 넷은 "하나의 문제가 네 벌의 옷을 입은 것"이다. 어떤 방법이든 지금까지 읽은 history를 받아 budget 안에 들어가는 더 작은 표현을 내놓는다; 이를 compaction operator라 부르면 방법 간 차이는 세 질문으로 줄어든다 — 무엇을 단위로 압축하는가, 모델 생애의 어느 시점에 작동하는가, 유지할 것을 query를 알기 전에 정하는가 후에 정하는가. Bytes-per-token-of-history 축이 첫 질문을 통약 가능하게 만든다: 토큰의 비율 f를 남기는 eviction, b-bit quantization(전체 비용의 b/16), n 토큰을 m으로 줄이는 summarization이 전부 한 축 위에 놓여, KV evictor와 agent summarizer가 처음으로 같은 차트에 앉는다. Rate-distortion bound는 셋째 질문에 가격을 매긴다: query-agnostic operator는 회수할 수 없는 H(Q) bit의 벌금을 내고, irreversible operator는 query가 도착한 뒤 budget을 다시 쓸 수 없다. 이 조명 아래에서 attention magnitude와 recency — 모든 계층이 독립적으로 수렴해 간 두 중요도 신호 — 는 같은 distortion gradient의 대리 추정기로 드러나며, 모든 곳에서 같은 방식으로 실패한다.
프레임이 제값을 하는 곳은 bridge 장(Section 10)이다. Agent의 메모리는 프로세서의 것과 닮은 3계층 위계를 이룬다 — sub-second의 on-GPU KV cache, task 동안의 working context, 세션을 넘는 long-term store — 그리고 같은 다섯 개의 설계 손잡이(중요도 신호, forgetting 스케줄, query-conditioning, reversibility, stop rule)가 모든 계층에서 반복되는데, 한 커뮤니티가 깊이 연마한 손잡이가 옆 커뮤니티에서는 비어 있는 일이 잦다. 그래서 메커니즘이 이식된다: Ebbinghaus식 forgetting curve와 attention-score eviction 규칙은 한 양의 두 추정치이고, Quest의 no-evict per-query paging은 agent memory의 설계가 되며, Ada-KV의 output-error bound는 summarization의 stop rule이 된다 — Table 4가 문자 그대로 "(open)"이라 표시한 칸이다. 그 위에 상용 GPU 실험 둘이 프레임을 반증 가능한 곡선으로 바꾼다: budget이 task의 정보량 아래로 떨어지면 검색 정확도가 무너지고, 단일 턴 시험으로는 구별 불가능한 reversible/irreversible operator가 compaction이 반복되는 순간 recall 약 0.5만큼 갈라진다.
서베이가 여는 것은 impact × tractability로 정렬된 9개 항목의 의제로 명시된다 — calibrated loss attribution, operator 합성 지도, 예측적 compression law 등 — 하지만 더 깊은 개방은 빠져 있는 평가 축이다. Agent가 실제로 사는 체제, 즉 긴 horizon에 걸쳐 반복되는 compaction은 현존하는 어떤 스위트도 시험하지 않는다; 방법들은 각자 고른 budget에서 single-turn 비율만 보고한다. 저자들은 COMPACT-Bench 같은 것이 실재하기 전까지 자신들의 통합이 "검증된 과학이 아니라 프레이밍에 머문다"고 솔직히 시인하는데, 그 솔직함이 프레임 자체의 시험대를 정해 준다: 다음 KV-eviction 논문과 다음 agent-memory 논문이 같은 bound를 인용하게 되는가.
Sparks — where one could take this 아이디어의 씨앗
-
One could take up the authors' explicit invitation to replicate the two reference experiments — the accuracy-budget frontier and the repeated-compaction divergence — on larger models and real agent workloads, testing their claim that the curve shapes carry over. 저자들이 명시적으로 초대한 대로, Section 14의 두 참조 실험 — accuracy-budget frontier와 반복-compaction 분기 — 을 더 큰 모델과 실제 agent 워크로드에서 재현해 곡선의 형태가 스케일을 넘어 유지된다는 주장을 직접 검증해볼 수 있다.
-
Following the paper's second open problem, one could explore whether the surrogate scorers at each layer — all estimators of one distortion — can emit a calibrated per-decision compaction confidence with provenance of what was lost. 논문의 두 번째 open problem을 따라, 각 계층의 surrogate scorer가 모두 하나의 distortion에 대한 추정기라는 점을 이용해 "무엇이 버려졌는가"의 provenance를 남기는 calibrated per-decision compaction confidence를 실제로 측정 가능하게 만들 수 있는지 탐구해볼 수 있다.
-
One could pursue the paper's fourth open problem, a predictive compression scaling law that estimates a task's information content I*(Q) as a function of model size, context length, and task type, closing the gap between worst-case bounds and the reported 80-93% KV reductions. 논문이 네 번째 open problem으로 제안한 predictive compression scaling law — task의 정보량 I*(Q)를 모델 크기·context 길이·task 유형의 함수로 추정해 worst-case bound와 보고된 80~93% KV 절감 사이의 간극을 닫는 법칙 — 을 측정으로 구축해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
Linked reviews
KIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache
Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x.
kv-cacheH2O: Heavy-Hitter Oracle for Efficient Generative Inference of LLMs
A small set of "heavy-hitter" tokens dominates attention mass, so greedily evicting low-accumulated-attention entries keeps only ~20% of the KV cache while matching full-cache accuracy and raising serving throughput up to 29x.
kv-cacheKVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
Pre-RoPE per-channel key and per-token value quantization with sensitivity-weighted non-uniform datatypes plus ~1% fp16 outliers pushes the KV cache to 3 bits at under 0.1 perplexity cost, reaching million-token contexts on a single A100.
kv-cacheDuoAttention: Efficient Long-Context Inference with Retrieval and Streaming Heads
Learns which attention heads actually retrieve from long context and gives only those a full KV cache, cutting long-context memory up to 2.55x with retrieval accuracy intact.
kv-cacheA JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation
Treating the KV cache as a single three-axis tensor rather than a stack of matrices, JoLT compresses only the token and feature axes with a partial Tucker decomposition, restores the discarded energy with a low-bit rotated residual, and lets one shared optimizer decide how to split the byte budget between rank and residual bits and between keys and values -- reaching a near-lossless 2-3x compression zone on both a grouped-query and a multi-head attention model.