C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference

Background Workloads that repeatedly reuse long context, such as in-context learning (ICL) or RAG, increasingly try to avoid re-prefilling from scratch every time by reusing an already-computed KV cache to cut time-to-first-token (TTFT). The catch is that the document chunks being reused often appear in a different order or combination on every request, a non-prefix setting.

배경 긴 문맥을 반복적으로 다시 쓰는 인컨텍스트 러닝(ICL)이나 RAG 같은 워크로드에서는, 매번 처음부터 프리필(prefill)하는 대신 이미 계산해 둔 KV 캐시를 재사용해 첫 토큰까지의 시간(TTFT)을 줄이려는 시도가 늘고 있다. 문제는 재사용하려는 문서 조각들이 매 요청마다 다른 순서·조합으로 등장하는 비-프리픽스(non-prefix) 상황이 흔하다는 점이다.

Problem Naively combining KV-cache compression with non-prefix reuse, gluing together compressed cache fragments in arbitrary order, causes severe accuracy degradation. Compression alone works, and prefix-based reuse alone works, but stacking them naively breaks accuracy.

문제 KV 캐시를 압축해서 저장·전송 비용을 줄이는 것과, 프리픽스가 아닌 임의 조합으로 캐시를 이어붙여 재사용하는 것을 그냥 순진하게 합치면 정확도가 심각하게 무너진다. 즉 압축과 비-프리픽스 재사용은 각각은 잘 작동해도 함께 쓰면 서로를 방해한다.

Prior limitations Prior KV reuse techniques largely assume prefix sharing (only requests sharing the same prefix can share cache), and even when compression is applied, they don't separately address the positional mismatch and attention-pattern breakdown that shows up specifically in reuse scenarios. The paper's concrete failure mode is that KV deviation grows as the recompute ratio drops.

기존 한계 기존 KV 재사용 기법들은 대체로 프리픽스 공유(같은 접두사를 가진 요청들끼리만 캐시 공유)를 전제하거나, 압축을 걸더라도 재사용 시나리오에서의 위치 불일치·attention 패턴 붕괴를 별도로 다루지 않았다. KV 편차(deviation)는 recompute 비율이 낮아질수록 커진다는 것이 이 논문이 지적하는 구체적 실패 양상이다.

Goal Without modifying the base model at all, make compressed KV representations reusable in any concatenation order (non-prefix) without an accuracy penalty.

목표 베이스 모델을 전혀 수정하지 않으면서, 압축된 KV 표현을 어떤 순서로 이어붙이더라도(비-프리픽스) 정확도 손실 없이 재사용 가능하게 만드는 것이 목표다.

Method A lightweight sidecar Extractor uses learnable compression tokens to extract compressed representations from the original KV, while a structured attention flow keeps positional information consistent when these compressed representations are concatenated in arbitrary order. Training uses a compression-concatenation co-training strategy: compression and reuse (concatenation) are not trained as separate stages but optimized jointly, closing the gap between them at training time rather than papering over it at inference time. It is a bit like several people each summarizing a piece of a meeting, with the summaries written from the start to make sense when stitched together in any order, rather than summarized independently and reconciled afterward.

방법 경량 사이드카 Extractor가 학습 가능한 압축 토큰(compression token)들을 사용해 원본 KV를 압축된 표현으로 뽑아내고, 구조화된 attention flow가 이 압축 표현들을 조합할 때 위치 정보를 일관되게 유지시킨다. 학습은 compression-concatenation 공동학습 전략을 쓰는데, 압축과 재사용(연결) 두 과정을 따로 학습하지 않고 함께 최적화해 둘 사이의 불일치를 학습 단계에서부터 줄인다. 마치 여러 사람이 각자 요약한 회의록 조각을 나중에 순서 상관없이 이어 붙여도 말이 되도록, 요약할 때부터 이어붙이기를 염두에 두고 요약하는 것과 비슷하다.

Key idea The core move is treating compression and reuse-time composability not as separate stages but as one joint training objective. The Extractor's representations are designed to be position-agnostic from the start, so the structured attention flow can consume them consistently regardless of concatenation order.

핵심 아이디어 핵심은 "압축"과 "재사용 시의 조합 가능성(composability)"을 별개의 단계로 처리하지 않고 하나의 학습 목표로 묶은 것이다. Extractor가 만드는 표현은 처음부터 위치-독립적으로 설계되어, 어떤 순서로 이어붙여도 구조화된 attention flow가 이를 일관되게 소화할 수 있다.

Validation TTFT and decode latency are measured on long-context in-context-learning workloads, and accuracy is evaluated on the RULER benchmark across multiple context lengths and answer depths. System-level validation also includes a latency comparison between blending and loading reuse strategies and a decode-latency comparison across context lengths.

검증 장문맥 인컨텍스트 러닝 워크로드에서 TTFT와 디코드 지연시간을 측정하고, RULER 벤치마크로 여러 문맥 길이·답변 깊이(answer depth) 조합에서의 정확도를 평가한다. blending과 loading 두 재사용 방식의 지연시간 비교, 문맥 길이에 따른 디코드 지연시간 비교 등 시스템 차원의 검증도 포함한다.

Results Reports up to 17x inference acceleration in long-context scenarios, claiming reduced KV-cache storage and transfer cost while maintaining generation quality. RULER evaluation is run at a 4x compression ratio.

결과 장문맥 시나리오에서 최대 17배 추론 가속을 보고하며, 생성 품질은 유지하면서 KV 캐시 저장·전송 비용을 줄인다고 주장한다. RULER 평가에서는 4배 압축률로 테스트된다.

Comparison At the abstract-level scope this review draws from, exactly which baseline the 17x figure is measured against (naive recomputation vs. other compression-and-reuse methods) is not clearly identifiable, not stated in the paper (from this review's vantage point). The TTFT-vs-accuracy trade-off curve is reported to place C2KV on a better frontier than alternative reuse strategies.

비교 이 리뷰가 참조한 초록 수준에서는 구체적으로 어떤 베이스라인 대비 17배인지(단순 재계산 대비인지, 다른 압축·재사용 기법 대비인지)는 명확히 확인되지 않는다 — 논문 내 명시 없음(이 리뷰 범위 기준). TTFT-정확도 트레이드오프 곡선에서 C2KV가 다른 재사용 전략들보다 우수한 프론티어를 그린다고 보고된다.

Significance From an efficient-LLM-serving standpoint, this paper explicitly targets not "compression or reuse" but "compression and reuse must be trained together." As workloads like RAG or multi-document ICL that stitch context fragments in ever-different combinations become more common, this is a practical contribution to a gap prefix caching alone cannot fill.

의의 효율적 LLM 서빙 관점에서, 이 논문은 "압축이냐 재사용이냐"가 아니라 "압축과 재사용을 함께 학습해야 한다"는 점을 명시적으로 겨냥한다. RAG나 멀티-문서 ICL처럼 문맥 조각을 매번 다른 조합으로 이어붙이는 워크로드가 늘어나는 상황에서, 프리픽스 캐싱만으로는 부족한 지점을 채우는 실용적 기여다.

Limitations How accuracy degrades at very high compression ratios (beyond the 4x tested), and whether the base-model-agnostic sidecar design transfers as-is to different architectures (e.g. MLA, hybrid attention), are not stated at the abstract-level scope this review draws from (reviewer judgment).

한계 압축률이 매우 높아질 때(4배를 넘어서는 영역) 정확도가 어떻게 무너지는지, 그리고 베이스 모델과 무관한 사이드카 구조가 서로 다른 아키텍처(예: MLA, 하이브리드 어텐션)에도 그대로 이식되는지는 이 리뷰가 참조한 초록 수준에서 명시되지 않는다(리뷰어 판단).

Future work No explicit future-work items are identifiable within the abstract-level scope this review draws from.

향후 과제 논문 내 명시된 future-work 항목은 이 리뷰가 참조한 초록 범위에서는 확인되지 않는다.

Released resources An official GitHub repository is verified (s7a9/C2KV, confirmed via curl, HTTP 200), the code is publicly released. Accepted at ACM SIGKDD 2026.

자원 공개 공식 GitHub 저장소가 확인된다(s7a9/C2KV, curl로 200 응답 확인) — 코드가 공개되어 있다. ACM SIGKDD 2026 채택 논문이다.