Paper Review
A reading vault for efficient AI
Daily reviews of papers on model architecture, post-training, model compression & lightweighting, and on-device AI — currently centered on KV cache quantization and hybrid (full + linear) attention — auto-collected, human-curated, and linked like a vault, one paper a day. model architecture, post-training, model compression·경량화, on-device AI 논문을 매일 한 편씩 리뷰한다 — 지금은 KV cache quantization과 hybrid (full + linear) attention이 중심 — 자동 수집하고 직접 큐레이션해 vault처럼 서로 연결해 둔다.
Reading list
Papers by topic
KV Cache & Compression 20
- Sep 02, 2026 Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache Gives an independent speculative-decoding drafter a compressed KV memory instead of a full cache, so it keeps the acceptance rate of a strong drafter without its KV-access cost growing with context length. 독립 드래프트 모델에 전체 KV 캐시 대신 압축된 KV 메모리를 주어, 강한 드래프트 모델의 수락률은 유지하면서 컨텍스트 길이에 따라 커지는 KV 접근 비용은 피한다.
- Aug 20, 2026 EchoCache: Energy-Guided Cross-Modal Caching for Efficient Audio-Driven Video Generation Diffusion caching decides what to reuse from visual change alone, which is blind in audio-driven video where the audio says where motion belongs; EchoCache reads audio energy to drive latent-level reuse, reaching 2.46× on Wan2.2-S2V while an int8 residual cache keeps peak memory at 59.12 GB instead of 81.02 GB. 디퓨전 캐싱은 시각 특징의 변화만 보고 재사용을 결정하는데, 오디오가 어디에 움직임이 있어야 하는지를 이미 말해주는 오디오 구동 영상에서는 그게 눈을 감은 것과 같다. EchoCache는 오디오 에너지로 잠재 단위 재사용을 몰아 Wan2.2-S2V에서 2.46×를 얻고, int8 잔차 캐시로 최대 메모리를 81.02GB 대신 59.12GB에 묶는다.
- Aug 15, 2026 FlashDrive: Algorithm-System Co-Design for Real-Time VLA Autonomous-Driving Inference Algorithm-system co-design cuts real-time reasoning-VLA latency 4.7x by matching a distinct lightweight fix to each of four structurally different inference bottlenecks. 서로 다른 원인을 가진 네 가지 추론 병목에 각각 다른 경량 해법을 매칭하는 알고리즘-시스템 공동설계로, 실시간 추론형 VLA의 지연시간을 4.7배 줄인다.
- Aug 15, 2026 LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time A block-causal video diffusion model with a retrieval-augmented sink-attention KV-cache policy sustains real-time, constant-memory streaming human animation for minutes, not seconds. 블록-코잘 비디오 디퓨전 모델에 검색 기반 싱크-어텐션 KV 캐시 정책을 결합해, 수 분 길이의 스트리밍 휴먼 애니메이션을 실시간·일정 메모리로 유지한다.
- Jul 25, 2026 Error Certificates for KV-Cache Eviction via Randomized Design This paper proves that deterministic top-k KV-cache eviction cannot certify its own damage -- evicted values can be altered so everything the serving system retains is unchanged while the true attention-output error grows unboundedly -- and shows that a cheap randomized retention scheme (Poisson sampling plus one logit correction) restores enough statistical structure to build a real per-step error certificate, though pre-registered testing finds that certificate is worth its 2x overhead only for attributing and scheduling recovery from failures, not predicting them. 이 논문은 결정적(top-k) KV 캐시 제거가 스스로의 손상을 증명할 수 없음을 증명한다 -- 서빙 시스템이 보관 중인 것은 그대로 둔 채 제거된 값을 바꿔도 진짜 attention-output 오차는 얼마든지 커질 수 있다 -- 그리고 저렴한 무작위 유지 방식(Poisson 샘플링 + logit 보정 한 번)이 진짜 per-step 오차 증명서를 만들 만큼의 통계적 구조를 되살린다는 것을 보인다. 다만 사전등록 검증 결과, 이 증명서는 실패를 예측하는 데가 아니라 실패를 원인 규명하고 복구를 스케줄링하는 데서만 2배 비용을 치를 가치가 있다.
- Jul 23, 2026 HeadCast: Casting Attention Heads for Efficient Autoregressive Video Generation HeadCast is a training-free KV-cache acceleration framework for autoregressive video diffusion that classifies each attention head into one of four stable behavioral archetypes (Sink, Dummy, Spatial, Global) and routes each to a disjoint storage/compute pathway, keeping the long-range Global heads at full attention to avoid the flickering that coarser eviction baselines cause. HeadCast는 자기회귀 비디오 확산을 위한 학습-불필요 KV 캐시 가속 프레임워크로, 각 어텐션 헤드를 Sink·Dummy·Spatial·Global 네 가지 안정적 행동 유형으로 분류해 서로 다른 저장/연산 경로로 라우팅하며, 장거리 의존성을 지닌 Global 헤드는 전체 어텐션으로 남겨 두어 거친 제거 기법이 유발하는 플리커링을 피한다.
- Jul 23, 2026 Self Gradient Forcing: Native Long Video Extrapolation Self Gradient Forcing names the historical context-gradient gap in Self-Forcing-style autoregressive video diffusion training — the historical KV cache is written once and then frozen, so future losses can never supervise how it should have been written — and fixes it with a two-pass training scheme that lets models trained on 5-second clips extrapolate natively to 240-second video. Self Gradient Forcing는 Self-Forcing 방식의 자기회귀 비디오 확산 학습에서 과거 KV 캐시가 한 번 쓰이고 나면 그대로 얼어붙어, 이후 손실이 그 쓰기 연산을 감독할 수 없다는 historical context-gradient gap을 명명하고, 5초짜리 클립으로 학습한 모델이 240초 비디오까지 자연스럽게 확장되게 하는 2단계 학습 기법으로 이를 해결한다.
- Jul 22, 2026 C²KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference C2KV is a KV-cache reuse framework for long-context LLM inference that combines compression with non-prefix reuse via a lightweight sidecar Extractor and a structured attention flow, trained with a compression-concatenation co-training strategy, reaching up to 17x inference acceleration without modifying the base model. C2KV는 경량 사이드카 Extractor와 구조화된 attention flow로 압축과 비-프리픽스(non-prefix) KV 캐시 재사용을 결합한 장문맥 LLM 추론 프레임워크로, compression-concatenation 공동학습 전략을 통해 베이스 모델 수정 없이 최대 17배 추론 가속을 달성한다.
- Jul 22, 2026 Surprise Forcing: What to Remember, When to Skip in Long Video Generation Surprise Forcing is a training-free framework for streaming autoregressive video diffusion that re-admits evicted frames into a rolling KV cache under a feedback-controlled surprise budget, and separately skips denoising steps for chunks judged easy, improving long-horizon consistency without sacrificing real-time streaming. Surprise Forcing는 스트리밍 자기회귀 비디오 확산에서 롤링 KV 캐시가 놓친 프레임을 피드백 제어 서프라이즈 예산 아래 다시 불러들이고, 쉬운 청크는 디노이징 스텝을 건너뛰는 학습-불필요 프레임워크로, 실시간 스트리밍을 유지하면서 장기 일관성을 개선한다.
- Jul 20, 2026 VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs VarRate is a training-free KV cache codec that allocates a per-token low-rank budget via water-filling over query salience instead of evicting tokens, staying within 3.5-5.5 points of uncompressed accuracy under query-agnostic cache reuse where query-aware eviction loses 11-15 points. VarRate는 토큰을 삭제하는 대신 쿼리 salience에 대한 water-filling으로 토큰별 저랭크 예산을 배분하는 학습-불필요 KV 캐시 코덱으로, query-agnostic 캐시 재사용 상황에서 query-aware eviction이 11-15점을 잃는 반면 3.5-5.5점 손실에 그친다.
- Jul 15, 2026 A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation Treating the KV cache as a single three-axis tensor rather than a stack of matrices, JoLT compresses only the token and feature axes with a partial Tucker decomposition, restores the discarded energy with a low-bit rotated residual, and lets one shared optimizer decide how to split the byte budget between rank and residual bits and between keys and values -- reaching a near-lossless 2-3x compression zone on both a grouped-query and a multi-head attention model. KV 캐시를 행렬 더미가 아니라 하나의 3축 텐서로 보고, JoLT는 토큰·특성 축만 partial Tucker 분해로 압축한 뒤 버려진 에너지를 회전시킨 저비트 잔차로 복원하며, 랭크와 잔차 비트·키와 값 사이의 바이트 예산 배분을 단일 최적화기가 결정하게 해 GQA·MHA 모델 모두에서 2-3배의 사실상 무손실 압축 구간을 확보한다.
- Jul 13, 2026 COBS: Cumulant Order Block Sparse Attention COBS shows that every existing cacheable block-sparse-attention selector (including DeepSeek's NSA) scores blocks using only the first-order (mean-key) term of an exact cumulant expansion of attention mass, and that adding the discarded second-order term, a compressed within-block key covariance, closes 86 percent of the accuracy gap to dense attention at 32k context while using 15x less KV-cache read traffic than dense and only 1.21x more than the NSA baseline. COBS는 DeepSeek NSA를 포함한 기존의 모든 캐시 가능한 block-sparse-attention 선택기가 attention mass의 정확한 cumulant 전개 중 1차(평균 key) 항만으로 블록 점수를 매긴다는 것을 보이고, 버려진 2차 항인 압축된 블록 내 key 공분산을 더하면 32k 문맥에서 dense attention과의 정확도 격차의 86퍼센트를 좁히면서 dense보다 15배 적고 NSA baseline보다 1.21배만 많은 KV 캐시 읽기 트래픽을 쓴다는 것을 보인다.
- Jul 11, 2026 What to Keep, What to Forget: A Rate-Distortion View of Memory Compaction in LLMs and Agents A survey reframes KV-cache eviction, prompt compression, bounded architectural state, and agent memory consolidation as one rate-distortion decision on a shared bytes-per-token-of-history axis, showing all four communities' scoring signals fail identically (deciding what to keep before the query is known) and proposing a COMPACT-Bench benchmark. KV-cache eviction, prompt 압축, bounded architectural state, agent 메모리 통합이라는 네 개 별도 연구 커뮤니티를 bytes-per-token-of-history라는 공통 축 위의 하나의 rate-distortion 결정으로 재구성한 survey. 네 커뮤니티 모두 query를 보기 전에 유지할 정보를 결정한다는 동일한 실패 패턴을 공유함을 보이고 COMPACT-Bench 벤치마크를 제안한다.
- Jul 07, 2026 LiftQuant: Continuous Bit-Width LLM via Dimensional Lifting and Projection A lift-then-project weight-quantization scheme that stores each weight block as a linear projection of a 1-bit lattice living in a higher-dimensional space, so the effective bit-width becomes a quasi-continuous dial (lifted dim / block dim) — e.g. Llama-3-70B at 2.4 bits exactly fills a 24GB GPU and clearly beats every 2-bit method forced onto the same card, with a lookup-table-free INT1-GEMM decode path. 고차원 lifted 공간의 1-bit lattice를 선형 projection해 weight block을 표현하는 lift-then-project 양자화 — 유효 bit-width가 차원비(D/d)로 준연속 조절되어, 예컨대 Llama-3-70B를 2.4-bit로 24GB GPU에 정확히 채우고 같은 카드에 들어가는 모든 2-bit 방법을 능가하며, decode는 lookup table 없는 INT1-GEMM 경로를 유지한다.
- Jul 07, 2026 TriAttention: Efficient Long Reasoning with Trigonometric KV Compression Observes that pre-RoPE Q/K vectors concentrate around fixed centers, so attention can be predicted as a trigonometric series in token distance — a query-free KV eviction score that matches full-attention AIME25 accuracy at 2.5x throughput or 10.7x less KV memory. pre-RoPE 공간에서 Q/K 벡터가 고정된 center 주위에 강하게 집중된다는 관측에서 출발해, attention을 token 거리에 대한 trigonometric series로 예측하는 query-free KV eviction 점수를 제안 — AIME25에서 full attention 정확도를 유지하며 2.5배 throughput 또는 10.7배 KV 메모리 절감을 달성한다.
- Jul 07, 2026 TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate A random rotation forces every coordinate into a known Beta distribution, so one precomputed Lloyd-Max codebook quantizes any vector stream online with zero calibration — plus a 1-bit QJL residual stage for unbiased inner products — provably within ≈2.7× of the information-theoretic distortion floor, yielding quality-neutral 3.5-bit KV caches and vector-search indexing in near-zero time. Random rotation으로 좌표 분포를 알려진 Beta 분포로 고정해, 미리 계산한 Lloyd-Max codebook 하나로 어떤 vector stream이든 calibration 없이 online 양자화하고(1-bit QJL residual 단계로 inner product unbiased 보장), 정보이론적 distortion 하한의 ≈2.7배 이내임을 증명 — 3.5-bit KV cache 품질 중립과 indexing 시간 ~0의 vector search를 달성한 논문.
- Jul 04, 2026 KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization Pre-RoPE per-channel key and per-token value quantization with sensitivity-weighted non-uniform datatypes plus ~1% fp16 outliers pushes the KV cache to 3 bits at under 0.1 perplexity cost, reaching million-token contexts on a single A100. Pre-RoPE per-channel key / per-token value 양자화에 sensitivity 가중 non-uniform datatype과 ~1% fp16 outlier 분리를 더해 KV cache를 3-bit(<0.1 PPL 손실)까지 압축, 단일 A100에서 1M-token context를 달성한 논문.
- Jul 01, 2026 DuoAttention: Efficient Long-Context Inference with Retrieval and Streaming Heads Learns which attention heads actually retrieve from long context and gives only those a full KV cache, cutting long-context memory up to 2.55x with retrieval accuracy intact. 어떤 attention head가 실제로 long context에서 retrieval을 수행하는지 gate 최적화로 학습해 그 head에만 full KV cache를 주고, 나머지 streaming head는 상수 크기 cache로 줄여 retrieval 성능 손실 없이 최대 2.55배 메모리를 절감한다.
- Jun 30, 2026 H2O: Heavy-Hitter Oracle for Efficient Generative Inference of LLMs A small set of "heavy-hitter" tokens dominates attention mass, so greedily evicting low-accumulated-attention entries keeps only ~20% of the KV cache while matching full-cache accuracy and raising serving throughput up to 29x. Attention mass의 대부분을 소수 "heavy-hitter" 토큰이 차지한다는 관측을 바탕으로, 누적 attention score가 낮은 엔트리를 greedy하게 evict해 KV cache의 약 20%만 유지하면서 full-cache 정확도를 유지하고 serving throughput을 최대 29배 높인 eviction 정책.
- Jun 29, 2026 KIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x. KV cache 원소 분포 분석에서 도출한 비대칭 양자화(K per-channel, V per-token)로 tuning 없이 2bit KV cache를 달성, peak memory 2.6배 절감과 최대 3.47배 throughput 향상을 얻는다.
Hybrid & Linear Attention 8
- Aug 03, 2026 Raven: High-Recall Sequence Modeling with Sparse Memory Routing Raven unifies SSMs and sliding-window attention under one framework (Routing Slot Memories) by giving a fixed set of memory slots a learned, input-dependent router that selects a Top-K subset to update each step and decays only those slots, matching or beating linear-time baselines on recall benchmarks and extrapolating to 16x its training context length. Raven는 SSM과 슬라이딩-윈도우 어텐션을 『Routing Slot Memories』라는 한 틀 안에 통합한다 -- 고정된 메모리 슬롯 집합에 대해 입력에 따라 학습되는 라우터가 매 스텝 Top-K개의 슬롯만 골라 갱신하고 그 슬롯에만 decay를 적용함으로써, recall 벤치마크에서 기존 선형-시간 베이스라인과 동등하거나 우세하고 학습 문맥 길이의 16배까지 외삽한다.
- Jul 29, 2026 Kimi K3: Open Frontier Intelligence A 2.8T-parameter (104B active) native multimodal MoE model with a 1M-token context, built on Kimi Delta Attention, Attention Residuals, and Stable LatentMoE — architecture co-design that yields a 2.5x scaling-efficiency gain over Kimi K2 and full open weights. Kimi Delta Attention·Attention Residuals·Stable LatentMoE로 구성된 2.8T 파라미터(활성 104B), 1M-토큰 컨텍스트의 네이티브 멀티모달 MoE 모델 — 아키텍처 공동설계로 Kimi K2 대비 2.5배 스케일링 효율을 얻고 전체 가중치를 공개했다.
- Jul 24, 2026 SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation SANA-Video 2.0 combines 75% gated linear attention with 25% periodic softmax anchors -- measured as the quality-efficiency Pareto knee via from-scratch proxy sweeps, not assumed from language-model literature -- plus Block Attention Residuals routing completed-block summaries into later linear layers, reaching VBench 84.30 in 13.2s at 480p on one H100 and a 3.2x DiT-forward speedup over full-softmax at 720p/60s that widens with duration. SANA-Video 2.0은 75% gated linear attention과 25% 주기적 softmax anchor를 결합한다 -- 언어모델 문헌에서 가정한 것이 아니라 처음부터 학습한 proxy 스윕으로 측정한 품질-효율 Pareto 지점 -- 완료된 블록 요약을 이후 linear 레이어로 라우팅하는 Block Attention Residuals와 함께, 480p에서 H100 한 대로 13.2초 만에 VBench 84.30에 도달하고 720p/60초에서 full-softmax 대비 3.2배 빠른 DiT-forward 속도를 내며 이 격차는 길이가 길어질수록 커진다.
- Jul 21, 2026 Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones KATA derives linear-attention feature maps from symmetric-cone geometry, names a Welch-bound interference floor that governs associative-recall capacity, and shows several variants beating Gated DeltaNet on long-range recall while running up to ~11x FlashAttention-2's throughput at 131k tokens. KATA는 대칭 원뿔(symmetric cone) 기하학에서 선형 어텐션 피처맵을 유도하고, 결합 회상(associative recall) 용량을 지배하는 Welch-bound 간섭 하한을 명명하며, 여러 변형이 장거리 회상에서 Gated DeltaNet을 능가하면서 131k 토큰에서 FlashAttention-2 대비 최대 약 11배 처리량을 낸다는 것을 보인다.
- Jul 13, 2026 The Key to Going Linear: Analysis-Driven Transformer Linearization By freezing the entire pretrained backbone and training only a replacement attention mechanism, this paper derives a first-order Taylor approximation showing that softmax attention intrinsically applies a key-dependent rank-1 correction, which delta-rule updates (Gated DeltaNet) implement natively and pure gated-decay updates (Gated Linear Attention) structurally cannot, then adds sink tokens and short convolutions to patch exactly where that approximation still fails, beating prior post hoc linearization baselines on MMLU while using orders of magnitude fewer training tokens. 사전학습 백본 전체를 동결하고 대체 attention 메커니즘만 학습해, 이 논문은 softmax attention이 내재적으로 key-의존적 rank-1 보정을 적용한다는 것을 보이는 1차 Taylor 근사를 유도한다. delta-rule 업데이트(Gated DeltaNet)는 이를 그대로 구현하지만 순수 게이트-감쇠 업데이트(Gated Linear Attention)는 구조적으로 그럴 수 없으며, 이론이 정확히 어디서 근사가 깨지는지에 맞춰 sink 토큰과 short convolution을 더해 훨씬 적은 학습 토큰으로 기존 post hoc 선형화 baseline을 MMLU에서 능가한다.
- Jul 13, 2026 MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models MOSAIC automatically searches, per transformer layer, over five attention variants and seven FFN widths to turn a homogeneous VLM into a hardware-latency-constrained heterogeneous one, using cheap blockwise distillation plus a multi-objective MIP solver instead of hand-designed periodic mixing patterns, and its resulting MOSAIC-4B matches Qwen3-VL-4B-Instruct across 19 benchmarks at 2.54x decoding speedup and under 2% of the original training cost. MOSAIC은 트랜스포머 층마다 다섯 가지 attention 변형과 일곱 가지 FFN 폭에 걸쳐 자동으로 탐색해, 수작업 주기적 혼합 패턴 대신 저렴한 블록별 distillation과 다목적 MIP 해법으로 동질적 VLM을 하드웨어-지연 제약을 만족하는 이종 VLM으로 변환한다. 그 결과물인 MOSAIC-4B는 19개 벤치마크에서 Qwen3-VL-4B-Instruct에 필적하면서 2.54배 decode 속도향상과 원래 학습 비용의 2% 미만만 쓴다.
- Jul 04, 2026 MiniMax-01: Scaling Foundation Models with Lightning Attention One softmax-attention block per seven lightning (linear) attention blocks, scaled to a 456B-parameter MoE, matches GPT-4o-class quality while training at 1M-token context and extrapolating to 4M. Softmax attention 1층 + lightning(linear) attention 7층 hybrid를 456B MoE로 스케일업해, GPT-4o급 품질을 유지하면서 1M-token 학습·4M-token 추론 context를 달성한 최초의 frontier-scale linear attention 모델.
- Jul 02, 2026 Gated Delta Networks: Improving Mamba2 with Delta Rule Unifies Mamba2-style gated decay with the delta-rule targeted memory update into a single hardware-efficient linear-attention layer that beats both parents and anchors strong hybrid stacks with sliding-window attention. Mamba2식 gated decay와 delta rule의 targeted memory update를 하나의 hardware-efficient linear-attention 레이어로 통합해 두 부모 모델을 모두 능가하고, sliding-window attention과의 hybrid 스택의 핵심 레이어가 된 논문.
Diffusion LLMs 13
- Sep 02, 2026 CARVE: Counterfactual-Aware Reveal with Verified Expansion for Diffusion Language Models CARVE lets a masked diffusion language model grow its answer canvas mid-generation, accepting the extra space only when a counterfactual stability check confirms the insertion will not disturb the model's existing predictions. CARVE는 마스크 확산 언어모델이 생성 도중 답변 캔버스를 늘리도록 하되, 그 확장이 기존 예측을 흔들지 않는다는 반사실적 안정성 검증을 통과했을 때만 받아들인다.
- Aug 31, 2026 Conditional Total Correlation and the Serial Depth of Adaptive Parallel Sampling Proves an exact information-theoretic identity showing that a parallel-decoding policy approximation error equals the conditional total correlation it discards each round, then uses it to show the confidence-based heuristics deployed in real masked diffusion language models are information-theoretically worse than decoding in random order. 병렬 디코딩 정책의 근사 오차가 매 라운드마다 버리는 조건부 총상관량(conditional total correlation)과 정확히 같다는 정보이론적 항등식을 증명하고, 이를 이용해 실제 마스크 확산 언어모델이 배포한 신뢰도 기반 휴리스틱이 무작위 순서로 디코딩하는 것보다 정보이론적으로 더 나쁘다는 것을 보인다.
- Aug 29, 2026 Survival-Guided Length Control for Efficient Diffusion Language Models Recasts how long a diffusion language model should generate as a discrete-time survival problem over the end-of-sequence token, yielding a training-free plug-in that speeds up decoding 3-7x with no accuracy loss. 디퓨전 언어모델이 얼마나 길게 생성해야 하는지를 EOS 토큰에 대한 이산시간 생존분석 문제로 재정식화해, 정확도 손실 없이 디코딩을 3-7배 가속하는 학습 불필요 플러그인을 제시한다.
- Jul 23, 2026 Multi-Mask Diffusion Language Models for Few-Step Generation MultiMDM fixes a structural obstacle to few-step generation in masked diffusion language models -- all forward trajectories collapsing to the same single fully-masked state, leaving no terminal entropy for consistency distillation -- by replacing the single mask token with a designated set of masks per clean token, preserving masking structure while restoring terminal diversity. MultiMDM은 마스크 확산 언어모델(MDM)의 few-step 생성을 가로막는 구조적 장애물 -- 모든 순방향 경로가 동일한 완전-마스크 상태로 수렴해 컨시스턴시 증류에 필요한 종결 엔트로피가 사라지는 문제 -- 를, 클린 토큰마다 지정된 마스크 집합을 부여해 마스킹 구조는 유지하면서 종결 다양성을 되살리는 방식으로 해결한다.
- Jul 22, 2026 LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models LaCache is a training-free acceleration framework for diffusion LLMs that eliminates redundant denoising-step computation via exact intermediate-result caching and adds per-group FP8 quantization to FFN layers, reaching 1.3x speedup alone and up to 40.2x when stacked with existing acceleration methods. LaCache는 확산 언어모델의 디노이징 스텝 중복 계산을 무손실 중간결과 캐싱으로 제거하고 FFN 레이어에 그룹별 FP8 양자화를 더한 학습-불필요 가속 프레임워크로, 단독으로 1.3배, 기존 가속 기법과 결합 시 최대 40.2배 속도 향상을 낸다.
- Jul 21, 2026 FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models FlowBlock is a training-free decoding framework for block-diffusion language models that turns each block's self-correction ability into scheduling slack, letting adjacent blocks decode in an overlapping wavefront instead of strictly one-after-another, for up to 4.01x higher throughput and a small accuracy gain over serial LLaDA-2.x decoding. FlowBlock은 블록-확산 언어모델의 자기수정(self-correction) 능력을 스케줄링 여유로 전환하는 학습-불필요 디코딩 프레임워크로, 인접 블록을 완전 순차 대신 겹치는 웨이브프론트로 디코딩해 순차 LLaDA-2.x 대비 최대 4.01배 처리량과 소폭의 정확도 향상을 동시에 얻는다.
- Jul 20, 2026 AdaLook: Adaptive Multi-Step Lookahead Decoding for Diffusion Language Models AdaLook makes diffusion-LM lookahead decoding adaptive-depth instead of fixed-depth — a variance-gated continue/stop rule plus branch expansion from informative intermediate states — Pareto-dominating one-step lookahead and confidence-only decoding on the accuracy/decoding-steps trade-off across MMLU, GSM8K, MATH500 and BBH. AdaLook은 확산 언어모델의 lookahead 디코딩을 고정 깊이가 아니라 분산-게이트 기반의 적응적 깊이로 만든다 — candidate-score 분산으로 계속/정지를 결정하고 유용한 중간 상태에서 branch expansion을 재개해, MMLU·GSM8K·MATH500·BBH 전반에서 one-step lookahead와 confidence-only 디코딩을 정확도-디코딩스텝 트레이드오프에서 앞선다.
- Jul 17, 2026 Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation Seer exploits a sharp MLP activation-sparsity jump at diffusion step zero to predict a diffusion multimodal LLM's true output length before generation, then permanently truncates the redundant end-of-text padding and routes batches through a hybrid static/variable-length execution scheme, reaching up to 31x throughput gains across nine vision-language benchmarks without hurting accuracy. Seer는 디퓨전 멀티모달 LLM의 첫 디노이징 스텝(스텝 0)에서 나타나는 급격한 MLP 활성화-희소성 점프를 이용해 생성 이전에 실제 출력 길이를 예측하고, 남는 EOS 패딩 suffix를 한 번에 잘라낸 뒤 정적/가변 길이 실행을 섞은 하이브리드 배치 전략으로 서빙해, 9개 비전-언어 벤치마크에서 정확도 손실 없이 최대 31배의 처리량 향상을 달성한다.
- Jul 09, 2026 Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata An exact algorithm samples from the constraint-satisfying mean-field posterior of a diffusion language model for any constraint expressible as a finite automaton, fixing a correctness gap left open by autoregressive-style token masking and lifting Dream-7B's BFCL-Live function-calling accuracy under stochastic sampling from 22.3% to 69.0% with under 5% overhead. diffusion 언어모델에서 유한 오토마타로 표현 가능한 임의의 제약 조건에 대해, 제약을 만족하는 mean-field posterior에서 정확히 샘플링하는 알고리즘을 제시해 autoregressive 방식의 토큰 마스킹이 남긴 정합성 공백을 메우고, Dream-7B의 BFCL-Live 함수 호출 정확도를 확률적 샘플링 기준 22.3%에서 69.0%로 5% 미만의 오버헤드로 끌어올렸다.
- Jul 08, 2026 Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding A single NVIDIA model switches between autoregressive, block-wise diffusion, and self-speculative decoding from one set of weights, with self-speculation (diffusion drafts, the same model's AR pass verifies) beating multi-token prediction and the 8B model decoding 6x more tokens per forward than Qwen3-8B at comparable accuracy. NVIDIA의 한 모델이 하나의 가중치로 autoregressive, block-wise diffusion, self-speculative 디코딩 세 모드를 전환하며, self-speculation(diffusion이 초안을 만들고 같은 모델의 AR 패스가 검증)이 multi-token prediction보다 우수하고 8B 모델은 비슷한 정확도에서 Qwen3-8B 대비 forward당 6배 많은 토큰을 디코딩한다.
- Jul 07, 2026 Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding A new diffusion language model class factorizes generation over flexible token sets instead of fixed blocks, using a set-causal architecture that supports exact KV cache updates after every step and arbitrary-order decoding. 고정된 block 대신 유연한 token 집합에 대해 생성을 인수분해하는 새로운 diffusion 언어모델 클래스로, 매 step마다 정확한 KV 캐시 갱신과 임의 순서 디코딩을 지원하는 set-causal 구조를 사용한다.
- Jul 04, 2026 Fast-dLLM: Training-Free Acceleration of Diffusion LLMs via KV Cache and Parallel Decoding A block-wise approximate KV cache plus confidence-thresholded parallel decoding accelerates open diffusion LLMs by up to 27.6x end-to-end with 1-2 point accuracy loss, entirely training-free. Block 단위 approximate KV cache와 confidence threshold 기반 parallel decoding으로, 재학습 없이 open diffusion LLM 추론을 최대 27.6배 가속하면서 정확도 하락을 1-2pt 이내로 유지한다.
- Jun 28, 2026 LLaDA: Large Language Diffusion Models An 8B masked-diffusion language model trained from scratch on 2.3T tokens that matches LLaMA3-8B-class autoregressive baselines, showing next-token prediction is not the only recipe for LLM capabilities. 2.3T token으로 from scratch 학습한 8B masked diffusion LM이 LLaMA3 8B급 autoregressive baseline과 대등한 성능을 내며, LLM 능력이 next-token prediction만의 산물이 아님을 보인 논문.
On-device AI 5
- Jul 23, 2026 BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators BaseRT adds hand-written Metal 4 tensor-core kernels to its native Apple-Silicon inference runtime, routing only the compute-bound matrix multiplications of LLM inference (prefill GEMM, MoE expert GEMM, prefill attention) through the M5 generation's per-core Neural Accelerators, reaching up to 6.4x higher prompt-processing throughput than llama.cpp and 3.9x higher than MLX across fifteen model configurations on an Apple M5 Pro. BaseRT는 자체 Apple Silicon 네이티브 추론 런타임에 직접 작성한 Metal 4 텐서코어 커널을 추가해, LLM 추론에서 연산-바운드인 부분(프리필 GEMM, MoE 전문가 GEMM, 프리필 어텐션)만 M5 세대의 코어별 Neural Accelerator로 라우팅하며, Apple M5 Pro의 15개 모델 구성에서 llama.cpp 대비 최대 6.4배, MLX 대비 최대 3.9배 높은 프롬프트 처리 처리량을 달성한다.
- Jul 18, 2026 CODA: Algorithm-Hardware Co-design for Edge Video Diffusion via NMP-Enabled Compute-Cache Operator Disaggregation Moves video-diffusion's cross-timestep activation cache off the GPU onto a DIMM-side near-memory-processing engine so caching stops competing with compute for VRAM and bandwidth on edge GPUs. 비디오 디퓨전의 시간축 캐시를 GPU에서 DIMM 옆의 근접 메모리 처리(NMP) 엔진으로 옮겨, 엣지 GPU에서 캐싱이 연산과 VRAM·대역폭을 두고 경쟁하지 않게 만드는 알고리즘-하드웨어 공동설계.
- Jul 17, 2026 PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference PolyQ is a CPU-oriented quantizer-compiler codesign that assigns per-channel bit-widths from a CPU-aligned {2,3,4,8,16} palette to hit any fractional average-bit budget, then clusters and permutes channels at compile time so the resulting mixed-precision layout runs on regular LUT/SIMD CPU kernels with almost no runtime reordering cost. PolyQ는 CPU에 정렬된 {2,3,4,8,16}-bit 팔레트에서 채널별 bit-width를 골라 임의의 fractional 평균-bit 예산을 맞추고, 컴파일 타임에 채널을 클러스터링·permutation해 그 결과물이 거의 런타임 재정렬 비용 없이 규칙적인 LUT/SIMD CPU 커널 위에서 돌아가게 만드는 CPU 지향 quantizer-compiler codesign이다.
- Jul 09, 2026 MobileWan: Closing the Quality Gap for Mobile Video Diffusion A 5B-parameter video diffusion transformer is converted into a constant-memory, chunk-wise autoregressive RNN-like process via recurrence distillation and causal linear attention, becoming the first 5B-scale video diffusion model deployable on a commercial mobile device. 5B 파라미터 비디오 diffusion transformer를 recurrence distillation과 causal linear attention으로 constant-memory의 chunk-wise autoregressive RNN 형태로 변환해, 상용 모바일 기기에 배포 가능한 최초의 5B 규모 비디오 diffusion 모델을 만들었다.
- Jul 04, 2026 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases A systematic sub-billion design-space study showing that at 125M-350M scale deep-thin layouts, embedding sharing, GQA, and block-wise layer sharing buy accuracy per byte, yielding state-of-the-art on-device LMs. Sub-billion 스케일에서는 deep-thin 레이아웃, embedding sharing, GQA, block-wise layer sharing이 byte당 정확도를 산다는 것을 체계적 design-space 탐색으로 보여 on-device LM의 SoTA 레시피를 세운 논문.
Architecture 9
- Aug 29, 2026 FlashVLA: Streaming Action Decoding for Fast and Asynchronous VLA Inference Brings streaming chunk-wise diffusion from long-video generation to robot action decoding, cutting per-step latency up to 20x and reaching real-time control on a single GPU. 롱비디오 생성의 스트리밍 청크 단위 디퓨전을 로봇 행동 디코딩에 적용해, 스텝당 지연을 최대 20배 줄이고 GPU 한 장으로 실시간 제어를 구현했다.
- Aug 22, 2026 Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models (SparsePR) SparsePR makes training-free block-sparse attention for video diffusion transformers actually executable, by routing queries with key/value response geometry and correcting the sparse output with a few exact probe rows -- beating four prior sparse-attention methods on fidelity at similar or lower compute across four video/world models. 학습 없이 적용하는 비디오 확산 트랜스포머용 블록-스파스 어텐션을, 쿼리를 K/V 응답 기하로 라우팅하고 소수의 정확한 프로브 행으로 결과를 보정하는 방식으로 실제 실행 가능하게 만든 논문. 비디오/월드모델 4종에서 기존 스파스 어텐션 4개보다 비슷하거나 더 적은 연산으로 더 높은 충실도를 달성했다.
- Jul 28, 2026 Learning What Matters: Supervising Global Context Pruning with Causal Evidence Sets Sparse-attention routers are usually trained to imitate a dense teacher's attention pattern; this paper builds tasks with exactly known causal evidence and shows attention and causal dependence disagree, with a router trained on masking-derived causal labels reaching 0.99 routed accuracy on a 2-hop task versus 0.41 for an attention-distilled router, plus a pretrained-model result where larger models get answers right well before their attention becomes trustworthy. 희소 어텐션(sparse attention) 라우터는 보통 dense 교사 모델의 어텐션 패턴을 모방하도록 학습된다. 이 논문은 인과적 근거가 정확히 알려진 과제를 설계해 어텐션과 인과적 의존성이 실제로는 어긋난다는 것을 보이고, 마스킹 기반 인과 라벨로 학습한 라우터가 2-hop 과제에서 0.99의 라우팅 정확도를 달성하는 반면 어텐션 증류 라우터는 0.41에 그친다는 것, 그리고 사전학습 모델에서는 모델이 커질수록 어텐션이 신뢰할 만해지기 훨씬 전에 정답부터 맞히기 시작한다는 것을 보여준다.
- Jul 18, 2026 T2MLR: Transformer with Temporal Middle-Layer Recurrence Fuses a cached middle-layer representation from the previous token directly into an earlier layer of the current token, letting abstract intermediate computation persist across decoding steps for a fraction of the network's depth. 이전 토큰의 캐싱된 중간 레이어 표현을 현재 토큰의 더 앞쪽 레이어에 직접 융합해, 네트워크 깊이의 일부만으로도 추상적인 중간 연산이 디코딩 스텝을 넘어 지속되게 만드는 구조.
- Jul 16, 2026 DeepLoop: Depth Scaling for Looped Transformers Standard DeepNorm residual scaling assumes every layer has independent parameters, but a looped transformer revisits the same physical block many times — this paper shows that breaks the scaling math, derives the correct exponent (1/4 to 1/2) for the tied case, and gets consistent gains in loss, downstream accuracy, and ARC-AGI reasoning from changing two scalar constants. 표준 DeepNorm 잔차 스케일링은 각 층이 독립된 파라미터를 갖는다고 가정하지만, 루프형 Transformer는 같은 물리적 block을 여러 번 재방문한다 — 이 논문은 그 가정이 깨짐을 보이고, 묶인(tied) 경우의 올바른 지수(1/4→1/2)를 유도해, 스칼라 상수 두 개만 바꿔 loss·다운스트림 정확도·ARC-AGI 추론에서 일관된 개선을 얻는다.
- Jul 15, 2026 AVQ-Attention: Adaptive Vector-Quantized Attention Vector-quantized attention cuts quadratic attention cost by clustering keys into a fixed codebook, but spends the same resolution everywhere regardless of where attention mass actually concentrates; AVQ-Attention adaptively refines codebook resolution toward high-attention regions using a hierarchical parent-child codebook, implemented as custom Triton kernels fused directly into Flash-Attention-style tiling, reaching up to 127x over Flash Attention at 64k tokens. 벡터-양자화 attention은 key를 고정된 코드북으로 클러스터링해 이차 비용을 줄이지만 attention이 실제로 집중되는 곳과 무관하게 어디서나 같은 해상도를 쓴다; AVQ-Attention은 계층적 parent-child 코드북으로 고-attention 영역에만 해상도를 적응적으로 정밀화하고, 이를 Flash-Attention 스타일 타일링에 직접 융합한 커스텀 Triton 커널로 구현해 64k 토큰에서 Flash Attention 대비 최대 127배에 이른다.
- Jul 14, 2026 LayerNorm as Implicit Gain Control in Looped Transformers Analyzing the exact recurrence behind the Parcae looped-transformer design, this paper shows its stability constraint is necessary but not sufficient for convergence, and that gradient descent stores cross-iteration memory in the block's nonlinear recurrence rather than in the linear carry term built to hold it. Parcae looped-transformer의 순환식을 그대로 분석하여, 그 안정성 제약이 수렴의 필요조건일 뿐 충분조건은 아니며, 반복 간 기억은 그 역할을 맡도록 설계된 선형 carry 항이 아니라 블록의 비선형 순환 쪽에 저장된다는 것을 보인다.
- Jul 10, 2026 Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models A continued-pretraining method lets an existing LLM backbone keep improving by expanding each token into several parallel streams with their own KV cache instead of looping the same layers, avoiding the pipeline-parallelism problems that make depth-recurrent transformers hard to scale. 기존 LLM backbone을 그대로 둔 채, 같은 레이어를 반복하는 대신 각 토큰을 독자적인 KV 캐시를 가진 여러 병렬 스트림으로 확장하는 continued-pretraining 방법으로, depth-recurrent transformer의 스케일링을 어렵게 만드는 pipeline-parallelism 문제를 피해간다.
- Jul 07, 2026 Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers A looped Transformer trained with dense per-latent-position chain-of-thought supervision closes the long-standing accuracy gap between latent and explicit reasoning at 3B parameters while cutting reasoning latency by 2.1-6.9x. 잠재 위치마다 조밀한 chain-of-thought 지도학습을 적용한 looped Transformer가 30억 파라미터 규모에서 잠재적 추론과 명시적 추론 간의 오랜 정확도 격차를 좁히면서 추론 지연을 2.1-6.9배 단축한다.
Compression 13
- Sep 02, 2026 Budget-Aware Compression Pipeline for Single-GPU LLM Inference: Methods, Trade-offs, and Coupling Effects A systematic coupling study shows that quantization, pruning, and KV-cache compression do not simply add up when stacked -- and uses the resulting rules to fit a 70B model on a single 48GB GPU with a 10K-token context. 양자화·프루닝·KV 캐시 압축을 쌓았을 때 단순히 합산되지 않는다는 것을 체계적으로 보인 커플링 연구로, 그 규칙을 이용해 700억 파라미터 모델을 48GB GPU 한 장에 1만 토큰 컨텍스트까지 올린다.
- Aug 24, 2026 SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation SQuad distills a pretrained video diffusion transformer's full-softmax attention into a fixed, sub-quadratic O(n*sqrt(n)) factorization -- a local pass within sqrt(n)-sized windows plus a global cross-window pass, still true softmax throughout -- and pairs it with step distillation, matching the original's quality at 6 sampling steps instead of 100 while cutting attention compute by roughly 67x. 비디오 확산 트랜스포머의 풀-소프트맥스 어텐션을, sqrt(n) 크기 윈도 내 지역 연산과 윈도 간 전역 연산 두 단계로 이뤄진 고정된 서브-쿼드러틱 O(n*sqrt(n)) 구조로 증류하는 논문. 소프트맥스는 그대로 유지하면서, 100 스텝이던 샘플링을 6 스텝으로 줄이고도 원본 품질을 유지하며 어텐션 연산량은 약 67배 줄인다.
- Aug 16, 2026 Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation Context-Matched Distillation (CMD) fixes a causal information-set mismatch in distilling few-step autoregressive video generators: prior pipelines score a causal student's rollout with a bidirectional teacher that can see future frames, so CMD instead trains a causal teacher, queries it under exactly the same history the student had, and reuses it to initialize the student too, improving both short- and long-video quality and camera-control accuracy. Context-Matched Distillation(CMD)은 few-step 자기회귀 비디오 생성기 증류에서 발생하는 causal 정보-집합 불일치를 고친다 -- 기존 파이프라인은 causal 학생의 롤아웃을 미래 프레임까지 보는 bidirectional teacher로 채점했는데, CMD는 대신 causal teacher를 학습시켜 학생이 실제로 가졌던 것과 정확히 같은 history 아래에서 채점하고, 같은 teacher를 학생 초기화에도 재사용해 짧은/긴 비디오 품질과 카메라-제어 정확도를 함께 개선한다.
- Jul 31, 2026 Parallel Decoding Distillation (PDD) for Fast Image and Video Generation PDD trains a parallel decoder that predicts the mean velocity of several consecutive denoising intervals in a single network evaluation instead of one interval at a time, giving a trajectory-based distillation method that reaches SOTA 4-8 NFE generation on LTX-2.3, Wan2.1-14B and Qwen-Image while avoiding the mode collapse that variational-score-distillation and adversarial methods suffer from. PDD는 한 번에 한 구간씩이 아니라 여러 연속된 디노이징 구간의 평균 속도를 단일 네트워크 평가로 예측하는 병렬 디코더를 학습시켜, LTX-2.3·Wan2.1-14B·Qwen-Image에서 4-8 NFE로 SOTA를 달성하면서도 variational score distillation이나 adversarial 방식이 겪는 mode collapse를 피하는 궤적 기반 증류(distillation) 방법이다.
- Jul 24, 2026 GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries GaugeQuant learns the quantization-optimal rotation basis during training itself -- via a LogSumExp outlier-suppression proxy loss with a stop-gradient, constrained to SO(d) by a Cayley transform -- rather than searching for it post-hoc on a frozen model with calibration data, cutting LLaMA-2 7B W4A16 perplexity degradation by 51% with no calibration set and negligible training overhead. GaugeQuant는 학습 자체 도중 -- stop-gradient를 곁들인 LogSumExp outlier 억제 대체 손실과 Cayley 변환으로 SO(d)에 제약된 회전을 통해 -- quantization-최적 회전 기저를 학습한다. 고정된 모델에 calibration 데이터로 사후 탐색하는 대신, calibration set 없이 무시할 만한 학습 오버헤드로 LLaMA-2 7B의 W4A16 perplexity 저하를 51% 줄인다.
- Jul 24, 2026 KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization KroQuant quantizes diffusion transformers to W4A4 by learning a Kronecker-structured invertible transform on 32-element activation blocks -- a Kronecker product of five 2x2 matrices with only 15 learnable parameters per block, versus 1,024 for a dense 32x32 rotation -- landing between cheap-but-weak per-channel scaling and accurate-but-expensive learned dense rotations, and beating SVDQuant/LoRaQ on image fidelity across PixArt-Sigma, SANA, and FLUX.1-schnell while running as fast as per-channel scaling on AMD MI350 GPUs. KroQuant는 32개 원소 activation 블록에 대해 Kronecker 구조를 갖는 가역 변환(5개의 2x2 행렬의 Kronecker product, 블록당 학습 파라미터 단 15개 -- 32x32 dense rotation의 1,024개 대비)을 학습해 diffusion transformer를 W4A4로 양자화한다. 저렴하지만 약한 per-channel scaling과 정확하지만 비싼 학습된 dense rotation 사이의 지점을 차지하며, PixArt-Sigma·SANA·FLUX.1-schnell에서 SVDQuant·LoRaQ보다 이미지 충실도가 높으면서도 AMD MI350 GPU에서 per-channel scaling만큼 빠르게 동작한다.
- Jul 21, 2026 MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference MXSens allocates 4/6/8-bit mantissa widths per column and layer based on Hessian-guided sensitivity, staying inside hardware-native MXINT microscaling formats (unlike rotation-based methods, which are incompatible with them), and reaches perplexities of 3.77 and 7.63 on LLaMA-2-70B and LLaMA-3-8B under W4A4KV4. MXSens는 Hessian 기반 민감도 분석으로 열(column)·층(layer)별로 4/6/8비트 mantissa 폭을 배분하면서 하드웨어 네이티브 MXINT 마이크로스케일링 포맷과의 호환성을 유지하고(회전 기반 기법은 이 포맷과 호환되지 않음), W4A4KV4 설정에서 LLaMA-2-70B/LLaMA-3-8B에 각각 perplexity 3.77/7.63을 달성한다.
- Jul 17, 2026 ExTernD: Expanded-Rank Ternary Decomposition — Ternary LLM PTQ with Accuracy Approaching Any Quantization Level ExTernD factors each LLM weight matrix into two ternary (-1/0/+1) matrices plus a real scale vector, deliberately expanding the inner rank past full rank so later components provably, monotonically correct the residual error of earlier ones, turning ternary quantization''s usual fixed-plane accuracy ceiling into a continuous dial that matches Q4_K accuracy at 5.2-5.5 effective bits per weight. ExTernD는 LLM 가중치 행렬 각각을 두 개의 삼진(-1/0/+1) 행렬과 하나의 실수 스케일 벡터로 분해하되, 내부 랭크를 완전 랭크 너머로 의도적으로 확장해 나중 성분들이 이전 성분들의 잔차 오차를 증명 가능하게 단조적으로 교정하게 함으로써, 기존 삼진 양자화의 고정 평면 정확도 천장을 연속적인 다이얼로 바꾸고 유효 5.2-5.5 bpw에서 Q4_K 정확도에 도달한다.
- Jul 11, 2026 BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression BiSCo-LLM replaces stored VQ codebooks with a codebook-free binary spherical code (bit-packed sign stream) plus a residual BSQ stage and category-wise recovery distillation, reaching 10.18 WikiText-2 perplexity vs. 9.73 FP16 on Qwen3-8B at an extreme low-bit storage budget. BiSCo-LLM은 저장된 VQ codebook 대신 codebook-free binary spherical code(bit-packed sign stream)와 residual BSQ 단계, category-wise recovery distillation을 결합해, Qwen3-8B에서 FP16 9.73 대비 10.18의 WikiText-2 perplexity로 극저비트 저장 예산을 달성한다.
- Jul 11, 2026 KronQ: LLM Quantization via Kronecker-Factored Hessian KronQ extends GPTQ-style post-training quantization with the output-side gradient covariance (Kronecker-factored Hessian), fixing a blind spot where prior compensation-based PTQ methods treat all output channels as equally important; on 2-bit LLaMA-3-70B it reaches 7.93 perplexity where GPTQ/GPTAQ diverge above 2000. KronQ는 GPTQ 계열 post-training quantization에 출력측 gradient covariance(Kronecker-factored Hessian)를 추가해, 기존 compensation 기반 PTQ가 모든 출력 채널을 동등하게 취급하던 사각지대를 메운다. 2-bit LLaMA-3-70B에서 GPTQ/GPTAQ가 2000 이상으로 발산하는 반면 KronQ는 7.93 perplexity를 달성한다.
- Jul 11, 2026 The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs Introduces correctness agreement, a decision-level metric measuring overlap in correct predictions between a base LLM and its quantized variants, and shows that behavioral divergence emerges under moderate GGUF-style quantization (8-bit to 2-bit) even when accuracy/perplexity look preserved, with query/key projections consistently more sensitive than value/output. base LLM과 quantized 변형 사이 정답 예측의 일치도를 측정하는 decision-level metric인 correctness agreement를 제안하고, accuracy·perplexity가 보존된 것처럼 보이는 중간 수준의 GGUF 계열 quantization(8-bit~2-bit)에서도 행동적 divergence가 발생함을 보인다. Query/key projection이 value/output projection보다 일관되게 더 민감하다.
- Jul 10, 2026 FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models An end-to-end W4A4G4 post-training framework for large diffusion models augments LoRA with a frozen numerical stabilizer to isolate quantization-sensitive outliers, matching full-precision fine-tuning quality on FLUX.1-dev (12B) with up to 2.25x less memory and 2.27x higher training throughput. 대형 diffusion 모델을 위한 end-to-end W4A4G4 post-training 프레임워크로, LoRA에 양자화에 민감한 outlier를 격리하는 고정된(frozen) 수치 안정화 장치를 더해, FLUX.1-dev(12B)에서 full-precision 파인튜닝과 동등한 품질을 최대 2.25배 적은 메모리와 2.27배 높은 학습 처리량으로 달성한다.
- Jul 07, 2026 Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs An iterative pruning-plus-distillation pipeline compresses a hybrid Mamba/MoE model from 120.7B to 75.3B total parameters, roughly doubling server throughput at matched user-throughput constraints while retaining most downstream accuracy. 반복적 pruning과 distillation 파이프라인으로 하이브리드 Mamba/MoE 모델을 총 파라미터 1207억에서 753억으로 압축해, 동일한 사용자 처리량 제약에서 서버 처리량을 약 2배로 늘리면서 대부분의 다운스트림 정확도를 유지한다.
Serving 17
- Aug 31, 2026 AgentSpec: Speculative Decoding for Batch Inference of LLM Agents A structure-isolated speculative decoding scheme for LLM agents that fixes the batch-size collapse where existing methods become slower than plain autoregressive decoding, delivering up to 2.02x speedup by tracking semantic block boundaries and allocating draft budget by historical redundancy. LLM 에이전트를 위한 구조 격리 투기적 디코딩 기법으로, 기존 방법들이 큰 배치에서 오히려 일반 순차 디코딩보다 느려지는 붕괴 현상을 고치고, 의미 블록 경계를 추적하고 과거 이력의 중복도에 따라 초안 예산을 배분해 최대 2.02배 속도 향상을 달성한다.
- Aug 27, 2026 Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning Parason shows that most of the hidden parallelism in LLM reasoning traces is Trial Parallelism (parallel speculative attempts), not the Subtask Parallelism prior systems target, and trains models via PA-GRPO plus tool-call execution for a real 1.7x wall-clock speedup. Parason은 LLM 추론 과정에 숨어 있는 병렬성의 대부분이 기존 시스템이 다루던 Subtask Parallelism이 아니라 Trial Parallelism(병렬 추측 시도)임을 보이고, PA-GRPO 학습과 도구 호출 실행을 결합해 실제 1.7배의 지연시간 단축을 달성한다.
- Aug 27, 2026 Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware The first real-hardware characterization of masked-diffusion LLM serving finds that denoising-step difficulty clusters into 11 discrete, unpredictable levels, that CPU dispatch (not GPU compute) is the dominant per-request cost, and derives a batch-timeout rule from measured queueing behavior. 마스크 diffusion LLM 서빙에 대한 첫 실제 하드웨어 특성 분석. denoising step 난이도가 예측 불가능한 11단계로 이산화되어 있고, 요청당 비용의 대부분이 GPU 연산이 아니라 CPU 디스패치에서 나오며, 실측 큐잉 데이터로부터 batch-timeout 규칙을 도출한다.
- Aug 25, 2026 TreeWY: Speculative Verification for Gated DeltaNet Hybrids TreeWY removes the per-draft-position recurrent-state snapshot that makes wide speculative-decoding draft trees memory-infeasible for hybrid softmax+Gated-DeltaNet models, by rewriting the gated delta rule as a tree-structured WY transform that verifies every draft node with one triangular solve and reconstructs only the accepted state on commit. TreeWY는 하이브리드(소프트맥스+Gated DeltaNet) 모델에서 넓은 추측 디코딩 드래프트 트리를 메모리 측면에서 불가능하게 만들던 '드래프트 위치별 순환 상태 스냅샷'을 제거한 논문. gated delta rule을 트리 구조 WY 변환으로 다시 써서, 모든 드래프트 노드를 하나의 삼각 연립방정식 풀이로 검증하고 커밋 시 채택된 상태 하나만 복원한다.
- Aug 21, 2026 FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution An edge-native MoE serving system that continuously repartitions GPU memory between KV cache and resident experts at runtime, letting consumer GPUs serve up to 753B-parameter models with 1.3-2.3x higher decode throughput than prior edge engines. 엣지 GPU에서 KV 캐시와 상주 전문가(expert) 슬롯 사이의 GPU 메모리 배분을 실행 중에 계속 재조정하는 MoE 서빙 시스템으로, 소비자용 GPU 한 대로 최대 7530억 파라미터 모델까지 서빙하며 기존 엣지 엔진 대비 1.3~2.3배 높은 디코드 처리량을 낸다.
- Aug 20, 2026 xPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding Block-diffusion drafters sample every position from its own marginal, so a draft block is individually likely but jointly improbable; xPress adds a low-rank causal refiner that reconciles the whole block through parallel Jacobi iterations, lifting acceptance length from 6.25 to 8.02 tokens. 블록 디퓨전 드래프터는 각 위치를 자기 주변분포에서 독립적으로 뽑기 때문에 블록이 개별적으로는 그럴듯해도 결합적으로는 있을 법하지 않다. xPress는 저랭크 인과 리파이너를 얹어 블록 전체를 병렬 Jacobi 반복으로 화해시키고, 수용 길이를 6.25에서 8.02 토큰으로 끌어올린다.
- Jul 31, 2026 AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding AngelSpec unifies two rival speculative-decoding drafter families -- lightweight autoregressive Multi-Token-Prediction heads and block-parallel diffusion drafters -- by co-specializing each one's training data to the workload it is actually good at, upgrading the diffusion drafter's architecture (DFly), and letting a batch-level scheduler (D-cut) reallocate verification budget online; on Tencent's own Hy3 MoE model family this reaches a 1.98-2.40x speedup over autoregressive decoding, validated against live production traffic rather than a static benchmark. AngelSpec는 경량 자기회귀 Multi-Token-Prediction 헤드와 블록-병렬 확산 드래프터라는 서로 다른 두 스펙큘레이티브 디코딩 계열을, 각자가 실제로 잘하는 워크로드에 맞춰 학습 데이터를 co-specialize하고, 확산 드래프터 아키텍처(DFly)를 개선하고, 배치 단위 스케줄러(D-cut)가 검증 예산을 온라인으로 재분배하도록 하여 통합한다 -- Tencent 자체 Hy3 MoE 모델 계열에서 고정 벤치마크가 아닌 실제 프로덕션 트래픽 기준으로 자기회귀 디코딩 대비 1.98-2.40배 속도 향상을 달성했다.
- Jul 24, 2026 Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context Windowed-MTP names the long-context draft-attention tax in built-in Multi-Token-Prediction speculative-decoding heads -- the draft re-reads the entire KV cache every step, so at million-token context it can flip speculation net-negative -- and fixes it losslessly with a training-free sink+window applied only to the draft's attention, cutting per-decode-step cost 28-44% across three architecture families at 1M tokens. Windowed-MTP는 내장 Multi-Token-Prediction 스펙 디코딩 head가 매 step마다 전체 KV 캐시를 다시 읽어, 백만 토큰급 컨텍스트에서는 스펙 디코딩 자체를 역전시킬 수 있는 장문맥 draft-attention 세금을 명명하고, draft의 attention에만 학습 없는 sink+window를 적용해 무손실로 고친다 -- 세 아키텍처 계열에서 1M 토큰 기준 decode step당 비용을 28-44% 절감.
- Jul 22, 2026 AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters AdaFlash stabilizes diffusion-model drafters for speculative decoding, whose bidirectional attention otherwise causes high acceptance-rate variance across domains and token positions, via on-policy reverse-KL distillation plus an adaptive candidate-length head, reaching up to about 66% higher throughput in high-concurrency serving. AdaFlash는 양방향 어텐션 때문에 도메인과 토큰 위치에 따라 수락률(acceptance rate) 편차가 큰 확산모델 드래프터를, 온-폴리시 reverse-KL 증류와 적응형 후보 길이 헤드로 안정화해 고동시성 서빙에서 최대 약 66% 처리량 향상을 얻는 추측 디코딩(speculative decoding) 기법이다.
- Jul 21, 2026 HyMCache: A KV Cache Framework for Multi-Turn LLM Serving with CXL-Hybrid Memory HyMCache stages KV-cache blocks in a CXL-hybrid memory tier (a little device DRAM in front of large SSD-backed capacity) for multi-turn LLM serving, using request-level prefix prefetching to exploit the read-dominant, append-only nature of multi-turn access, reaching 3.0x the throughput of local LMCache at a matched DRAM budget while using 16x less DRAM than a 1TB distributed-DRAM Mooncake deployment. HyMCache는 멀티턴 LLM 서빙을 위해 CXL-하이브리드 메모리 계층(소량의 디바이스 DRAM + 대용량 SSD)에 KV 캐시 블록을 스테이징하고, 멀티턴 접근의 읽기-지배적·추가전용(append-only) 특성을 활용하는 요청 단위 프리픽스 프리페칭으로, 동일 DRAM 예산에서 로컬 LMCache 대비 3.0배 처리량을 내면서 1TB 분산-DRAM Mooncake 배포 대비 DRAM을 16배 적게 쓴다.
- Jul 20, 2026 PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization PagedWeight treats MoE expert weights as elastic, pageable memory — like vLLM's PagedAttention does for the KV cache — dynamically re-quantizing routed experts at runtime to free GPU memory for a growing KV cache, reaching FP16-equivalent accuracy with up to 72.0% memory savings and 1.94x throughput. PagedWeight는 vLLM의 PagedAttention이 KV 캐시에 하던 일을 MoE 전문가 가중치에 적용해, 라우팅된 전문가를 런타임에 동적으로 재양자화함으로써 성장하는 KV 캐시를 위한 GPU 메모리를 확보한다 — FP16 동급 정확도를 유지하면서 최대 72.0% 메모리 절감과 1.94배 처리량 향상을 달성한다.
- Jul 18, 2026 D-Cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding Prunes speculative-decoding draft tokens jointly across a whole serving batch so verification compute isn't wasted on rejected suffixes as concurrency scales up. 배치 서빙 전체에서 초안 토큰을 공동으로 가지치기해, 동시 요청이 늘어나도 검증 연산이 거부될 접미사 토큰에 낭비되지 않게 하는 스펙큘레이티브 디코딩 기법.
- Jul 15, 2026 Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts (EcoSpec) Speculative decoding for Mixture-of-Experts models optimizes for token-acceptance likelihood alone, ignoring that each draft token also determines which experts get loaded from HBM during verification; EcoSpec adds a lightweight expert-activation predictor and a dynamic expert buffer to draft-tree selection, cutting the number of distinct experts touched per verification step and reaching up to 1.62x speedup on DeepSeek-V3.1, Qwen3-235B-A22B, and GPT-OSS-120B without touching the verification rule itself. Mixture-of-Experts 모델을 위한 speculative decoding은 토큰 수락 확률만 최적화할 뿐, 각 draft 토큰이 검증 단계에서 HBM으로부터 어떤 expert를 불러올지도 함께 결정한다는 사실은 무시해 왔다; EcoSpec은 draft-tree 선택에 경량 expert-활성화 predictor와 dynamic expert buffer를 더해 검증 단계마다 건드리는 서로 다른 expert 수를 줄이고, 검증 규칙 자체는 그대로 둔 채 DeepSeek-V3.1·Qwen3-235B-A22B·GPT-OSS-120B에서 최대 1.62배 속도 향상을 얻는다.
- Jul 10, 2026 DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding A training-free best-first draft-tree method scores candidate tokens using a released drafter's path-dependent causal correction instead of treating positions as independent, reaching up to 6.6x speedup and the highest reported mean accept length on Qwen3-4B. 공개된 draft 모델의 경로-의존적(causal) 보정을 위치-독립적으로 취급하지 않고 그대로 활용해 후보 draft tree의 점수를 매기는 학습 없는(training-free) best-first 트리 탐색 기법으로, Qwen3-4B에서 최대 6.6배 속도 향상과 가장 높은 평균 accept length를 보고한다.
- Jul 10, 2026 Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE A tuning-free method extends an LLM's context window beyond its pretrained length by combining a local RoPE-faithful attention window with a long-range window whose rescaling factor adapts dynamically to the current sequence length, fused into a single GPU kernel. 로컬 RoPE-충실 attention 윈도우와, 현재 시퀀스 길이에 맞춰 rescaling 계수가 동적으로 조정되는 장거리 윈도우를 결합해, 추가 학습 없이 LLM의 context window를 사전학습 길이 이상으로 확장하고 이를 단일 GPU 커널로 융합한 방법이다.
- Jul 07, 2026 DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation A semi-autoregressive drafter combined with confidence-scheduled verification fixes the intra-block acceptance decay of parallel speculative-decoding drafters, delivering 51-85% throughput and latency gains in DeepSeek-V4 production serving. 반-자기회귀적 drafter와 confidence 기반 검증 스케줄링을 결합해 parallel 추론 drafter의 block 내 수락률 감소 문제를 해결하고, DeepSeek-V4 실제 서빙에서 51-85%의 처리량·지연 개선을 달성한다.
- Jul 07, 2026 Sangam: Efficiently Serving Diffusion LLMs with the AR Stack A dedicated serving system for cached diffusion-LLM inference introduces a deficit token-budget scheduler that manages prefill/decode interference without AR-style chunked prefill, sustaining 3x the query rate of an in-system Fast-dLLM baseline on LLaDA-8B and Dream-7B. 캐시된 diffusion LLM 추론을 위한 전용 서빙 시스템이 AR 방식 chunked prefill 없이 prefill/decode 간섭을 관리하는 deficit token-budget 스케줄러를 도입해, LLaDA-8B와 Dream-7B에서 in-system Fast-dLLM 베이스라인 대비 3배의 QPS를 유지한다.