Budget-Aware Compression Pipeline for Single-GPU LLM Inference: Methods, Trade-offs, and Coupling Effects

Background Fitting a 70B-parameter model onto a single GPU is blocked simultaneously by memory, throughput, and engineering-integration cost. FP16 weights alone exceed 140GB, while a commodity accelerator like the NVIDIA A40 offers only 48GB of VRAM.

배경 700억 파라미터급 모델을 단일 GPU에 올리는 일은 메모리·처리량·엔지니어링 통합 비용이라는 세 축에서 동시에 막힌다. FP16 가중치만으로도 140GB를 넘는데, 흔히 쓰이는 NVIDIA A40은 48GB VRAM만 제공한다.

Problem Quantization, pruning, and KV-cache compression are each well studied individually, but real deployments must combine them. The catch is that stacking the best individual methods does not automatically yield the best combination -- techniques can interfere with or reinforce each other.

문제 양자화, 프루닝, KV 캐시 압축은 각각 개별적으로 잘 연구되어 왔지만, 실제 배포에서는 이들을 조합해서 써야 한다. 문제는 "개별로 최고"인 방법들을 쌓았을 때 최고 조합이 되지 않는다는 점이다 — 기법들이 서로 간섭하거나 시너지를 낼 수 있다.

Prior limitations Existing surveys mostly catalog compression method families without running controlled factorial ablations across combinations. How pruning reshapes the activation/weight outlier distribution that quantization must handle, or how KV eviction/quantization reshapes attention dynamics and the sparsity patterns that depend on it, has rarely been measured directly.

기존 한계 기존 서베이들은 압축 기법군을 카탈로그처럼 나열할 뿐, 기법 조합 간의 통제된 요인 분석(factorial ablation)을 거의 제공하지 않는다. 예컨대 프루닝이 양자화가 다뤄야 할 활성값·가중치 이상치 분포를 어떻게 바꾸는지, KV 축출·양자화가 어텐션 역학과 그에 따른 희소성 패턴의 효과를 어떻게 재구성하는지는 잘 측정되지 않았다.

Goal The goal is to formalize single-GPU LLM inference as an explicit three-dimensional budget problem -- memory, throughput/latency, integration cost -- and empirically find a compression pipeline that satisfies all three jointly.

목표 단일 GPU LLM 추론을 메모리·처리량/지연·통합 비용이라는 명시적 3차원 예산 문제로 정식화하고, 이 세 축을 함께 만족시키는 압축 파이프라인을 실증적으로 찾는 것이 목표다.

Method Targeting DeepSeek-R1-Distill-Llama-70B, the pipeline applies AWQ (W4A16) weight quantization, then ShortGPT-style depth pruning (removing 10 of 80 blocks), then PyramidKV (window 1024) combined with INT8 KV-cache quantization. Each stage is chosen to address a different one of the three budgets.

방법 DeepSeek-R1-Distill-Llama-70B를 대상으로, AWQ(W4A16) 가중치 양자화 → ShortGPT식 깊이 프루닝(80개 블록 중 10개 제거) → PyramidKV(윈도우 1024) + INT8 KV 캐시 양자화를 순차 적용한다. 각 단계는 서로 다른 예산(메모리/처리량/통합비용)을 겨냥해 선택되었다.

Key idea The core contribution is not any single technique but the coupling rules between them: (1) layer-wise pruning makes subsequent weight quantization more robust by reducing the activation-distribution shift quantization has to absorb; (2) KV-cache sparsification (PyramidKV) complements INT8 KV quantization -- together they cut memory without hurting decode speed; (3) conversely, static vector quantizers (QuIP#/QTIP-class) conflict with dynamic caching layouts. Together these turn "stacking the best doesn't give you the best stack" into concrete, actionable rules.

핵심 아이디어 핵심은 개별 최적화가 아니라 커플링 규칙이다: (1) 레이어 단위 프루닝은 그 이후 가중치 양자화가 흡수해야 할 활성값 분포 변화를 줄여 양자화를 더 견고하게 만든다. (2) KV 캐시 희소화(PyramidKV)는 INT8 KV 양자화와 상호 보완적이다 — 디코딩 속도를 해치지 않으면서 메모리를 줄인다. (3) 반대로 정적 벡터 양자화기(QuIP#/QTIP류)는 동적 캐싱 레이아웃과 충돌한다. 이 셋은 "따로 최고인 것을 쌓으면 최고가 아니다"라는 관찰을 구체적 규칙으로 바꾼 것이다.

Validation Each pipeline stage is justified by budget satisfaction, not just a final number: FP16 alone and AWQ alone both exceed the 48GB budget; AWQ plus pruning fits the weight artifact but still exposes long-context decoding to cache growth; only adding PyramidKV plus KV quantization closes the gap -- a genuine step-by-step necessity argument.

검증 조합 각 단계가 왜 필요한지를 예산 만족 여부로 검증한다: FP16 단독과 AWQ 단독은 48GB 예산을 초과하고, AWQ+프루닝은 가중치는 맞추지만 긴 컨텍스트의 캐시 증가에는 여전히 취약하며, PyramidKV+KV양자화를 더해야 비로소 예산을 만족한다 — 최종 숫자만 보고하지 않고 단계별 필요성을 순차적으로 보인다.

Results The final pipeline compresses the 70B model to about 33GB (a 75% reduction from FP16), sustains 57.21 tokens/s on 10K-token prompts on a single A40, and keeps accuracy loss within an absolute 5% margin on commonsense and reasoning benchmarks. The FP16 baseline simply fails to run under the same memory budget.

결과 최종 파이프라인은 700억 파라미터 모델을 약 33GB로 압축(FP16 대비 75% 감소)하고, 단일 A40에서 1만 토큰 프롬프트 기준 초당 57.21 토큰을 지속하며, 상식·추론 벤치마크에서 정확도 손실을 절대 5% 이내로 유지한다. 같은 조건에서 FP16 베이스라인은 메모리 부족으로 아예 실행되지 않는다.

Comparison AWQ matched or exceeded GPTQ on ARC and GPQA. Unstructured sparsity (Wanda) delivered limited speedups and was found to destabilize quantized activations. Pushing SliceGPT or ShortGPT pruning ratios aggressively caused substantial accuracy degradation -- to counter this, the authors introduce "continuity-aware layer reordering."

비교 AWQ는 ARC·GPQA에서 GPTQ와 동등하거나 더 나은 결과를 보였고, 비구조적 희소화(Wanda)는 이득이 제한적이며 양자화된 활성값을 불안정하게 만드는 것으로 나타났다. SliceGPT나 ShortGPT의 프루닝 비율을 과감히 키우면 정확도가 크게 떨어졌다 — 이를 완화하기 위해 저자들은 "연속성을 고려한 레이어 재배열"을 도입했다.

Significance The paper does not propose a new quantizer or pruner, but it gives practical rules for how to sequence and combine existing techniques. The finding that static vector quantizers conflict with dynamic KV caching is a direct, concrete warning for anyone considering carrying a codebook/trellis-style low-bit scheme straight into KV-cache compression.

의의 이 논문 자체가 새로운 양자화기나 프루너를 제안하지는 않지만, 이미 존재하는 기법들을 어떤 순서·조합으로 써야 하는지에 대한 실용적 규칙을 준다. 특히 "정적 벡터 양자화기는 동적 KV 캐싱과 충돌한다"는 발견은, 코드북·트렐리스 기반의 저비트 압축 방식을 KV 캐시 압축에 그대로 가져다 쓰려는 어떤 시도에도 직접적인 경고가 된다.

Limitations (paper-stated) Limited to a single A40 and a single 70B dense checkpoint -- MoE models and consumer GPUs at or below 24GB are named as needing additional engineering, with potentially different bottlenecks. (paper-stated) Evaluation covers only English QA/reasoning benchmarks; multilingual, safety-critical, or distribution-shift settings are untested. (paper-stated) The integration-cost budget is measured against the specific serving stack used here; engines with native sparse-KV support or specialized vector-quantization kernels could shift the trade-off.

한계 (저자 명시) 단일 A40, 700억 파라미터 밀집 모델 하나에 국한된다 — MoE 모델이나 24GB 이하 소비자용 GPU는 병목 구조가 다를 수 있어 추가 엔지니어링이 필요하다고 명시한다. (저자 명시) 영어 QA·추론 벤치마크만 평가했고, 다국어·안전성·분포 변화 상황에서의 신뢰도는 다루지 않았다. (저자 명시) 통합 비용은 저자들이 쓴 특정 서빙 스택 기준으로 측정된 것이라, 네이티브 희소 KV 지원이나 전용 벡터 양자화 커널을 가진 엔진에서는 트레이드오프가 달라질 수 있다.

Future work (paper-stated) The authors propose an automated pipeline search over quantization bit-widths, pruning ratios, and KV retention rates as future work, framing this study as the groundwork that defines that search space.

향후 과제 (저자 명시) 비트폭·프루닝 비율·KV 유지율에 대한 자동화된 파이프라인 탐색을 향후 방향으로 제시하며, 이번 연구는 그 탐색 공간을 정의하는 기초 작업으로 자리매김한다.

Released resources No public code or checkpoint release was found in the paper (no public release verified) -- it states only that the underlying components (AWQ, ShortGPT, PyramidKV) rely on existing open-source implementations.

자원 공개 별도의 공개 코드나 체크포인트 링크는 논문에서 확인되지 않았다 (공개 링크 확인 안 됨) — 사용된 구성요소(AWQ, ShortGPT, PyramidKV)는 모두 기존 공개 구현을 활용했다고만 명시되어 있다.