The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs

Background Post-training quantization is the standard way to deploy LLMs under resource constraints, but its evaluation has relied almost exclusively on accuracy and perplexity. This paper shows these two metrics fail to capture the behavioral changes quantization induces, comparing GGUF-family legacy quantization and K-quantization (Q8_0 through Q2_K) via llama.cpp.

배경 Post-training quantization은 LLM을 자원 제약 환경에 배포하는 표준 기법이지만, 그 평가는 거의 전적으로 accuracy와 perplexity에만 의존해 왔다. 이 논문은 이 두 지표가 quantization이 유발하는 행동 변화(behavioral change)를 포착하지 못한다는 것을 보이며, GGUF 계열의 legacy quantization과 K-quantization(Q8_0~Q2_K)을 llama.cpp 기반으로 비교 분석한다.

Problem A base model and a quantized model with matching perplexity and accuracy can still produce different individual predictions — matching aggregate metrics do not mean the two models solve problems "the same way." This is like two classes with identical average test scores where entirely different students got the right answers — the average alone hides this difference.

문제 동일한 perplexity·accuracy를 내는 base 모델과 quantized 모델이 실제로는 서로 다른 개별 예측을 만들어낼 수 있다 — 즉 집계 지표(aggregate metric)가 같다고 해서 두 모델이 "같은 방식으로" 문제를 푸는 것은 아니다. 이는 반 평균 점수가 똑같은 두 학급이 실제로는 완전히 다른 학생들이 정답을 맞혔을 수 있는 것과 같다 — 평균만 보면 이 차이는 보이지 않는다.

Prior limitations Prior quantization evaluation has focused on absolute-value metrics — accuracy (raw correctness rate) and perplexity (next-token prediction uncertainty) — without measuring how much the two models' decisions themselves agree, i.e., on which individual samples base and quantized models diverge. Representative evaluation studies stayed within this frame — Jin et al. (2024)'s knowledge/alignment/efficiency framework and Kurtic et al. (2025)'s FP8/INT8/INT4 analysis (per the paper's Table 1 comparison). This let real behavioral change hide even at moderate bit-widths where accuracy looks nearly preserved.

기존 한계 기존 quantization 평가는 accuracy(정답률 자체)와 perplexity(다음 토큰 예측의 불확실성)라는 absolute-value 지표에 집중해 왔고, 두 모델의 "결정 자체"가 얼마나 일치하는지, 즉 어떤 개별 샘플에서 base와 quantized 모델이 서로 다른 답을 내는지는 측정하지 않았다. Jin et al. (2024)의 knowledge·alignment·efficiency 평가 프레임워크나 Kurtic et al. (2025)의 FP8/INT8/INT4 분석 같은 대표적 평가 연구들도 이 틀 안에 있었다(논문 Table 1의 비교 기준). 이 때문에 accuracy가 거의 보존된 것처럼 보이는 중간 bit-width에서도 실제 행동 변화가 은폐될 수 있었다.

Goal Introduce a decision-level metric measuring behavioral agreement between a base model and its quantized variants, independent of accuracy and perplexity, and connect that metric to structural distortion of attention weights to explain exactly where and how quantization changes model behavior.

목표 accuracy·perplexity와 독립적으로 base 모델과 quantized 변형 사이의 행동적 일치도를 측정하는 decision-level metric을 도입하고, 이 metric을 attention weight의 구조적 왜곡과 연결해 quantization이 정확히 어디서, 어떻게 모델 행동을 바꾸는지 설명하는 것이 목표다.

Method The paper proposes correctness agreement, a decision-level metric: align the correctness labels (correct/incorrect) of the base model and a quantized variant example by example, and take the fraction of examples both models get right (the paper's Definition 1). By construction it cannot exceed the smaller of the two accuracies, so decision-level departures show through even while aggregate accuracy holds. Alongside this, quantization is treated as a structural operator on attention-weight space: moment statistics (mean, standard deviation, skewness, kurtosis) and distributional distances (cosine similarity, Euclidean, KS, KL) are computed per Q/K/V/O projection on dequantized weights to quantify layer-wise distortion.

방법 Correctness agreement라는 decision-level 지표를 제안한다 — base 모델과 quantized 변형의 correctness label(정답/오답)을 example 단위로 나란히 놓고, 두 모델이 동시에 정답인 example의 비율로 정의한다(논문 Definition 1). 정의상 두 모델 accuracy의 최솟값을 넘을 수 없어, 집계 accuracy가 유지되는 동안에도 결정 수준의 이탈이 그대로 드러난다. 이와 함께 quantization을 attention weight 공간에 대한 구조적 연산자(structural operator)로 취급해, Q/K/V/O projection별 moment 통계(mean, standard deviation, skewness, kurtosis)와 분포 거리(cosine similarity, Euclidean, KS, KL)를 dequantization 후 weight에서 계산해 layer별 왜곡을 정량화한다.

Key idea The core insight is that "equal accuracy" must be separated from "correct in the same way" — if two models have the same average performance but disagree on which samples are right or wrong, they are functionally different models. The finding that query and key projections are consistently more sensitive to quantization than value and output projections suggests that the part of attention deciding "what to attend to" is more fragile under low precision than the part deciding "how to combine that information."

핵심 아이디어 핵심 통찰은 "정확도가 같다"와 "같은 방식으로 정확하다"를 분리해야 한다는 것이다 — 두 모델의 평균 성능이 같더라도, 어떤 샘플에서 옳고 그른지가 다르다면 이는 근본적으로 다른 모델이다. Query·Key projection이 Value·Output projection보다 일관되게 quantization에 더 민감하다는 발견은, attention의 "무엇에 주목할지 결정하는" 부분이 "그 정보를 어떻게 조합할지 결정하는" 부분보다 낮은 정밀도에 더 취약함을 시사한다.

Validation Accuracy and correctness agreement were measured jointly across multiple models (Mistral-7B, Llama-3.2-3B, Vicuna-7B, Llama-3.1-8B) and GGUF-family quantization schemes (legacy and K-quantization, from Q8_0 to Q2_K), using three benchmarks — HellaSwag, Winogrande, and ARC. The experimental design includes average and per-statistic comparisons across attention layers, layer-wise sensitivity analysis, and comparison across quantization levels. Perplexity is additionally tracked on WikiText-2 and C4, and all experiments ran on eight NVIDIA Tesla V100 32GB GPUs.

검증 여러 모델(Mistral-7B, Llama-3.2-3B, Vicuna-7B, Llama-3.1-8B)과 GGUF 계열 quantization 스킴(legacy 및 K-quantization, Q8_0부터 Q2_K까지)에 대해 HellaSwag, Winogrande, ARC 세 벤치마크로 accuracy와 correctness agreement를 함께 측정했다. Attention layer별 평균·개별 통계 비교, layer-wise sensitivity 분석, quantization level 간 비교를 포함한 체계적 실험 설계를 사용한다. 이에 더해 WikiText-2와 C4로 perplexity를 함께 추적하며, 모든 실험은 NVIDIA Tesla V100 32GB 8장에서 수행됐다.

Results The sharpest number appears not at low bits but at 8-bit: Llama-3.2-3B keeps accuracy at 53.4 under Q8_0 (base 55.5), yet only 41.4 of examples remain jointly correct with the base model — far more individual decisions have already changed than the aggregate score suggests. Lowering precision, this model's agreement stays flat down to Q4_K (40.9), then bends at Q3_K (39.9) and Q2_K (38.5) as accuracy slides to 48.7, while Mistral-7B is the most stable, moving only 56.9→55.5 in accuracy and 48.2→47.3 in agreement from Q8_0 to Q2_K. Vicuna-7B and Llama-3.1-8B show non-monotonic patterns with small accuracy rebounds at Q3_K, and perplexity even improves at some low-bit settings — exposing it as an unreliable proxy for preserved decisions. In the conclusion the authors name Q4_K the upper bound of safe quantization, Q3_K the onset of degradation, and Q2_K a breakdown regime.

결과 가장 날카로운 수치는 저bit가 아니라 8-bit에서 나온다: Llama-3.2-3B는 Q8_0에서 accuracy 53.4(base 55.5)로 거의 유지되지만, base와 동시에 정답인 비율은 41.4에 그친다 — 집계 점수가 보존하는 듯 보이는 것보다 훨씬 많은 개별 결정이 이미 바뀌어 있다. 정밀도를 내리면 이 모델의 agreement는 Q4_K 40.9까지 완만하다가 Q3_K 39.9, Q2_K 38.5로 꺾이고 accuracy도 48.7까지 밀리는 반면, Mistral-7B는 Q8_0→Q2_K에서 accuracy 56.9→55.5, agreement 48.2→47.3으로 가장 안정적이다. Vicuna-7B와 Llama-3.1-8B는 Q3_K에서 accuracy가 소폭 반등하는 비단조 패턴을 보이고, 일부 저bit 설정에서는 perplexity가 오히려 낮아져 perplexity가 보존된 결정의 신뢰할 proxy가 아님이 드러난다. 결론에서 저자들은 Q4_K를 안전한 quantization의 상한, Q3_K를 저하의 시작, Q2_K를 breakdown 영역으로 명명한다.

Comparison This is an analysis/evaluation paper, not a new quantizer proposed to beat existing ones — it re-evaluates existing legacy and K-quantization schemes through the new correctness-agreement lens. The comparison axis is a 3-D grid of quantization scheme (legacy vs. K-quant) x bit-width (8-bit to 2-bit) x model (four models). Across that grid, legacy schemes (Q8_0, Q5_0, Q4_0) leave layer statistics nearly untouched, whereas low-bit K-quantization (Q3_K, Q2_K) makes query/key skewness volatile and collapses kurtosis in all four models, while value/output projections stay comparatively stable until Q2_K.

비교 이 논문은 새 방법을 제안해 기존 quantizer를 능가하려는 것이 아니라, 기존 legacy quantization과 K-quantization을 correctness agreement라는 새 렌즈로 재평가하는 분석/평가 논문이다. 비교축은 quantization scheme(legacy vs K-quant) × bit-width(8-bit~2-bit) × 모델(4종)의 3차원 그리드다. 그 결과 legacy 스킴(Q8_0·Q5_0·Q4_0)은 layer 통계에 거의 왜곡을 남기지 않는 반면, K-quantization의 저bit 설정(Q3_K·Q2_K)에서는 Query/Key projection의 skewness가 요동치고 kurtosis가 무너지는 왜곡이 4개 모델 전부에서 반복되며, Value/Output projection은 Q2_K 이전까지 비교적 안정적으로 남는다.

Significance Through our reviewer lens (quantization/compression evaluation), this paper directly counters the industry's implicit assumption that "preserved perplexity/accuracy means a quantized model is equivalent to the base model." The layer-selective sensitivity finding — Q/K projections more fragile than V/O — dovetails precisely with the motivation behind mixed-precision work like KronQ, which argues attention sublayers must be treated differently (reviewer judgment).

의의 우리 리뷰어 렌즈(quantization/압축 평가)에서 볼 때, 이 논문은 "perplexity·accuracy가 보존되면 quantized 모델은 base 모델과 동등하다"는 업계의 암묵적 가정에 직접 반례를 제시한다. Q/K projection이 V/O보다 더 취약하다는 layer-selective 민감도 발견은, 향후 mixed-precision 방법들이 attention 서브레이어를 구분해 다뤄야 한다는 KronQ류 연구의 동기와도 정확히 맞닿아 있다(리뷰어 판단).

Limitations Evaluation is limited to legacy and K-quantization schemes within the GGUF/llama.cpp ecosystem, so whether the same correctness-agreement decline appears under compensation- or rotation-based PTQ (GPTQ, AWQ, QuIP-family) is not confirmed within this paper's scope (not stated in the paper). The evaluation benchmarks are also limited to three tasks (HellaSwag, Winogrande, ARC), leaving correctness agreement on reasoning or code-generation tasks — potentially more quantization-sensitive — unaddressed. All three benchmarks are moreover multiple-choice, scored by argmax over per-choice token log-likelihoods, so how decision divergence compounds in open-ended generation lies outside the measured scope (reviewer judgment).

한계 평가가 GGUF/llama.cpp 생태계의 legacy·K-quantization 스킴에 한정되어 있어, GPTQ·AWQ·QuIP류의 compensation/rotation 기반 PTQ에도 동일한 correctness-agreement 하락 패턴이 나타나는지는 이 논문 범위에서 확인되지 않는다(논문 내 명시 없음). 평가 벤치마크도 HellaSwag·Winogrande·ARC 세 개로 제한적이라, reasoning이나 code 생성처럼 quantization에 더 민감할 수 있는 task에서의 correctness agreement는 다루지 않는다. 또한 세 벤치마크 모두 선택지의 token log-likelihood argmax로 채점되는 multiple-choice 방식이라, 자유 생성(open-ended generation)에서 결정 divergence가 어떻게 누적되는지는 측정 범위 밖이다(리뷰어 판단).

Future work The directions the authors state in the paper converge on one point: adaptive, structure-aware precision allocation — assigning higher precision to the K and Q projections while compressing V and O more aggressively — is promising (explicit in the Discussion and Conclusion). Beyond that, the abstract calls for behavioral evaluation beyond conventional performance metrics; no extension to pruning, distillation, or other compression techniques is stated in the paper (reviewer verification).

향후 과제 저자들이 논문 안에서 명시한 방향은 하나로 수렴한다: K·Q projection에 더 높은 정밀도를 배정하고 V·O를 더 공격적으로 압축하는 adaptive한 structure-aware precision allocation이 유망하다는 것이다(Discussion·Conclusion에 명시). 그 외에 abstract가 요구하는 것은 conventional performance metric을 넘어선 behavioral evaluation의 도입이며, pruning·distillation 등 다른 압축 기법으로의 확장은 논문에 명시되어 있지 않다(리뷰어 확인).

Released resources The paper states only that its "Python implementation is included in the submission"; no public code repository link is found on the arXiv page or in the paper body (no public release verified). The experiments run entirely on public tooling — llama.cpp's GGUF legacy and K-quantization schemes plus public benchmarks — so the components are open, but there is no author release of the evaluation pipeline yet.

자원 공개 논문은 "Python implementation is included in the submission"이라고만 밝히며, arXiv 페이지와 본문 어디에도 공개 코드 저장소 링크는 확인되지 않았다(공개 링크 확인 안 됨). 실험 자체는 llama.cpp의 공개 quantization 스킴(GGUF legacy·K-quant)과 공개 벤치마크 위에서 수행되므로 구성 요소는 모두 공개 도구지만, 평가 파이프라인의 저자 릴리스는 아직 없다.