Paper Review
KronQ: LLM Quantization via Kronecker-Factored Hessian
KronQ extends GPTQ-style post-training quantization with the output-side gradient covariance (Kronecker-factored Hessian), fixing a blind spot where prior compensation-based PTQ methods treat all output channels as equally important; on 2-bit LLaMA-3-70B it reaches 7.93 perplexity where GPTQ/GPTAQ diverge above 2000.
KronQ는 GPTQ 계열 post-training quantization에 출력측 gradient covariance(Kronecker-factored Hessian)를 추가해, 기존 compensation 기반 PTQ가 모든 출력 채널을 동등하게 취급하던 사각지대를 메운다. 2-bit LLaMA-3-70B에서 GPTQ/GPTAQ가 2000 이상으로 발산하는 반면 KronQ는 7.93 perplexity를 달성한다.
Background Post-training quantization (PTQ) compresses a pretrained LLM's weights to low bit-widths without retraining, and GPTQ-style compensation-based methods are the de facto standard. These apply the Optimal Brain Surgeon principle layer-by-layer, using the input activation covariance H_X as a proxy for the layer Hessian to redistribute quantization error onto the remaining weights. Under the Kronecker-factored approximation (K-FAC), the full weight Hessian factorizes as H ≈ H_X ⊗ H_G, where H_G is the output-side gradient covariance — but GPTQ-style methods implicitly assume H_G = I and discard it.
배경 Post-training quantization(PTQ)은 재학습 없이 사전학습된 LLM의 가중치를 저비트로 압축하는 기법으로, GPTQ 계열의 compensation 기반 방법이 사실상 표준이다. 이 방법들은 Optimal Brain Surgeon 원리를 층별로 적용해, 입력 activation covariance H_X를 layer Hessian의 근사로 써서 양자화 오차를 남은 가중치에 재분배한다. Kronecker-factored 근사(K-FAC) 하에서는 전체 weight Hessian이 H ≈ H_X ⊗ H_G(H_G는 출력 gradient covariance)로 분해되는데, GPTQ류는 H_G = I로 암묵 가정하고 이를 버려왔다.
Problem Directly measuring the diagonal of H_G for the Q/K/V/O projections of LLaMA-2-13B shows output channels vary in magnitude by orders of magnitude (Figure 1a) — the H_G = I assumption is simply false. This is like a grading rubric that scores every question equally when some questions are actually worth far more. The mis-assumption inflates reconstruction error most in the low-bit regime (2-3 bit) where quantization error is already large.
문제 LLaMA-2-13B의 Q/K/V/O projection에서 H_G의 대각 성분을 직접 측정하면 출력 채널마다 크기가 자릿수 단위로 다르다(Figure 1a) — 즉 H_G = I 가정은 사실이 아니다. 이는 모든 학생의 답안 배점을 동일하게 매기면서, 실제로는 일부 문항이 훨씬 더 중요한 시험 채점표와 같다. 특히 2-3bit처럼 양자화 오차가 큰 저비트 영역에서 이 잘못된 가정이 재구성 오차를 부풀린다.
Prior limitations GPTQ solves the column-wise OBS update using only H_X, and GPTAQ corrects for input drift caused by prior-layer quantization but still depends solely on H_X. GuidedQuant reweights H_X with end-loss gradient saliency but ignores cross-output-channel structure, and the closest prior work, YAQA, adopts the same H ≈ H_X ⊗ H_G factorization but folds H_G into a modified LDLQ solver via costly power-iterated Hessian sketches.
기존 한계 GPTQ는 H_X만으로 column-wise OBS 업데이트를 풀고, GPTAQ는 앞선 layer의 양자화로 인한 input drift를 보정하지만 여전히 H_X에만 의존한다. GuidedQuant는 end-loss gradient saliency로 H_X를 재가중하지만 출력 채널 간 상관 구조는 무시하고, 가장 근접한 선행 연구 YAQA는 동일한 H ≈ H_X ⊗ H_G 분해를 쓰지만 H_G를 costly한 power-iterated Hessian sketch로 수정된(modified) LDLQ solver에 접어 넣어야 한다.
Goal Keep the existing GPTAQ solver unchanged while cheaply injecting H_G — obtained from a single backward pass — into two places: (1) incoherence processing and (2) sublayer-level mixed-precision allocation. The constraint is to exploit output-side information without rewriting the solver itself, unlike YAQA.
목표 기존 GPTAQ solver를 그대로 유지하면서, 단 한 번의 backward pass로 얻은 H_G를 (1) incoherence processing과 (2) sublayer 단위 mixed-precision 할당 두 곳에 싸게 주입하는 것이 목표다. YAQA처럼 solver 자체를 재작성하지 않고도 출력측 정보를 활용해야 한다는 것이 핵심 제약이다.
Method KronQ has two components. (1) Bidirectional incoherence processing extends the existing input-side random rotation to the output side using H_G, reducing weight-magnitude variance on both input and output dimensions. In this extension H_G cancels out of the quantization update equation, so the solver itself stays exactly GPTAQ — like adding matched weights to both sides of a scale, shifting only the balance point without changing the scale's mechanism. (2) A new sensitivity metric, tr(H_G)·tr(H_X), drives sublayer-level mixed-precision allocation; whereas the H_X-only metric cannot distinguish sublayers with identical input statistics (e.g. Q/K/V), this joint metric can.
방법 KronQ는 두 요소로 구성된다. (1) Bidirectional incoherence processing — 기존에는 입력측에만 적용하던 random rotation을 H_G 기반으로 출력측까지 확장해 입력·출력 양쪽의 가중치 크기 분산을 줄인다. 이 확장에서 H_G는 quantization update 식에서 상쇄되어(cancels), solver 자체는 GPTAQ와 완전히 동일하게 유지된다 — 마치 저울 양쪽에 같은 추를 추가해 무게중심만 옮기고 저울 구조는 바꾸지 않는 것과 같다. (2) tr(H_G)·tr(H_X)로 정의되는 새 sensitivity metric으로 sublayer별 mixed-precision 할당을 수행하는데, 기존 H_X 단독 지표는 Q/K/V처럼 입력 통계가 같은 sublayer를 구분하지 못하지만 이 joint metric은 구분해낸다.
Key idea The core idea is treating the output-side gradient covariance H_G not as a new optimization problem to solve separately, but as a cancelable correction term that plugs into the existing solver. Unlike YAQA, which approximates H_G expensively and folds it into a separate solver, KronQ is designed so H_G cancels algebraically inside the incoherence transform, preserving GPTAQ's efficiency exactly.
핵심 아이디어 출력측 gradient covariance H_G를 "별도로 풀어야 할 새 최적화 문제"가 아니라 "기존 solver에 끼워 넣을 수 있는 상쇄 가능한 보정항"으로 다루는 것이 핵심이다. YAQA가 H_G를 무겁게 근사해 별도 solver로 접어 넣는 것과 달리, KronQ는 H_G가 incoherence 변환 안에서 대수적으로 상쇄되도록 설계해 GPTAQ 효율을 그대로 보존한다.
Validation Evaluated on LLaMA-2 (7B/13B/70B) and LLaMA-3 (8B/70B) for weight-only quantization (W4/W3/W2), with weight-and-activation (W2A4) evaluated on LLaMA-2-7B/13B and LLaMA-3-8B atop the QuaRot framework, plus separate tables for group quantization (g=128) and newer model families including Gemma-3-12B and Phi-4-mini-instruct. Baselines span ten methods including GPTQ, GPTAQ, OmniQuant, AWQ, QuIP, and QuIP#, reported via WikiText-2 perplexity and accuracy on seven zero-shot benchmarks. Ablations isolate the contribution of H_G by removing incoherence-only or mixed-precision-only.
검증 LLaMA-2(7B/13B/70B)와 LLaMA-3(8B/70B)에서 weight-only(W4/W3/W2)를 평가하고, weight+activation(W2A4)은 LLaMA-2-7B/13B와 LLaMA-3-8B에서 QuaRot 프레임워크 위에 평가했으며, group quantization(g=128) 및 Gemma-3-12B·Phi-4-mini-instruct 등 최신 모델군에도 별도 표로 검증했다. 비교 대상은 GPTQ/GPTAQ에 더해 OmniQuant, AWQ, QuIP, QuIP# 등 10개 baseline이며, WikiText-2 perplexity와 7개 zero-shot 벤치마크 정확도를 함께 보고한다. H_G의 기여를 분리하는 ablation(incoherence만 제거, mixed-precision만 제거)도 포함한다.
Results On 2-bit weight-only LLaMA-3-70B, GPTQ and GPTAQ diverge or produce degenerate quantizations (WikiText-2 perplexity over 2000), while KronQ achieves 7.93. Under group quantization (g=128) at W2 on LLaMA-2-7B, GPTQ degrades to 274.0 while KronQ holds 7.61, and at W2A4 (weight+activation) on LLaMA-2-7B, perplexity drops from 36.74 to KronQ's 9.38. KronQ wins all eight W4/W2 settings on newer model families (e.g. Phi-4-mini), with the margin widening at lower bit-widths.
결과 LLaMA-3-70B 2-bit weight-only에서 GPTQ/GPTAQ가 발산하거나 퇴화된 양자화를 내는(WikiText-2 perplexity 2000 초과) 반면 KronQ는 7.93을 기록한다. Group quantization(g=128) W2에서는 LLaMA-2-7B 기준 GPTQ가 274.0으로 퇴화하는 반면 KronQ는 7.61을 유지하고, W2A4(weight+activation)에서는 LLaMA-2-7B 기준 36.74 → KronQ 9.38까지 낮아진다. 최신 모델군(Phi-4-mini 등) W4/W2 8개 세팅 전부에서 GPTQ/GPTAQ를 이기며, 저비트로 갈수록 격차가 벌어진다.
Comparison KronQ outperforms GPTQ/GPTAQ (which use H_X alone) across all tested bit-widths, with the largest gains precisely where activation-covariance-only methods degrade sharply — W2 and W3. Against the closest prior work, YAQA, a head-to-head in YAQA's own setup (LLaMA-3.1-8B-Instruct, INT4 per-channel) shows KronQ at 6.69 perplexity versus YAQA-A's 6.71 and YAQA-B's 6.72, at what the authors report as an order-of-magnitude lower calibration cost (Table 11). In the GuidedQuant setup (Table 12), KronQ wins with a plain uniform per-channel grid — 8.83 → 7.64 at W2 on LLaMA-2-7B — and in the mixed-precision ablation (Table 6), KronQ's joint score finds a better sublayer upgrade ordering than the tr(H_X)-only metric.
비교 동일 H_X만 쓰는 GPTQ/GPTAQ 대비 전 bit-width에서 우위이고, 특히 W2/W3처럼 activation-covariance-only 방법이 급격히 무너지는 저비트 구간에서 이득이 가장 크다. 가장 근접한 YAQA와는 YAQA 자체 세팅(LLaMA-3.1-8B-Instruct, INT4 per-channel)에서 직접 비교해 KronQ 6.69 vs YAQA-A 6.71/YAQA-B 6.72로 근소하게 앞서며, 저자들은 calibration 비용이 자릿수(order-of-magnitude) 단위로 낮다는 점을 함께 강조한다(Table 11). GuidedQuant 세팅 비교(Table 12)에서도 plain uniform per-channel grid만으로 W2 LLaMA-2-7B 기준 8.83 → 7.64로 앞서고, mixed-precision ablation(Table 6)에서 KronQ의 joint score가 tr(H_X) 단독 지표보다 더 나은 sublayer 승급 순서를 찾아낸다.
Significance KronQ closes a fundamental blind spot in H_X-only sensitivity metrics — their inability to distinguish sublayers sharing identical input statistics (Q/K/V) — at the cost of a single extra backward pass, making it close to a free upgrade to existing PTQ pipelines. Quantitatively fixing the divergence failure mode of GPTQ/GPTAQ in the extreme 2-bit regime has direct implications for serving-cost reduction (reviewer judgment).
의의 Q/K/V처럼 입력 통계를 공유하는 sublayer들을 구분하지 못했던 H_X 단독 sensitivity 지표의 근본적 사각지대를 단일 backward pass 비용으로 메운다는 점에서, PTQ 파이프라인에 거의 무료로 끼워 넣을 수 있는 개선이다. 2-bit 극저비트 영역에서 GPTQ/GPTAQ가 발산하는 실패 모드를 정량적으로 고친다는 점은 서빙 비용 절감에 직접적 함의가 있다(리뷰어 판단).
Limitations The authors state three limitations in Appendix F: (1) estimating H_G requires a backward pass over the calibration set, adding offline compute relative to forward-only GPTQ/GPTAQ; (2) H_G must be held as a full d_out×d_out matrix, causing transient peak memory during BiIP preprocessing (released afterwards, with memory then identical to GPTAQ — per-sublayer numbers in Appendix E); and (3) inference requires online reversion of the orthogonal transforms U and V, adding Θ(d_in log d_in + d_out log d_out) overhead per layer. They claim (3) matches QuIP# and that a fused CUDA kernel keeps it close to the weight matvec cost, but end-to-end latency is not quantified (not stated in the paper).
한계 저자들이 Appendix F에서 명시한 한계는 세 가지다: (1) H_G 추정에 calibration set에 대한 backward pass가 필요해 forward-only인 GPTQ/GPTAQ 대비 offline 계산이 추가되고, (2) H_G를 full d_out×d_out 행렬로 유지해야 해 BiIP 전처리 동안 일시적 피크 메모리가 발생하며(종료 후 해제되어 이후 메모리는 GPTAQ와 동일 — sublayer별 수치는 Appendix E), (3) 추론 시 orthogonal transform U·V의 online 역변환이 layer당 Θ(d_in log d_in + d_out log d_out) 오버헤드를 더한다. (3)은 QuIP#과 동일 수준이고 fused CUDA kernel로 weight matvec 비용에 근접시켰다고 주장하지만, end-to-end 지연으로는 정량화되어 있지 않다(논문 내 명시 없음).
Future work The paper has no explicit future-work section — the conclusion ends by pointing readers to the limitations in Appendix F (per the paper's structure). The open directions that follow naturally from those limitations — approximating H_G without a backward pass, cheaper approximations of the d_out×d_out peak memory, and combination with lattice codebooks (the paper compares only against QuIP#'s noE8P, no-finetuning variant to match its scalar quantization setting) — are the reviewer's extrapolation (reviewer judgment).
향후 과제 논문에는 명시적 future-work 절이 없고 Conclusion은 Appendix F의 한계로 독자를 안내하며 끝난다(논문 구조 기준). 그 한계에서 자연히 따라 나오는 열린 방향 — backward pass 없는 H_G 근사, d_out×d_out 피크 메모리의 저비용 근사, lattice codebook과의 결합(본 논문은 scalar quantization 세팅에 맞춰 QuIP#의 noE8P·no-finetuning 변형과만 비교) — 은 리뷰어의 추정이다(리뷰어 판단).
Released resources The official GitHub repository (https://github.com/Intelligent-Computing-Lab-Panda/KronQ) is listed on the paper's title page and was verified to return HTTP 200. This is a COLM 2026 accepted paper, and the authors state the code release includes reproduction configs across the full LLaMA-2/3 scale range.
자원 공개 공식 GitHub 저장소(https://github.com/Intelligent-Computing-Lab-Panda/KronQ)가 논문 표지에 명시되어 있으며 curl로 200 응답을 확인했다. COLM 2026 accepted paper로, 코드와 함께 LLaMA-2/3 전 스케일 재현 설정이 공개되어 있다고 저자들이 밝힌다.
The research thread
Where this paper sits 연구의 흐름
The compensation line of PTQ descends from Optimal Brain Surgeon (Hassibi & Stork, 1992), three decades and more back. GPTQ recast the OBS update column-wise and scaled it to LLMs — the key being to substitute the input activation covariance H_X for the layer Hessian — and GPTAQ lifted ultra-low-bit performance further by correcting the input drift that accumulates as earlier layers are quantized. A parallel rotation line runs alongside: QuIP formalized incoherence (the flatter the weights and Hessian are spread, the smaller the quantization error), QuIP# added Hadamard transforms and lattice codebooks, and QuaRot and SpinQuant carried rotations into the weight+activation setting. But both lineages share one quiet fact — under K-FAC (Martens & Grosse) the layer Hessian factorizes as H ≈ H_X ⊗ H_G, and everything "Hessian-based PTQ" has meant by the Hessian was only half of it, H_X. The other half, H_G, was silently set to I. KronQ's Figure 1(a) shows by direct measurement that the discarded half is not flat: across the Q/K/V/O projections of LLaMA-2-13B, the diagonal of H_G swings by orders of magnitude.
KronQ is not the first to pick that half up. GuidedQuant reweighted H_X by end-loss saliency but threw away cross-output-channel structure, and YAQA embraced the same Kronecker factorization head-on but paid dearly — running power-iterated Hessian sketches to fold H_G into a modified LDLQ solver. KronQ's conceptual move is this: the missing factor is not something to solve for, it is something to route. Injected into the incoherence transform, H_G cancels algebraically out of the quantization update (Proposition 1), leaving the solver exactly GPTAQ; injected into mixed-precision allocation, it survives only as the scalar trace product tr(H_G)·tr(H_X), breaking the sensitivity degeneracy of Q/K/V that H_X cannot distinguish even in principle. H_G behaves like a catalyst — it enables the transformation (flattening output-side outliers, separating sensitivity rankings) and is then recovered from the reaction, with memory returning to GPTAQ levels once BiIP completes. Touch the objective, never the solver.
The payoff concentrates exactly where the old approximation is most wrong. At 2-bit, GPTQ/GPTAQ send LLaMA-3-70B diverging past perplexity 2000 while KronQ lands at 7.93, and Appendix D rewrites the reason: LLaMA-3-70B's notoriously extreme weight outliers (CV_in 9.21) had been treated as a family curse, but bidirectional incoherence flattens both axes to CV 0.24-0.29 — comparable to the post-BiIP profile (0.25-0.27) of the "easy" LLaMA-2-70B. Ultra-low-bit divergence gets reclassified from a model pathology to a distribution-shaping problem. That opens two things: sensitivity metrics that separate sublayers previously indistinguishable because they share input statistics, and, more generally, a design template — find the place where an expensive statistical object cancels, and you can afford to use it.
The remaining tensions are just as clear. The assumption that H_G = E[gg^T] from a single backward pass is faithful curvature runs into the old empirical-Fisher caveat (Kunstner et al., which the paper itself cites) — gradient covariance and the true Hessian can part ways precisely where the loss landscape is unusual. And the YAQA head-to-head cuts both ways: 6.69 vs 6.71-6.72 at INT4 shows the cheap routing loses nothing at 4-bit, but the comparison at W2 — where the paper's own story says H_G matters most — was never run. Whether cancelable H_G keeps pace with folded-in H_G where it counts, and whether the trace product remains the right sensitivity summary under lattice codebooks, is where this thread goes next.
Compensation 기반 PTQ의 계보는 30년 이상 거슬러 올라가 Optimal Brain Surgeon(Hassibi & Stork, 1992)에서 출발한다. GPTQ가 이 OBS 업데이트를 column-wise로 재구성해 LLM 스케일에 올렸고 — layer Hessian 자리에 입력 activation covariance H_X를 대입하는 것이 그 열쇠였다 — GPTAQ가 앞 layer 양자화로 누적되는 input drift를 보정하며 극저비트 성능을 끌어올렸다. 나란히 달리는 rotation 계보도 있다: QuIP이 incoherence(가중치·Hessian이 고르게 퍼져 있을수록 양자화 오차가 작다)를 정식화했고, QuIP#이 Hadamard 변환과 lattice codebook을 더했으며, QuaRot과 SpinQuant가 회전을 weight+activation 세팅으로 확장했다. 그런데 이 두 계보 전체가 공유하는 조용한 사실이 하나 있다 — K-FAC(Martens & Grosse) 관점에서 layer Hessian은 H ≈ H_X ⊗ H_G로 분해되는데, 지금까지 "Hessian 기반 PTQ"가 말해온 Hessian은 전부 그 절반, H_X뿐이었다. 나머지 절반 H_G는 암묵적으로 I로 놓였다. KronQ의 Figure 1(a)은 그 버려진 절반이 평평하지 않다는 것을 직접 측정으로 보여준다: LLaMA-2-13B의 Q/K/V/O projection에서 H_G의 대각 성분은 자릿수 단위로 출렁인다.
이 절반을 먼저 주운 것은 KronQ가 아니다. GuidedQuant는 end-loss saliency로 H_X를 재가중했지만 출력 채널 간 상관 구조는 버렸고, YAQA는 동일한 Kronecker 분해를 정면으로 받아들이는 대신 값비싼 대가를 치렀다 — power-iterated Hessian sketch를 돌려 H_G를 수정된 LDLQ solver 안에 접어 넣어야 했다. KronQ의 개념적 이동은 여기에 있다: 빠진 인수는 '풀어야 할 대상'이 아니라 '배선(routing)할 대상'이라는 것. incoherence 변환에 주입하면 H_G는 양자화 업데이트 식에서 대수적으로 상쇄되어(Proposition 1) solver가 GPTAQ 그대로 남고, mixed-precision 할당에 주입하면 스칼라 trace 곱 tr(H_G)·tr(H_X)로만 살아남아 H_X가 원리적으로 구분할 수 없던 Q/K/V의 민감도 축퇴를 깬다. H_G는 촉매처럼 행동한다 — 변환(출력측 outlier 평탄화, 민감도 순위 분리)을 가능하게 하고는 반응식에서 회수되어, BiIP가 끝나면 메모리까지 GPTAQ 수준으로 되돌아간다. 목적함수는 건드리되 solver는 결코 건드리지 않는다는 것.
보상은 낡은 근사가 가장 크게 틀리는 곳에 정확히 집중된다. 2-bit에서 GPTQ/GPTAQ는 LLaMA-3-70B를 perplexity 2000 너머로 발산시키지만 KronQ는 7.93에 안착하고, 그 이유를 Appendix D가 다시 쓴다: LLaMA-3-70B 특유의 극단적 weight outlier(CV_in 9.21)는 지금까지 모델 가문의 저주처럼 취급됐지만, bidirectional incoherence는 입력·출력 양축을 CV 0.24-0.29까지 평탄화해 '쉬운 모델'인 LLaMA-2-70B의 BiIP 후 값(0.25-0.27)에 필적하는 분포로 만들어 버린다. 극저비트 발산이 모델의 병리가 아니라 분포 성형(distribution shaping)의 문제로 재분류되는 것이다. 이것이 여는 것은 두 가지다 — 입력 통계를 공유해 지금까지 구분 불가능했던 sublayer들을 가르는 민감도 지표, 그리고 더 일반적으로는 "비싼 통계 객체가 상쇄되는 자리를 찾으면 그 객체를 공짜로 쓸 수 있다"는 설계 템플릿.
남는 긴장도 분명하다. 한 번의 backward pass로 추정한 H_G = E[gg^T]가 충실한 곡률이라는 가정은 empirical Fisher의 오래된 경고(논문 자신이 인용하는 Kunstner et al.)와 맞닿아 있다 — gradient covariance와 진짜 Hessian은 loss 지형이 특이한 곳에서 갈라질 수 있다. 그리고 YAQA 정면 비교는 양날이다: INT4에서 6.69 vs 6.71-6.72라는 결과는 '싼 배선'이 4-bit에서 아무것도 잃지 않음을 보여주지만, 논문 자신의 서사가 H_G의 가치가 가장 크다고 말하는 W2에서의 정면 비교는 실행되지 않았다. 상쇄되는 H_G가 접어 넣은 H_G를 가장 중요한 지점에서도 따라잡는지, 그리고 trace 곱이 lattice codebook 아래에서도 옳은 민감도 요약으로 남는지 — 이 계보의 다음 질문들은 거기에 있다.
Sparks — where one could take this 아이디어의 씨앗
-
How much of the gradient covariance a forward-only proxy can recover — its trace or top eigendirections from activation statistics alone — and how much of the 2-bit gain survives without the calibration backward pass the authors list as their first limitation in Appendix F, is an unmeasured question. H_G 추정에 필요한 calibration backward pass(저자들이 Appendix F에서 첫 번째로 꼽는 한계)를 forward-only 통계로 대체할 때 — trace나 상위 고유방향을 activation 통계만으로 어느 정밀도까지 복원할 수 있고 2-bit 이득이 얼마나 살아남는지 — 는 아직 측정되지 않은 질문이다.
-
The transient full d_out×d_out peak memory that BiIP preprocessing requires (the second limitation in Appendix F) invites an open trade-off study: how much of bidirectional incoherence's outlier flattening survives under low-rank or blockwise approximations of H_G. BiIP 전처리가 요구하는 일시적 full d_out×d_out H_G 피크 메모리(Appendix F의 두 번째 한계)를 저랭크·블록 근사로 줄일 때 bidirectional incoherence의 outlier 평탄화가 어디까지 보존되는지는 열린 trade-off 연구다.
-
A systematic end-to-end latency accounting of the inference-time Θ(d log d)-per-layer rotation-reversion overhead (the third limitation in Appendix F) — across batch sizes, sequence lengths, and hardware — remains the gap the paper covers only with a fused-kernel claim. 추론 시 orthogonal transform 역변환의 Θ(d log d)/layer 오버헤드(Appendix F의 세 번째 한계)를 배치 크기·시퀀스 길이·하드웨어별 end-to-end 지연으로 체계적으로 측정하는 일은 논문이 fused-kernel 주장으로만 남겨둔 공백이다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
Linked reviews
KIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache
Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x.
kv-cacheKVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
Pre-RoPE per-channel key and per-token value quantization with sensitivity-weighted non-uniform datatypes plus ~1% fp16 outliers pushes the KV cache to 3 bits at under 0.1 perplexity cost, reaching million-token contexts on a single A100.
compressionBiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
BiSCo-LLM replaces stored VQ codebooks with a codebook-free binary spherical code (bit-packed sign stream) plus a residual BSQ stage and category-wise recovery distillation, reaching 10.18 WikiText-2 perplexity vs. 9.73 FP16 on Qwen3-8B at an extreme low-bit storage budget.
quantizationExTernD: Expanded-Rank Ternary Decomposition — Ternary LLM PTQ with Accuracy Approaching Any Quantization Level
ExTernD factors each LLM weight matrix into two ternary (-1/0/+1) matrices plus a real scale vector, deliberately expanding the inner rank past full rank so later components provably, monotonically correct the residual error of earlier ones, turning ternary quantization''s usual fixed-plane accuracy ceiling into a continuous dial that matches Q4_K accuracy at 5.2-5.5 effective bits per weight.
compressionKroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization
KroQuant quantizes diffusion transformers to W4A4 by learning a Kronecker-structured invertible transform on 32-element activation blocks -- a Kronecker product of five 2x2 matrices with only 15 learnable parameters per block, versus 1,024 for a dense 32x32 rotation -- landing between cheap-but-weak per-channel scaling and accurate-but-expensive learned dense rotations, and beating SVDQuant/LoRaQ on image fidelity across PixArt-Sigma, SANA, and FLUX.1-schnell while running as fast as per-channel scaling on AMD MI350 GPUs.
moePagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
PagedWeight treats MoE expert weights as elastic, pageable memory — like vLLM's PagedAttention does for the KV cache — dynamically re-quantizing routed experts at runtime to free GPU memory for a growing KV cache, reaching FP16-equivalent accuracy with up to 72.0% memory savings and 1.94x throughput.
quantizationPolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference
PolyQ is a CPU-oriented quantizer-compiler codesign that assigns per-channel bit-widths from a CPU-aligned {2,3,4,8,16} palette to hit any fractional average-bit budget, then clusters and permutes channels at compile time so the resulting mixed-precision layout runs on regular LUT/SIMD CPU kernels with almost no runtime reordering cost.
post-trainingThe Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs
Introduces correctness agreement, a decision-level metric measuring overlap in correct predictions between a base LLM and its quantized variants, and shows that behavioral divergence emerges under moderate GGUF-style quantization (8-bit to 2-bit) even when accuracy/perplexity look preserved, with query/key projections consistently more sensitive than value/output.