Paper Review
BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
BiSCo-LLM replaces stored VQ codebooks with a codebook-free binary spherical code (bit-packed sign stream) plus a residual BSQ stage and category-wise recovery distillation, reaching 10.18 WikiText-2 perplexity vs. 9.73 FP16 on Qwen3-8B at an extreme low-bit storage budget.
BiSCo-LLM은 저장된 VQ codebook 대신 codebook-free binary spherical code(bit-packed sign stream)와 residual BSQ 단계, category-wise recovery distillation을 결합해, Qwen3-8B에서 FP16 9.73 대비 10.18의 WikiText-2 perplexity로 극저비트 저장 예산을 달성한다.
Background Deploying LLMs under tight memory and bandwidth budgets requires compressing weights to extreme low bit-widths, and existing low-bit compression splits into two directions. Scalar or group-wise quantization is simple and pairs well with efficient low-precision kernels, but its representation capacity collapses as the budget approaches 2 bits per weight. Vector-quantized (VQ) compression offers richer block-level representation but requires an explicit codebook, index lookup, and extra storage accounting.
배경 LLM을 메모리·대역폭이 제한된 환경에 배포하려면 가중치를 극저비트로 압축해야 하는데, 기존 저비트 압축은 크게 두 갈래다. Scalar/group-wise quantization은 단순하고 저정밀 커널과 궁합이 좋지만 예산이 2-bit/weight에 근접하면 표현력이 급격히 떨어진다. Vector-quantized(VQ) 압축은 더 풍부한 block-level 표현을 제공하지만 명시적 codebook과 index lookup, 추가 저장 오버헤드가 필요하다.
Problem Near 2 bits, scalar quantizers have too few reconstruction levels to represent the weight distribution faithfully, while VQ has the representation capacity but the codebook itself, plus lookup, eats into the compression gain. Rich block-level representation and codebook-free storage have so far been an either-or choice.
문제 2-bit 근방에서 scalar quantizer는 재구성 level 수가 너무 적어 가중치 분포를 제대로 표현하지 못하고, VQ는 표현력은 있지만 codebook 자체의 저장 비용과 lookup 연산이 압축률 이득을 갉아먹는다. 즉 "풍부한 표현력"과 "codebook-free 저장"이 지금까지 양자택일이었다.
Prior limitations Scalar PTQ methods, even with outlier- or saliency-aware corrections, remain fundamentally tied to a 1-D quantization grid and degrade sharply below 2 bits. VQ methods must store the codebook explicitly, adding its size to the checkpoint, and index lookup requires extra memory access at inference. A codebook-free discrete-representation lineage already existed — FSQ's fixed scalar levels, MAGVIT-v2's lookup-free quantization (LFQ), and Binary Spherical Quantization (BSQ) from visual tokenization — but the authors position carrying that idea into LLM weight compression as their contribution.
기존 한계 기존 scalar PTQ 계열은 outlier·saliency 기반 보정을 더해도 근본적으로 1차원 quantization grid에 묶여 있어 2-bit 미만에서 급격히 무너진다. VQ 계열은 codebook을 명시적으로 저장해야 하므로 checkpoint 크기에 codebook 자체가 더해지고, index lookup은 추론 시 추가 메모리 접근을 요구한다. Codebook-free discrete representation 계보 — FSQ의 고정 scalar level, MAGVIT-v2의 lookup-free quantization(LFQ), 시각 tokenizer의 Binary Spherical Quantization(BSQ) — 는 이미 존재했지만, 이 아이디어를 LLM weight 압축 설정으로 가져온 것이 자신들의 기여라고 저자들은 정리한다.
Goal Build an extreme low-bit LLM weight-compression pipeline that reaches VQ-level block-level representation power without an explicit codebook or index lookup. The target payload must be a bit-packed sign stream rather than stored centroids, with the side condition of recovering assembled-model behavior, not just per-chunk reconstruction.
목표 명시적 codebook·index lookup 없이도 VQ 수준의 block-level 표현력을 내는 극저비트 LLM weight 압축 파이프라인을 만드는 것. 목표 payload는 codebook centroid가 아니라 bit-packed sign stream이어야 하며, 조립된 모델 전체의 행동(behavior)까지 복원해야 한다는 것이 부수 조건이다.
Method BiSCo-LLM has three stages. (1) Local weight chunks are mapped onto a unit hypersphere and binarized into compact spherical codes — the payload is a bit-packed sign stream, not VQ centroid indices, so no codebook needs to be stored. (2) A residual BSQ (Binary Spherical Quantization) stage re-encodes the reconstruction error left by stage (1), giving an explicit rate-distortion path without stored codebooks. (3) After replacing each Transformer module category, category-wise recovery distillation reduces the mismatch between local weight reconstruction and assembled-model behavior. A separate auxiliary 8-bit protected-channel path stabilizes sensitive channels and is accounted for separately from the BSQ payload.
방법 BiSCo-LLM은 세 단계로 구성된다. (1) 국소 가중치 chunk를 unit hypersphere에 매핑하고 이진화해 compact spherical code를 만든다 — 이 payload는 VQ centroid 인덱스가 아니라 bit-packed sign stream이라 codebook 저장이 필요 없다. (2) Residual BSQ(Binary Spherical Quantization) 단계가 1단계에서 남은 재구성 오차를 다시 인코딩해, codebook 없이도 명시적인 rate-distortion 경로를 제공한다. (3) 각 Transformer 모듈 category를 교체한 뒤 category-wise recovery distillation을 수행해, 국소 가중치 재구성과 조립된 모델 행동 사이의 불일치를 줄인다. 여기에 민감 채널을 위한 보조 8-bit protected-channel 경로가 별도로 계산되어 BSQ payload와 분리 집계된다.
Key idea The core idea keeps VQ's representational power (block-level codes on a hypersphere) while turning the code from "a codebook that must be stored" into "a sign pattern computable on the fly." It is like knowing the compression rule well enough to reconstruct the sign pattern on demand, instead of carrying around the entire dictionary — you store the rule, not the dictionary.
핵심 아이디어 핵심은 VQ의 표현력(hypersphere 위의 block-level 코드)은 유지하면서, 그 코드를 "저장해야 하는 codebook"이 아니라 "그 자리에서 계산 가능한 sign pattern"으로 바꾼 것이다. 이는 사전(codebook)을 통째로 들고 다니는 대신, 압축 규칙만 알면 그 자리에서 부호를 복원할 수 있게 만드는 것과 비슷하다 — 사전을 저장하지 않고 규칙만 저장하는 셈이다.
Validation Evaluation uses WikiText-2 perplexity and average accuracy over seven downstream tasks (BoolQ, RTE, WinoGrande, ARC-Easy/Challenge, OpenBookQA, PIQA), but complete numbers are reported only for Qwen3-8B — the LLaMA3-8B row of Table III is left blank, which the authors explicitly flag as "remain to be filled in." Design diagnostics (one- vs two-stage residual coding, protected-channel effect, granularity sweep) run on LLaMA-2-7B, while the Qwen3-8B ablations cover (1) the protected-channel storage format (BF16 vs FP8 vs INT8), (2) the decoder architecture (symmetric vs linear), (3) the protection axis (input vs output), and (4) the protection ratio. The storage accounting includes binary codes, neural decoders, protected-channel payloads, LoRA adapters, and metadata (S_tot), refusing to grade compression by nominal code rate alone.
검증 WikiText-2 perplexity와 7개 downstream task(BoolQ, RTE, WinoGrande, ARC-Easy/Challenge, OpenBookQA, PIQA) 평균 정확도로 평가하되, 완결된 수치는 Qwen3-8B에 대해서만 보고된다 — Table III의 LLaMA3-8B 행은 저자들이 "remain to be filled in"이라고 명시한 공란이다. 설계 진단(one-stage vs two-stage residual coding, protected-channel 효과, granularity sweep)은 LLaMA-2-7B에서 수행하고, Qwen3-8B ablation은 (1) protected-channel 저장 포맷(BF16 vs FP8 vs INT8), (2) decoder 구조(symmetric vs linear), (3) protection axis(input vs output), (4) protection ratio를 다룬다. 저장 예산 계산에는 binary code, neural decoder, protected-channel payload, LoRA adapter, metadata를 모두 포함시켜(S_tot), nominal code rate만으로 압축 품질을 재지 않는다.
Results On Qwen3-8B, BiSCo-LLM reaches WikiText-2 perplexity 10.18 (vs. 9.73 for FP16/BF16) and a seven-task average of 68.05 (vs. 69.92, a 1.87-point gap), ahead of the strongest vector baselines in the same table — QuIP# (12.37) and UniSVQ (14.82) — while scalar GPTQ collapses to a perplexity of 4.68×10⁴. The residual stage earns its keep in Table I: under category-wise replacement on LLaMA-2-7B, two-stage BSQ lowers perplexity versus one-stage in most of the seven linear categories (up to −0.28 on up_proj at 32D). In the Table IV codec ablation, decoder expressiveness is what matters — swapping the symmetric decoder for a linear one drops the MLP average from 58.34 to 50.67 — whereas storing protected channels in INT8/FP8 instead of BF16 costs essentially nothing.
결과 Qwen3-8B에서 BiSCo-LLM은 WikiText-2 perplexity 10.18(FP16/BF16 9.73 대비)과 7-task 평균 68.05(FP16 69.92, 격차 1.87점)를 기록했고, 같은 표의 vector 계열 최강인 QuIP#(12.37)·UniSVQ(14.82)를 앞서는 반면 scalar 계열 GPTQ는 perplexity 4.68×10⁴로 붕괴한다. Residual 단계의 효과는 Table I에서 확인된다: LLaMA-2-7B category 교체 실험에서 two-stage BSQ가 7개 linear category 대부분에서 one-stage 대비 perplexity를 낮춘다(최대 −0.28, up_proj 32D). Table IV의 codec ablation에서는 decoder 표현력이 결정적이어서 symmetric decoder를 linear decoder로 바꾸면 MLP 평균이 58.34→50.67로 급락하는 반면, protected channel은 BF16 대신 INT8/FP8로 저장해도 성능이 유지된다.
Comparison Table III compares against scalar methods (GPTQ, SpinQuant, OSTQuant, QuIP, AWQ) and vector/structured-code methods (AQLM, QuIP#, VPTQ, LiftQuant, UniSVQ) in the 2-bit regime. On the Qwen3-8B average, BiSCo-LLM sits +3.11 points over AQLM, +0.50 over QuIP#, and +0.11 over UniSVQ — the margin over the best VQ methods is genuinely thin, and the selling point is achieving it with no codebook to store or look up. The authors attach two qualifications themselves: BiSCo-LLM's HellaSwag score is missing, so the average is computed over the available subset rather than identical columns for all baselines, and the LLaMA3-8B results are simply blank.
비교 Table III는 2-bit 조건에서 scalar 계열(GPTQ, SpinQuant, OSTQuant, QuIP, AWQ)과 vector/structured-code 계열(AQLM, QuIP#, VPTQ, LiftQuant, UniSVQ)을 비교한다. Qwen3-8B 평균에서 BiSCo-LLM은 AQLM 대비 +3.11점, QuIP# 대비 +0.50점, UniSVQ 대비 +0.11점 — vector 최강자들과의 격차는 사실 근소하고, 대신 codebook 저장·lookup 비용이 없다는 것이 판매 포인트다. 다만 저자들 스스로 두 가지 유보를 단다: BiSCo-LLM의 HellaSwag 수치가 없어 평균이 동일 column 집합이 아닌 available subset 기준이고, LLaMA3-8B 결과는 아예 공란이다.
Significance By removing the codebook while retaining VQ-grade block-level representation, this shifts the trade-off curve between representational power and storage simplicity for extreme low-bit LLM deployment. The inclusion of Huawei-affiliated co-authors suggests the work is oriented toward real deployment settings (edge/datacenter checkpoint storage) (reviewer judgment).
의의 Codebook을 없애면서도 VQ급 block-level 표현력을 유지했다는 점에서, 극저비트 LLM 배포에서 "표현력 대 저장 단순성"의 trade-off 곡선 자체를 이동시킨 시도로 볼 수 있다. Huawei 소속 공저자가 포함되어 있어 실제 배포 환경(엣지/데이터센터 checkpoint 저장)을 염두에 둔 연구로 읽힌다(리뷰어 판단).
Limitations The Discussion names three limitations outright: (1) the pipeline is far more optimization-intensive than scalar PTQ — category-wise codec training plus recovery distillation brings extra data dependence and trainable parameters — so the cost only amortizes when the compressed model is reused many times; (2) it is a weight-only framework whose decoded weights are materialized into standard GEMM kernels, leaving the stored binary structure computationally idle at inference; (3) code rates and the protected-channel ratio are fixed. The results are also visibly unfinished: the LLaMA3-8B row is blank and HellaSwag is missing, so the current evidence effectively rests on a single model, Qwen3-8B. The authors further concede that because recovery distillation makes the final model depend on recovery data, loss terms, and adapter placement, codec-only and recovery-enhanced variants should be reported separately.
한계 Discussion에서 저자들이 직접 명시한 한계가 셋 있다: (1) 파이프라인이 scalar PTQ보다 훨씬 optimization-intensive해서 — category-wise codec 학습과 recovery distillation이 추가 데이터 의존성·학습 파라미터를 끌어들인다 — 압축 모델을 여러 번 재사용하는 배포에서만 비용이 상각된다, (2) weight-only 프레임워크라 추론 시 weight를 복원해 표준 GEMM kernel에 넘기므로 저장된 binary 구조가 연산에서는 놀고 있다, (3) code rate와 protected-channel 비율이 고정이다. 결과의 미완성도 명백하다: LLaMA3-8B 행이 공란이고 HellaSwag가 빠져 있어 현 시점 증거는 사실상 Qwen3-8B 한 모델 위에 서 있다. 또한 recovery distillation이 최종 모델을 recovery 데이터·loss 구성·adapter 배치에 의존하게 만들므로, codec-only와 recovery-enhanced variant를 구분해 보고해야 한다고 저자들 스스로 인정한다.
Future work The Discussion states two directions. On the serving side: computing directly from binary spherical codes, fusing load-time decoding, and combining with weight-activation quantization — all requiring extra kernel and runtime design, which the authors mark as orthogonal to the storage representation studied here. The more principled extension is mixed-rate allocation: measuring residual energy, activation statistics, or Hessian-based sensitivity and assigning capacity per module category, layer, and residual stage, which "would turn BiSCo-LLM from a uniform 2-bit-oriented codec into a storage-constrained rate-allocation framework." The ablation section also promises a same-real-bpw comparison of one large BSQ code versus multiple smaller residual stages, with residual-energy decay reported per stage.
향후 과제 Discussion이 두 방향을 명시한다. 첫째, serving 쪽: binary spherical code에서 직접 연산하기, load-time decoding을 fuse하기, weight-activation quantization과 결합하기 — 모두 추가 kernel·runtime 설계가 필요하며 여기서 다룬 저장 표현과는 직교라고 못 박는다. 둘째, 더 원리적인 확장으로 mixed-rate allocation을 제시한다: residual energy·activation 통계·Hessian 기반 민감도를 측정해 module category·layer·residual 단계별로 용량을 차등 배분하면, BiSCo-LLM이 uniform 2-bit codec에서 storage-constrained rate-allocation framework로 승격된다는 것이다. Ablation 절에는 동일 real bpw에서 "하나의 큰 BSQ code vs 여러 작은 residual 단계" 비교와 단계별 residual energy decay 보고를 추가하겠다는 계획도 적혀 있다.
Released resources No public code repository link was found on the arXiv page or in the paper body (no public release verified). The arXiv abstract/PDF is the only verifiable primary source.
자원 공개 논문 arXiv 페이지·본문에서 공개 코드 저장소 링크는 확인되지 않았다(공개 링크 확인 안 됨). arXiv 초록/PDF만이 검증 가능한 1차 출처다.
The research thread
Where this paper sits 연구의 흐름
BiSCo-LLM stands at the meeting point of two lineages that had, until now, politely ignored each other. On the LLM side, the extreme low-bit line ran from GPTQ making one-shot post-training quantization routine, through rotation-based grid stretching (SpinQuant, OSTQuant), to the vector-quantization family — AQLM, QuIP#, VPTQ, UniSVQ — which bought 2-bit accuracy by storing learned codebooks and paying for them with index lookups and extra checkpoint bytes. Meanwhile, visual tokenization had been killing the codebook for its own reasons: VQ-VAE's learned embedding tables kept collapsing and under-utilizing, so FSQ replaced them with fixed scalar levels, MAGVIT-v2's lookup-free quantization made tokens binary latent codes, and BSQ projected latents onto a hypersphere before binarizing. BiSCo-LLM imports that tokenizer-world codebook killer into weight compression — weight chunks become bit-packed sign streams on a hypersphere, a residual BSQ stage catches the leftover error, and a small shared neural decoder handles reconstruction.
The conceptual shift is the identity of the stored object. A VQ checkpoint carries data — centroid tables to be looked up. BiSCo-LLM carries a program — a rule (the decoder) that regenerates weight blocks from signs. That swap forces a second, quieter shift: honesty of accounting. Once decoders, protected channels, LoRA adapters, and metadata all count toward S_tot, nominal code rate stops being an adequate measure of compression quality, and the paper explicitly grades itself on the full bill. The third shift is in the objective — the diagnostics show local reconstruction loss converging while assembled-model behavior does not follow. Reconstruction error is, in the authors' words, "necessary but insufficient," and category-wise recovery distillation closes the gap between fixing every brick and having the building stand straight.
The evidence is so far one model deep, but pointed. On Qwen3-8B the codebook-free codec lands at 10.18 WikiText-2 perplexity against 9.73 full precision, ahead of QuIP# (12.37) and UniSVQ (14.82), while scalar GPTQ detonates to 4.68×10⁴. The seven-task margin over the strongest vector methods is thin — +0.50 and +0.11 points — but earned with no codebook to store or search. And the preprint hides none of its incompleteness: the LLaMA3-8B row is blank and HellaSwag is missing. It reads less like a finished product than a lab notebook published mid-experiment.
What it opens, the authors chart themselves, in two directions. Downward toward hardware: today the binary codes are decoded back into dense weights and fed to ordinary GEMM kernels, so the sign-stream structure does no computational work — direct computation on binary codes or fused load-time decoding would let the representation pay rent at inference time, not just in storage. And upward toward theory: replacing the fixed uniform rate with mixed-rate allocation driven by residual energy or Hessian sensitivity would recast the method as a storage-constrained rate-allocation framework — at which point LLM weight compression starts to look less like quantizer design and more like classical rate-distortion engineering, with the model as the source and the checkpoint as the channel.
BiSCo-LLM은 지금까지 서로를 모른 척해 온 두 계보가 만나는 지점에 서 있다. LLM weight 압축 쪽의 extreme low-bit 계보는 GPTQ가 one-shot post-training quantization을 일상화한 뒤, rotation 계열(SpinQuant, OSTQuant)이 scalar grid를 펴서 늘리고, vector-quantization 가족 — AQLM, QuIP#, VPTQ, UniSVQ — 이 학습된 codebook을 저장하고 index lookup과 추가 checkpoint 바이트로 그 값을 치르며 2-bit 정확도를 사들이는 방향으로 달려왔다. 그 사이 시각 tokenization 쪽에서는 전혀 다른 이유로 codebook을 죽이는 작업이 진행 중이었다: VQ-VAE의 학습된 embedding table은 collapse와 under-utilization에 시달렸고, FSQ는 이를 고정 scalar level로, MAGVIT-v2의 lookup-free quantization은 binary latent code로, BSQ는 latent를 hypersphere에 투영한 뒤 이진화하는 방식으로 대체했다. BiSCo-LLM은 그 tokenizer 세계의 codebook 킬러를 weight 압축으로 수입한다 — weight chunk는 hypersphere 위의 bit-packed sign stream이 되고, 남은 오차는 residual BSQ 단계가 받아내며, 작은 공유 neural decoder가 복원을 맡는다.
개념적 이동은 저장되는 객체의 정체성이다. VQ checkpoint는 데이터를 담는다 — 조회해야 할 centroid 테이블. BiSCo-LLM은 프로그램을 담는다 — sign으로부터 weight block을 재생성하는 규칙(decoder). 이 교체는 더 조용한 두 번째 이동을 강제한다: 회계의 정직함이다. decoder, protected channel, LoRA adapter, metadata가 전부 S_tot에 계상되는 순간 nominal code rate는 압축 품질의 척도로 부적절해지고, 논문은 스스로를 총 청구서 기준으로 채점한다. 세 번째 이동은 목적함수다 — 진단 실험에서 국소 reconstruction loss는 수렴하는데 조립된 모델의 행동은 따라오지 않는다. 저자들의 표현으로 reconstruction error는 "necessary but insufficient"이며, category-wise recovery distillation이 벽돌 하나하나를 고치는 일과 건물이 똑바로 서는 일 사이의 간극을 메운다.
증거는 아직 한 모델 깊이지만 방향은 뾰족하다. Qwen3-8B에서 codebook-free codec이 WikiText-2 perplexity 10.18로 full precision 9.73에 다가서며 QuIP#(12.37)·UniSVQ(14.82)를 앞서는 동안, scalar GPTQ는 4.68×10⁴로 폭발한다. vector 최강자들과의 7-task 평균 격차는 +0.50, +0.11점으로 얇지만, 저장하거나 검색할 codebook 없이 얻은 수치다. 그리고 이 preprint는 미완성을 숨기지 않는다 — LLaMA3-8B 행은 공란이고 HellaSwag는 비어 있다. 완성품이라기보다 실험 도중에 공개된 lab notebook에 가깝게 읽힌다.
이 논문이 여는 방향은 저자들 스스로 지도에 그려 놓았고, 두 갈래다. 아래로는 하드웨어를 향한다: 지금은 binary code가 dense weight로 복원된 뒤 평범한 GEMM kernel에 들어가므로 sign-stream 구조가 연산에서는 일을 하지 않는다 — binary code 위에서의 직접 연산이나 fused load-time decoding이 이뤄지면 이 표현은 저장 공간만이 아니라 추론 시간에도 집세를 낼 수 있다. 위로는 이론을 향한다: 고정 uniform rate를 residual energy나 Hessian 민감도가 이끄는 mixed-rate allocation으로 바꾸면 이 방법은 storage-constrained rate-allocation framework로 다시 태어난다 — 그 지점에서 LLM weight 압축은 quantizer 설계라기보다 고전적 rate-distortion 공학처럼 보이기 시작한다. 모델이 source이고, checkpoint가 channel인.
Sparks — where one could take this 아이디어의 씨앗
-
Since decoded weights currently fall back to standard GEMM kernels, one could take up the authors' stated direction of computing directly on bit-packed spherical codes or fusing load-time decoding, so the binary structure pays at inference time and not just in storage. 복원된 weight가 표준 GEMM kernel로 되돌아가는 현 구조에서는 binary 구조가 연산에 기여하지 못하므로, 저자들이 명시한 방향대로 bit-packed spherical code에서 직접 연산하거나 load-time decoding을 fuse하는 kernel·runtime 설계를 시도해볼 수 있다.
-
Following the authors' own proposed extension, one could measure residual energy or Hessian-based sensitivity per module category, layer, and residual stage, and test whether adaptive capacity assignment genuinely upgrades the uniform 2-bit codec into a storage-constrained rate-allocation framework. 저자들이 제시한 확장 그대로, module category·layer·residual 단계별 residual energy나 Hessian 기반 민감도를 측정해 용량을 차등 배분했을 때 uniform 2-bit codec이 실제로 storage-constrained rate-allocation framework로 개선되는지 검증해볼 수 있다.
-
Because the authors concede that recovery distillation makes the final model depend on recovery data, loss terms, and adapter placement, one could benchmark codec-only versus recovery-enhanced variants across models to isolate how much the binary spherical representation itself contributes. Recovery distillation이 최종 모델을 recovery 데이터·loss 구성·adapter 배치에 의존하게 만든다고 저자들이 인정한 만큼, codec-only와 recovery-enhanced variant를 여러 모델에서 분리 벤치마크해 binary spherical 표현 자체의 기여를 정량화해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
Linked reviews
KronQ: LLM Quantization via Kronecker-Factored Hessian
KronQ extends GPTQ-style post-training quantization with the output-side gradient covariance (Kronecker-factored Hessian), fixing a blind spot where prior compensation-based PTQ methods treat all output channels as equally important; on 2-bit LLaMA-3-70B it reaches 7.93 perplexity where GPTQ/GPTAQ diverge above 2000.
quantizationKIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache
Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x.
quantizationPolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference
PolyQ is a CPU-oriented quantizer-compiler codesign that assigns per-channel bit-widths from a CPU-aligned {2,3,4,8,16} palette to hit any fractional average-bit budget, then clusters and permutes channels at compile time so the resulting mixed-precision layout runs on regular LUT/SIMD CPU kernels with almost no runtime reordering cost.
post-trainingThe Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs
Introduces correctness agreement, a decision-level metric measuring overlap in correct predictions between a base LLM and its quantized variants, and shows that behavioral divergence emerges under moderate GGUF-style quantization (8-bit to 2-bit) even when accuracy/perplexity look preserved, with query/key projections consistently more sensitive than value/output.