PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference

Background CPUs are the default target for on-device LLM inference across laptops, edge servers, and embedded controllers, since GPUs lose their throughput advantage once batch size drops to 1, which is the common case at the edge. In this batch=1 regime, inference is dominated by weight storage and DRAM traffic rather than compute, so post-training quantization (PTQ) is the standard lever for fitting a model into a fragmented, tightly bounded memory budget shared with the KV cache, activations, and other software. Existing PTQ spans a spectrum from uniform per-layer bit-widths (AWQ, GPTQ) to inter-layer mixed precision (HAQ, AMQ) to intra-layer channel-group mixed precision (Slim-LLM), each trading off allocation granularity against how easily the result maps to real CPU kernels.

배경 CPU는 노트북·엣지 서버·임베디드 컨트롤러 전반에서 on-device LLM 추론의 기본 타깃이다 — 배치 크기가 1로 떨어지는 엣지의 통상적 상황에서는 GPU의 처리량 우위가 사라지기 때문이다. 이 배치=1 영역에서는 연산이 아니라 가중치 저장과 DRAM 트래픽이 추론을 지배하므로, KV cache·activation·기타 소프트웨어와 메모리를 나눠 써야 하는 조각난 예산에 모델을 맞추는 표준 수단이 post-training quantization(PTQ)이다. 기존 PTQ는 균일 per-layer bit-width(AWQ, GPTQ)부터 inter-layer mixed precision(HAQ, AMQ), intra-layer channel-group mixed precision(Slim-LLM)까지 스펙트럼을 이루며, 각각 할당 세밀도와 실제 CPU 커널로의 매핑 용이성을 맞바꾼다.

Problem None of the existing operating points let a deployment hit an arbitrary fractional average-bit target such as 3.8 bits/weight, so a memory budget almost never lines up with the discrete W2/W3/W4 ladder. This is like only being able to buy shoes in whole sizes when your foot measures 8.4 — an 8 leaves the fit too tight, a 9 wastes material past what the budget allows. The paper's own motivating example (Figure 1) makes this concrete: fitting Llama3-8B into a 3.9GB budget with uniform 3-bit quantization uses only 77.1% of the budget and reaches a perplexity of 8.099, while PolyQ's channel-level allocation reaches 99.8% budget utilization (3.97 bits/weight) and cuts perplexity to 6.078. A second, execution-side problem compounds this: existing fine-grained methods that could hit fractional budgets (e.g. Slim-LLM's b±1 palette with 5-7-bit entries) produce bit-widths that are structurally incompatible with CPU LUT kernels, forcing a fallback to INT8 dequantization that forfeits the throughput and energy benefits of low-bit execution.

문제 어떤 기존 동작점도 배포가 3.8bit/weight 같은 임의의 fractional 평균-bit 목표에 정확히 맞도록 해주지 않아서, 메모리 예산이 W2/W3/W4라는 이산 사다리와 거의 맞아떨어지지 않는다. 이는 발 크기가 8.4인데 신발이 정수 사이즈로만 나오는 것과 같다 — 8을 사면 재료(메모리)는 남지만 꽉 끼고(품질 저하), 9를 사면 예산을 넘긴다. 논문 자신의 동기 사례(Figure 1)가 이를 구체화한다: Llama3-8B를 3.9GB 예산에 균일 3-bit로 맞추면 예산의 77.1%만 쓰고 perplexity 8.099에 그치는 반면, PolyQ의 채널별 할당은 예산의 99.8%(3.97 bit/weight)를 쓰면서 perplexity를 6.078까지 낮춘다. 여기에 실행측 문제가 겹친다: fractional 예산을 맞출 수 있는 기존 세밀 기법(예: Slim-LLM의 5-7bit 항목을 포함한 b±1 팔레트)이 내놓는 bit-width는 CPU LUT 커널과 구조적으로 맞지 않아 INT8 dequantization로 후퇴할 수밖에 없다.

Prior limitations Activation-aware uniform methods (AWQ, SmoothQuant) and second-order weight-update methods (GPTQ) identify which channels are salient but still commit to one bit-width for an entire layer, so the saliency signal never becomes a budget-control knob. Inter-layer mixed-precision methods (HAQ, AMQ) expose budget control across layers but only in coarse 2/3/4-bit steps, and protecting one salient channel forces elevating an entire layer's precision, which is wasteful and still cannot approximate a fractional target without an expensive Pareto search. Intra-layer methods (Slim-LLM) reach channel-group granularity, but a LUT-based kernel is sized as 2^b, so adding just one bit to the palette doubles the lookup table — a 7-bit entry needs a table 16 times larger than a 3-bit one, which breaks SIMD/LUT efficiency on CPUs. Execution-side reordering and compiler work (RPTQ, Atom) only fuses permutations locally within one block or one operator boundary, so permutation overhead resurfaces at every block and layer boundary the local template does not cover.

기존 한계 Activation-aware 균일 기법(AWQ, SmoothQuant)과 2차 가중치 업데이트 기법(GPTQ)은 어떤 채널이 중요한지 찾아내지만 여전히 layer 전체에 하나의 bit-width를 고정하므로, saliency 신호가 예산 조절 손잡이로 이어지지 못한다. Inter-layer mixed-precision 기법(HAQ, AMQ)은 layer 간 예산 조절을 열지만 2/3/4-bit의 성긴 단계뿐이라, 채널 하나를 보호하려면 layer 전체의 정밀도를 올려야 해 낭비가 크고 비싼 Pareto 탐색 없이는 fractional 목표에 근접하지도 못한다. Intra-layer 기법(Slim-LLM)은 channel-group 세밀도에 도달하지만 b±1 팔레트에 포함된 5-7bit 항목이 CPU LUT 커널 효율을 깨고, 실행측 재정렬/컴파일러 연구(RPTQ, Atom)는 블록 하나 또는 연산자 경계 하나 안에서만 permutation을 결합해, 그 지역 템플릿이 다루지 못하는 모든 블록·layer 경계에서 permutation 오버헤드가 다시 나타난다.

Goal The goal is a channel-wise mixed-precision scheme built on a CPU-aligned {2,3,4,8,16}-bit palette that hits a user-specified fractional average-bit budget through activation-aware allocation, paired with a compile-time compiler that turns the resulting irregular per-channel bit map into bit-homogeneous execution blocks and propagates compatible channel permutations across the entire operator graph, so that layout regularization is resolved before deployment rather than paid for at every inference step.

목표 목표는 CPU에 정렬된 {2,3,4,8,16}-bit 팔레트 위에서 activation-aware 할당으로 사용자가 지정한 fractional 평균-bit 예산을 맞추는 channel-wise mixed-precision 기법을, 그 결과로 나오는 불규칙한 채널별 bit map을 bit-homogeneous 실행 블록으로 바꾸고 호환되는 채널 permutation을 연산자 그래프 전체에 전파하는 컴파일 타임 컴파일러와 결합하는 것이다 — layout 정규화가 매 추론 스텝마다 치러야 하는 비용이 아니라 배포 전에 끝나는 일이 되도록.

Method PolyQ has two coupled stages. The quantization stage computes a per-channel, per-candidate-bit-width error proxy E_b[j] (weight reconstruction error times the calibrated activation energy E[x_j^2]), then runs a greedy waterfilling algorithm that starts every channel at 2-bit and repeatedly promotes whichever channel yields the largest error-reduction-per-extra-bit (a max-heap over gains G = ΔE/Δb) until the layer's average bit budget B is spent; an ISA-aware snap stage then rounds these per-bit channel counts to backend-friendly quanta (e.g. AVX2's 32-channel groups) and re-optimizes channel membership at the boundary to minimize the accuracy cost of snapping, followed by a bit-specific activation-aware scaling with one power-law exponent per bit-width group. The compiler stage factors each linear as O = A×W = (A×P_W^T)×(P_W×W), so permuting input channels into contiguous same-bit blocks (P_W) never needs to be materialized at runtime; it assigns W{2,3,4}A16 LUT kernels to low-bit blocks and W{8,16}A16 SIMD kernels to higher-precision blocks, merges the permutation requirements of consecutive linear layers algebraically (since elementwise nonlinearities commute with channel permutations), and finally treats the whole model as an operator DAG, propagating a shared channel-basis label across nodes so an explicit activation shuffle is only inserted at the few incompatible boundary edges.

방법 PolyQ는 두 단계가 맞물려 있다. Quantization 단계는 채널별·후보 bit-width별 오차 proxy E_b[j](가중치 재구성 오차 × calibration에서 얻은 activation energy E[x_j^2])를 계산한 뒤, 모든 채널을 2-bit로 시작해 추가 bit당 오차 감소가 가장 큰 채널(이득 G = ΔE/Δb의 max-heap)을 layer의 평균 bit 예산 B가 소진될 때까지 반복 승급시키는 greedy waterfilling을 수행한다. 이어지는 ISA-aware snap 단계는 이 bit별 채널 수를 백엔드 친화적 quanta(예: AVX2의 32-채널 그룹)로 반올림하고 경계에서 채널 소속을 재최적화해 snap의 정확도 비용을 최소화하며, 마지막으로 bit-width 그룹당 하나의 거듭제곱 지수를 쓰는 bit-specific activation-aware scaling을 적용한다. 컴파일러 단계는 각 linear를 O = A×W = (A×P_W^T)×(P_W×W)로 인수분해해, 입력 채널을 같은 bit의 연속 블록으로 묶는 permutation P_W가 런타임에 실체화될 필요가 없도록 만든다. 저bit 블록에는 W{2,3,4}A16 LUT 커널을, 고정밀 블록에는 W{8,16}A16 SIMD 커널을 배정하고, 연속된 linear layer의 permutation 요구를 대수적으로 병합하며(element-wise 비선형은 채널 permutation과 교환되므로), 마지막으로 전체 모델을 연산자 DAG로 다뤄 공유 채널-basis 라벨을 노드 전반에 전파해 호환되지 않는 소수의 경계 edge에서만 명시적 activation shuffle을 삽입한다.

Key idea The central move is treating per-channel bit-width heterogeneity and the channel permutation it requires as one problem solved once, at compile time, rather than one accuracy problem plus one runtime cost. Because the permutation matrix P_W is always absorbed algebraically into the static weight layout and kernel choice (Equations 9-10), the fine-grained accuracy gains of channel-level mixed precision no longer have to be paid for with per-inference reordering overhead. It is like a factory that decides once, at blueprint time, how to group and route parts along the line, instead of re-sorting the parts every time a batch passes through.

핵심 아이디어 핵심은 채널별 bit-width의 이질성과 그것이 요구하는 채널 permutation을, 하나의 정확도 문제와 하나의 런타임 비용으로 나누지 않고 컴파일 타임에 한 번만 풀리는 문제로 취급하는 것이다. Permutation 행렬 P_W가 항상 정적 가중치 layout과 커널 선택 안으로 대수적으로 흡수되기(식 9-10) 때문에, channel-level mixed precision의 세밀한 정확도 이득이 더 이상 추론마다 치르는 재정렬 오버헤드를 대가로 요구하지 않는다. 이는 공장이 부품을 라인이 돌 때마다 다시 분류하는 대신, 설계 단계에서 한 번에 부품을 어떻게 묶고 배선할지 결정해두는 것과 같다.

Validation PolyQ is evaluated on Falcon-H1-3B, Llama2-13B, and Qwen3-32B, using WikiText-2 perplexity and capped downstream accuracy on five tasks (MMLU, WinoGrande, ARC-Easy/Challenge, HellaSwag), calibrated on 128 WikiText-2 sequences, against AWQ, GPTQ, Slim-LLM, and AMQ baselines, sweeping the fractional budget from 3.0 to 6.0 bits in 0.1-bit steps plus a separate extreme low-bit floor (roughly 2.0-2.6 bits). System behavior is measured end-to-end on three real CPUs — a Ryzen 9 9950X workstation, a Ryzen 7 7840U laptop, and an Intel N250 mobile chip — dispatching W{2,3,4}A16 blocks to T-MAC and W{8,16}A16 blocks to OpenBLAS, with energy measured via RAPL; peak memory footprint and activation-reorder traffic, by contrast, are reported through an analytical model that combines quantized storage, KV cache, live activations, backend scratch, and layout metadata rather than direct hardware profiling.

검증 PolyQ는 Falcon-H1-3B, Llama2-13B, Qwen3-32B에서 WikiText-2 perplexity와 5개 downstream task(MMLU, WinoGrande, ARC-Easy/Challenge, HellaSwag)의 capped accuracy로 평가되며, WikiText-2 시퀀스 128개로 calibration하고 AWQ·GPTQ·Slim-LLM·AMQ를 baseline으로 fractional 예산을 3.0-6.0 bit 구간에서 0.1-bit 단위로, 그리고 별도로 극저bit 하한(~2.0-2.6 bit)까지 스윕한다. 시스템 동작은 Ryzen 9 9950X 워크스테이션, Ryzen 7 7840U 노트북, Intel N250 모바일 칩 세 실제 CPU에서 end-to-end로 측정되며 W{2,3,4}A16 블록은 T-MAC에, W{8,16}A16 블록은 OpenBLAS에 배정하고 에너지는 RAPL로 측정한다. 반면 peak memory footprint와 activation-reorder traffic은 양자화 저장·KV cache·live activation·backend scratch·layout metadata를 결합한 분석적 모델을 통해 보고되며, 하드웨어 직접 프로파일링이 아니다.

Results At a 3-bit target, PolyQ improves WikiText-2 perplexity by 2.4-7.8% over AWQ, 7.4-28.7% over GPTQ, 3.0-23.4% over Slim-LLM, and 14.1-32.1% over AMQ. The ISA-aware snap stage keeps the realized bit-width within 0.045 bits of the requested target across the whole 3.0-6.0 sweep, and peak memory footprint stays within 1.1% of same-backend AWQ(T-MAC) at matching integer budgets while additionally exposing 0.1-bit-granular intermediate points. The compiler cuts modeled activation-reorder traffic by 46.6%, 70.8%, and 52.8% on Falcon-H1-3B, Llama2-13B, and Qwen3-32B respectively, relative to the best prior fixed reordering policy, and on real hardware, end-to-end prefill latency and decode throughput stay within roughly 0.1-8.2% of the AWQ(T-MAC) reference across all three CPUs, with energy/token overhead of only 0.8-1.9%.

결과 3-bit 목표에서 PolyQ는 WikiText-2 perplexity를 AWQ 대비 2.4-7.8%, GPTQ 대비 7.4-28.7%, Slim-LLM 대비 3.0-23.4%, AMQ 대비 14.1-32.1% 개선한다. ISA-aware snap 단계는 3.0-6.0 스윕 전체에서 실현된 bit-width를 목표 대비 0.045bit 이내로 유지하며, peak memory footprint는 정수 예산이 일치할 때 동일 backend AWQ(T-MAC) 대비 1.1% 이내에 머물면서 추가로 0.1-bit 단위의 중간 지점을 제공한다. 컴파일러는 최선의 기존 고정 재정렬 정책 대비 modeled activation-reorder traffic을 Falcon-H1-3B·Llama2-13B·Qwen3-32B에서 각각 46.6%, 70.8%, 52.8% 줄이고, 실제 하드웨어에서 end-to-end prefill latency와 decode throughput은 세 CPU 전체에서 AWQ(T-MAC) 기준 대비 대략 0.1-8.2% 이내에 머물며 토큰당 에너지 오버헤드는 0.8-1.9%에 불과하다.

Comparison Against uniform per-layer methods (AWQ, GPTQ), PolyQ reaches operating points those methods cannot even express, with the largest quality gap opening exactly at the tight 3-bit budgets that matter most for edge memory constraints. Against inter-layer mixed precision (AMQ), channel-level granularity avoids elevating an entire layer to protect a few salient channels, producing the largest single margin (14.1-32.1%) in the comparison. Against the closest intra-layer competitor (Slim-LLM), PolyQ's {2,3,4,8,16} palette avoids the INT8-dequantization fallback that Slim-LLM's 5-7-bit entries force on CPUs, winning by 3.0-23.4% at 3-bit, though Slim-LLM's finer intermediate steps give it a marginal 0.01-0.03 perplexity edge at high budgets (5-6 bit) where the difference barely matters. Against execution-side reordering baselines (RPTQ, Atom, Slim-LLM), none of which have a CPU inference path, PolyQ is the only method actually runtime-validated on CPU hardware, and its graph-level permutation propagation still cuts modeled reorder traffic by up to 70.8% relative to their best fixed-template policy.

비교 균일 per-layer 기법(AWQ, GPTQ) 대비, PolyQ는 그 기법들이 표현조차 할 수 없는 동작점에 도달하며, 엣지 메모리 제약에서 가장 중요한 빡빡한 3-bit 예산에서 품질 격차가 가장 크게 벌어진다. Inter-layer mixed precision(AMQ) 대비, channel-level 세밀도는 소수의 salient 채널을 보호하려 layer 전체를 올릴 필요가 없어 비교 중 가장 큰 단일 격차(14.1-32.1%)를 낸다. 가장 가까운 intra-layer 경쟁자(Slim-LLM) 대비, PolyQ의 {2,3,4,8,16} 팔레트는 Slim-LLM의 5-7bit 항목이 CPU에서 강제하는 INT8-dequantization 후퇴를 피해 3-bit에서 3.0-23.4% 앞서지만, Slim-LLM의 더 촘촘한 중간 단계는 그 차이가 거의 무의미한 고예산(5-6bit) 구간에서 0.01-0.03 perplexity의 근소한 우위를 준다. CPU 추론 경로가 없는 실행측 재정렬 baseline(RPTQ, Atom, Slim-LLM) 대비, PolyQ는 실제로 CPU 하드웨어에서 runtime 검증된 유일한 방법이며, 그래프 수준 permutation 전파는 그들의 최선의 고정 템플릿 정책 대비 modeled reorder traffic을 최대 70.8%까지 줄인다.

Significance For an efficient-AI / on-device reader, the paper's main contribution is showing that the quantization palette itself is a systems-design variable, not only an accuracy knob: {2,3,4,8,16} was chosen because it is realizable by existing LUT and SIMD CPU kernels, not because it is accuracy-optimal in isolation. That a single scalar budget B predictably and simultaneously controls quality, peak memory, compiler layout cost, throughput, and energy across three genuinely different CPU classes is the kind of end-to-end validation that on-device compression papers often only partially provide (reviewer judgment). It reframes the long-standing tension between fine-grained mixed-precision accuracy gains and CPU execution regularity as a compile-time-versus-runtime placement problem for channel permutations, rather than as an unavoidable trade-off.

의의 Efficient-AI/on-device 관점에서 이 논문의 핵심 기여는 양자화 팔레트 자체가 정확도 손잡이만이 아니라 시스템 설계 변수임을 보이는 것이다 — {2,3,4,8,16}은 그 자체로 정확도가 최적이어서가 아니라 기존 LUT·SIMD CPU 커널로 실현 가능하기 때문에 선택되었다. 스칼라 하나(예산 B)가 세 종류의 실제로 다른 CPU급 전체에서 품질·peak memory·컴파일러 layout 비용·throughput·에너지를 동시에 예측 가능하게 조절한다는 것은, on-device 압축 논문들이 종종 부분적으로만 제공하는 종류의 end-to-end 검증이다(리뷰어 판단). 이는 세밀한 mixed-precision 정확도 이득과 CPU 실행 규칙성 사이의 오랜 긴장을, 피할 수 없는 trade-off가 아니라 채널 permutation을 컴파일 타임에 둘지 런타임에 둘지의 배치(placement) 문제로 재구성한다.

Limitations The paper does not include a dedicated limitations section, but it states two evaluation-scope gaps directly in the text: AMQ is not evaluated on Falcon-H1-3B because it does not support that model's hybrid attention architecture, and Slim-LLM, RPTQ, and Atom have GPU-only execution backends with no CPU inference path, so only AWQ(T-MAC) receives a true apples-to-apples CPU runtime comparison. Beyond what the paper states, peak memory footprint and activation-reorder traffic are reported through an analytical model rather than direct end-to-end hardware profiling, so the headline 70.8% reorder-traffic reduction is a per-token traffic-count claim rather than a measured wall-clock latency gain (reviewer judgment). PolyQ also only quantizes weights (WxA16), leaving activations and the KV cache at 16-bit, so its gains are specific to the batch=1, weight-storage-bound regime it targets and may not transfer directly to higher-batch or long-context serving where activation and KV traffic dominate (reviewer judgment).

한계 논문에는 별도의 한계 절이 없지만, 두 가지 평가 범위의 공백은 본문에 직접 명시되어 있다: AMQ는 Falcon-H1-3B의 hybrid attention 아키텍처를 지원하지 않아 그 모델에서 평가되지 않았고, Slim-LLM·RPTQ·Atom은 GPU 전용 실행 backend만 가져 CPU 추론 경로가 없어 AWQ(T-MAC)만이 진짜 apples-to-apples CPU runtime 비교를 받는다. 논문이 명시하지 않은 지점으로는, peak memory footprint와 activation-reorder traffic이 하드웨어 직접 프로파일링이 아니라 분석적 모델로 보고된다는 점이 있다 — 즉 헤드라인 70.8% reorder-traffic 감소는 측정된 wall-clock latency 이득이 아니라 토큰당 트래픽 카운트 주장이다(리뷰어 판단). 또한 PolyQ는 가중치만 양자화하고(WxA16) activation과 KV cache는 16-bit로 남겨두므로, 그 이득은 논문이 타깃으로 삼는 배치=1·가중치-저장-bound 영역에 특화되어 있고 activation·KV 트래픽이 지배적인 고배치·장문맥 서빙에는 그대로 옮겨가지 않을 수 있다(리뷰어 판단).

Future work The paper has no explicit future-work section; the conclusion closes on the general lesson that low-bit LLM efficiency on CPUs is a quantizer-compiler co-design problem rather than naming concrete next steps. Two open directions follow directly from statements elsewhere in the paper: it notes that the ISA-aware quanta abstraction q_b^(t) can be retargeted to ARM NEON/SVE or other CPU kernels by substituting backend-specific quanta, but does not evaluate this beyond the three x86-class targets tested; and since the method is explicitly scoped to weight-only (WxA16) quantization in a batch=1 regime, extending the same waterfilling-plus-compiler-merge idea to joint weight+activation or KV-cache quantization for higher-batch or long-context CPU serving is an open gap the paper does not address (reviewer judgment).

향후 과제 논문에는 명시적 future-work 절이 없고, Conclusion은 CPU에서의 저bit LLM 효율이 quantizer 문제만이 아니라 quantizer-compiler codesign 문제라는 일반적 교훈으로 끝난다. 본문 다른 곳의 서술에서 직접 따라 나오는 열린 방향이 둘 있다: ISA-aware quanta 추상화 q_b^(t)가 backend별 quanta를 대입해 "ARM NEON/SVE나 다른 CPU 커널로 재타깃될 수 있다"고 언급하지만 실제로 테스트한 것은 x86급 세 타깃뿐이며; 방법 자체가 배치=1 영역에서의 weight-only(WxA16) 양자화로 명시적으로 범위가 한정되어 있으므로, 동일한 waterfilling+컴파일 타임 병합 아이디어를 고배치·장문맥 CPU 서빙을 위한 weight+activation 또는 KV-cache 양자화로 확장하는 것은 논문이 다루지 않는 열린 공백이다(리뷰어 판단).

Released resources No public release verified.

자원 공개 공개 링크 확인 안 됨.