GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

Background Post-training quantization (PTQ) compresses trained LLM weights and activations to lower precision, but activation outliers stretch the quantization range and hurt accuracy. A recent line of work (SmoothQuant, AWQ, and especially rotation-based methods like QuaRot/SpinQuant) exploits transformers' internal continuous symmetries -- rotations that leave the network's exact output unchanged -- to redistribute outlier mass before quantizing, all applied post-hoc on a frozen, already-trained model with a calibration dataset.

배경 PTQ(post-training quantization)는 학습이 끝난 LLM의 weight/activation을 더 낮은 정밀도로 압축하지만, activation의 outlier가 quantization 범위를 늘려 정확도를 떨어뜨린다. 최근 연구 계열(SmoothQuant, AWQ, 특히 QuaRot/SpinQuant 같은 rotation 기반 방법)은 transformer의 내부 연속 대칭 -- 네트워크의 정확한 출력을 바꾸지 않는 회전 -- 을 이용해 quantize 전에 outlier를 재분배하는데, 모두 고정된 모델에 calibration 데이터셋을 써서 사후(post-hoc)로 적용한다.

Problem Every existing rotation-based method searches for its outlier-suppressing rotation after training is complete, on a frozen model, using a static calibration set and, for the strongest results such as SpinQuant, an explicit non-differentiable quantization-simulation objective. The rotation is therefore fit to whatever outlier structure training happened to produce, rather than being learned as part of training itself, and every new model or fine-tune needs its own fresh calibration pass.

문제 기존의 모든 rotation 기반 방법은 학습이 완전히 끝난 뒤 고정된 모델 위에서, 정적 calibration set과 (SpinQuant처럼 가장 강력한 결과를 내는 경우) 명시적인 미분 불가능한 quantization-시뮬레이션 목적함수를 써서 회전을 탐색한다 -- 즉 회전은 학습이 만들어낸 outlier 구조에 사후적으로 맞춰질 뿐 학습 자체의 일부로 학습되지 않으며, 새로운 모델이나 파인튜닝마다 새 calibration 과정을 다시 거쳐야 한다.

Prior limitations SpinQuant learns rotations via Cayley SGD against an explicit fake-quantization loss, but needs a frozen model and calibration data; QuaRot, RoLoRA, ReSpinQuant, and ParoQuant extend the same rotate-then-quantize idea with fixed Hadamard or per-layer rotations, all still post-training. Quantization-aware training methods like RoSTE and HALO also rotate, but as part of supervised fine-tuning tied to specific downstream objectives, not as a general in-pretraining mechanism.

기존 한계 SpinQuant는 명시적 fake-quantization 손실에 대해 Cayley SGD로 회전을 학습하지만 고정된 모델과 calibration 데이터가 필요하고, QuaRot/RoLoRA/ReSpinQuant/ParoQuant는 같은 rotate-then-quantize 아이디어를 고정된(Hadamard) 혹은 레이어별 회전으로 확장하되 여전히 post-training이다. RoSTE·HALO 같은 quantization-aware training 방법도 회전을 쓰지만, 특정 다운스트림 목적에 묶인 지도 파인튜닝의 일부로서일 뿐 일반적인 pretraining-단계 메커니즘은 아니다.

Goal Learn the quantization-optimal rotation basis during training itself -- with no calibration set, no explicit quantization simulation, and negligible overhead -- so a model naturally arrives at an outlier-suppressed representation as training proceeds, rather than needing a separate post-hoc rotation-search step.

목표 calibration set도, 명시적 quantization 시뮬레이션도, 무시할 만한 오버헤드 이상도 없이 -- 학습 자체 도중에 quantization-최적 회전 기저를 학습하는 것이 목표다. 그러면 모델은 학습이 진행되며 자연스럽게 outlier가 억제된 표현에 도달하고, 별도의 사후 회전-탐색 단계가 필요 없어진다.

Method GaugeQuant adds a second loss term -- a LogSumExp penalty, a smooth differentiable stand-in for the L-infinity norm, computed on the rotated boundary activations -- alongside the ordinary language-modeling loss, with a stop-gradient that routes this penalty's gradient only to the rotation matrix R and the language-modeling loss's gradient only to the base weights, keeping the two objectives strictly separate. R is constrained to the special orthogonal group SO(d) via a Cayley transform of a learned skew-symmetric matrix, keeping every gradient step exactly on the rotation manifold instead of drifting off it.

방법 GaugeQuant는 일반적인 언어모델링 손실과 나란히 두 번째 손실 항 -- 회전된 경계 activation에 대해 계산되는 LogSumExp penalty(L-infinity norm의 부드럽고 미분 가능한 대체물) -- 을 추가하며, stop-gradient로 이 penalty의 그래디언트는 오직 회전 행렬 R로만, 언어모델링 손실의 그래디언트는 오직 base weight로만 흐르게 해 두 목적을 엄격히 분리한다. R은 학습된 skew-symmetric 행렬의 Cayley 변환을 통해 special orthogonal group SO(d)로 제약되며, 이는 매 그래디언트 스텝이 회전 다양체(manifold)를 벗어나지 않고 정확히 그 위에 머물게 한다.

Key idea Because a rotation only changes which basis the network's outlier-free symmetry is expressed in, not the network's output, breaking that symmetry with a differentiable outlier penalty is like sliding a rug back and forth under a pile of furniture until the load spreads evenly across the floorboards -- the furniture, the model's function, never moves, only the choice of floorboards, the basis, that ends up bearing the weight changes. This turns rotation search from a one-time post-hoc optimization into something the model continuously settles into, alongside its normal training.

핵심 아이디어 회전은 네트워크의 출력을 바꾸지 않고 outlier-free 대칭이 표현되는 기저만 바꾸므로, 미분 가능한 outlier penalty로 이 대칭을 깨는 것은 가구 더미 밑의 러그를 앞뒤로 밀어 하중이 마룻바닥 전체에 고르게 퍼지게 하는 것과 같다 -- 가구(모델의 함수)는 전혀 움직이지 않고, 어떤 마룻바닥(기저)이 그 하중을 떠받치는지만 바뀐다. 이는 회전 탐색을 일회성 사후 최적화에서, 모델이 정상적인 학습과 나란히 계속 정착해가는 무언가로 바꾼다.

Validation Evaluated on WikiText-2 perplexity after a short, roughly 4M-token, continued-training run on Qwen-2.5 0.5B (full fine-tune) and LLaMA-2 7B (LoRA), comparing three conditions at each of three quantization regimes (W4A16, W4A4 group-128, W4A4 per-token): the original pretrained baseline quantized directly, a fine-tuned-but-no-gauge-loss control isolating whether extra training alone helps, and the full GaugeQuant recipe.

검증 Qwen-2.5 0.5B(전체 파인튜닝)와 LLaMA-2 7B(LoRA)에 대해 짧은(~4M 토큰) continued-training 후 WikiText-2 perplexity로 평가했으며, 세 quantization 체제(W4A16, W4A4 group-128, W4A4 per-token) 각각에서 세 조건 -- 원본 사전학습 baseline을 바로 quantize한 경우, gauge 손실 없이 파인튜닝만 한 control, 전체 GaugeQuant 레시피 -- 를 비교했다.

Results On LLaMA-2 7B, GaugeQuant cuts W4A16 perplexity degradation from 11.16 to 5.45, a 51% reduction, and W4A4-group-128 from 8.22 to 6.73, an 18% reduction, approaching SpinQuant's reported ~6.2 under comparable conditions; on Qwen-2.5 0.5B the W4A4-group-128 reduction is 67% (187.8 to 61.2). The fine-tuning-only control shows no benefit and sometimes worsens quantized perplexity, isolating the gain specifically to the learned rotation rather than to extra training exposure.

결과 LLaMA-2 7B에서 GaugeQuant는 W4A16 perplexity 저하를 11.16에서 5.45로(51% 감소), W4A4-group-128을 8.22에서 6.73으로(18% 감소) 줄여 비교 가능한 조건에서 SpinQuant가 보고한 ~6.2에 근접한다. Qwen-2.5 0.5B에서는 W4A4-group-128 감소폭이 67%(187.8→61.2)에 달한다. 파인튜닝만 한 control은 이득이 전혀 없거나 오히려 quantize된 perplexity를 악화시켜, 개선이 추가 학습 노출이 아니라 학습된 회전 자체에 기인함을 보여준다.

Comparison Unlike SpinQuant and the rest of the post-training rotation lineage it positions against, GaugeQuant needs no calibration dataset and no explicit, non-differentiable quantization simulation in its loss -- it substitutes a differentiable proxy that can be optimized with ordinary backpropagation during training. The paper frames this as complementary rather than competing: a model gauge-trained this way could still be handed to SpinQuant afterward for a further post-hoc refinement pass.

비교 대비 대상으로 삼는 SpinQuant를 비롯한 사후 rotation 계열과 달리, GaugeQuant는 calibration 데이터셋도 손실 함수 안의 명시적(미분 불가능한) quantization 시뮬레이션도 필요 없다 -- 대신 일반적인 역전파로 학습 도중 최적화할 수 있는 미분 가능한 대체 목적함수를 쓴다. 논문은 이를 경쟁이 아닌 보완 관계로 그린다: 이 방식으로 gauge-학습된 모델도 이후 SpinQuant에 넘겨 추가적인 사후 정제 패스를 거칠 수 있다.

Significance It demonstrates that the rotation-search step, which the post-training-quantization literature treats as a separate, calibration-dependent pipeline stage, can instead be folded directly into ordinary training as a near-free auxiliary objective -- reframing finding a quantization-friendly basis from a post-hoc search problem into a training-time property a model can be shaped to have from the start. The formal argument for why O(d) orthogonal rotations specifically survive training, tied to the invariance of the weight-decay regularizer, gives the approach a principled floor rather than an empirical heuristic.

의의 PTQ 문헌이 별도의, calibration에 의존하는 파이프라인 단계로 취급해온 회전-탐색 과정을, 학습 자체에 거의 공짜인 보조 목적함수로 접어넣을 수 있음을 보여준다 -- quantization에 친화적인 기저를 찾는 문제를 사후 탐색 문제에서, 처음부터 모델이 갖도록 빚어낼 수 있는 학습-시점 속성으로 재구성한 것이다. O(d)(직교 회전)가 왜 학습 과정에서 살아남는 대칭인지에 대한, weight decay 정규화항의 불변성에 근거한 형식적 논증은 이 접근에 경험적 휴리스틱이 아닌 원리적 바닥을 부여한다.

Limitations The paper's own Limitations section states that the MLP-boundary rotation cannot be fully absorbed into the weights, since SwiGLU's nonlinearity blocks it, so it adds a small permanent runtime cost, and that this rotation is restricted to a block-diagonal structure (block size 64) for tractability, which the authors say limits how much outlier redistribution across block boundaries is possible. The paper also states the LogSumExp proxy suppresses all large activations indiscriminately, which may reduce the model's ability to encode meaningful distinctions between similarly large values, and that results are limited to two small models (0.5B and 7B) with unknown behavior at larger scale.

한계 논문 스스로의 Limitations 절은 MLP 경계의 회전이 weight에 완전히 흡수될 수 없어(SwiGLU의 비선형성이 이를 막는다) 작은 영구적 런타임 비용이 추가되며, 이 회전이 다루기 쉽도록 block-diagonal 구조(블록 크기 64)로 제한돼 있어 저자들 스스로 블록 경계를 넘나드는 outlier 재분배 가능성을 제약한다고 밝힌다. 또한 LogSumExp 대체 목적함수가 큰 activation을 구분 없이 모두 억제하므로 비슷하게 큰 값들 사이의 의미 있는 차이를 인코딩하는 모델의 능력이 줄어들 수 있으며, 결과가 두 개의 작은 모델(0.5B, 7B)에 한정돼 더 큰 규모에서의 거동은 알 수 없다고 명시한다.

Future work The paper's own Conclusion names three explicit directions: combining GaugeQuant with post-training rotation methods like SpinQuant for a further refinement pass, exploring joint activation-and-weight incoherence proxies that more closely approximate true quantization error since the current proxy only targets activations directly, and scaling the approach to larger models and full pretraining runs rather than short continued-training.

향후 과제 논문 스스로의 결론 절은 세 가지 구체적 방향을 명시한다: SpinQuant 같은 사후 rotation 방법과 결합해 추가 정제 패스를 거치는 것, 현재 목적함수가 activation만 직접 겨냥하는 것과 달리 실제 quantization 오차에 더 가까이 근사하는 activation-weight 결합 incoherence 대체 목적함수를 탐색하는 것, 그리고 짧은 continued-training이 아니라 더 큰 모델과 전체 pretraining 단계로 접근을 확장하는 것이다.

Released resources Official code is verified public on GitHub. The paper itself is on arXiv under a CC BY 4.0 license.

자원 공개 공식 코드는 GitHub에 공개돼 있음을 확인했다. 논문 자체는 CC BY 4.0 라이선스로 arXiv에 공개돼 있다.