MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

Background 4-bit quantization enables efficient LLM inference, but suffers significant accuracy degradation from outliers. Existing fixes rely on data rotation or mixed-integer quantization, both of which typically require software-managed scaling and frequent dequantization, incurring substantial overhead.

배경 4비트 양자화는 효율적인 LLM 추론을 가능케 하지만, 이상치(outlier) 때문에 정확도가 크게 떨어진다. 이를 해결하려는 기존 방법들은 데이터 회전(rotation)이나 혼합-정수 양자화를 쓰는데, 이들은 대개 소프트웨어가 관리하는 스케일링과 잦은 역양자화(dequantization)를 필요로 해 상당한 오버헤드를 낳는다.

Problem Microscaling formats such as MXINT eliminate that inefficiency by encoding scales directly in hardware, but they are fundamentally incompatible with rotation-based methods. The problem is how much of the outlier-driven accuracy loss can be recovered without rotation, while staying inside a hardware-native format.

문제 MXINT 같은 마이크로스케일링 포맷은 스케일을 하드웨어에 직접 인코딩해 이런 비효율을 없애지만, 회전 기반 기법과는 근본적으로 호환되지 않는다. 문제는 회전 없이도, 그리고 하드웨어 네이티브 포맷을 유지하면서도 이상치로 인한 정확도 손실을 얼마나 줄일 수 있는가이다.

Prior limitations Applying a uniform bitwidth across every layer and column is simple but ignores the substantial variation in quantization sensitivity observed across LLMs. This paper's own analysis shows outliers range in severity from rare and extreme to frequent and mild, and that sensitivity is unevenly distributed across layers and columns.

기존 한계 균일한 비트폭을 전 층·전 열에 걸쳐 적용하는 방식은 단순하지만, LLM 전반에 걸쳐 관측되는 양자화 민감도의 큰 편차를 무시한다. 이상치는 드물지만 극단적인 것부터 흔하지만 완만한 것까지 심각도가 제각각이며, 민감도는 층과 열에 따라 고르지 않게 분포한다는 것이 이 논문의 분석이 밝히는 지점이다.

Goal Without rotation or frequent dequantization, and while keeping MXINT's block-wise structure intact, improve the accuracy-efficiency trade-off through fine-grained (column- and layer-wise) sensitivity-guided bitwidth allocation.

목표 회전이나 잦은 역양자화 없이, MXINT의 블록 단위 구조를 그대로 활용하면서 세밀한(열·층 단위) 민감도-유도 비트폭 배분으로 정확도-효율 트레이드오프를 개선하는 것이 목표다.

Method MXSens is a training-free method that assigns mixed mantissa bitwidths (4/6/8) based on column- and layer-wise sensitivity. It is similar to compressing the background of a photo aggressively while leaving more pixels (bits) for a face that matters — rather than using the same resolution everywhere, higher precision goes only where it most affects accuracy.

방법 MXSens는 열(column) 단위·층(layer) 단위 민감도에 따라 4/6/8비트의 혼합 mantissa 폭을 배정하는 학습-불필요 방법이다. 사진의 배경은 압축적으로 저장하고 얼굴처럼 중요한 부분에는 더 많은 화소(비트)를 남겨두는 것과 비슷하다 — 모든 곳에 같은 해상도를 쓰는 대신, 정확도에 가장 큰 영향을 주는 곳에만 더 높은 정밀도를 쓴다.

Key idea The core move is to address the observation that outlier severity ranges from extreme to mild and that sensitivity is unevenly distributed across layers and columns directly through fine-grained bit allocation on top of the block-wise structure MXINT already has, rather than through the heavier tool of rotation. Instead of abandoning rotation-based methods and losing hardware compatibility, it attacks the same problem (outliers) along a different axis (precision allocation).

핵심 아이디어 핵심은 이상치의 심각도가 극단적인 것부터 완만한 것까지 다양하고 양자화 민감도가 층·열에 따라 고르지 않다는 관찰을, 회전이라는 무거운 수단이 아니라 MXINT가 이미 갖고 있는 블록 단위 구조 위에서 세밀한 비트 배분으로 직접 해결한다는 점이다. 회전 기반 기법을 포기하는 대신 하드웨어 호환성을 지키면서 같은 문제(이상치)를 다른 축(정밀도 배분)으로 공략한다.

Validation Evaluated across several models (LLaMA-2-70B, LLaMA-3-8B, among others) and tasks (WikiText-2 perplexity, zero-shot Common Sense QA accuracy), compared against state-of-the-art quantization methods across two quantization schemes, A4W4KV4 and A4W4KV16. Ablations cover calibration-dataset choice (WikiText-2 vs. C4) and different average-bitwidth configurations.

검증 LLaMA-2-70B, LLaMA-3-8B 등 여러 모델과 태스크(WikiText-2 perplexity, Common Sense QA 0-shot 정확도)에서 평가하며, A4W4KV4·A4W4KV16 두 양자화 스킴에 걸쳐 최신 양자화 방법들과 비교한다. 보정(calibration) 데이터셋 선택(WikiText-2 vs C4), 다양한 평균 비트폭 설정에 대한 ablation도 포함한다.

Results Under the W4A4KV4 setting, MXSens achieves perplexities of 3.77 and 7.63 on LLaMA-2-70B and LLaMA-3-8B respectively, substantially improving over existing baselines on WikiText-2. The paper frames this as establishing "a new balance between accuracy and resource efficiency."

결과 W4A4KV4 설정에서 MXSens는 LLaMA-2-70B와 LLaMA-3-8B에서 각각 perplexity 3.77과 7.63을 달성해 WikiText-2 상에서 기존 베이스라인 대비 상당히 개선된 결과를 보인다. 논문은 이를 "정확도와 자원 효율 사이의 새로운 균형"이라 표현한다.

Comparison Unlike prior methods that share the same mixed-precision principle, MXSens operates entirely within the hardware-native MXINT block format, without the software-managed scaling or frequent dequantization rotation-based methods require — sidestepping the fundamental incompatibility between rotation and hardware microscaling formats is this paper's practical point of differentiation.

비교 같은 혼합-정밀도 원칙을 쓰는 이전 방법들과 달리, MXSens는 회전 기반 기법이 필요로 하는 소프트웨어 관리 스케일링이나 잦은 역양자화 없이 MXINT라는 하드웨어 네이티브 블록 포맷 안에서 그대로 작동한다 — 회전 기법과 하드웨어 마이크로스케일링 포맷 사이의 근본적 비호환성을 우회하는 것이 이 논문의 실질적 차별점이다.

Significance Shows that "rotation vs. hardware microscaling support" need not be an either/or choice for efficient LLM inference — accuracy loss can be reduced while keeping the latter. Practically relevant as formats like MXINT get adopted in real accelerators, meaning accuracy need not be sacrificed for incompatibility with rotation-based techniques.

의의 효율적 LLM 추론에서 "회전이냐 마이크로스케일링 하드웨어 지원이냐"를 양자택일로 여기지 않고 후자를 유지한 채 정확도 손실을 줄일 수 있음을 보여준다. MXINT 같은 포맷이 실제 가속기에 채택되는 상황에서, 회전 기법과의 비호환성 때문에 정확도를 포기할 필요가 없다는 실용적 함의를 갖는다.

Limitations The paper has no dedicated Limitations section in its conclusion (it has a reproducibility statement instead). That the evaluation focuses on dense transformers in the LLaMA/Mistral/Qwen families, and that it's unclear whether the same column- and layer-wise sensitivity analysis would transfer as-is to MoE architectures, where expert-weight sensitivity could vary drastically with routing frequency, is a reviewer addition (reviewer judgment).

한계 논문 자체의 결론부에는 별도 Limitations 절이 없다(대신 재현성 진술이 있다). 평가가 LLaMA·Mistral·Qwen 계열의 밀집(dense) 트랜스포머에 집중되어 있어, MoE 아키텍처의 전문가(expert) 가중치처럼 민감도 분포가 라우팅 빈도에 따라 크게 달라질 수 있는 구조에도 같은 열·층 단위 민감도 분석이 그대로 적용될지는 논문이 다루지 않는다는 점은 리뷰어가 덧붙인다(리뷰어 판단).

Future work Not stated in the paper. Instead, Section 8 (Reproducibility Statement) details the models, datasets, and evaluation metrics used, the implementation details of sensitivity computation, bitwidth allocation, and MXINT quantization routines, and points to the pseudocode locations for column-wise and layer-wise sensitivity extraction and the triplet quantization algorithm.

향후 과제 논문 내 명시된 별도 future-work 절은 없다. 대신 Section 8(재현성 진술)에서 모델·데이터셋·평가 지표, 민감도 계산·비트폭 배분·MXINT 양자화 루틴의 구현 세부사항, 열/층별 민감도 추출과 삼중 양자화 알고리즘의 의사코드 위치를 상세히 명시한다.

Released resources The paper states in its text that "our code repository is publicly available at https://github.com/parsa-epfl/mxsens," but as of verification (curl) that repository returns a 404 and does not resolve — no public release verified (the authors may not have published the code yet, or the repository may be private).

자원 공개 논문 본문에 "코드 저장소가 https://github.com/parsa-epfl/mxsens 에 공개되어 있다"고 명시되어 있지만, 확인 시점(curl) 기준 해당 저장소는 404를 반환해 접근되지 않는다 — 공개 링크 확인 안 됨(저자들이 코드를 아직 공개하지 않았거나 저장소가 비공개 상태일 수 있다).