Paper Review
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization
KroQuant quantizes diffusion transformers to W4A4 by learning a Kronecker-structured invertible transform on 32-element activation blocks -- a Kronecker product of five 2x2 matrices with only 15 learnable parameters per block, versus 1,024 for a dense 32x32 rotation -- landing between cheap-but-weak per-channel scaling and accurate-but-expensive learned dense rotations, and beating SVDQuant/LoRaQ on image fidelity across PixArt-Sigma, SANA, and FLUX.1-schnell while running as fast as per-channel scaling on AMD MI350 GPUs.
KroQuant는 32개 원소 activation 블록에 대해 Kronecker 구조를 갖는 가역 변환(5개의 2x2 행렬의 Kronecker product, 블록당 학습 파라미터 단 15개 -- 32x32 dense rotation의 1,024개 대비)을 학습해 diffusion transformer를 W4A4로 양자화한다. 저렴하지만 약한 per-channel scaling과 정확하지만 비싼 학습된 dense rotation 사이의 지점을 차지하며, PixArt-Sigma·SANA·FLUX.1-schnell에서 SVDQuant·LoRaQ보다 이미지 충실도가 높으면서도 AMD MI350 GPU에서 per-channel scaling만큼 빠르게 동작한다.
Background Post-training quantization (PTQ) of diffusion transformers (DiTs) to W4A4 (4-bit weights, 4-bit activations) severely degrades output quality because of activation outliers. LLM quantization typically folds an invertible outlier-redistributing transform offline into adjacent weights (the 'absorption trick'), but the AdaLN normalization sitting between DiT blocks blocks that trick, making DiT quantization structurally harder.
배경 diffusion transformer(DiT)를 W4A4(4비트 가중치·4비트 activation)로 post-training quantization(PTQ)하면 activation 이상치(outlier) 때문에 품질이 크게 떨어진다. LLM 양자화에서는 이상치를 재분배하는 가역 선형 변환을 인접 가중치에 오프라인으로 접어 넣는 'absorption trick'을 쓰지만, DiT 블록 사이에 있는 AdaLN 정규화가 이 트릭을 막는다는 점이 DiT 양자화를 근본적으로 더 어렵게 만든다.
Problem There is a real gap in the activation-transform design space: per-channel scaling (SmoothQuant) is cheap but limited in expressivity; fixed Hadamard transforms (QuaRot, QuIP#) improve accuracy but need large blocks with high online cost and don't map cleanly to tensor cores; fully learned dense transforms (SpinQuant, FlatQuant) give the best calibration but require O(d^2)-parameter dense matrix multiplications per layer per denoising step, which is effectively undeployable.
문제 기존 activation 변환 설계 공간에는 뚜렷한 공백이 있다 -- per-channel scaling(SmoothQuant)은 저렴하지만 표현력이 제한적이고, 고정된 Hadamard 변환(QuaRot, QuIP#)은 정확도는 낫지만 큰 블록과 높은 온라인 계산비용을 요구하며 텐서코어와 잘 맞지 않고, 완전히 학습된 dense 변환(SpinQuant, FlatQuant)은 보정 성능은 최고지만 레이어·스텝마다 O(d²) 파라미터의 dense 행렬곱을 요구해 사실상 배포 불가능하다.
Prior limitations DiT-specific PTQ work (PTQ4DiT, ViDiT-Q) uses per-channel diagonal scales with timestep-dependent calibration, and Q-DiT/MixDQ use sensitivity-driven mixed precision, but both degrade significantly at W4A4. Weight-splitting approaches -- SVDQuant (SVD-decomposing smoothed weights into a low-rank branch) and LoRaQ (a data-free low-rank correction branch) -- still leave the activation transform itself as cheap per-channel scaling.
기존 한계 DiT 전용 PTQ 연구(PTQ4DiT, ViDiT-Q)는 시간단계별 보정을 곁들인 per-channel diagonal scale을 쓰고, Q-DiT·MixDQ는 민감도 기반 혼합정밀도를 쓰지만 둘 다 W4A4에서 품질이 크게 무너진다. 가중치 분할 계열인 SVDQuant는 평활화된 가중치를 SVD로 저랭크 분해하고 LoRaQ는 데이터 없이(data-free) 저랭크 보정 브랜치를 적합시키지만, 둘 다 activation 변환 자체는 여전히 저렴한 per-channel scaling에 머문다.
Goal Occupy the design space between SmoothQuant and FlatQuant: a block-local transform that, unlike a fixed Hadamard transform, is learnable, yet is far cheaper than a full dense learned transform -- at a 32x32 block size that naturally aligns with the MXFP4e2 quantizer.
목표 SmoothQuant와 FlatQuant 사이의 설계 공간 -- 즉 고정된 Hadamard와 달리 학습 가능하면서도, 완전한 dense 변환보다 훨씬 저렴한 블록 로컬 변환을 32×32 블록 크기(MXFP4e2 양자화기의 자연스러운 블록 크기와 일치)에서 만드는 것이 목표다.
Method Each 32-element block is parametrized as a Kronecker product of five 2x2 matrices, K_32 = G1 (x) ... (x) G5. Each 2x2 factor uses a unit-determinant LU parametrization (3 parameters a, b, c) to prevent degenerate solutions where one operand collapses toward zero while the other inflates; across all five factors this yields only 15 learnable parameters per 32x32 block, versus 1,024 for a dense GL(32) matrix and 32 for per-channel scaling. Factors are initialized at a Hadamard-equivalent rotation, then optimized layer-wise (joint multi-layer optimization proved unstable) via Adam with a straight-through estimator against an objective combining output MSE, activation-quantization error, and weight-quantization error; after optimization, an offline LoRaQ-style low-rank weight-correction branch (rank 128, MXFP4e2) is applied on top.
방법 32개 원소 블록 각각을 다섯 개의 2×2 행렬의 Kronecker product K₃₂=G₁⊗...⊗G₅로 매개변수화한다. 각 2×2 인수는 단위-행렬식 LU 매개변수화(3개 파라미터 a,b,c)로 퇴화해(한쪽이 0으로 수렴하며 다른 쪽이 발산하는) 붕괴를 막으며, 다섯 인수를 합쳐도 블록당 학습 파라미터는 단 15개 -- dense GL(32) 행렬의 1,024개, per-channel scaling의 32개와 대비된다. Hadamard와 동등한 회전으로 초기화한 뒤, 출력 MSE + activation 양자화 오차 + 가중치 양자화 오차를 결합한 목적함수를 straight-through estimator와 Adam으로 레이어별로(층 간 결합 최적화는 불안정해 제외) 학습하고, 최적화 후에는 LoRaQ 방식의 오프라인 저랭크 가중치 보정(랭크 128, MXFP4e2)을 추가로 적용한다.
Key idea The key move is reframing the expressivity-versus-cost tradeoff axis itself around Kronecker structure -- like opening a 32-digit combination lock not with one giant dial but with five small dials turned in sequence. Each small dial (a 2x2 factor) is trivially invertible on its own, their combination is guaranteed to stay invertible for the whole block, and learning just those five small dials recovers much of the expressivity of learning one giant 32x32 dial at a fraction of the cost.
핵심 아이디어 핵심 아이디어는 '표현력 대 비용'이라는 트레이드오프 축 자체를 Kronecker 구조로 재구성한 것이다 -- 마치 32칸짜리 자물쇠를 하나의 거대한 다이얼로 여는 대신 다섯 개의 작은 다이얼을 순서대로 돌려 여는 것과 같다. 각 작은 다이얼(2×2 인수)은 독립적으로 뒤집기 쉽고 합쳐도 블록 전체가 여전히 가역이라는 것이 보장되며, 이 다섯 개의 작은 다이얼만 학습해도 하나의 거대한 32×32 다이얼 전체를 학습하는 것과 비슷한 표현력을 훨씬 싼 비용으로 얻는다.
Validation Validated across three DiTs of quite different scale and architecture: PixArt-Sigma (0.6B), SANA (1.6B), and FLUX.1-schnell (12B). Calibration uses 128 COCO 2017 validation captions with a single forward pass per linear layer; evaluation runs on MJHQ-30K and SDCI (5,000 images each) measuring FID, Image Reward, LPIPS, and PSNR, with latency measured via real Triton kernels on an AMD MI350 GPU.
검증 PixArt-Σ(0.6B), SANA(1.6B), FLUX.1-schnell(12B) 세 개의 서로 다른 규모·아키텍처의 DiT에서 검증했다. 보정(calibration)은 COCO 2017 검증 캡션 128개로 레이어당 forward pass 한 번만 수행하며, 평가는 MJHQ-30K와 SDCI(각 5,000장) 데이터셋에서 FID·Image Reward·LPIPS·PSNR로, 지연시간은 AMD MI350 GPU에서 실제 Triton 커널로 측정했다.
Results On MJHQ-30K, KroQuant cuts LPIPS over LoRaQ by 8.9% on PixArt-Sigma and 10% on SANA, closing the FID gap to the FP16 reference (PixArt-Sigma: FP16 16.6 vs. SVDQuant 19.3, LoRaQ 17.5, KroQuant 16.9; SANA: FP16 16.2 vs. SVDQuant 16.6, LoRaQ 17.4, KroQuant 16.6 with the best PSNR at 18.4 dB). An ablation running KroQuant's transform alone, without the LoRaQ correction stage, still reaches FID 41.8 versus 130.6 for smoothing alone, confirming the transform's own contribution. Kernel latency: K1 (a precomputed dense block) matches or beats per-channel scaling (1.00-1.14x), K2 (reconstructed on-the-fly from 15 scalars, a 68x memory reduction versus K1) reaches 75-96% of per-channel-scaling speed, and both are 1.30-2.45x faster than a Fast Walsh-Hadamard Transform.
결과 MJHQ-30K에서 PixArt-Σ 기준 KroQuant는 LoRaQ 대비 LPIPS를 8.9%, SANA에서는 10% 낮추며 FID를 FP16 기준치에 가깝게 좁힌다(PixArt-Σ: FP16 16.6 대비 SVDQuant 19.3·LoRaQ 17.5·KroQuant 16.9; SANA: FP16 16.2 대비 SVDQuant 16.6·LoRaQ 17.4·KroQuant 16.6, PSNR 18.4dB로 최고). ablation에서 LoRaQ 보정 없이 KroQuant 변환만 썼을 때도 FID 41.8로, per-channel scaling만 썼을 때의 FID 130.6보다 압도적으로 나아 변환 자체의 기여를 확인했다. 커널 지연시간은 K1(사전계산 dense 블록)이 per-channel scaling과 동등하거나 더 빠르고(1.00-1.14배), K2(15개 스칼라에서 즉석 재구성, 메모리 68배 절감)는 per-channel scaling의 75-96% 수준이며, 두 커널 모두 FWHT보다 1.30-2.45배 빠르다.
Comparison Against a fixed 32-block Hadamard transform paired with the identical LoRaQ correction stage (FID 17.5, LPIPS 0.382, PSNR 15.7), KroQuant (FID 16.9, LPIPS 0.347, PSNR 16.5) improves LPIPS by 0.035 and PSNR by 0.8 dB at the exact same block size, showing the learnable parameters are doing real work beyond what a fixed rotation gets for free. Against SVDQuant and LoRaQ, both of which still leave the activation side to cheap smoothing, KroQuant instead learns the activation transform itself, showing that weight-side low-rank correction (LoRaQ) and activation-side learned transforms (KroQuant) are orthogonal improvement axes that compose.
비교 고정된 32-블록 Hadamard 변환에 동일한 LoRaQ 보정을 붙인 baseline(FID 17.5, LPIPS 0.382, PSNR 15.7)과 비교하면 KroQuant(FID 16.9, LPIPS 0.347, PSNR 16.5)는 LPIPS 0.035·PSNR 0.8dB만큼 더 나아, 학습 가능한 파라미터가 동일한 블록 크기에서 고정 회전보다 실제로 더 유용함을 보인다. SVDQuant·LoRaQ와 비교하면 이들은 activation 쪽을 여전히 저렴한 smoothing에 맡기는 반면 KroQuant는 activation 변환 자체를 학습해, 가중치측 저랭크 보정(LoRaQ)과 activation측 학습된 변환(KroQuant)이 서로 직교하는 개선축임을 보여준다.
Significance The paper directly bridges the gap between rotation-based LLM quantization (the SpinQuant/QuaRot lineage) and image diffusion-transformer quantization -- a gap created by AdaLN blocking the absorption trick that lets LLM methods fold transforms offline -- adding Kronecker structure as a third axis to the long-standing expressivity-versus-online-cost tradeoff. Validated on current-generation DiT backbones including SANA (the Song Han/NVIDIA lineage this site has already covered via [[sana-video2]]), it connects directly to the efficient image/video generation thread the site tracks.
의의 이 논문은 LLM 세계의 회전 기반 양자화(SpinQuant·QuaRot 계열)와 이미지 diffusion transformer 양자화 사이의 간극 -- AdaLN이 absorption trick을 막는다는 DiT 고유의 제약 -- 을 정면으로 다루면서, '표현력 대 온라인 비용'이라는 오래된 트레이드오프에 Kronecker 구조라는 세 번째 축을 더한다. SANA(Song Han/NVIDIA 계열, 이미 본 사이트에서 다룬 [[sana-video2]])를 포함한 현재 세대 DiT 백본에서 검증됐다는 점에서, 효율적 이미지·비디오 생성이라는 이 사이트가 계속 추적해 온 흐름과 직접 맞닿아 있다.
Limitations The authors state that the Kronecker construction's parameter count grows only as 3*log2(n) per n x n block, too slowly to keep pace with full GL(n) expressivity as block size grows, so the method stays effectively tied to n=32 in practice. Joint multi-layer optimization proved unstable in experiments (partly attributed to the unit-determinant LU parametrization); KroQuant's outputs empirically show higher contrast than the FP16 reference, with no theoretical explanation offered (stated as out of scope); and mixed results on FLUX.1/MJHQ-30K are attributed to that model's double-stream architecture with heterogeneous activation distributions. (Reviewer judgment) The paper's own Broader Impacts section draws a line around pure efficiency -- no new generative capability or safety relaxation -- while itself acknowledging that making upstream DiTs cheaper to run at scale amplifies their dual-use risks (deepfakes, disinformation, copyright infringement).
한계 저자들이 직접 밝힌 한계로, Kronecker 구조는 n×n 블록당 파라미터가 3log₂(n)로만 늘어나 블록이 커질수록 완전한 GL(n) 표현력을 따라잡지 못하므로 방법이 사실상 n=32에 묶여 있다. 층 간 결합 최적화는 (부분적으로 단위-행렬식 LU 매개변수화 때문에) 실험에서 불안정했고, KroQuant의 출력은 FP16 기준보다 대비(contrast)가 경험적으로 더 높게 나오는데 이론적 설명은 논문 범위 밖이라고 명시한다. FLUX.1/MJHQ-30K에서의 엇갈린 결과는 이질적인 activation 분포를 가진 double-stream 아키텍처 탓으로 돌린다. (리뷰어 판단) 논문의 Broader Impacts 절은 이 방법이 새로운 생성 능력이나 안전성 완화를 추가하지 않는 순수 효율화라고 선을 그으면서도, 업스트림 DiT를 대규모로 더 저렴하게 돌릴 수 있게 만들어 그 모델들의 이중용도 위험(딥페이크·허위정보·저작권 침해)을 함께 증폭시킨다는 점을 스스로 인정한다.
Future work No explicit future-work section was identified in the reviewed text -- not stated in the paper. The two directions named directly in the limitations discussion -- overcoming the expressivity ceiling at larger block sizes, and stabilizing joint multi-layer optimization -- read as the natural next steps.
향후 과제 논문 본문에서 미래 과제로 명시적으로 나열된 절은 확인되지 않았다 -- 논문 내 명시 없음. 다만 한계 절이 직접 언급한 두 방향(더 큰 블록에서의 표현력 한계 극복, 층 간 결합 최적화의 안정화)은 자연스러운 다음 단계로 읽힌다.
Released resources No code or GitHub repository link was explicitly provided in the reviewed text -- no public release verified. The implementation is stated to use the existing open-source TensorCast library (MIT license), with models and datasets following their own respective licenses (OpenRAIL++-M, Apache 2.0, CC BY 4.0).
자원 공개 코드나 GitHub 저장소 링크는 검토한 본문에서 명시적으로 제공되지 않았다 -- 공개 링크 확인 안 됨. 구현은 기존 오픈소스 TensorCast 라이브러리(MIT 라이선스)를 사용했다고만 밝히며, 모델·데이터셋은 각자의 라이선스(OpenRAIL++-M, Apache 2.0, CC BY 4.0)를 따른다.
The research thread
Where this paper sits 연구의 흐름
Rotation-based quantization in the LLM world started with SmoothQuant's per-channel scaling, moved through QuaRot and QuIP#'s fixed Hadamard transforms, and arrived at SpinQuant and FlatQuant's fully learned dense rotations -- each step trading more expressivity for more parameters. The shared assumption underlying that whole progression was that the transform could be folded offline into adjacent weights, which is what kept the online cost effectively at zero regardless of how expressive the transform got.
That assumption breaks for diffusion transformers -- AdaLN normalization sits between blocks and blocks the fold, which is why DiT-specific approaches like SVDQuant and LoRaQ instead routed around the problem by splitting weights into a low-rank branch. KroQuant's shift is to refuse that detour and return to the original goal -- a transform that is both learnable and cheap online -- but reach it through Kronecker structure instead of a dense matrix, buying expressivity and cost simultaneously through five small 2x2 dials rather than treating them as opposing axes.
The limitations the paper names for itself -- that the Kronecker construction can't keep pace with expressivity as block size grows, and that joint multi-layer optimization is still unstable -- are really the next open questions: is there a different structured factorization that keeps similar parameter efficiency at blocks larger than 32, and does this block-local Kronecker idea transfer to a target with a completely different outlier geometry, like a language model's KV cache? As image and video diffusion transformers scale toward real deployment sizes like SANA and FLUX, the search for a quantization transform that is both learnable and hardware-friendly looks like it is just getting started.
회전 기반(rotation-based) 양자화는 LLM 세계에서 SmoothQuant의 per-channel scaling으로 시작해, QuaRot·QuIP#의 고정 Hadamard 변환을 거쳐 SpinQuant·FlatQuant의 완전히 학습된 dense 회전으로 이어지며 표현력을 계속 키워 왔다. 이 계열의 공통 전제는 변환을 인접 가중치에 오프라인으로 접어 넣을 수 있다는 것이었고, 그 덕분에 온라인 비용을 사실상 0으로 만들 수 있었다.
diffusion transformer로 넘어오면 이 전제가 무너진다 -- AdaLN 정규화가 블록 사이에 끼어 있어 변환을 접어 넣을 수 없고, 그래서 SVDQuant·LoRaQ 같은 DiT 전용 접근들은 대신 가중치를 저랭크로 쪼개는 쪽으로 우회했다. KroQuant의 전환은 이 우회로를 받아들이는 대신, "학습 가능하면서도 온라인에서 저렴한" 변환이라는 원래 목표로 되돌아가되, dense 행렬 대신 Kronecker 구조로 그 목표를 달성한다는 데 있다 -- 표현력과 비용을 별개의 축이 아니라 다섯 개의 작은 2×2 다이얼로 동시에 사는 것이다.
이 논문이 스스로 남긴 한계 -- Kronecker 구조가 블록이 커질수록 표현력을 따라잡지 못한다는 것, 층 간 결합 최적화가 아직 불안정하다는 것 -- 은 곧 다음 질문이기도 하다: 32보다 큰 블록에서도 비슷한 파라미터 효율을 유지하는 다른 구조적 인수분해가 있을까, 그리고 언어모델의 KV 캐시처럼 전혀 다른 이상치 기하를 가진 대상에도 이 블록-로컬 Kronecker 아이디어가 옮겨갈 수 있을까. 이미지·비디오 diffusion transformer가 SANA·FLUX 같은 실제 배포 규모로 커지는 지금, 학습 가능하면서도 하드웨어 친화적인 양자화 변환을 찾는 이 흐름은 이제 막 시작된 것으로 보인다.
Sparks — where one could take this 아이디어의 씨앗
-
One could test whether the expressivity ceiling the paper names as a limitation -- the Kronecker construction's parameter count growing only as 3*log2(n), too slow to keep pace at block sizes above 32 -- can be relaxed with a different structured factorization, such as a deeper Kronecker chain or a hierarchical block decomposition. 논문이 한계로 직접 지목한 지점 -- Kronecker 구조가 3log₂(n) 파라미터로만 늘어나 블록이 32보다 커지면 표현력이 부족해진다는 것 -- 을 다른 구조적 인수분해(예: 더 깊은 Kronecker 체인이나 계층적 블록 분할)로 완화할 수 있는지 시험해볼 수 있다.
-
One could revisit the joint multi-layer optimization the paper reports as unstable, trying a parametrization other than the unit-determinant LU form, to see whether the loss relative to layer-wise optimization can actually be recovered. 논문이 불안정하다고 밝힌 층 간 결합 최적화(joint multi-layer optimization)를 단위-행렬식 LU 매개변수화가 아닌 다른 매개변수화로 다시 시도해, 레이어별 최적화의 손실을 실제로 회복할 수 있는지 확인해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
Reads as a clean design-space paper: rather than proposing a new quantization objective, it identifies a genuine structural gap (learnable-but-cheap block transforms) between two well-known extremes (fixed Hadamard, dense learned rotation) and fills it with a specific, well-motivated parametrization (Kronecker product of unit-determinant 2x2 factors) that composes cleanly with an existing orthogonal technique (LoRaQ’s low-rank weight correction). The two custom Triton kernels and real MI350 latency numbers make the efficiency claim concrete rather than asymptotic.
Linked reviews
KronQ: LLM Quantization via Kronecker-Factored Hessian
KronQ extends GPTQ-style post-training quantization with the output-side gradient covariance (Kronecker-factored Hessian), fixing a blind spot where prior compensation-based PTQ methods treat all output channels as equally important; on 2-bit LLaMA-3-70B it reaches 7.93 perplexity where GPTQ/GPTAQ diverge above 2000.
quantizationGaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
GaugeQuant learns the quantization-optimal rotation basis during training itself -- via a LogSumExp outlier-suppression proxy loss with a stop-gradient, constrained to SO(d) by a Cayley transform -- rather than searching for it post-hoc on a frozen model with calibration data, cutting LLaMA-2 7B W4A16 perplexity degradation by 51% with no calibration set and negligible training overhead.
hybrid-architectureSANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
SANA-Video 2.0 combines 75% gated linear attention with 25% periodic softmax anchors -- measured as the quality-efficiency Pareto knee via from-scratch proxy sweeps, not assumed from language-model literature -- plus Block Attention Residuals routing completed-block summaries into later linear layers, reaching VBench 84.30 in 13.2s at 480p on one H100 and a 3.2x DiT-forward speedup over full-softmax at 720p/60s that widens with duration.