ExTernD: Expanded-Rank Ternary Decomposition — Ternary LLM PTQ with Accuracy Approaching Any Quantization Level

Background Ternary weight quantization has a lineage separate from mainstream PTQ. Ternary Weight Networks and Trained Ternary Quantization established -1/0/+1 weights for vision models a decade ago via training, and BitNet / BitNet b1.58 showed a 1.58-bit LLM can be trained from scratch to match full-precision quality. Applying ternary weights post-training to an existing checkpoint (no retraining) is a newer, harder problem, since ternary values carry at most log2(3) ≈ 1.58 bits per weight. Mainstream PTQ (GPTQ, AWQ, llama.cpp's k-quants) instead stays at a small menu of discrete points — 3, 4, or 5 bits per weight — never dropping to ternary.

배경 삼진(ternary) 가중치 양자화는 주류 PTQ와는 별개의 계보를 갖는다. Ternary Weight Networks와 Trained Ternary Quantization이 10년 전 비전 모델에서 학습을 통해 -1/0/+1 가중치를 정립했고, BitNet / BitNet b1.58은 1.58-bit LLM을 처음부터 학습시켜 완전정밀도에 필적하는 성능을 낼 수 있음을 보였다. 이미 존재하는 체크포인트에 재학습 없이 삼진 가중치를 사후 적용하는 것은 더 새롭고 어려운 문제인데, 삼진 값은 가중치당 최대 log2(3) ≈ 1.58 bit밖에 담지 못하기 때문이다. 반면 주류 PTQ(GPTQ, AWQ, llama.cpp의 k-quants)는 3/4/5-bit라는 소수의 이산적 지점에 머무르며 삼진까지 내려가지 않는다.

Problem A single ternary plane cannot represent a dense full-precision weight matrix well enough: PT2-LLM's pure single-plane projection preserves only ~78-81% of a matrix's energy, and the paper notes reasoning collapses under this much error. Existing multi-plane approaches like PTQTP fix this only partially by stacking a small, fixed number of planes (e.g. K=2), which raises the ceiling but does not remove it. No fixed-plane-count ternary format can be pushed arbitrarily close to bf16 accuracy, however important the model.

문제 단일 삼진 평면(plane)은 조밀한 완전정밀도 가중치 행렬을 충분히 표현하지 못한다 — PT2-LLM의 순수 단일 평면 투영은 행렬 에너지의 ~78-81%만 보존하며, 논문은 이 정도 오차에서 추론 능력이 붕괴한다고 지적한다. PTQTP 같은 기존 다중 평면 방법은 소수의 고정된 평면 개수(예: K=2)를 쌓아 이를 부분적으로만 해결한다 — 천장을 높이긴 하지만 없애지는 못한다. 즉 어떤 모델이든 고정된 평면 개수의 삼진 포맷으로는 bf16 정확도에 임의로 가깝게 접근할 수 없다.

Prior limitations PT2-LLM (a single ternary plane with row/block-wise scales via iterative ternary fitting) caps at roughly 78-81% energy preserved — a hard bottleneck the paper confirms directly. PTQTP (a dense superposition of K ternary planes) does better but is still a fixed capacity budget: there is nothing structurally special about K=2 or any other fixed plane count, so accuracy plateaus once that budget is spent. Mainstream calibrated PTQ (GPTQ, AWQ, k-quants) is not ternary at all and sits at fixed 3/4/5-bit points, so none of these three lines offers a continuous accuracy/cost dial.

기존 한계 PT2-LLM(반복적 삼진 피팅으로 얻은 행·블록별 스케일을 갖는 단일 삼진 평면)은 에너지 보존율이 대략 78-81%에서 막힌다 — 논문이 직접 측정으로 확인한 단단한 병목이다. PTQTP(K개 삼진 평면의 조밀한 중첩)는 이보다 낫지만 여전히 고정된 용량 예산이다 — K=2든 다른 고정 평면 수든 구조적으로 특별할 이유가 없고, 예산을 다 쓰면 정확도는 정체된다. 주류의 보정(calibrated) PTQ(GPTQ, AWQ, k-quants)는 애초에 삼진이 아니며 3/4/5-bit라는 고정 지점에 머문다 — 이 세 계보 중 어느 것도 연속적인 정확도/비용 다이얼을 제공하지 않는다.

Goal The goal is a ternary weight decomposition whose achievable accuracy is not capped by any fixed plane count — one where a target accuracy up to bf16 can be hit by construction, and memory/compute cost trades off continuously rather than jumping between a handful of preset bit-widths. This reframes the design question from "how many ternary planes" (a fixed choice, like a switch with a few preset positions) to "how much correction capacity" (a continuous dial, like a dimmer switch) that can be turned up until the desired accuracy is reached.

목표 목표는 고정된 평면 개수에 정확도가 갇히지 않는 삼진 가중치 분해다 — bf16까지의 목표 정확도를 구조적으로(설계상) 달성할 수 있고, 메모리·연산 비용이 몇 개의 프리셋 비트폭 사이를 뛰어넘는 대신 연속적으로 trade-off되는 방식이다. 이는 설계 질문을 "삼진 평면을 몇 장 쓸 것인가"(프리셋 몇 개짜리 스위치처럼 고정된 선택)에서 "보정 용량을 얼마나 줄 것인가"(원하는 정확도에 도달할 때까지 돌릴 수 있는 디머 스위치 같은 연속 다이얼)로 재구성한다.

Method ExTernD factors each weight matrix A as A ≈ B·diag(D)·C, with both B and C constrained to ternary {-1,0,+1} entries and D a real-valued per-component scale; the inner rank k = μ·min(m,n) is deliberately expanded past full rank (μ>1) rather than capped at it. Components are extracted greedily via alternating least squares: ternarize against the current residual, solve the closed-form optimal scale, then deflate the residual before fitting the next component — sequential deflation is essential, since solving all components jointly beyond full rank is underdetermined and collapses to 0-50% energy in the paper's own ablation (versus 96-100% with deflation). Two extensions make it practical: a batched block-ALS GPU algorithm with a decorrelated least-squares target for ~16x speedup, and an importance-weighted variant using llama.cpp imatrix statistics with a corrected V-step. Two knobs then act like independent controls on a mixing board: μ (the rank multiplier) sets how many correction passes to add, while a sparsity threshold τ sets how much of each pass to keep nonzero (e.g. τ=0.7 → ~41% zeros, τ=2.0 → ~87% zeros) — turning both together is what lets a target accuracy be hit exactly.

방법 ExTernD는 각 가중치 행렬 A를 A ≈ B·diag(D)·C로 분해한다 — B, C는 모두 삼진 {-1,0,+1} 값으로 제약되고 D는 성분별 실수 스케일이다. 내부 랭크 k = μ·min(m,n)은 완전 랭크에서 멈추지 않고 그 너머로(μ>1) 의도적으로 확장된다. 성분들은 alternating least squares로 그리디하게 추출된다 — 현재 잔차(residual)에 대해 삼진화하고, 닫힌 형태의 최적 스케일을 풀고, 다음 성분을 맞추기 전에 잔차를 deflate한다. 이 순차적 deflation은 필수적인데, 완전 랭크 너머 모든 성분을 한꺼번에 푸는 것은 부적정(underdetermined) 문제가 되어 논문 자체 ablation에서 에너지가 0-50%로 무너지기 때문이다(deflation을 쓰면 96-100%). 실용성을 위한 두 확장이 있다: ~16배 속도 향상을 주는 상관관계 제거(decorrelated) 최소제곱 타깃 기반의 배치형 block-ALS GPU 알고리즘, 그리고 llama.cpp의 imatrix 통계와 보정된 V-step을 쓰는 중요도 가중 변형이다. 이후 두 손잡이가 믹싱 보드의 독립적인 컨트롤처럼 작동한다 — μ(랭크 배율)는 보정 패스를 몇 번 더할지를 정하고, sparsity 임계값 τ는 각 패스에서 몇 퍼센트를 0이 아닌 값으로 남길지를 정한다(예: τ=0.7 → 약 41% 0, τ=2.0 → 약 87% 0). 이 두 손잡이를 함께 돌리는 것이 목표 정확도를 정확히 맞출 수 있게 한다.

Key idea The core idea is that expanding rank only works through sequential deflation, not joint fitting — each new component is fit specifically to correct the residual error left by every previous one, and the paper proves (Appendix A) this residual decreases monotonically and can be driven below any ε>0 as μ grows. This is structurally a successive-approximation or Taylor-series-like scheme: just as each additional term in a Taylor expansion corrects the truncation error of the previous partial sum, each additional ternary rank-one component corrects exactly what the previous, coarser ternary approximation got wrong. Accuracy stops being a hard ceiling set by a fixed number of "digits" and becomes a dial set by how many correction terms one is willing to pay for.

핵심 아이디어 핵심 아이디어는 랭크 확장이 성분들을 한꺼번에(jointly) 맞출 때가 아니라 순차적 deflation을 통할 때만 작동한다는 것이다 — 새 성분은 그 이전 모든 성분이 남긴 잔차 오차를 교정하도록 특정적으로 맞춰지며, 논문은 (Appendix A에서) 이 잔차가 단조 감소하고 μ가 커짐에 따라 임의의 ε>0 아래로 내려갈 수 있음을 증명한다. 이는 구조적으로 successive approximation 혹은 테일러 급수와 유사하다 — 테일러 전개에서 항을 하나 더할 때마다 이전 부분합의 절단 오차를 교정하듯, 삼진 rank-1 성분을 하나 더할 때마다 이전의 더 거친 삼진 근사가 틀린 부분을 정확히 교정한다. 그 결과 정확도는 고정된 "자릿수" 개수로 정해지는 단단한 천장이 아니라, 몇 개의 교정항을 감수할지로 정해지는 다이얼이 된다.

Validation The method is tested on real weight matrices from three open models — Gemma-4-E2B, Qwen3.5-4B, and Granite-4.0-h-tiny — measuring energy preserved (1 minus relative Frobenius reconstruction error) per matrix while sweeping μ and τ. Beyond per-tensor sweeps, the authors run a full end-to-end conversion of all 200 linear layers of Qwen3.5-4B and evaluate wikitext-2 perplexity with the llama-perplexity harness (580 chunks), and compare tensor-level energy directly against the PT2-LLM and PTQTP baselines at matched bit budgets and matched effective bits-per-weight. Ablations isolate specific design choices: joint vs. sequential fitting (the 0-50% vs 96-100% energy gap), batched vs sequential ALS timing/accuracy, and the corrected vs naive importance-weighted V-step. All experiments — decompositions, sweeps, the full model conversion, and perplexity evaluation — ran on a single AMD MI50 32GB GPU.

검증 검증은 세 개의 오픈 모델 — Gemma-4-E2B, Qwen3.5-4B, Granite-4.0-h-tiny — 의 실제 가중치 행렬에서 이루어지며, μ와 τ를 스윕하면서 행렬별 에너지 보존율(1 − 상대 Frobenius 복원 오차)을 측정한다. 텐서 단위 스윕을 넘어, 저자들은 Qwen3.5-4B의 선형 레이어 200개 전체를 실제로 변환하는 end-to-end 실험을 수행하고 llama-perplexity 하네스(580 chunks)로 wikitext-2 perplexity를 평가하며, 텐서 레벨 에너지를 동일 비트 예산 및 동일 유효 bpw 기준으로 PT2-LLM·PTQTP 베이스라인과 직접 비교한다. Ablation은 개별 설계 선택을 분리해서 검증한다 — joint fitting vs 순차 fitting(에너지 0-50% vs 96-100% 격차), batched ALS vs 순차 ALS의 속도/정확도, 그리고 보정된 vs naive 중요도 가중 V-step. 분해·스윕·전체 모델 변환·perplexity 평가를 포함한 모든 실험은 단일 AMD MI50 32GB GPU에서 실행됐다.

Results ExTernD matches Q4_K's per-matrix accuracy at 5.2-5.5 effective bits per weight (5.1-5.5 with importance weighting) on Gemma-4-E2B and Qwen3.5-4B tensors, versus Q4_K's fixed 4.5 bpw. A full Qwen3.5-4B conversion at μ=3 (~5.7 effective bpw) reaches 10.10 wikitext-2 perplexity against 9.78 for bf16 (+3.2%), completed in 19.9 minutes on one GPU. The batched block-ALS algorithm matches sequential-ALS energy within ±0.2 points while running ~16x faster (10.5s vs 170.9s on a six-matrix suite); refinement sweeps add roughly +0.4 energy points and a 4-8% rank reduction, and importance weighting adds a further ~4% reduction, narrowing the gap to Q4_K from ~22% to ~17% overall.

결과 ExTernD는 Gemma-4-E2B와 Qwen3.5-4B 텐서에서 Q4_K와 동일한 행렬별 정확도를 유효 5.2-5.5 bpw(중요도 가중 시 5.1-5.5 bpw)에서 달성한다 — Q4_K는 고정 4.5 bpw다. Qwen3.5-4B 전체를 μ=3(유효 ~5.7 bpw)로 변환하면 wikitext-2 perplexity 10.10을 기록하며, 이는 bf16의 9.78 대비 +3.2%이고 단일 GPU에서 19.9분 만에 완료된다. 배치형 block-ALS 알고리즘은 순차 ALS 대비 에너지 ±0.2포인트 이내로 일치하면서 약 16배 빠르다(6개 행렬 스위트에서 10.5초 vs 170.9초). Refinement sweep은 약 +0.4 에너지 포인트와 4-8%의 랭크 절감을 더하고, 중요도 가중은 추가로 약 4% 절감을 더해 Q4_K 대비 격차를 전체적으로 ~22%에서 ~17%로 좁힌다.

Comparison Against PT2-LLM's single ternary plane, the comparison confirms the hard ceiling directly: PT2-LLM preserves only ~78-81% energy regardless of budget. Against PTQTP's stacked planes, the relationship flips with budget: at low capacity (K=2, ~3.4 bpw) PTQTP beats ExTernD by 1.8-2.6 energy points, because direct dense superposition preserves structure better than a still rank-deficient (μ≈1.5) factorization, but at higher capacity (K=4, ~6.8 bpw) ExTernD edges ahead (99.72% vs 99.59%) while using ~57% sparsity versus PTQTP's ~34%. At matched effective bits-per-weight (6.68 bpw) the two reach essentially the same energy (~99.84% vs ~99.85%), but ExTernD gets there at nearly double the sparsity. Against mainstream calibrated PTQ (Q4_K/Q5_K), ExTernD's full-model conversion currently trails pure Q5_K perplexity by about 1.5 relative points at matched bits, and the paper is explicit that closing the remaining ~17-20% gap is unfinished work, not a claimed win.

비교 PT2-LLM의 단일 삼진 평면과 비교하면 단단한 천장이 직접 확인된다 — 예산과 무관하게 PT2-LLM은 에너지를 ~78-81%만 보존한다. PTQTP의 중첩 평면과 비교하면 관계가 예산에 따라 뒤집힌다 — 저용량(K=2, ~3.4 bpw)에서는 PTQTP가 ExTernD보다 에너지 1.8-2.6포인트 앞선다(조밀한 직접 중첩이 아직 랭크 부족(μ≈1.5)인 분해보다 구조를 더 잘 보존하기 때문). 반면 고용량(K=4, ~6.8 bpw)에서는 ExTernD가 PTQTP의 ~34% 대비 ~57% sparsity를 쓰면서도 근소하게 앞선다(99.72% vs 99.59%). 동일 유효 bpw(6.68 bpw)로 맞추면 둘의 에너지는 사실상 동일하지만(~99.84% vs ~99.85%), ExTernD는 거의 두 배 sparsity로 그 지점에 도달한다. 주류 보정 PTQ(Q4_K/Q5_K)와 비교하면, ExTernD의 전체 모델 변환은 동일 비트 기준 순수 Q5_K perplexity보다 상대적으로 약 1.5포인트 뒤처지며, 논문은 남은 ~17-20% 격차 해소가 아직 끝나지 않은 과제임을 명시한다.

Significance From a compression-theory standpoint, the significant contribution is the proof, not just the empirical result: the paper shows (Appendix A) that expanded-rank ternary factorization can be driven arbitrarily close to bf16 accuracy, which no fixed-plane-count ternary scheme (PT2-LLM, PTQTP, BitNet-style formats) can claim. That turns "ternary quantization" from a fixed format choice into a continuous point on an accuracy/cost curve, conceptually closer to how real-valued low-rank or rate-distortion compression behaves — useful for anyone designing automatic per-tensor bit-allocation search, since a smooth surface (attention needing less rank than MLP projections, per the paper's own measurements) is easier to search than a menu of discrete bit-widths. Practically, it stays multiplication-free at inference (ternary add/subtract plus a per-component scale), which matters specifically for the multiplication-free LUT/ASIC hardware the paper targets, though the ~17-20% bit-efficiency gap to calibrated k-quants means it is not yet a drop-in win over mainstream PTQ (reviewer judgment).

의의 압축 이론 관점에서 중요한 기여는 경험적 결과가 아니라 증명 그 자체다 — 논문은 (Appendix A) 확장 랭크 삼진 분해가 bf16 정확도에 임의로 가깝게 도달할 수 있음을 보이는데, 이는 PT2-LLM·PTQTP·BitNet류의 어떤 고정 평면 개수 삼진 포맷도 주장할 수 없는 성질이다. 이는 "삼진 양자화"를 고정된 포맷 선택에서 정확도/비용 곡선 위의 연속적인 한 점으로 바꾸며, 개념적으로는 실수값 저랭크 압축이나 rate-distortion 압축이 작동하는 방식에 더 가깝다 — 텐서별 자동 비트 할당 탐색을 설계하는 사람에게 유용한데, 논문 자체 측정대로 attention이 MLP projection보다 적은 랭크를 필요로 하는 것처럼 매끄러운 표면이 이산적인 비트폭 메뉴보다 탐색하기 쉽기 때문이다. 실용적으로는 추론 시 곱셈이 전혀 없는(삼진 덧셈/뺄셈과 성분별 스케일만 필요한) 구조를 유지하는데, 이는 논문이 겨냥하는 곱셈-없는 LUT/ASIC 하드웨어에 특히 중요하다. 다만 보정된 k-quants 대비 남은 ~17-20%의 비트 효율 격차를 볼 때 아직 주류 PTQ를 즉시 대체할 수준은 아니다(리뷰어 판단).

Limitations The authors state their evaluation ran entirely on a single AMD MI50 32GB GPU and was not tested above 4B parameters or on matrices larger than ~9216×2560, so behavior at 30B-70B+ scale is unknown. Evaluation is perplexity-only — no downstream task benchmarks, no KLD, no long-context checks — and full end-to-end task-accuracy comparison against PTQTP/BitNet-style baselines is explicitly named as "the most valuable missing experiment," since only tensor-level energy was compared. The known efficiency levers (refinement sweeps, importance weighting, per-matrix μ allocation) were never stacked together in the full-model conversion, and no fused inference kernels exist yet. Beyond the authors' own list, this is also a solo-author, unreviewed preprint (posted July 2026) evaluated on only three small open models, so independent replication at larger scale is unconfirmed (reviewer judgment).

한계 저자들은 모든 평가가 단일 AMD MI50 32GB GPU에서 실행되었고 4B 이상 파라미터나 ~9216×2560보다 큰 행렬에서는 테스트하지 않았다고 명시한다 — 따라서 30B-70B+ 규모에서의 거동은 알려져 있지 않다. 평가는 perplexity만으로 이루어지며 다운스트림 태스크 벤치마크, KLD, 긴 문맥 점검이 없고, 텐서 레벨 에너지만 비교했기 때문에 PTQTP·BitNet류 베이스라인과의 완전한 end-to-end 태스크 정확도 비교가 "가장 가치 있는 미실행 실험"이라고 명시적으로 밝힌다. 알려진 효율화 레버(refinement sweep, 중요도 가중, 행렬별 μ 할당)는 전체 모델 변환에서 한 번도 함께 적용된 적이 없고, 최적화된 fused 추론 커널도 아직 없다. 저자들이 밝힌 목록을 넘어서, 이 논문은 단독 저자의 아직 동료 심사를 거치지 않은 preprint(2026년 7월 공개)이며 단 세 개의 소규모 오픈 모델에서만 평가되었으므로, 더 큰 규모에서의 독립적 재현 여부는 확인되지 않았다(리뷰어 판단).

Future work The authors flag QAT as "the obvious next lever": a short straight-through-estimator fine-tuning pass on top of an ExTernD initialization, which they hypothesize could converge faster than training a ternary model from scratch, since rank expansion hands the optimizer μ(m+n)/max(m,n) times as many trainable ternary entries per layer, already initialized near the target — though whether STE gradients behave through two chained ternary factors is untested. Beyond that, they name stacking the known levers together (sweeps, importance weighting, per-matrix rank allocation), building fused inference kernels, and scaling evaluation to 30B-70B+ models with full downstream benchmarks as open next steps.

향후 과제 저자들은 QAT를 "당연한 다음 레버"로 꼽는다 — ExTernD 초기화 위에서 짧은 straight-through-estimator 파인튜닝 패스를 도는 것인데, 랭크 확장이 옵티마이저에게 레이어당 μ(m+n)/max(m,n)배 더 많은, 이미 목표에 가깝게 초기화된 학습 가능한 삼진 파라미터를 쥐어주기 때문에 처음부터 삼진 모델을 학습시키는 것보다 더 빨리 수렴할 수 있다고 가설을 세운다 — 다만 STE gradient가 사슬처럼 연결된 두 삼진 인자를 통해 잘 작동하는지는 검증되지 않았다. 그 외에도 알려진 레버들(sweep, 중요도 가중, 행렬별 랭크 할당)을 함께 쌓는 것, fused 추론 커널을 만드는 것, 완전한 다운스트림 벤치마크와 함께 30B-70B+ 모델로 평가를 확장하는 것을 열린 다음 단계로 명시한다.

Released resources No public release verified — neither the arXiv listing nor the paper itself gives a code or project link. This is a solo-author (Chethan Reddy G.P.) early preprint posted in July 2026, and no reproducible public implementation currently appears to exist (reviewer judgment).

자원 공개 공개 링크 확인 안 됨 — arXiv 게재 정보와 논문 본문 어디에도 코드나 프로젝트 링크가 없다. 단독 저자(Chethan Reddy G.P.)의 2026년 7월 조기 preprint이며, 현재로서는 재현 가능한 공개 구현이 존재하지 않는 것으로 보인다(리뷰어 판단).