Junwon Lee

Project · Paper Visualization

Papers, drawn until they are obvious 당연해질 때까지 그려본 논문들

Reading a paper twice is not the same as understanding it. These pages are built in tracks, and each track starts at the bottom: what the object physically is, what the hardware does with it, and only then the papers — read through the same 13 questions, answered in one sentence each, with a picture wherever a sentence was not enough. The aim is that by the last page of a track, the method reads as the only move that was left. 논문을 두 번 읽는 것과 이해하는 것은 다르다. 이 페이지들은 트랙으로 묶여 있고 각 트랙은 맨 밑에서 시작한다. 대상이 물리적으로 무엇인지, 하드웨어가 그것을 어떻게 다루는지를 먼저 보고 나서야 논문으로 간다. 논문은 전부 같은 13개 질문으로 읽고 각 질문에 한 문장으로 답한 뒤, 문장으로 부족한 자리마다 그림을 넣었다. 트랙의 마지막 페이지에 도착했을 때 그 method가 남아 있던 유일한 수로 읽히는 것이 목표다.

Compression Compression — 압축

Make the same model smaller and faster without changing what it answers. 같은 모델을 답을 바꾸지 않은 채로 작고 빠르게 만드는 계열.

Foundation 2026-08

Quantization, from the bits up Quantization, 비트부터

What a weight is in memory, and what quantizing actually does to it

The 16 bits of one bf16 weight, the grid its value gets snapped onto, what one outlier costs every neighbour, how 4-bit weights are packed into int32, a measured activation tensor raised into three axes — and the chain of physical facts that forces GPTQ and AWQ into existence. bf16 weight 하나의 16비트, 그 값이 붙잡히는 격자, outlier 하나가 이웃 전부에게 물리는 세금, 4-bit weight가 int32에 packing되는 방식, 세 개의 축으로 세운 실측 activation tensor — 그리고 GPTQ와 AWQ를 강제로 만들어내는 물리적 사실의 사슬.

  • flip a bit, watch the value 비트를 뒤집으면 값이 어떻게 되는지
  • the outlier tax outlier 세금
  • the model, matrix by matrix 행렬 단위로 본 모델
  • a real activation tensor in 3-D 3차원으로 본 실제 activation tensor
  • the chain to GPTQ GPTQ까지 가는 사슬
Open열기
ICLR 2023 2026-08

GPTQ GPTQ

Accurate Post-Training Quantization for Generative Pre-trained Transformers

Error compensation taught on two weights before anything else, the Hessian followed from its derivation into the per-column arithmetic, and quantization drawn as a lattice. 오차 보상을 다른 무엇보다 먼저 weight 두 개로 가르치고, Hessian을 유도에서 열 단위 산술까지 따라가며, 양자화를 격자 그림으로.

  • compensation on two weights weight 두 개로 배우는 보상
  • one cycle of real arithmetic 실제 산술로 보는 한 사이클
  • the OBQ column stepper OBQ 열 스테퍼
Open열기 arXiv
ICML 2023 2026-08

SmoothQuant SmoothQuant

Accurate and Efficient Post-Training Quantization for Large Language Models

How many of INT8's 256 levels a typical channel actually gets, why the obvious fix is unexpressible rather than slow, and one knob that moves the difficulty from the activations into the weights — drawn on both surfaces at once. INT8의 256레벨 중 보통 채널이 실제로 받는 몫, 뻔한 해법이 왜 느린 게 아니라 표현이 안 되는지, 그리고 difficulty를 activation에서 weight로 옮기는 손잡이 하나 — 두 표면 위에서 동시에.

  • where the 256 levels go 256레벨이 어디로 가는가
  • the identity, on real channels 실제 채널 위의 항등식
  • watch the difficulty move difficulty가 옮겨가는 것
Open열기 arXiv
MLSys 2024 2026-08

AWQ AWQ

Activation-aware Weight Quantization for On-Device LLM Compression

The paper's own selection ablation, re-run on a real layer: protect 1% of channels by activation magnitude and the error drops, protect them by weight norm and nothing happens. Plus the group step Δ moving as you scale one channel. 논문의 선택 ablation을 실제 레이어에서 다시 돌렸다. activation 크기로 고른 1%를 보호하면 오차가 떨어지고, weight norm으로 고르면 아무 일도 없다. 채널 하나를 키울 때 그룹 간격 Δ가 움직이는 것까지.

  • which channels you protect 어느 채널을 보호하는가
  • the two rankings 두 개의 순위
  • one group, one scaled channel 그룹 하나, 스케일된 채널 하나
Open열기 arXiv
NeurIPS 2024 2026-08

QuaRot QuaRot

Outlier-Free 4-Bit Inference in Rotated LLMs

Where the per-channel scale runs out of travel, and what happens when the transform is allowed to be any orthogonal matrix instead. The same hidden state before and after one Hadamard, with the norm unchanged to the last digit. per-channel scale이 어디서 끝까지 돌아가는지, 그리고 변환을 임의의 orthogonal 행렬로 열어주면 무슨 일이 벌어지는지. 같은 hidden state를 Hadamard 전후로 그렸고 norm은 마지막 자리까지 그대로다.

  • the knob at 8 bits and at 4 8비트와 4비트에서의 같은 손잡이
  • one Hadamard on a real tensor 실제 tensor에 Hadamard 한 번
  • checking the invariance invariance 확인
Open열기 arXiv
ICLR 2025 2026-08

SpinQuant SpinQuant

LLM Quantization with Learned Rotations

An invariance is a parameter you have not chosen yet. Sixty-four rotations of one real layer drawn as a distribution, and a Cayley-optimised rotation that finishes below all of them without ever leaving the manifold. invariance는 아직 고르지 않은 파라미터다. 실제 레이어 하나를 예순네 번 회전시켜 분포로 그렸고, manifold를 벗어나지 않은 채 그 전부보다 아래에서 끝나는 Cayley 최적화 회전까지.

  • sixty-four rotations 예순네 번의 회전
  • tailedness before and after 전과 후의 꼬리 두께
  • learning one rotation 회전 하나를 학습한다
Open열기 arXiv

Next in this track — Sub-4-bit and the KV cache — once the outliers are gone, what is left is ordinary rounding error. 이 트랙의 다음 — 4비트 미만과 KV cache — outlier가 사라지고 나면 남는 것은 평범한 반올림 오차다.

Architecture & systems Architecture & systems — 구조와 시스템

Same arithmetic, rearranged around what the hardware is actually good at. 산술은 그대로 두고, 하드웨어가 실제로 잘하는 것에 맞춰 배치를 바꾸는 계열.

NeurIPS 2022 2026-08

FlashAttention FlashAttention

Fast and Memory-Efficient Exact Attention with IO-Awareness

Why the GPU is a memory machine, why softmax looked untileable, and the online rescaling that rebuilds the exact answer one block at a time — watched to 1e-16. GPU가 왜 메모리 기계인지, softmax가 왜 tiling 불가능해 보였는지, 그리고 정확한 답을 블록 하나씩 다시 세우는 online rescaling — 오차 1e-16까지 직접 확인.

  • online softmax, step by step 한 스텝씩 보는 online softmax
  • every trip to HBM HBM으로 가는 모든 왕복
  • what is in SRAM right now 지금 SRAM에 있는 것
Open열기 arXiv

Next in this track — PagedAttention, then GQA / MLA — the KV cache as the thing being managed. 이 트랙의 다음 — PagedAttention, 이어서 GQA / MLA — 관리 대상으로서의 KV cache.

Decoding Decoding — 디코딩

Same model, fewer sequential forward passes to get the same tokens out. 같은 모델에서 같은 토큰을 꺼내되, 순차 forward pass 수를 줄이는 계열.

ICML 2026 2026-08

DFlash DFlash

Block Diffusion for Flash Speculative Decoding

Why one forward pass yields one token, what τ actually buys inside a fixed 300 ms, and the accept/reject rule played out on a real recorded cycle. forward pass 한 번이 왜 토큰 하나인지, 고정된 300 ms 안에서 τ가 실제로 무엇을 사오는지, 그리고 수락·거부 규칙을 실제로 기록된 사이클 위에서.

  • τ as tokens per 300 ms 300 ms당 토큰으로 본 τ
  • accept/reject on real tokens 실제 토큰 위의 수락·거부
  • the cycle that feeds itself 자기 자신을 먹이는 사이클
Open열기 arXiv

Next in this track — A foundation page on the decode loop itself — where the milliseconds go, one token at a time. 이 트랙의 다음 — decode loop 자체를 다루는 기초 페이지 — 토큰 하나를 뽑는 동안 밀리초가 어디로 가는지.

Each page is self-contained and runs entirely in your browser — the interactive figures need no server. Numbers in the figures are either read from the paper's own tables (marked paper) or measured here on a single NVIDIA A100 and read out of a stored artifact (marked probe); foundation pages read real tensor shapes straight from model files. 각 페이지는 자기완결형이고 전부 브라우저 안에서 돌아간다. 인터랙티브 그림에 서버는 필요 없다. 그림 속 숫자는 논문의 표에서 가져왔거나(paper 표시) A100 한 장에서 실측해 저장한 artifact에서 읽어온 것이다(probe 표시). 기초 페이지의 숫자는 모델 파일에서 직접 읽은 실제 tensor shape다.