Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models (SparsePR)

Background Video diffusion transformers (DiTs) pay a quadratic attention cost in sequence length as frame count grows, making attention the dominant inference bottleneck. Training-free block-sparse attention is the standard way to cut this cost without retraining: queries are grouped into blocks, and only some K/V blocks are computed against while the rest are skipped.

배경 비디오 확산 트랜스포머(DiT)는 프레임을 늘릴수록 어텐션 연산이 시퀀스 길이의 제곱으로 늘어나 추론 비용의 병목이 된다. 학습 없이(training-free) 이 비용을 줄이는 대표적 방법이 블록-스파스 어텐션으로, 쿼리를 블록 단위로 묶어 일부 K/V 블록과의 상호작용만 계산하고 나머지는 건너뛴다.

Problem The problem lives in the routing rule itself. When queries sharing a block route actually attend to different keys (their supports do not overlap), executing that block as a single shared route is already lossy by construction. The authors name this O1: per-query sparsity patterns alone do not guarantee an executable shared route.

문제 문제는 "어떤 블록을 건너뛸지"를 정하는 라우팅 규칙 자체에 있다. 같은 블록으로 묶인 쿼리들이 실제로는 서로 다른 키에 주의를 기울이는 경우(지지집합이 겹치지 않는 경우), 그 블록을 "공유 경로"로 실행하는 것 자체가 이미 손실을 내포한다. 저자들은 이를 O1(쿼리별 희소성 패턴만으로는 실행 가능한 공유 라우팅이 보장되지 않음)로 명명한다.

Prior limitations Prior methods typically use retained attention mass as a proxy for approximation quality. The authors show this proxy is fundamentally broken via O2 (identical retained mass can still produce very different output error) and O3 (partition geometry changes how predictable the remaining residual is, even at fixed retained mass).

기존 한계 기존 방법들은 대개 "유지된 어텐션 질량(retained attention mass)"을 얼마나 보존했는지를 근사 품질의 대리 지표로 쓴다. 그러나 저자들은 O2(유지된 질량이 같아도 실제 출력 오차는 크게 다를 수 있음)와 O3(같은 유지 질량이라도 파티션 기하에 따라 남은 잔차의 예측 가능성이 달라짐)를 보여, 질량 기반 근사가 근본적으로 잘못된 대리 지표임을 지적한다.

Goal The goal is two-fold: (1) make queries routed to the same block actually share overlapping support, and (2) directly estimate and correct the output error left by skipped interactions -- working in output space rather than trusting a mass-based proxy.

목표 목표는 두 가지다: (1) 같은 블록으로 라우팅된 쿼리들이 실제로 겹치는 지지집합을 갖도록 만드는 것, (2) 스킵된 상호작용이 남기는 출력 오차를 직접 추정해 보정하는 것 -- 즉 근사 대리 지표가 아니라 실제 출력 공간에서 오차를 다루는 것.

Method SparsePR has two parts. Response-Coupled Partitioning routes queries using K/V *response* geometry rather than raw query-key similarity -- sampled queries' key responses form paired K/V groups, whose centroids induce query-response coordinates so that only blocks with genuinely overlapping support get shared routing. Probe-Fitted Residual Reconstruction computes a small number of query rows exactly (densely) per block as 『probes』, then fits a weighted-ridge affine correction within the output subspace spanned by those probes' residuals, applying it to correct the rest of the sparse output.

방법 SparsePR은 두 부분으로 구성된다. Response-Coupled Partitioning은 원시 쿼리-키 유사도가 아니라 K/V의 "응답(response)" 기하로 파티션을 정한다 -- 샘플링된 쿼리의 키 응답들이 짝지어진 K/V 그룹을 이루고, 그 중심(centroid)이 쿼리-응답 좌표를 유도해 실제로 겹치는 지지집합을 갖는 블록만 공유 라우팅되도록 한다. Probe-Fitted Residual Reconstruction은 블록마다 소수의 쿼리 행을 정확(dense)하게 계산해 "프로브"로 쓰고, 이 프로브들의 잔차가 걸쳐 있는 출력 부분공간 안에서 가중 리지(ridge) 아핀 보정을 적합시켜 나머지 스파스 출력에 적용한다.

Key idea The core insight is a separation of concerns: route by response geometry, correct error in output space -- rather than folding both into one heuristic (like retained mass). Geometric routing targets O1; output-space correction targets O2/O3. It is like treating two distinct failure modes (misrouted paths vs. residual approximation error) with two distinct fixes instead of one blunt instrument.

핵심 아이디어 핵심 통찰은 "라우팅은 응답 기하로, 오차 보정은 출력 공간에서"라는 분리다. 파티셔닝과 오차 보정을 하나의 휴리스틱(예: 유지 질량)으로 뭉뚱그리지 않고, O1을 겨냥한 기하학적 라우팅과 O2/O3를 겨냥한 출력-공간 보정을 별개의 메커니즘으로 각각 설계했다 -- 마치 진단 두 가지(경로가 안 맞는 문제, 근사 오차가 남는 문제)에 각각 다른 처방을 쓰는 것과 같다.

Validation Validated on four heterogeneous models: HunyuanVideo-13B (text-to-video), Wan2.2-I2V-A14B (image-to-video), and Cosmos-Predict2.5-14B / Cosmos3-Nano-16B (physical world models, image-to-world). The paper reports both dense-reference fidelity (PSNR/SSIM/LPIPS) and downstream generation quality (VBench/VBench++/PBench), avoiding the trap where a single fidelity metric collapses ranking near the dense baseline (a pitfall this site has covered in another review).

검증 HunyuanVideo-13B(텍스트→비디오), Wan2.2-I2V-A14B(이미지→비디오), Cosmos-Predict2.5-14B·Cosmos3-Nano-16B(물리 월드모델, 이미지→월드) 네 가지 이질적인 모델에서 검증했다. Dense 출력 대비 충실도(PSNR/SSIM/LPIPS)와 다운스트림 생성 품질(VBench/VBench++/PBench)을 모두 보고해, 충실도 지표 하나만으로는 순위가 무너질 수 있다는 함정(이 사이트의 다른 리뷰가 다룬 문제)을 피했다.

Results At roughly 22-26% retained attention density, SparsePR beats four baselines (SpargeAttn, SVG2, SVOO, SVG-EAR) on PSNR/SSIM/LPIPS on most models, with end-to-end speedups of 1.51-2.61x on content-generation models and 1.03-1.51x on the physical-world models. On Cosmos-Predict2.5, PBench quality (77.75) is essentially indistinguishable from dense (77.76).

결과 약 22-26%의 어텐션 밀도만 유지하면서 SpargeAttn·SVG2·SVOO·SVG-EAR 네 베이스라인 대비 대부분의 모델에서 더 나은 PSNR/SSIM/LPIPS를 기록했고, 종단간(E2E) 속도는 콘텐츠 생성 모델에서 1.51-2.61배, 물리 월드모델에서 1.03-1.51배였다. Cosmos-Predict2.5에서는 PBench 품질 점수(77.75)가 Dense(77.76)와 사실상 동일했다.

Comparison Baselines generally rely on retained mass or plain top-k routing; SparsePR achieves better fidelity at equal or lower density. It does not win on every metric everywhere, though -- SVG-EAR leads on some PSNR/SSIM numbers on Cosmos3-Nano (SparsePR still wins there on density, PFLOPs, and speed).

비교 베이스라인들은 대개 유지 질량이나 단순 top-k 라우팅에 의존하는데, SparsePR은 같은 또는 더 낮은 밀도에서 더 나은 충실도를 달성한다. 다만 모든 지표에서 항상 이기는 것은 아니다 -- Cosmos3-Nano에서는 SVG-EAR가 PSNR/SSIM 일부에서 앞선다 (SparsePR은 대신 밀도·PFLOPs·속도에서 우위).

Significance From an efficient-AI lens, the real contribution here is the diagnostic frame more than any single number: the three-way split of 『support overlap != retained mass != output error』 is a reusable vocabulary that forces any future block-sparse attention method to state what its approximation is actually a proxy for. The same proxy-selection problem is isomorphic to what KV-cache compression/quantization work has to answer -- what to keep, and by what score.

의의 효율적 AI 관점에서 이 논문의 가치는 특정 숫자보다 진단 프레임 자체에 있다: "지지집합 겹침 ≠ 유지 질량 ≠ 출력 오차"라는 3단 분해는, 앞으로 나올 어떤 블록-스파스 어텐션 방법이든 자신의 근사가 실제로 무엇을 대리(proxy)하고 있는지 명시하도록 요구하는 진단 어휘가 된다. KV-cache 압축·양자화 연구에서도 "무엇을 남길지"의 대리 지표 선택 문제는 동형(isomorphic)이다.

Limitations On the physical world models (Cosmos family), dense per-step compute is already lower, so speedup headroom narrows (1.03-1.51x). The method does not win uniformly across every metric and model (see Cosmos3-Nano PSNR/SSIM above). This is a 3-author, single-institution (Texas A&M) paper with no large-scale industrial deployment reported. Compatibility with step-caching methods (the TeaCache family) is untested (reviewer judgment).

한계 물리 월드모델(Cosmos 계열)에서는 dense 단계당 연산량이 이미 작아 속도 향상 폭이 좁다(1.03-1.51배). 모든 모델·지표에서 일관되게 승리하지는 않으며(Cosmos3-Nano의 PSNR/SSIM), 텍사스 A&M 단일 기관의 3인 저자 논문으로 대규모 산업 배포 사례는 없다. 스텝-캐싱(TeaCache류)과의 결합 가능성은 검증되지 않았다 (리뷰어 판단).

Future work The paper has a dedicated ablations section (5.2) and cross-model density-sensitivity appendix (D), which this review confirmed exist but did not read past the section headers. Whether probe selection can be cached or reused across denoising steps is not discussed in the paper (reviewer judgment).

향후 과제 논문은 어블레이션(5.2절)과 모델 간 밀도 민감도(부록 D)를 별도로 다루지만, 이번 리뷰에서는 절 제목까지만 확인했다. 프로브 선택을 디노이징 스텝 사이에서 재사용하거나 캐싱할 수 있는지는 논문에서 다루지 않는다 (리뷰어 판단).

Released resources A project page is public (pardistaghavi.github.io/SparsePR-website), but no code repository link was found as of this check. No public code release verified.

자원 공개 프로젝트 페이지(pardistaghavi.github.io/SparsePR-website)가 공개되어 있으나, 코드 저장소 링크는 이번 확인 시점에는 발견되지 않았다. 공개 코드 저장소는 확인 안 됨.