SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation

Background Video diffusion transformers generate video by denoising a latent sequence with full 3D softmax attention, but even after VAE compression a single high-resolution, multi-second clip already spans tens of thousands of latent tokens, making the O(N^2) attention cost punishing -- a matched full-softmax backbone runs roughly 2x slower than a comparable hybrid backbone on a single 1080p/121-frame clip even under best-kernel compilation. Linear attention offers a principled O(N) escape, and SANA-Video, this paper's own direct predecessor, already showed a pure-linear video DiT delivers large speedups at competitive quality, but a fixed-size state matrix cannot represent every token-token interaction, weakening precise spatiotemporal correspondence and fine detail.

배경 비디오 diffusion transformer는 잠재(latent) 시퀀스를 full 3D softmax attention으로 디노이징해 비디오를 생성하지만, VAE 압축을 거쳐도 고해상도·수 초 길이 클립 하나가 이미 수만 개의 latent 토큰에 달해 O(N^2) attention 비용이 가혹해진다 -- 1080p/121프레임 클립 하나에서 최적 커널로 컴파일한 상태에서도 full-softmax backbone은 비교 가능한 hybrid backbone 대비 약 2배의 지연을 보인다. Linear attention은 원리적인 O(N) 탈출구를 제공하며, 직접적 전작인 SANA-Video는 이미 순수 linear video DiT가 경쟁력 있는 품질에서 큰 속도 향상을 낸다는 것을 보였지만, 고정 크기 state 행렬은 모든 토큰-토큰 상호작용을 표현할 수 없어 정밀한 시공간 대응과 세부 묘사를 약화시킨다.

Problem A mostly-linear backbone needs a mechanism to recover the token-interaction expressiveness that its compressed, fixed-size state structurally cannot represent, without giving up the O(N) scaling that makes it worth using for long, high-resolution video in the first place. It also needs to do this while training the hybrid design from scratch rather than linearizing an already-pretrained softmax model, since post-hoc linearization risks losing capability the original model had.

문제 대부분 linear인 backbone은, 애초에 그것을 쓸 가치가 있게 만드는 O(N) 스케일링을 포기하지 않으면서도, 압축된 고정 크기 state가 구조적으로 표현할 수 없는 토큰 상호작용 표현력을 회복할 메커니즘이 필요하다. 게다가 사후 linearization이 원본 모델이 갖고 있던 능력을 잃을 위험이 있으므로, 이미 사전학습된 softmax 모델을 linearize하는 대신 hybrid 설계를 처음부터 학습시켜야 한다는 제약도 있다.

Prior limitations Recent large language models point at a fix -- interleaving a few periodic full-softmax anchor layers into an otherwise linear-attention stack (Qwen3-Next, Kimi-Linear) and routing information across depth with learned residual aggregation, Attention Residuals, adopted by Kimi K3 at trillion-parameter scale -- but this recipe had not been validated for bidirectional video diffusion, where attention is non-causal, sequences are visually structured rather than token-discrete, and ratio and design choices tuned for language may not transfer.

기존 한계 최근 대형 언어모델들은 하나의 해법을 가리킨다 -- 대부분 linear attention인 스택에 소수의 주기적인 full-softmax anchor 레이어를 끼워 넣고(Qwen3-Next, Kimi-Linear) 학습된 residual aggregation으로 깊이 방향 정보를 라우팅하는 것(Attention Residuals, Kimi K3가 조 단위 파라미터 규모로 채택)이다. 하지만 이 레시피는 attention이 non-causal이고 시퀀스가 토큰-이산적이라기보다 시각적으로 구조화돼 있으며 언어에 맞춰진 비율·설계 선택이 그대로 전이되지 않을 수 있는 양방향 비디오 diffusion에서는 아직 검증된 바 없었다.

Goal Build a hybrid-attention video diffusion transformer that keeps softmax-level expressiveness while retaining linear attention's O(N) scaling for long, high-resolution video, validated at production scale (5B and 14B parameters) and trained from scratch rather than linearized from a pretrained model.

목표 장문·고해상도 비디오에서 linear attention의 O(N) 스케일링을 유지하면서도 softmax 수준의 표현력을 지키는 hybrid-attention 비디오 diffusion transformer를, 사전학습 모델을 linearize하는 대신 처음부터 학습시켜 프로덕션 규모(5B·14B 파라미터)에서 검증하는 것이 목표다.

Method SANA-Video 2.0 interleaves gated bilinear linear attention, the O(N)-dominated majority of layers, with gated-softmax anchor layers at a fixed 3:1 ratio (25% softmax), selected via reduced-resolution proxy sweeps as the measured quality-efficiency Pareto knee rather than assumed from language-model literature. Block Attention Residuals (AttnRes) then route completed 8-layer-block feature summaries, via a single shared routing query per branch rather than one query per layer, into later linear layers, letting them reuse the softmax anchors' rank-refreshed representations instead of re-deriving that information from scratch.

방법 SANA-Video 2.0은 gated bilinear linear attention(O(N) 비중의 다수 레이어)과 gated-softmax anchor 레이어를 고정된 3:1 비율(25% softmax)로 교차 배치하며, 이 비율은 언어모델 문헌에서 가정한 것이 아니라 축소 해상도 proxy 스윕으로 측정한 품질-효율 Pareto 지점으로 선택했다. Block Attention Residuals(AttnRes)는 이어서 완료된 8레이어 블록의 feature summary를 -- 레이어마다 하나씩이 아니라 branch당 하나의 공유 routing query를 통해 -- 이후 linear 레이어로 라우팅해, 그 정보를 처음부터 다시 유도하는 대신 softmax anchor가 새로 갱신한 표현을 재사용하게 한다.

Key idea Periodic softmax anchors are a full-rank reset that most of the network structurally cannot produce on its own -- the linear layers compress everything through a bottleneck the size of the state matrix, so information gets progressively poorer without something to refresh it, much like repeatedly re-photocopying a photocopy: without an occasional fresh scan of the original document, quality degrades layer after layer. AttnRes is the other half of the idea: instead of every deep layer re-deriving the same refreshed information for itself, a shared router lets later layers directly reuse the most recent fresh scan a nearby anchor already produced, which the paper confirms empirically by showing routing mass concentrates on the most recently completed block.

핵심 아이디어 주기적 softmax anchor는 네트워크 대부분이 스스로는 만들어낼 수 없는 full-rank 리셋이다 -- linear 레이어들은 모든 것을 state 행렬 크기의 병목을 통해 압축하므로, 갱신해줄 무언가가 없으면 정보가 층을 거칠수록 점점 빈약해진다. 이는 마치 복사본을 계속 재복사하는 것과 같다 -- 원본을 다시 스캔하는 과정이 가끔이라도 없으면 품질은 층마다 계속 떨어진다. AttnRes는 아이디어의 나머지 절반이다 -- 모든 깊은 레이어가 각자 같은 갱신 정보를 다시 유도하는 대신, 공유 라우터가 이후 레이어들이 가까운 anchor가 이미 만들어낸 가장 최근의 새 스캔을 곧바로 재사용하게 하며, 논문은 라우팅 비중이 가장 최근에 완료된 블록에 집중된다는 실측으로 이를 확인한다.

Validation The attention-ratio and AttnRes design choices were selected via short, reduced-resolution (256p) proxy studies with fixed backbone dimensions, isolating each design axis one at a time. The final production models, 5B at 32 layers/width-2560 and 14B at 40 layers/width-4096, were then trained from scratch through a full multi-stage pipeline (pretraining, continual training, SFT, DPO, and ReFL) at up to 384xB200 scale, and evaluated on VBench alongside matched-shape latency profiling on H100 and GB200 hardware, plus a mechanistic effective-rank and routing-mass analysis toggling AttnRes on and off on the same production checkpoint.

검증 attention 비율과 AttnRes 설계 선택은 고정된 backbone 크기의 짧은 축소 해상도(256p) proxy 연구에서 각 설계 축을 한 번에 하나씩 분리해 선택했으며, 최종 프로덕션 모델(5B: 32레이어/width-2560, 14B: 40레이어/width-4096)은 이후 사전학습·continual training·SFT·DPO·ReFL을 포함한 전체 다단계 파이프라인을 거쳐 최대 384×B200 규모로 처음부터 학습됐다. 평가는 VBench와 H100·GB200에서의 매칭된 형상 지연 프로파일링, 그리고 동일 프로덕션 체크포인트에서 AttnRes를 켜고 끄며 비교하는 effective-rank·라우팅-비중 메커니즘 분석으로 이뤄졌다.

Results The 5B model reaches VBench Total 84.30 in 13.2s at 480p/81 frames on one H100, competitive with much larger full-softmax models (31.8x cheaper than the 14B Bernini-R at a matched shape/step/device for a 0.34-point Total gap). Its compiled DiT forward is 3.2x faster than a matched full-softmax baseline at 720p/60s, with the gap widening with duration. A production Sol-Engine deployment stack (kernel fusion, diffusion-step caching, sparse attention on the anchors) adds a further measured 3.58x end-to-end speedup, and MXFP4/MXFP8 QAT matches BF16 VBench quality while cutting static model storage by 68%.

결과 5B 모델은 480p/81프레임에서 H100 한 대로 13.2초 만에 VBench Total 84.30에 도달해, 훨씬 큰 full-softmax 모델들과 경쟁력을 갖는다(동일 형상·스텝·장비 기준으로 0.34점 차이의 Total로 14B Bernini-R보다 31.8배 저렴). 컴파일된 DiT forward는 720p/60초에서 매칭된 full-softmax baseline 대비 3.2배 빠르며 이 격차는 길이가 길어질수록 커진다. 프로덕션 Sol-Engine 배포 스택(커널 융합, diffusion-step 캐싱, anchor에 대한 sparse attention)은 추가로 실측 3.58배의 end-to-end 속도 향상을 더하며, MXFP4/MXFP8 QAT는 BF16 VBench 품질을 유지하면서 정적 모델 저장 용량을 68% 줄인다.

Comparison Against pure linear attention, the SANA-Video predecessor, and pure full-softmax attention, the hybrid ratio sweep finds both endpoints weaker than the intermediate hybrids in the reduced-resolution proxy search, with 25% softmax trailing the loss-minimizing 50% point by only about 1% while costing 1.29x less at 1080p/121f -- a deliberately chosen practical Pareto knee, not the minimum-loss point. Against the field's overwhelmingly full-3D-softmax open baselines (Wan 2.1/2.2, HunyuanVideo, CogVideoX), SANA-Video 2.0 reaches comparable or better VBench quality at a fraction of the latency, and against Bernini-R specifically, the one model that outscores it, the quality gap is small while the cost gap is enormous.

비교 순수 linear attention(전작 SANA-Video)과 순수 full-softmax attention 대비, 축소 해상도 proxy 탐색에서 두 극단 모두 중간 지점의 hybrid보다 약하며, 25% softmax는 손실을 최소화하는 50% 지점보다 약 1%만 뒤처지면서도 1080p/121f에서 1.29배 더 저렴하다 -- 의도적으로 선택한 실용적 Pareto 지점이지 손실 최소점이 아니다. 압도적으로 full 3D softmax인 기존 오픈 baseline(Wan 2.1/2.2, HunyuanVideo, CogVideoX) 대비로는 훨씬 적은 지연으로 comparable하거나 더 나은 VBench 품질에 도달하며, 유일하게 더 높은 점수를 받는 Bernini-R과 비교해도 품질 격차는 작은 반면 비용 격차는 막대하다.

Significance It is a concrete, production-validated existence proof that a mostly-linear video diffusion transformer, trained from scratch rather than distilled from a softmax teacher, can match full-attention quality while inheriting linear attention's favorable duration scaling -- directly relevant to any workload where video length, not just resolution, is the binding constraint. The mechanistic validation, measured effective-rank recovery and routing-mass concentration on recently completed blocks rather than just an aggregate quality number, gives the architectural story real evidence rather than a plausible-sounding motivation.

의의 사전학습된 softmax teacher에서 distill하지 않고 처음부터 학습된, 대부분 linear인 비디오 diffusion transformer가 full-attention 품질을 맞추면서도 linear attention이 갖는 유리한 길이 스케일링을 물려받을 수 있음을 프로덕션 규모에서 검증한 구체적 존재 증명이다 -- 해상도뿐 아니라 영상 길이 자체가 제약이 되는 어떤 워크로드에도 직접 관련이 있다. 집계된 품질 수치뿐 아니라 실측한 effective-rank 회복과 최근 완료 블록으로의 라우팅-비중 집중이라는 메커니즘적 검증을 함께 제시해, 아키텍처 서사에 그럴듯한 동기 부여를 넘어선 실제 증거를 부여한다.

Limitations The paper's own Conclusion states that architecture selection relies on short, reduced-resolution proxy studies rather than full production-scale ablations, and that the longest-duration results reported are tensor-shape latency profiles rather than genuinely trained long-video generations. It also states the current operator is bidirectional, a structural mismatch for streaming, action-conditioned use cases like robotics or interactive world models that need causal, online generation.

한계 논문 스스로의 결론은 아키텍처 선택이 전체 프로덕션 규모의 ablation이 아니라 짧은 축소 해상도 proxy 연구에 의존한다는 점, 그리고 보고된 가장 긴 길이의 결과가 실제로 학습된 장편 비디오 생성이 아니라 텐서 형상 지연 프로파일이라는 점을 명시한다. 또한 현재 연산자가 양방향(bidirectional)이라는 점도 명시하는데, 이는 causal하고 온라인 생성이 필요한 로보틱스나 인터랙티브 world model 같은 스트리밍·행동-조건부 사용 사례와는 구조적으로 맞지 않는다.

Future work The paper's own Future Work section names two directions most directly: extending the training curriculum beyond the current 8-second horizon toward minute-scale video, to convert the profiled long-sequence efficiency scaling into genuine long-video generation; and pairing a causal delta-rule linear operator, the Kimi-Linear/Kimi K3 family, with the same hybrid-plus-AttnRes layout, since dropping the delta-rule update from the current bidirectional operator is noted as a natural initialization path, to enable streaming, closed-loop world models. It also names anchor-specific sparse kernels, calibrated low-precision NVFP4 formats, few-step distillation, and learned content-adaptive anchor placement as further extensions.

향후 과제 논문 스스로의 Future Work 절은 두 방향을 가장 직접적으로 명시한다: 현재 8초인 학습 커리큘럼 지평을 분(minute) 단위로 확장해 프로파일링된 장시퀀스 효율 스케일링을 실제 장편 비디오 생성으로 전환하는 것, 그리고 현재의 양방향 연산자에서 delta-rule 업데이트를 제거하면 자연스러운 초기화 경로가 된다고 언급하며 causal delta-rule linear 연산자(Kimi-Linear/Kimi K3 계열)를 동일한 hybrid+AttnRes 레이아웃과 결합해 스트리밍·closed-loop world model을 가능케 하는 것이다. 이 외에도 anchor-특화 sparse 커널, calibrated NVFP4 저정밀 포맷, few-step distillation, 학습된 콘텐츠-적응형 anchor 배치를 추가 확장으로 명시한다.

Released resources Official code and a project page are both verified public -- the NVlabs/Sana GitHub repository and the NVIDIA Labs project page. The paper itself is on arXiv under a CC BY-NC-ND 4.0 license.

자원 공개 공식 코드와 프로젝트 페이지 모두 공개돼 있음을 확인했다(NVlabs/Sana GitHub 저장소, NVIDIA Labs 프로젝트 페이지). 논문 자체는 CC BY-NC-ND 4.0 라이선스로 arXiv에 공개돼 있다.