Self Gradient Forcing: Native Long Video Extrapolation

Background Autoregressive (AR) video diffusion models generate long video block-by-block, reusing previously generated frames via a KV cache. Self Forcing has become the standard recent training recipe: it trains the student on histories produced by its own rollout rather than ground-truth video, reducing the training-inference exposure-bias mismatch.

배경 자기회귀(AR) 비디오 확산 모델은 긴 영상을 블록/청크 단위로 순차 생성하며, 이전에 생성한 프레임들을 KV 캐시로 저장해 재사용한다. Self Forcing은 학습 시 실제 영상 대신 모델 자신이 생성한 롤아웃 히스토리를 조건으로 사용해, 학습-추론 간 노출 편향(exposure bias)을 줄이는 방식으로 최근 AR 비디오 확산 학습의 표준 레시피가 되었다.

Problem Self Forcing trains the model to read self-generated history, but never supervises the computation that originally writes that history into K/V — the cache is computed once at the clean context timestep and treated as frozen state by every later chunk. The authors name this the historical context-gradient gap: because the same causal DiT shares parameters across timesteps, updates from noisy denoising-step losses can silently drift the unsupervised clean-timestep cache-writing computation.

문제 Self Forcing은 모델이 자기 생성 히스토리를 읽는(read) 방식은 학습시키지만, 그 히스토리가 처음에 K/V로 쓰이는(write) 연산은 감독하지 못한다 — 캐시는 정결(clean) 컨텍스트 타임스텝에서 한 번 계산되어 이후 청크에는 고정된(frozen) 상태로만 취급되기 때문이다. 저자들은 이를 historical context-gradient gap이라 부른다: 같은 causal DiT가 여러 타임스텝의 파라미터를 공유하기 때문에, 노이즈가 낀 디노이징 스텝에서의 업데이트가 감독되지 않는 정결 캐시-쓰기 연산을 조용히 드리프트시킬 수 있다.

Prior limitations A direct fix would keep the historical KV cache differentiable so future losses backpropagate into the clean-timestep writing computation — but that requires retaining the autograd graph for every historical cache write until future chunks consume it, a graph that grows with rollout length, transformer depth, and sequential cache updates, making it impractical to scale.

기존 한계 직접적인 해법은 과거 KV 캐시를 미분 가능하게 유지해 미래 손실이 정결 타임스텝의 쓰기 연산까지 역전파되게 하는 것이지만, 이는 모든 과거 캐시 쓰기에 대한 autograd 그래프를 미래 청크가 소비할 때까지 살려둬야 한다는 뜻이다 — 롤아웃 길이·트랜스포머 깊이·순차적 캐시 업데이트에 따라 그래프가 계속 커져 확장이 어렵다.

Goal Restore the missing gradient supervision for how self-generated history gets written into more useful K/V representations, without full backpropagation through the entire serial rollout.

목표 전체 순차 롤아웃을 통한 완전한 역전파 없이, 자기 생성 히스토리를 미래에 더 유용한 K/V로 쓰는 연산에 미래 손실의 감독 신호를 되돌려주는 것이 목표다.

Method Self Gradient Forcing (SGF) is a two-pass training strategy. Pass 1 performs the true no-gradient serial AR rollout exactly as at inference, recording the self-generated context and the noisy latents fed to the model at one sampled denoising exit step. Pass 2 discards the rollout cache and, using the recorded context as stop-gradient clean-latent input, recomputes that same exit-step computation in parallel — the context K/V representations and future-to-context causal attention — so losses on future latents can now backpropagate into the cache-writing weights. It is a bit like not keeping an entire long shoot's raw footage on hand for editing, but instead re-building and re-shooting just the one contested scene in parallel, so notes from later footage can actually change how that scene was staged.

방법 Self Gradient Forcing(SGF)은 2-패스 학습 기법이다. Pass 1은 그래디언트 없이 실제 순차 AR 롤아웃을 추론과 동일하게 수행하며, 샘플링된 하나의 디노이징 종료 스텝에서 자기 생성 컨텍스트와 그때 모델에 입력된 노이즈 낀 잠재변수를 기록한다. Pass 2는 롤아웃 캐시를 버리고, 기록된 컨텍스트를 stop-gradient 정결 잠재변수 입력으로 삼아 그 종료 스텝의 컨텍스트 K/V 표현과 미래→컨텍스트 causal attention을 병렬로 재계산한다 — 마치 긴 촬영 영상 전체를 편집용으로 계속 붙들고 있는 대신, 문제가 된 한 장면만 골라 세트를 다시 세우고 재촬영해 그 장면에 대한 피드백을 반영하는 것과 비슷하다.

Key idea The core move is separating two questions that Self Forcing conflates: whether the model *sees* its own generated history (already fixed) versus whether future losses *reach* the computation that wrote that history into K/V (restored here). This is a credit-assignment fix, not a new regularization loss — it changes which computation the gradient graph touches, implemented as a bounded, rollout-length-independent parallel reconstruction.

핵심 아이디어 핵심은 "모델이 자기 생성 히스토리를 보는가"(Self Forcing이 이미 해결)와 "미래 손실이 그 히스토리를 K/V로 쓴 연산에 도달하는가"(SGF가 복원)를 분리한 것이다. 새로운 손실 항을 추가하는 정규화가 아니라, 계산 그래프 상에서 그래디언트가 흐르는 경로 자체를 바꾸는 credit-assignment 수정이며, 길이에 무관하게 비용이 고정된 병렬 재구성으로 이를 구현한다.

Validation VBench-family metrics (aesthetics, background, dynamics, imaging, motion smoothness, subject consistency, flickering) are evaluated at 60-second and 240-second horizons, across three initializations (Causal ODE / Causal CD / TF), for both frame-wise and chunk-wise generation. Qualitative comparisons, two-pass reconstruction fidelity, and a VAE start-boundary analysis are also reported.

검증 VBench 계열 지표(미학·배경·역동성·화질·모션 매끄러움·피사체 일관성·플리커링)로 60초·240초 두 지평선, 세 가지 초기화(Causal ODE/Causal CD/TF), frame-wise·chunk-wise 두 생성 방식을 모두 평가한다. 정성적 비교와 두 패스 재구성의 충실도, VAE 경계 효과에 대한 부가 분석도 포함한다.

Results Most quality and consistency metrics improve consistently — e.g. under TF initialization at 240s, subject consistency rises 0.965→0.972 and background consistency 0.965→0.968. Dynamic Degree is the one exception where plain Self Forcing sometimes scores higher; the authors attribute this to long rollouts accumulating scene jumps and broken camera geometry that inflate apparent motion without being genuinely better (not confirmed against an independent motion-only metric). The headline generalization result: models trained on only 5-second clips extrapolate natively to 240-second (minute-scale) video.

결과 TF 초기화 240초 설정에서 피사체 일관성 0.965→0.972, 배경 일관성 0.965→0.968처럼 대부분의 품질·일관성 지표에서 일관된 개선을 보인다. Dynamic Degree만 예외적으로 기존 Self Forcing이 더 높게 나오는 경우가 있는데, 저자들은 이를 장기 롤아웃에서 발생하는 장면 점프·카메라 기하 붕괴가 만드는 크지만 비일관적인 겉보기 움직임 때문이라고 해석한다(독립적인 모션 전용 지표로 검증되지는 않음). 5초 학습 윈도우로 학습한 모델이 240초(분 단위) 영상까지 자연스럽게 확장되는 것이 핵심 결과다.

Comparison SGF is compared pairwise against matched frozen-cache Self Forcing under identical prompts, seeds, initialization, and inference geometry, and is explicitly positioned as orthogonal — a drop-in addition to any existing TF/CD/ODE-initialized Self-Forcing checkpoint, not a competing training recipe.

비교 동일한 프롬프트·시드·초기화·추론 구성 아래 고정 캐시(frozen-cache) Self Forcing과 짝지어 비교하며, SGF는 경쟁 기법이 아니라 기존 Self-Forcing 레시피 위에 그대로 얹을 수 있는 직교적(orthogonal) 보강으로 제시된다.

Significance From an efficient-video-generation standpoint, this paper reframes long-horizon drift in self-rollout training as a credit-assignment problem rather than a capacity or data problem — what matters is whether the cache-writing computation, whoever performs it, is supervised by future losses. That framing applies in principle beyond video, to any autoregressive generation setup that caches its own self-generated state.

의의 효율적 비디오 생성 관점에서, 이 논문은 자기-롤아웃 학습에서 장기 드리프트를 단순한 용량이나 데이터 문제가 아니라 크레딧 할당(credit assignment) 문제로 재구성한다 — 캐시를 누가 쓰든 그 쓰기 연산이 미래 손실의 감독을 받는지가 핵심이라는 것이다. 이 프레임은 비디오뿐 아니라 자기 생성 상태를 캐싱하는 다른 AR 생성 설정에도 원칙적으로 적용 가능하다.

Limitations The Dynamic-Degree anomaly is interpreted qualitatively rather than resolved with an independent motion-only metric (reviewer judgment). How tightly the two-pass parallel reconstruction approximates the true, infeasible full serial gradient is not quantified within the scope this review draws from (abstract, introduction, and experiments sections) — not stated in the paper at that depth (Appendix D may address this; not verified here).

한계 Dynamic Degree 이상 현상은 정성적으로만 해석되며, 독립적인 모션 전용 지표로 확정되지는 않는다(리뷰어 판단). 2-패스 재구성이 이론상 불가능한 완전한 순차 그래디언트를 얼마나 충실히 근사하는지는 이 리뷰가 읽은 범위(초록·서론·실험 섹션)에서는 정량적으로 명시되지 않는다 — 논문 내 명시 없음(부록 D에서 다룰 가능성 있음, 이 리뷰는 미확인).

Future work No explicit future-work items are identifiable within the scope this review draws from — not stated in the paper.

향후 과제 이 리뷰가 읽은 범위에서 저자들이 명시한 future-work 항목은 확인되지 않는다 — 논문 내 명시 없음.

Released resources Code and models are stated to be released on the project page, but the repository contents themselves were not yet verifiable at the time of this review.

자원 공개 코드와 모델은 프로젝트 페이지에 공개 예정이라고 명시되어 있으나, 이 리뷰 작성 시점에는 저장소 내용 자체가 아직 확인되지 않았다.