Parallel Decoding Distillation (PDD) for Fast Image and Video Generation

Background Video and image diffusion/flow models are slow because generation is fundamentally an iterative ODE integration requiring hundreds of network evaluations (NFE). Distillation research that compresses this to a few steps splits into two families: trajectory-based methods that transfer the teacher's actual trajectory to the student, and distribution-based methods that only need the student and teacher's marginal output distributions to align.

배경 비디오/이미지 확산·플로우 모델은 생성이 근본적으로 반복적인 ODE 적분이라 수백 번의 네트워크 평가(NFE)가 필요해 느리다. 이를 몇 단계로 줄이는 증류(distillation) 연구는 크게 두 갈래로 갈린다 -- teacher의 궤적 자체를 학생에게 옮기는 궤적 기반(trajectory-based) 방식과, teacher·student 출력 분포의 한계분포(marginal)만 맞추면 되는 분포 기반(distribution-based) 방식이다.

Problem Trajectory-based methods work well for image generation but, scaled to large video models, are bottlenecked by degraded quality and expensive training -- particularly the JVP or finite-difference approximations they require -- so the current dominant approach for video distillation is distribution-based, using variational score distillation (VSD) or adversarial losses. Those losses are notoriously hard to optimize and prone to mode collapse: they buy high perceptual quality at the cost of losing video diversity and motion.

문제 궤적 기반 방법은 이미지 생성에서는 잘 작동하지만, 대규모 비디오 모델로 가면 화질 저하와 값비싼 학습(특히 JVP·유한차분 근사가 요구하는 비용)에 발목이 잡혀, 현재 비디오 증류의 주류는 variational score distillation(VSD)이나 adversarial loss를 쓰는 분포 기반 방법이다. 그런데 이 손실들은 최적화가 악명 높게 까다롭고 mode collapse에 취약해서, 화질은 높아도 비디오의 다양성과 모션이 사라지는 대가를 치른다.

Prior limitations The closest prior work, Pi-Flow, starts from the same observation that a teacher trajectory over the interval [t_n, t_(n+L)] is fully determined by its initial state, but delegates the integration to a small learned policy head with an expressive parameterization (e.g. Gaussian mixtures) and is restricted to a fixed NFE. Progressive Distillation and the Consistency Model line distill the instantaneous velocity via JVPs or finite differences, which are expensive or unstable to evaluate at large scale.

기존 한계 가장 가까운 선행연구인 Pi-Flow는 teacher 궤적이 구간 [t_n, t_(n+L)] 안에서 초기 상태만으로 완전히 결정된다는 동일한 관찰에서 출발하지만, 그 구간의 적분을 작은 학습형 정책(policy) 헤드(가우시안 혼합 등 표현력이 큰 파라미터화)에 위임하며, 고정된 NFE에서만 동작한다. Progressive Distillation과 Consistency Model 계열은 JVP나 유한차분으로 순간 속도(instantaneous velocity)를 증류하는데, 이는 대규모 모델에서 비싸거나 불안정하다.

Goal Build a purely trajectory-based distillation method that works with any pretrained diffusion/flow model, supports variable NFE at inference, and achieves high-quality few-step generation not just for images but for large-scale video models -- without VSD, adversarial losses, JVPs, or finite differences.

목표 사전학습된 어떤 확산/플로우 모델에도 적용 가능하고, 추론 시 NFE를 자유롭게 바꿀 수 있으며, VSD·adversarial loss나 JVP·유한차분 없이도 이미지뿐 아니라 대규모 비디오 모델까지 고화질 소수-스텝(few-step) 생성이 되는 순수 궤적 기반 증류 방법을 만드는 것이 목표다.

Method The core idea is a parallel decoder that predicts the mean velocity, not the instantaneous velocity, of several intervals at once. The time domain is discretized into N intervals grouped into blocks of size L, and the decoder is trained to predict the mean velocities of all L intervals in a block from a single forward pass. The training objective (the PD loss) is a single on-policy regression: match the student's prediction, evaluated on the student's own rolled-out state (stop-gradient applied), to the teacher's mean velocity approximated with one Euler or Midpoint Runge-Kutta step. The architecture reuses the teacher's backbone but replicates its final linear layer once per timestep in the grid (N layers total), so at generation time the layers needed for a chosen block size L are fused into one weighted-sum layer, skipping L intervals at the same cost as a single teacher evaluation.

방법 핵심은 순간 속도가 아니라 평균 속도(mean velocity)를 예측하는 병렬 디코더다. 시간 구간을 N개로 이산화하고 이를 크기 L의 블록으로 묶은 뒤, 블록 안의 L개 구간 각각의 평균 속도를 단 한 번의 forward pass로 동시에 예측하도록 학습한다. 학습 목표(PD loss)는 student가 스스로 굴린 상태(stop-gradient 적용) 위에서 teacher의 평균 속도(Euler 또는 Midpoint 룽게-쿠타 스텝으로 근사)에 회귀하는 on-policy 회귀 손실 하나뿐이다. 아키텍처는 teacher 백본을 그대로 쓰되 마지막 선형 레이어를 타임스텝 수(N)만큼 복제해 두므로, 생성 시에는 사용할 블록 크기 L에 맞춰 필요한 레이어들을 하나의 가중합 레이어로 융합(layer fusion)해 teacher 한 번 평가와 동일한 비용으로 L구간을 한 번에 건너뛴다.

Key idea Where prior trajectory distillation insists on regressing a derivative of the instantaneous velocity via JVPs or finite differences, PDD instead makes the prediction target the mean velocity over multiple intervals -- a quantity that is already an integral by definition, so no derivative approximation is needed at all. It is like measuring a car's average speed over a stretch of road (distance divided by time) instead of straining to clock its instantaneous speed at every second: the two are different quantities, but both get you to the same destination (the integral), and the average is far cheaper to measure. The paper's Proposition 1 proves the PD loss's minimizer exactly recovers the teacher trajectory, up to a controllable Runge-Kutta approximation error.

핵심 아이디어 기존 궤적 증류가 순간 속도의 미분(JVP)이나 유한차분을 굳이 회귀하려 한 반면, PDD는 애초에 "여러 구간에 걸친 평균 속도"라는, 정의상 이미 적분되어 있어 미분 근사가 필요 없는 양을 직접 예측 대상으로 삼는다. 비유하자면, 자동차의 매 순간 순간속력을 초 단위로 재려고 애쓰는 대신, 구간 평균속력(=이동거리/소요시간)을 한 번에 재는 셈이다 -- 값은 다르지만 목적지(적분값)에는 똑같이 도달하며, 계산은 훨씬 저렴하다. 논문의 Proposition 1은 이 PD loss의 최솟값이 (룽게-쿠타 근사 오차를 빼면) teacher 궤적을 정확히 재현함을 증명한다.

Validation Validated across four scales: ImageNet-256 (SiT-XL+REPA teacher), Qwen-Image 20B (text-to-image), Wan2.1 1.3B/14B (text-to-video), and LTX-2.3 22B (text-to-video+audio, 10s at 720p). Because high-quality training data is scarce at the larger scales, most large-scale experiments use data-free training that rolls out the teacher online for supervision, and results are reported on standard benchmarks (OneIG, DPG-Bench, GenEval, VBench) plus a separate diversity measurement using average pairwise distance in V-JEPA 2 / VideoMAE V2 feature space.

검증 ImageNet-256(SiT-XL+REPA teacher), Qwen-Image 20B(text-to-image), Wan2.1 1.3B/14B(text-to-video), LTX-2.3 22B(text-to-video+audio, 10초 720p)까지 네 가지 스케일에서 검증했다. 대규모 실험은 대부분 고품질 학습 데이터가 부족해 teacher 자체를 온라인으로 굴려 감독 신호를 얻는 data-free 학습으로 진행됐고, OneIG·DPG-Bench·GenEval·VBench 등 표준 벤치마크에 더해 V-JEPA 2·VideoMAE V2 특징 공간에서의 평균 쌍별 거리로 다양성(diversity)을 별도로 측정했다.

Results On Qwen-Image, PDD beats SOTA baselines DMD2, Pi-Flow, and TwinFlow on the overall OneIG/DPG-Bench/GenEval metrics across the full 4-8 NFE range tested. On Wan2.1 1.3B, PDD ranks first on VBench quality, overall score, and diversity simultaneously; on 14B it trails AnyFlow slightly on the overall score while still leading on quality and beating every baseline on diversity. On LTX-2.3, PDD matches or beats the official 8-NFE distilled model after as few as 250 training iterations.

결과 Qwen-Image에서 PDD는 OneIG·DPG-Bench·GenEval 종합 지표 기준 DMD2·Pi-Flow·TwinFlow 등 SOTA 베이스라인을 4-8 NFE 전 구간에서 능가한다. Wan2.1 1.3B에서는 VBench 화질·종합 점수·다양성 모두 1위를 기록했고, 14B에서는 AnyFlow에 근소하게 뒤지는 종합 점수를 내면서도 화질은 최고, 다양성은 전 베이스라인 대비 우위를 유지한다. LTX-2.3에서는 학습 단 250 iteration만으로 공식 8-NFE distilled 모델과 동등하거나 더 나은 결과를 낸다.

Comparison Against the most directly related Pi-Flow, PDD reaches competitive ImageNet 1-step FID (2.69-2.73 vs. Pi-Flow's 2.85) with a simpler objective (no extra policy head or Gaussian mixture) while additionally supporting variable NFE, which Pi-Flow's fixed-NFE design cannot. Against the VSD-based DMD2, PDD trails slightly on human-preference metrics (HPSv2, PickScore) but the OneIG diversity numbers and qualitative comparison (Figure 5) make DMD2's mode-collapse-driven diversity loss visible, and PDD consistently beats it there.

비교 가장 직접적인 비교 대상인 Pi-Flow 대비 PDD는 추가 정책 헤드나 가우시안 혼합 없이 더 단순한 목적함수로 ImageNet 1-스텝 FID에서 경쟁력 있는 성능(2.69-2.73 vs Pi-Flow 2.85)을 내면서도 가변 NFE를 지원한다 -- Pi-Flow는 고정 NFE에 묶여 있다. VSD 기반 DMD2와 비교하면 HPSv2·PickScore 등 인간 선호 지표에서는 근소하게 뒤지지만, OneIG 다양성 지표와 정성 비교(Figure 5)에서 DMD2의 mode collapse로 인한 다양성 손실이 뚜렷이 드러나며 PDD가 이를 일관되게 능가한다.

Significance The paper positions itself as the first purely trajectory-based method to succeed at high-resolution few-step video generation -- directly closing a gap the field had itself conceded, where trajectory-based methods worked for images but failed at video scale. Layer fusion making generation cost-free at inference, and one model supporting multiple NFEs without any extra time-reparameterization, both matter practically: a real deployment can buy the entire quality-latency curve from one trained checkpoint rather than one model per operating point.

의의 논문 스스로 "순수 궤적 기반 방법으로 고해상도 비디오 소수-스텝 생성에 성공한 첫 사례"라고 자리매김한다 -- 궤적 기반 방법이 이미지에서는 통했지만 비디오에서는 실패해 왔다는, 이 분야가 스스로 인정해 온 격차를 정면으로 메우는 결과다. Layer fusion으로 생성 시 추가 비용이 전혀 없다는 점, 그리고 시간 재매개변수화 하나 없이 같은 모델이 여러 NFE를 지원한다는 점은 실제 배포에서 화질-지연 트레이드오프를 곡선 전체로 살 수 있게 해준다는 점에서 공학적으로도 의미가 크다.

Limitations All large-scale image and video experiments rely on data-free training -- the paper itself leaves verification under real-data training beyond ImageNet-256 as future work. (reviewer judgment) On Wan2.1 14B, the longer-trained PDD checkpoint scores lower on VBench's overall metric than AnyFlow even though its diversity and motion increase with more training, suggesting a quality-metric-vs-diversity tradeoff that emerges with training length; the paper does not analyze this tradeoff's cause in depth.

한계 대규모 이미지·비디오 실험은 전부 data-free 학습에 의존한다 -- ImageNet-256을 넘어선 실데이터 기반 학습에서 PDD가 어떻게 동작하는지는 논문이 스스로 향후 과제로 남긴다. (리뷰어 판단) 14B Wan2.1에서 PDD(long)가 VBench 종합 점수는 AnyFlow에 못 미치는 결과가 있어, 학습을 오래 돌릴수록 다양성/모션은 늘지만 정량 벤치마크 점수와는 트레이드오프가 생길 수 있음을 시사하는데 이 트레이드오프의 원인은 본문에서 깊이 분석되지 않는다.

Future work The paper names three directions itself: (1) validating PDD under data-dependent training beyond ImageNet-256, since the large-scale results here are data-free; (2) exploiting the fact that block size can be chosen freely at inference time to build adaptive block-size selection, where a verifier or confidence criterion decides how aggressively to skip intervals; and (3) generalizing the parallel decoding principle to discrete autoregressive models, broadening it beyond diffusion and flow-based generation.

향후 과제 논문은 스스로 세 방향을 명시한다: (1) data-free 학습을 넘어 실데이터 기반 학습에서의 검증, (2) 블록 크기를 추론 시점에 자유롭게 고를 수 있다는 성질을 이용한 적응형 블록 크기 선택(verifier나 confidence 기준으로 얼마나 공격적으로 구간을 건너뛸지 결정), (3) 병렬 디코딩 원리를 이산 자기회귀(autoregressive) 모델로 일반화해 확산·플로우 바깥으로 적용 범위를 넓히는 것.

Released resources The project page (research.nvidia.com/labs/genair/pdd) hosts qualitative comparison videos and samples, confirmed reachable. Whether training code or checkpoints will be released is not stated in the material read here -- no public release verified for code/checkpoints.

자원 공개 프로젝트 페이지(research.nvidia.com/labs/genair/pdd)에서 정성적 비교 비디오·샘플을 공개하고 있음을 확인했다. 다만 학습 코드나 체크포인트의 공개 여부는 이번에 읽은 자료에 명시돼 있지 않다 -- 공개 링크 확인 안 됨(코드/체크포인트 기준).