Paper Review
MobileWan: Closing the Quality Gap for Mobile Video Diffusion
A 5B-parameter video diffusion transformer is converted into a constant-memory, chunk-wise autoregressive RNN-like process via recurrence distillation and causal linear attention, becoming the first 5B-scale video diffusion model deployable on a commercial mobile device.
5B 파라미터 비디오 diffusion transformer를 recurrence distillation과 causal linear attention으로 constant-memory의 chunk-wise autoregressive RNN 형태로 변환해, 상용 모바일 기기에 배포 가능한 최초의 5B 규모 비디오 diffusion 모델을 만들었다.
Background Video diffusion models have improved visual fidelity and motion coherence by scaling transformer architectures to billions of parameters, but existing mobile video diffusion models remain limited to small parameter budgets, typically 0.4-1.8B. Memory and latency constraints of phone hardware pushed prior mobile systems (SnapGen-V, Mobile Video DiT, MobileVD, Neodragon) toward compact backbones, so the quality gap between mobile and server-scale video generation kept widening as server DiTs scaled up. Before this work the mobile state of the art was Neodragon at 1.8B.
배경 비디오 diffusion 모델은 transformer를 수십억 파라미터로 스케일링하며 화질과 모션 일관성을 크게 끌어올렸지만, 기존 모바일 비디오 diffusion 모델은 0.4-1.8B의 작은 파라미터 예산에 머물러 있다. 폰 하드웨어의 메모리·지연 제약이 기존 모바일 시스템들(SnapGen-V, Mobile Video DiT, MobileVD, Neodragon)을 compact backbone으로 몰아넣었고, 서버 DiT가 커질수록 모바일-서버 간 품질 격차는 계속 벌어져 왔다. 이 논문 이전의 모바일 SOTA는 1.8B의 Neodragon이었다.
Problem Small model budgets restrict generation quality, yet there was no way to run a server-scale video diffusion transformer on memory-constrained mobile hardware: for a 5-second 81x480x832 video, the bidirectional attention of Wan2.2-5B alone requires 15.7GB of memory — an immediate OOM on a phone NPU — and even pruning 23% of heads (12.1GB) still does not fit. Like moving a piano, the problem is not the weight (5B parameters) but the width of the door — the attention working set that grows with the whole video sequence.
문제 작은 모델 예산은 생성 품질을 제한하는데, 서버급 비디오 diffusion transformer를 메모리 제약 모바일 하드웨어에서 돌릴 방법이 없었다: 5초 분량 81x480x832 비디오에서 Wan2.2-5B의 bidirectional attention만으로 15.7GB 메모리가 필요해 폰 NPU에서 즉시 OOM이고, head를 23% 잘라내도(12.1GB) 여전히 올라가지 않는다. 피아노 이사에 비유하면 문제는 무게(5B 파라미터)가 아니라 문 폭 — 비디오 전체 길이에 비례해 커지는 attention working set이다.
Prior limitations Prior mobile video diffusion works answered the memory/latency wall by shrinking: NAS-searched or pruned 0.4-1.8B backbones, extreme VAE compression, and aggressive adversarial step distillation (SnapGen-V, Mobile Video DiT, MobileVD, Neodragon). The paper argues such compact architectures satisfy deployment constraints but inevitably cap generation quality — the mobile SOTA Neodragon reaches VBench 81.61 versus 83.12 for the server-scale Wan2.2 5B. None of these attempts changed the computational form of a large model; all accepted 'mobile = small model' as a premise.
기존 한계 기존 모바일 비디오 diffusion 연구들은 메모리·지연 장벽에 '축소'로 답했다: NAS 탐색·pruning된 0.4-1.8B backbone, 극단적 VAE 압축, 공격적인 adversarial step distillation(SnapGen-V, Mobile Video DiT, MobileVD, Neodragon). 논문은 이런 compact 아키텍처가 배포 제약은 만족하지만 생성 품질에 필연적 상한을 건다고 지적한다 — 모바일 SOTA Neodragon은 VBench 81.61로 서버급 Wan2.2 5B의 83.12에 못 미친다. 어느 시도도 큰 모델의 계산 형태를 바꾸지 않았고, 전부 '모바일 = 작은 모델'을 전제로 받아들였다.
Goal Deploy the server-scale 5B-parameter Wan2.2-5B video diffusion transformer on a commercial smartphone without shrinking it, generating 5-second 480x832 videos at 16 FPS with tolerable latency and quality close to the server model. The bet is that what mobile deployment actually requires is a reformulation of computation, not a reduction of parameters.
목표 서버급 5B 파라미터 Wan2.2-5B 비디오 diffusion transformer를 축소 없이 상용 스마트폰에 배포해, 5초 분량 480x832 비디오를 16 FPS로, 서버 모델에 근접한 품질과 감내 가능한 지연으로 생성하는 것. 모바일 배포에 실제로 필요한 것은 파라미터 감축이 아니라 계산의 재정식화라는 데 베팅한다.
Method A recurrence distillation framework converts the bidirectional DiT into a chunk-wise autoregressive generator. The core is a hybrid attention: the current and overlapping chunks (chunk size 4, overlap 2) get exact softmax attention, while all past tokens are handled by causal linear attention with learnable degree-3 polynomial feature maps, so at inference the model runs as an RNN carrying a fixed-size state instead of a growing KV cache — like reading a book with only the recent pages held open and everything earlier kept as a constant-size running summary. The linear-attention kernels are first trained by block-wise distillation against the frozen DiT, followed by a 10k-iteration flow-matching fine-tune on 80K synthetic videos generated by Wan2.1-14B. On top of this it combines a learnable attention-head pruning that places a binary sigmoid gate on every head, trained end-to-end with a sparsity penalty under a high-noise-biased timestep distribution (σ~LogitNormal(1.5,1) — high-noise steps expose global structure and motion, where head importance is best judged; 23% of heads removed in the final pipeline), step distillation to 3 NFEs (DMD2), and a memory-optimized LightX2V-style VAE decoder with a causal look-back window extended to F_{t-4}.
방법 Recurrence distillation 프레임워크가 bidirectional DiT를 chunk 단위 autoregressive 생성기로 변환한다. 핵심은 hybrid attention으로, 현재 chunk와 겹치는 chunk(chunk 크기 4, overlap 2)는 정확한 softmax attention으로, 과거 토큰 전체는 학습형 3차 polynomial feature map 기반 causal linear attention으로 처리해 추론 시 모델이 커지는 KV cache 대신 고정 크기 state를 들고 다니는 RNN으로 동작한다 — 최근 몇 페이지만 펼쳐 두고 그 이전 내용은 일정한 크기의 요약 노트로 유지하며 책을 읽는 것과 같다. Linear attention kernel은 frozen DiT 대상 block-wise distillation으로 먼저 학습하고, Wan2.1-14B가 생성한 합성 비디오 80K개로 10k iteration flow-matching fine-tune을 잇는다. 여기에 head마다 binary sigmoid gate를 달아 sparsity penalty와 함께 end-to-end로 학습하는 attention head pruning(gate 학습 중 high-noise 편향 σ~LogitNormal(1.5,1) — 고노이즈 스텝이 전역 구조·모션을 드러내 head 중요도 판단에 유리; 최종 파이프라인에서 23% 제거), 3 NFEs로 줄이는 step distillation(DMD2), causal look-back window를 F_{t-4}까지 확장한 LightX2V 계열 메모리 최적화 VAE decoder를 결합한다.
Key idea Do not shrink the model — change the shape of its computation: the same 5B weights are kept, but bidirectional full-sequence attention is reformulated into a constant-memory, chunk-wise recurrent process, collapsing attention memory from 15.7GB to 0.1GB. Continuing the piano analogy: instead of buying a smaller piano, disassemble it to pass through the door — the instrument (model capacity) is unchanged; only its form during transport (inference-time computation) changes.
핵심 아이디어 모델을 줄이지 말고 계산의 형태를 바꿔라: 동일한 5B weight를 유지한 채 bidirectional 전체-시퀀스 attention을 constant-memory chunk-wise recurrent 과정으로 재정식화해, attention 메모리를 15.7GB에서 0.1GB로 붕괴시킨다. 피아노 비유를 이어가면, 작은 피아노로 바꾸는 대신 분해해서 문을 통과시키는 것이다 — 악기(모델 용량)는 그대로고, 운반 중의 형태(추론 시 계산)만 바뀐다.
Validation Evaluated with VBench at 81x480x832 plus on-device measurements (peak RAM, per-component latency) on a smartphone with a Snapdragon 8 Gen. 5 NPU, alongside a method-blinded human preference study (498 video pairs vs. Wan2.2 5B, 361 vs. Neodragon). Ablations add each optimization one by one, compare heuristic vs. learned head pruning across ratios, sweep the number of recurrent blocks, and sweep step-distillation variants (DMD/D-DMD/DMD2 at 1-4 NFEs).
검증 Snapdragon 8 Gen. 5 NPU 탑재 스마트폰에서 81x480x832 기준 VBench 평가와 온디바이스 측정(peak RAM, 컴포넌트별 지연)을 수행했고, method-blinded 인간 선호 조사(Wan2.2 5B 대비 498 쌍, Neodragon 대비 361 쌍)를 병행했다. Ablation으로 최적화 요소를 하나씩 추가하는 실험, heuristic 대 학습형 head pruning의 ratio별 비교, recurrent block 수 sweep, step distillation 변형(DMD/D-DMD/DMD2, 1-4 NFEs) sweep을 보고한다.
Results MobileWan is the first 5B-scale video diffusion model to run on a commercial mobile device, generating 5-second 480x832, 16 FPS videos in 20 seconds end-to-end and scoring VBench 83.79 — a new mobile state of the art. Recurrence distillation collapses attention memory from 15.7GB to 0.1GB and brings DiT peak RAM to 9.9GB (6.6 s per NFE), turning an on-device OOM into a single-load run. In the human study, MobileWan is preferred 80% of the time over the previous mobile SOTA Neodragon.
결과 MobileWan은 상용 모바일 기기에서 구동되는 최초의 5B 규모 비디오 diffusion 모델로, 5초 분량 480x832, 16 FPS 비디오를 20초 end-to-end 지연으로 생성하고 VBench 83.79로 모바일 신기록을 세웠다. Recurrence distillation이 attention 메모리를 15.7GB에서 0.1GB로, DiT peak RAM을 9.9GB(NFE당 6.6초)로 낮춰 온디바이스 OOM을 single-load 실행으로 바꿨다. 인간 선호 조사에서는 직전 모바일 SOTA Neodragon 대비 80%의 선호를 얻었다.
Comparison On VBench, MobileWan (83.79) beats all mobile baselines — SnapGen-V 81.14, Mobile Video DiT 81.45, Neodragon 81.61, S2DiT-AR 83.26 — and even edges the server-side Wan2.2 5B (83.12). The blinded human study tempers this: against the original Wan2.2 5B, viewers prefer the original 53% vs. 22% for MobileWan (25% no preference), and the authors themselves note VBench tends to reward slightly oversaturated outputs, so the VBench win over the server model should not be read as full perceptual parity.
비교 VBench에서 MobileWan(83.79)은 모든 모바일 베이스라인 — SnapGen-V 81.14, Mobile Video DiT 81.45, Neodragon 81.61, S2DiT-AR 83.26 — 을 앞서고, 서버용 Wan2.2 5B(83.12)까지 근소하게 넘는다. 다만 blinded 인간 평가가 이를 보정한다: 원본 Wan2.2 5B와의 비교에서 원본 선호 53% 대 MobileWan 22%(무선호 25%)였고, 저자들 스스로 VBench가 약간 과포화된 출력에 점수를 더 주는 경향을 지적하므로, 서버 모델 대비 VBench 우위를 완전한 지각적 동급으로 읽어서는 안 된다.
Significance The result reframes the mobile-server quality gap as an artifact of the 'mobile = small model' premise rather than an intrinsic hardware limit: deployability is a property of computational form while quality lives in the parameters, and the two can be decoupled. For on-device generative AI broadly, it suggests server-scale checkpoints can be reused via reformulation (recurrence distillation + structured pruning) instead of training bespoke small models per device tier (reviewer judgment).
의의 이 결과는 모바일-서버 품질 격차를 하드웨어의 본질적 한계가 아니라 '모바일 = 작은 모델' 전제의 산물로 재프레임한다: 배포 가능성은 계산 형태의 속성이고 품질은 파라미터에 사는데, 둘은 분리될 수 있다. 온디바이스 생성 AI 전반에서, 기기 티어마다 전용 소형 모델을 새로 학습하는 대신 서버급 체크포인트를 재정식화(recurrence distillation + 구조적 pruning)로 재사용할 수 있음을 시사한다(리뷰어 판단).
Limitations The authors list concrete failure modes: middle-distance human faces are suboptimal, some generations show oversaturated colors or reduced motion depending on the step-distillation method, the RNN reformulation occasionally causes temporal discontinuities, and step distillation combined with the optimized decoder produces visible flickering in some videos. Beyond the authors' list, 20 seconds for a 5-second clip is far from real-time, and the human study shows the server original is still preferred (53% vs. 22%) — the gap is narrowed, not closed (reviewer judgment).
한계 저자들이 구체적 실패 모드를 명시한다: 중거리 인물 얼굴 품질이 미흡하고, step distillation 방식에 따라 색 과포화나 모션 감소가 나타나며, RNN 재정식화가 일부 장면에서 시간적 불연속을 일으키고, step distillation과 최적화 decoder의 조합이 일부 비디오에서 눈에 띄는 flickering을 만든다. 여기에 더해 5초 클립에 20초는 실시간과 거리가 멀고, 인간 평가에서 서버 원본이 여전히 선호(53% 대 22%)되므로 격차는 좁혀졌을 뿐 닫히지 않았다(리뷰어 판단).
Future work The authors state they plan to address the listed failure modes (face quality, oversaturation and motion loss, temporal discontinuities, flickering) in future work, without giving a concrete roadmap. They also commit to releasing models and training recipes to foster further research on mobile video diffusion.
향후 과제 저자들은 위 실패 모드들(얼굴 품질, 과포화·모션 손실, 시간적 불연속, flickering)을 future work에서 개선하겠다고 밝히지만 구체적 로드맵은 제시하지 않는다. 또한 모바일 비디오 diffusion 연구 촉진을 위해 모델과 학습 레시피를 공개하겠다고 약속한다.
Released resources The paper lists a project page (qualcomm-ai-research.github.io/mobilewan), but it returned 404 at verification time (2026-07-11), and no public code or checkpoints could be verified. The authors state they will release their models and training recipes (no public release verified yet).
자원 공개 논문에 프로젝트 페이지(qualcomm-ai-research.github.io/mobilewan)가 명시되어 있으나 확인 시점(2026-07-11) 404였고, 공개 코드나 체크포인트는 확인되지 않았다. 저자들은 모델과 학습 레시피를 공개할 예정이라고 밝힌다(공개 링크 확인 안 됨).
The research thread
Where this paper sits 연구의 흐름
MobileWan stands at the junction of two lines that barely spoke until recently. One is the mobile video diffusion line — MobileVD, SnapGen-V, Mobile Video DiT, Neodragon — which answered phone-hardware limits by shrinking: NAS-searched backbones, extreme VAE compression, adversarial step distillation, inching from 0.4B to 1.8B as Wan-family server DiTs raced ahead. The other is the linear-attention line born with Performer and Katharopoulos et al.'s 'Transformers are RNNs', long a rival-architecture proposal in language modeling, re-imported into video DiTs by Qualcomm's own Attention Surgery and ReHyAt — the direct predecessors, showing a pretrained video DiT's attention can be linearized after the fact. Add the DMD-to-DMD2 step-distillation thread, and MobileWan is less a new idea than a deliberate junction: the first paper to aim the linearization line squarely at the mobile line's founding constraint.
The conceptual shift is where deployability is assumed to live. Every prior mobile system located it in parameter count — hence the unexamined premise 'mobile = small model'. MobileWan relocates it in computational form: what OOMs a phone NPU is not the 5B weights but the attention working set that grows with the whole video — 15.7GB for a five-second clip, 0.1GB once the past folds into a fixed-size recurrent state. Seen that way, the compression target flips from the model to the computation; distillation stops meaning a smaller student and starts meaning teaching the same weights a cheaper form — a transformer in its parameters, an RNN in its execution. A quality gap framed for years as a hardware fact gets rewritten as the artifact of a premise.
This opens a different roadmap. If deployability is a property of form, every server checkpoint becomes a latent mobile model, and the interesting question moves from 'what architecture fits a phone' to 'what does post-hoc reformulation cost'. The paper's honest answer: not nothing. Blinded raters still prefer the server original 53% to 22%, VBench rewards the very oversaturation the distilled model exhibits, and the listed failure modes — temporal discontinuities, flickering from the step-distillation-plus-decoder stack — are exactly the artifacts current benchmarks see worst. Ranking these systems honestly needs evaluation that catches what a fixed-size memory drops.
The deeper prize is streaming. A constant-memory recurrent generator is not just a smaller server model but a different kind of object, able in principle to generate indefinitely — something no bidirectional fixed-window DiT could offer. The next rounds will push there: longer horizons stress-testing the running summary, the recipe replayed on other backbones and device tiers, the recurrent state itself becoming an object of study — what it remembers, what it forgets, when the summary betrays the scene. How fast this happens hinges on the promised release of models and recipes, unmaterialized at review time.
MobileWan은 최근까지 서로 접점이 없던 두 갈래 연구가 만나는 지점에 서 있다. 하나는 모바일 비디오 diffusion 계열 — MobileVD, SnapGen-V, Mobile Video DiT, Neodragon — 로, 폰 하드웨어의 한계에 줄곧 '축소'로 답해 왔다: NAS로 탐색한 backbone, 공격적인 VAE 압축, adversarial step distillation로 0.4B에서 1.8B까지 기어오르는 동안 서버 쪽 Wan 계열 DiT는 저만치 앞서 달렸다. 다른 하나는 Performer와 Katharopoulos의 'Transformers are RNNs'에서 출발한 linear attention 계열로, 언어 모델링에서 오랫동안 라이벌 아키텍처 제안에 머물다가 Qualcomm 자신의 Attention Surgery와 ReHyAt에 의해 비디오 DiT로 재수입됐다 — 사전학습된 비디오 DiT의 softmax attention을 사후에 linearize·hybrid화할 수 있음을 보인, 이 논문의 직계 선행 연구들이다. 여기에 DMD에서 DMD2로 이어지는 step distillation 갈래까지 더하면, MobileWan은 새로운 아이디어라기보다 의도된 합류점이다: linearization 계열을 모바일 계열의 창립 제약에 처음으로 정면으로 겨눈 논문.
개념적 전환은 '배포 가능성이 어디에 사는가'에 있다. 기존 모바일 시스템은 전부 그것을 파라미터 수에 두었고, 그래서 '모바일 = 작은 모델'이 검증되지 않은 전제로 굳었다. MobileWan은 그것을 계산의 형태로 옮긴다: 폰 NPU를 OOM시키는 것은 5B weight가 아니라 비디오 전체 길이에 비례해 자라는 attention working set이다 — 5초 클립에 15.7GB, 과거를 고정 크기 recurrent state로 접어 넣으면 0.1GB. 병목을 이렇게 보는 순간 압축의 대상이 모델에서 계산으로 뒤집히고, distillation은 더 작은 student를 만드는 일이 아니라 같은 weight에게 더 싼 형태를 가르치는 일이 된다 — 파라미터로는 transformer, 실행으로는 RNN. 수년간 하드웨어의 사실처럼 프레임되던 모바일-서버 품질 격차가 전제의 산물로 다시 쓰인다.
이것이 여는 것은 꽤 다른 로드맵이다. 배포 가능성이 형태의 속성이라면 모든 서버 체크포인트는 잠재적 모바일 모델이 되고, 흥미로운 질문은 '폰에 맞는 아키텍처는 무엇인가'에서 '사후 재정식화의 비용은 얼마인가'로 옮겨간다 — 이 논문의 정직한 답은 '공짜는 아니다'이다. blinded 평가자들은 여전히 서버 원본을 53% 대 22%로 선호하고, VBench는 distilled 모델이 보이는 바로 그 과포화에 점수를 더 주며, 저자들이 나열한 실패 모드 — 시간적 불연속, step distillation과 최적화 decoder를 쌓을 때의 flickering — 는 현재 벤치마크가 가장 못 보는 종류의 artifact다. 이 시스템들을 정직하게 줄 세우려면, 고정 크기 memory가 무엇을 흘리는지 잡아내는 평가가 먼저 필요하다.
더 깊은 상은 streaming이다. constant-memory recurrent 생성기는 단지 작아진 서버 모델이 아니라 다른 종류의 객체다 — 원리상 무한정 생성을 이어갈 수 있고, 이는 bidirectional 고정-창 DiT가 결코 줄 수 없던 성질이다. 다음 라운드는 그 지점을 밀 것이다: running summary가 스트레스 테스트되는 더 긴 horizon, 다른 backbone과 기기 티어에서의 레시피 재연, 그리고 recurrent state 자체가 연구 대상이 되는 것 — 무엇을 기억하고 무엇을 잊는지, 요약이 장면을 배신하는 순간은 언제인지. 이것이 얼마나 빨리 일어날지는 저자들이 약속한 모델·학습 레시피 공개에 달렸는데, 리뷰 시점에는 아직 실현되지 않았다.
Sparks — where one could take this 아이디어의 씨앗
-
One could measure cross-chunk consistency (object identity, scene layout) as a function of distance beyond the exact-attention window, localizing what the fixed-size linear-attention state drops and where the reported temporal discontinuities originate. 고정 크기 linear-attention state가 실제로 무엇을 보존하는지 — exact-attention window 밖 거리의 함수로 chunk 간 일관성(객체 identity, 장면 배치)을 측정해 — RNN 재정식화가 만드는 시간적 불연속의 발원지를 특정해볼 수 있다.
-
One could build a video evaluation that explicitly penalizes oversaturation, flickering, and temporal discontinuity, since the paper's VBench-vs-human divergence (83.79 yet 22% preference vs. the original) shows current metrics miss the distillation artifacts that matter. 논문 스스로 드러낸 VBench-인간 평가 괴리(83.79인데 원본 대비 선호 22%)가 현재 지표가 distillation artifact를 놓친다는 증거이므로, 과포화·flickering·시간적 불연속을 명시적으로 벌점화하는 모바일 비디오 평가를 만들어볼 수 있다.
-
One could co-distill the few-NFE DiT and the memory-optimized VAE decoder as a single stage rather than composing independently optimized parts, directly targeting the flickering the authors attribute to exactly that combination. 저자들이 flickering의 원인으로 지목한 조합 — few-NFE DiT와 메모리 최적화 VAE decoder — 을 각자 최적화한 뒤 합성하는 대신 한 단계로 co-distill해, 단계별 최적화가 놓치는 상호작용 오차를 직접 없애볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
The core move here is refusing the usual mobile-deployment trade (shrink the model) and instead changing the computational form of a large model (bidirectional diffusion transformer → constant-memory recurrent process via recurrence distillation + causal linear attention). That reformulation-over-shrinking approach is the more broadly reusable idea, independent of the video domain specifics.
Linked reviews
MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
A systematic sub-billion design-space study showing that at 125M-350M scale deep-thin layouts, embedding sharing, GQA, and block-wise layer sharing buy accuracy per byte, yielding state-of-the-art on-device LMs.
on-deviceCODA: Algorithm-Hardware Co-design for Edge Video Diffusion via NMP-Enabled Compute-Cache Operator Disaggregation
Moves video-diffusion's cross-timestep activation cache off the GPU onto a DIMM-side near-memory-processing engine so caching stops competing with compute for VRAM and bandwidth on edge GPUs.
video-diffusionParallel Decoding Distillation (PDD) for Fast Image and Video Generation
PDD trains a parallel decoder that predicts the mean velocity of several consecutive denoising intervals in a single network evaluation instead of one interval at a time, giving a trajectory-based distillation method that reaches SOTA 4-8 NFE generation on LTX-2.3, Wan2.1-14B and Qwen-Image while avoiding the mode collapse that variational-score-distillation and adversarial methods suffer from.