FlashVLA: Streaming Action Decoding for Fast and Asynchronous VLA Inference

Background Vision-Language-Action (VLA) models map visual observations and language instructions directly to robot actions, and have become a leading end-to-end paradigm for manipulation. Recent models such as π0.5 pair a pretrained vision-language backbone with a flow-matching action expert, achieving strong generalization across diverse tasks.

배경 Vision-Language-Action(VLA) 모델은 시각 관측과 언어 지시를 로봇 행동으로 직접 매핑하는 대표적인 엔드투엔드 조작 패러다임이다. π0.5 같은 최신 모델은 사전학습된 비전-언어 백본에 플로우매칭 기반 행동 전문가(action expert)를 결합해 다양한 과제에서 강한 일반화 성능을 보인다.

Problem What blocks real-time control is inference latency. Profiling π0.5 shows action decoding alone consumes 75% of per-step inference time, driven by ten sequential denoising steps per chunk. Synchronous inference stalls the robot at every chunk boundary; asynchronous inference predicts from a stale observation, so the prediction-execution mismatch grows with the lookahead length.

문제 실시간 제어를 가로막는 것은 추론 지연이다. π0.5를 프로파일링하면 행동 디코딩 하나가 스텝당 추론 시간의 75%를 차지하며, 이는 청크당 순차적으로 수행되는 10회의 디노이징 스텝 때문이다. 동기식 추론은 매 청크 경계마다 로봇을 멈춰 세우고, 비동기식 추론은 오래된 관측값에서 예측하므로 예측-실행 간 시간 불일치가 lookahead 길이에 비례해 커진다.

Prior limitations Prior work fixes one side at a time. Efficient-inference methods (lightweight backbones, compression, token pruning) make a single forward pass cheaper but leave the iterative decoding loop intact, while asynchronous methods patch the mismatch after the fact via future-state conditioning or planned actions — a patch whose cost grows with lookahead. The authors identify a single shared root cause behind both failure modes: each action chunk is decoded in isolation, from pure noise, uninformed by any other chunk.

기존 한계 기존 접근은 한 번에 한쪽만 고친다. 효율적 추론 기법(경량 백본, 압축, 토큰 프루닝)은 forward pass 하나를 싸게 만들 뿐 반복 디코딩 루프 자체는 그대로 두고, 비동기 기법은 미래 상태 조건화나 사전 계획된 행동으로 불일치를 사후에 패치하지만 이 패치 비용은 lookahead가 길어질수록 커진다. 저자들은 두 실패 모드의 공통 원인이 "각 행동 청크가 순수 노이즈에서 시작해 다른 청크와 무관하게 고립된 채로 디코딩된다"는 가정 하나임을 짚어낸다.

Goal The goal is to remove both the latency cost (all denoising concentrated in one isolated chunk decode) and the mismatch cost (each new chunk blind to the trajectory it will join) with a single structural change, rather than patching each separately.

목표 목표는 지연 비용(고립된 청크 하나에 모든 디노이징을 집중)과 불일치 비용(각 청크가 자신이 합류할 궤적을 전혀 모름)을 별도로 패치하지 않고 하나의 구조적 변경으로 동시에 없애는 것이다.

Method FlashVLA brings streaming chunk-wise diffusion — already established in long-video generation (the Self-Forcing/CausVid line) — directly to action decoding. It maintains a buffer of action chunks held at staggered noise levels and advances them jointly under chunk-wise causal attention, where noisier (future) chunks attend to cleaner (near-execution) chunks but not the reverse.

방법 FlashVLA는 롱비디오 생성에서 확립된 스트리밍 청크 단위 디퓨전(Self-Forcing/CausVid 계열)을 행동 디코딩에 그대로 가져온다. 서로 다른 노이즈 레벨(계단식으로 스태거링된)을 가진 행동 청크들의 버퍼를 유지하고, 청크 단위 인과 어텐션(노이즈가 많은 미래 청크가 노이즈가 적은 실행 임박 청크를 참조하되 역방향은 금지)으로 모든 청크를 매 forward pass마다 한 스텝씩 동시에 진전시킨다.

Key idea The core insight is that removing isolation is a single structural choice that solves both problems at once. Every forward pass advances all buffered chunks by one denoising step, so after warm-up one executable chunk emerges per step (fixing the latency cost). Simultaneously, because future chunks causally attend to near-execution chunks, decoding for a future robot state is already conditioned on the trajectory that state will actually arrive on — asynchronous continuity becomes a structural property of the decoder rather than requiring an explicit future-state predictor. It resembles runners in a staggered relay who move together while continuously reading the pace of the runner just ahead.

핵심 아이디어 핵심은 "고립을 없앤다"는 한 가지 구조적 선택이 두 문제를 동시에 푼다는 점이다. 각 forward pass가 버퍼의 모든 청크를 한 스텝씩 진전시키므로 워밍업 이후 매 스텝 실행 가능한 청크 하나가 나온다(지연 비용 해소). 동시에 미래 청크가 실행 임박 청크에 인과적으로 주의를 기울이므로, 미래 로봇 상태를 위한 디코딩이 실제로 로봇이 따라갈 궤적에 암묵적으로 조건화된다 — 별도의 미래-상태 예측기 없이도 비동기 연속성이 디코더의 구조적 성질이 된다. 마치 계주에서 선수들이 일정 간격을 두고 동시에 달리면서 앞사람의 페이스를 계속 참고하는 것과 비슷하다.

Validation Validated on LIBERO, RoboTwin 2.0 simulation, and real-world Franka manipulation. Chunk-wise causal attention is separately ablated as the "active ingredient" (Appendix A.3), and the hypothesis that chunk-level memory (each chunk attends to all earlier buffer chunks, not just its immediate predecessor) drives especially strong long-horizon gains is directly tested in §4.4.

검증 LIBERO, RoboTwin 2.0 시뮬레이션과 실제 Franka 로봇 조작 과제에서 검증했다. 청크 단위 인과 어텐션이 "핵심 요인"임을 별도로 어블레이션했고(부록 A.3), 장기 과제에서 특히 큰 이득을 보인다는 가설(청크가 직전 청크뿐 아니라 버퍼 내 모든 이전 청크를 참조하는 "청크 수준 메모리" 덕분)도 §4.4에서 직접 검증했다.

Results On LIBERO under one-step asynchronous delay, FlashVLA reaches a 2.43x end-to-end speedup over π0.5 while *improving* average success rate from 96.9% to 97.8% (other asynchronous baselines trade some success rate for smaller speedups). Per-step action-decoding latency drops by up to 20x (9.3x from the 10-to-1 pass reduction, 19.9x measured wall-clock after removing kernel-launch serialization), and real-world Franka deployment sustains >=30Hz smooth control on a single GPU.

결과 LIBERO에서 1스텝 비동기 지연 조건으로 π0.5 대비 2.43배 종단간 속도 향상을 달성하면서 평균 성공률은 오히려 96.9%에서 97.8%로 개선했다(다른 비동기 베이스라인은 속도를 얻는 대신 성공률을 잃는다). 스텝당 행동 디코딩 지연은 최대 20배 감소(10회→1회 pass 축소로 9.3배, 커널 실행 직렬화 제거로 실측 19.9배)했고, 실제 Franka 배포에서 GPU 한 장으로 30Hz 이상의 부드러운 제어 주기를 유지했다.

Comparison Compared directly against VLASH and StreamingVLA at matched one-step delay, FlashVLA is the only method that achieves both the largest speedup (2.43x) and an *improvement* in success rate — VLASH (d=4) buys 1.64x speedup at the cost of a 3.8pp success-rate drop.

비교 VLASH·StreamingVLA 등 기존 비동기 베이스라인과 1스텝 지연 조건에서 직접 비교했을 때, FlashVLA만이 유일하게 속도(가장 큰 2.43배)와 정확도(유일하게 개선) 둘 다를 동시에 달성했다 — VLASH(d=4)는 1.64배 속도에 3.8%p 성공률 손실을 대가로 치른다.

Significance From an efficient-AI lens, the significance here is architectural rather than compression-based: instead of asking how to approximate or compress a model (KV cache, quantization, sparsity), it asks how to restructure the decoding loop itself. That the streaming chunk-wise diffusion pattern established for long video transfers almost directly to an entirely different modality (robot actions) suggests the pattern is a reusable primitive for iterative denoising, not a domain-specific trick.

의의 효율적 AI 관점에서 이 논문의 의미는 KV 캐시·양자화·희소화처럼 "모델을 어떻게 압축·근사할까"가 아니라 "디코딩 루프의 구조 자체를 어떻게 재설계할까"에 있다. 롱비디오 디퓨전에서 확립된 스트리밍 청크 패턴이 완전히 다른 모달리티(로봇 행동)로 거의 그대로 전이된다는 것은, 이 패턴이 특정 도메인에 묶인 트릭이 아니라 반복적 디노이징을 다루는 재사용 가능한 일반 원리임을 시사한다.

Limitations Because FlashVLA adapts a pretrained VLA via fine-tuning, it inherits whatever ceiling that model’s original independent-chunk training objective imposes (the paper states pretraining from scratch under the chunk-wise causal formulation would likely yield further gains, but does not attempt it). The one-time cold-start needed to fill the streaming buffer (N-1 warm-up steps) amortizes over long rollouts but is explicitly noted as more noticeable on very short tasks.

한계 사전학습된 VLA를 파인튜닝으로 적응시키는 방식이라, 원래 모델이 독립 청크 목적함수로 학습됐다는 한계를 그대로 물려받는다(논문 명시: 처음부터 청크 단위 인과 구조로 사전학습하면 추가 이득이 있을 것으로 추정하나 시도하지 않음). 스트리밍 버퍼를 채우는 1회성 콜드스타트(N-1 워밍업 스텝)는 긴 롤아웃에서는 상각되지만 매우 짧은 과제에서는 상대적으로 더 눈에 띈다고 저자들이 명시한다.

Future work The authors name pretraining a VLA from scratch under the chunk-wise causal formulation as the natural next step (reviewer judgment: this would require redesigning the pretraining pipeline itself, a substantially larger undertaking than the fine-tuning adaptation shown here).

향후 과제 저자들은 처음부터 청크 단위 인과 형식으로 VLA를 사전학습하는 것을 자연스러운 다음 단계로 제시한다(리뷰어 판단: 이는 사전학습 파이프라인 자체를 바꿔야 하는 더 큰 작업이라 별도 검증이 필요할 것).

Released resources Code is publicly released on GitHub (z-lab/flashvla). No checkpoint or dataset release is stated in the paper.

자원 공개 코드가 GitHub(z-lab/flashvla)에 공개되어 있다. 체크포인트나 데이터셋 공개 여부는 논문 내 명시 없음.