Sequoia AI Ascent 2026
Jim Fan (NVIDIA) — Robotics' End Game 짐 팬 (NVIDIA) — 로보틱스의 엔드게임
NVIDIA's robotics lead proposes "the great parallel": port the LLM recipe to robots by pre-training on the next physical world state, aligning with action fine-tuning, and letting RL carry the last mile. He argues VLAs spend their parameters in the wrong place — strong on nouns and knowledge, weak on physics and verbs — while video models like Veo 3 pick up gravity, refraction and visual planning purely from predicting pixels, and introduces world action models (WAMs). On data, he climbs from teleoperation's 24-hour-per-robot ceiling through wearables to egocentric human video: EgoScale pre-trains on 21K hours with under 0.1% teleop and yields a clean log-linear scaling law for dexterity. He closes on three remaining achievements — the physical Turing test, physical APIs, and physical auto research — and puts the tech tree's completion at 2040. 엔비디아 로보틱스 총괄이 '위대한 평행'을 제안한다 — LLM의 성공 공식을 로봇에 그대로 옮겨, 다음 물리 세계 상태를 사전학습하고 액션 파인튜닝으로 정렬한 뒤 마지막 구간은 강화학습에 맡긴다는 것이다. VLA는 파라미터를 엉뚱한 곳에 쓴다고 지적한다 — 명사와 지식엔 강하지만 물리와 동사엔 약하다는 것. 반면 Veo 3 같은 영상 모델은 픽셀 예측만으로 중력과 굴절과 시각적 계획을 스스로 익히며, 여기서 월드 액션 모델(WAM)이 나온다. 데이터 쪽에서는 로봇 1대당 하루 24시간이라는 텔레옵의 천장에서 출발해 웨어러블을 거쳐 1인칭 인간 영상으로 올라간다. EgoScale은 2만 1,000시간을 사전학습하고 텔레옵은 0.1% 미만만 쓰면서 손 조작의 깔끔한 로그-선형 스케일링 법칙을 얻는다. 마지막으로 남은 세 가지 업적 — 피지컬 튜링 테스트, 피지컬 API, 피지컬 오토 리서치 — 를 짚고 테크 트리 완성 시점을 2040년으로 못박는다.
Video © Sequoia Capital — plays via YouTube embed, never re-hosted. Subtitles: machine-assisted (ASR captions → glossary-driven LLM translation); errors possible, corrections welcome. Watch on YouTube 영상 © Sequoia Capital — YouTube 임베드로 재생되며 재업로드하지 않습니다. 자막은 자동 캡션을 용어집 기반 LLM 파이프라인으로 번역해 오류가 있을 수 있습니다 — 제보 환영합니다. YouTube에서 보기