1
00:00:00,200 --> 00:00:02,220
Sequoia Capital — Jim Fan

2
00:00:02,320 --> 00:00:06,080
먼저, 제 친구 짐 팬을
소개하게 되어 기쁩니다.

3
00:00:06,080 --> 00:00:09,544
짐은 엔비디아의
체화(embodied) 자율 연구

4
00:00:09,544 --> 00:00:12,880
그룹, 즉 엔비디아
로보틱스를 이끌고 있습니다.

5
00:00:12,880 --> 00:00:17,240
로봇은 앞으로 일어날 일 중 가장
흥미진진한 것 중 하나라고 생각합니다.

6
00:00:17,240 --> 00:00:19,779
자동차도 기본적으로는 큰
로봇이지만, 저는 삐빅삐빅 소리를

7
00:00:19,779 --> 00:00:22,160
내며 우리 대신 물건을 들어주는
로봇이 더 기대됩니다.

8
00:00:22,160 --> 00:00:24,788
짐은 작년 AI 어센트에서도 단연

9
00:00:24,788 --> 00:00:28,000
돋보였는데, 다시 모시게 되어 기쁩니다.

10
00:00:28,000 --> 00:00:28,680
여러분, 감사합니다.

11
00:00:28,680 --> 00:00:30,680
감사합니다.

12
00:00:30,680 --> 00:00:32,960
때는 2016년의 어느 여름날이었습니다.

13
00:00:32,960 --> 00:00:36,680
사실 지금 우리가 앉아 있는
바로 이 사무실에서였죠.

14
00:00:36,680 --> 00:00:40,098
번쩍이는 가죽 재킷을
입고 팔뚝이 우람한 한

15
00:00:40,098 --> 00:00:43,800
남자가 커다란 금속 쟁반을
번쩍 들어올렸습니다.

16
00:00:43,800 --> 00:00:49,667
그 커다란 금속판에는 이렇게 적혀
있었습니다. "일론과 오픈AI 팀에게,

17
00:00:49,667 --> 00:00:55,240
컴퓨팅과 인류의 미래를 위해, 세계
최초의 DGX-1을 선사합니다."

18
00:00:55,240 --> 00:00:57,920
그렇게 저는 젠슨 황을 처음 만났습니다.

19
00:00:57,920 --> 00:01:00,624
인턴이라면 누구나 그랬겠죠. 저도 줄을

20
00:01:00,624 --> 00:01:03,200
서서 제 이름을 적으러 달려갔습니다.

21
00:01:03,200 --> 00:01:05,199
제 이름, 보이시나요?

22
00:01:05,199 --> 00:01:06,240
여기 있습니다.

23
00:01:06,240 --> 00:01:08,240
다른 이름도 보이시나요?

24
00:01:08,240 --> 00:01:09,960
저기, 안드레이입니다.

25
00:01:09,960 --> 00:01:13,800
안드레이, 우리는 이제
컴퓨터 역사 박물관행이네요.

26
00:01:13,800 --> 00:01:16,440
제가 공룡이 된 기분이에요.

27
00:01:16,440 --> 00:01:21,040
그때는 제가 무슨 일에
뛰어드는지 전혀 몰랐죠.

28
00:01:21,040 --> 00:01:23,811
그다음에 일어난 일은, 일리야 본인의

29
00:01:23,811 --> 00:01:26,720
말보다 더 잘 설명할 수 없을 겁니다.

30
00:01:26,720 --> 00:01:31,280
딥러닝을 믿으면, 딥러닝도
여러분을 믿어줄 겁니다.

31
00:01:31,280 --> 00:01:36,600
그리고 오, 딥러닝은 정말 크게
우리 모두를 믿어줬습니다.

32
00:01:36,600 --> 00:01:39,280
세 번의 계단 함수, 6년.

33
00:01:39,280 --> 00:01:42,400
그것만으로 오늘 이 자리까지
올 수 있었습니다.

34
00:01:42,400 --> 00:01:46,160
첫 번째 틱은 GPT-3,
사전학습입니다.

35
00:01:46,160 --> 00:01:51,720
다음 토큰 예측은 사실 문법 규칙,
언어의 형태를 배우는 것입니다.

36
00:01:51,720 --> 00:01:54,889
생각과 코드, 그리고
문자열 일반이 어떻게

37
00:01:54,889 --> 00:01:57,920
전개돼야 하는지를 시뮬레이션하는 것이죠.

38
00:01:57,920 --> 00:02:02,226
2022년, InstructGPT의
지도 파인튜닝(SFT)이

39
00:02:02,226 --> 00:02:05,880
이 시뮬레이션을 유용한
작업을 하도록 정렬했습니다.

40
00:02:05,880 --> 00:02:11,594
o1의 추론은 강화학습(RL)으로
모방학습을 뛰어넘었고, 마지막으로

41
00:02:11,594 --> 00:02:17,000
오토 리서치는 이 전체 루프를
인간의 한계 너머로 가속했습니다.

42
00:02:17,000 --> 00:02:22,760
그래서 안드레이가 말했듯, 모든 랩들이
최종 보스전에 다다르고 있습니다.

43
00:02:22,760 --> 00:02:27,200
즉 LLM은 지금 엔드게임
한복판에 있는 겁니다.

44
00:02:27,200 --> 00:02:29,080
솔직히, 정말 부럽습니다.

45
00:02:29,080 --> 00:02:33,480
안드레이가 얼마나 행복해했는지
보세요, 얼굴에 함박웃음이 가득했죠.

46
00:02:33,480 --> 00:02:37,840
LLM 쪽 사람들은 인생 최고의
파티를 즐기고 있는 겁니다.

47
00:02:37,840 --> 00:02:40,972
그들은 말 그대로
'미토스(Mythos)'라 불리는 신화

48
00:02:40,972 --> 00:02:43,800
속 생명체를 타고 AGI를
스피드런하고 있는 거죠.

49
00:02:43,800 --> 00:02:47,320
그러니 왜 로보틱스는 이
재미에 낄 수 없을까요?

50
00:02:47,320 --> 00:02:50,716
그래서 자존심 있는
과학자라면 누구나 그러듯,

51
00:02:50,716 --> 00:02:53,840
저도 숙제를 베끼고
새 이름을 붙였습니다.

52
00:02:53,840 --> 00:02:56,440
저는 이걸 '위대한
평행'이라고 부릅니다.

53
00:02:56,440 --> 00:02:59,098
그렇다면 문자열을
시뮬레이션하는 대신, 다음

54
00:02:59,098 --> 00:03:02,200
물리적 세계 상태를 시뮬레이션할
수 있지 않을까요?

55
00:03:02,200 --> 00:03:06,060
그런 다음 액션 파인튜닝을
통해, 실제 로봇에 중요한

56
00:03:06,060 --> 00:03:09,920
그 시뮬레이션의 얇은 조각으로
정렬시킬 수 있습니다.

57
00:03:09,920 --> 00:03:14,440
그리고 마지막 구간은
강화학습(RL)이 맡게 하는 거죠.

58
00:03:14,440 --> 00:03:16,040
그게 다입니다.

59
00:03:16,040 --> 00:03:18,920
위대한 평행, LLM의
성공을 그대로 베끼는 겁니다.

60
00:03:18,920 --> 00:03:20,840
이길 수 없다면, 합류하라는 거죠.

61
00:03:20,840 --> 00:03:26,000
그럼 함께 새로운 에피소드를
봐주시죠, '로보틱스: 엔드게임'.

62
00:03:26,000 --> 00:03:27,120
죄송합니다, 도저히 참을 수가 없었어요.

63
00:03:27,120 --> 00:03:28,519
나노 바나나가 너무 잘 만들어줘서요.

64
00:03:28,519 --> 00:03:31,320
감사합니다, 데미스.

65
00:03:31,320 --> 00:03:33,040
자, 그럼 엔드게임을
어떻게 플레이할까요?

66
00:03:33,040 --> 00:03:37,320
결국 두 가지로 귀결됩니다,
모델 전략과 데이터 전략입니다.

67
00:03:37,320 --> 00:03:39,800
먼저 모델부터 보겠습니다.

68
00:03:39,800 --> 00:03:44,063
지난 3년은 VLA(비전-언어-액션
모델)가 주도했고,

69
00:03:44,063 --> 00:03:49,320
PaLM(-E)나 GR00T(그루트)
같은 모델들이 여기 속합니다.

70
00:03:49,320 --> 00:03:52,487
그래서 사전학습은 VLA가 맡는다고

71
00:03:52,487 --> 00:03:56,320
가정하고, 그 위에
액션 헤드만 얹습니다.

72
00:03:56,320 --> 00:04:00,558
하지만 사실 이 모델들을
보면 LVA나 다름없습니다,

73
00:04:00,558 --> 00:04:03,920
파라미터 대부분이
언어에 쏠려 있으니까요.

74
00:04:03,920 --> 00:04:08,400
그러니까 언어가 일급 시민이고,
그다음이 비전, 액션 순입니다.

75
00:04:08,400 --> 00:04:11,706
설계상 VLA는 지식과
명사를 인코딩하는 데는

76
00:04:11,706 --> 00:04:14,880
뛰어나지만, 물리와
동사는 그렇지 못합니다.

77
00:04:14,880 --> 00:04:18,720
말하자면 엉뚱한 곳에
무게가 쏠려 있는 셈이죠.

78
00:04:18,720 --> 00:04:22,440
이건 제가 제일 좋아하는, 원조
VLA 논문 속 예시입니다.

79
00:04:22,440 --> 00:04:25,320
"콜라 캔을 테일러 스위프트
사진 쪽으로 옮겨라."

80
00:04:25,320 --> 00:04:27,400
네, 테일러 스위프트를
본 적은 없습니다.

81
00:04:27,400 --> 00:04:29,080
네, 일반화는 해냅니다.

82
00:04:29,080 --> 00:04:32,800
하지만 이게 우리가 원하는
사전학습 능력은 딱히 아닙니다.

83
00:04:32,800 --> 00:04:35,919
그럼 두 번째 사전학습
패러다임은 뭘까요?

84
00:04:35,919 --> 00:04:39,840
저는 늘 뭔가 대단한
것이리라 생각했습니다.

85
00:04:39,840 --> 00:04:45,000
안타깝게도 알고 보니, 이른바
'AI 비디오 슬랍'이었습니다.

86
00:04:45,000 --> 00:04:48,800
보안캠에 밴조 치는 고양이,
하루 종일 볼 수 있죠.

87
00:04:48,800 --> 00:04:51,320
인터넷의 정수죠.

88
00:04:51,320 --> 00:04:53,800
그런데 정말, 이걸 보세요.

89
00:04:53,800 --> 00:04:58,505
아무도 진지하게 안 봅니다 — 이
비디오 모델들이 내부적으로 다음

90
00:04:58,505 --> 00:05:03,080
월드 상태를 시뮬레이션하도록 학습
중이란 걸 깨닫기 전까지는요.

91
00:05:03,080 --> 00:05:06,080
이건 Veo 3의 롤아웃 몇 가지입니다.

92
00:05:06,080 --> 00:05:13,240
보시다시피 모델이 중력, 부력,
조명, 반사, 굴절을 스스로 익힙니다.

93
00:05:13,240 --> 00:05:15,560
이 중 어느 것도 코딩된 게 아닙니다.

94
00:05:15,560 --> 00:05:21,280
물리 법칙은 대규모로 다음 픽셀
덩어리를 예측하는 과정에서 발현됩니다.

95
00:05:21,280 --> 00:05:23,840
심지어 시각적 플래닝까지 발현됩니다.

96
00:05:23,840 --> 00:05:27,640
Veo가 이 미로들을
어떻게 푸는지 보시죠.

97
00:05:27,640 --> 00:05:32,160
픽셀 공간에서 시뮬레이션을
앞으로 돌려서 푸는 겁니다.

98
00:05:32,160 --> 00:05:34,720
여기 오른쪽 아래 구석을 주목해 주세요.

99
00:05:34,720 --> 00:05:36,240
이게 제가 제일 좋아하는 예시입니다.

100
00:05:36,240 --> 00:05:37,040
한번 보시죠.

101
00:05:37,040 --> 00:05:43,120
깜빡하면 Veo 3가 이걸
어떻게 푸는지 놓치실 거예요.

102
00:05:43,120 --> 00:05:44,000
정말 똑똑하죠.

103
00:05:44,000 --> 00:05:46,829
Veo 3는 보고 있지 않으면 기하학

104
00:05:46,829 --> 00:05:49,800
따위는 선택 사항이라는 걸 알아냅니다.

105
00:05:49,800 --> 00:05:53,200
저는 이걸 '물리 법칙'이라고 부르죠.

106
00:05:53,200 --> 00:05:56,400
그럼 이 월드 모델을
어떻게 쓸모 있게 만들까요?

107
00:05:56,400 --> 00:05:59,400
바로 액션 파인튜닝을 합니다.

108
00:05:59,400 --> 00:06:04,244
가능한 모든 미래
상태의 중첩을 정렬해서,

109
00:06:04,244 --> 00:06:09,720
실로봇에 필요한 얇은
조각으로 붕괴시키는 거죠.

110
00:06:09,720 --> 00:06:12,120
Dreamer를 소개합니다.

111
00:06:12,120 --> 00:06:15,663
몇 초 뒤의 미래를 꿈꾸고 그에 맞춰

112
00:06:15,663 --> 00:06:19,560
행동하는 새로운 유형의 정책 모델입니다.

113
00:06:19,560 --> 00:06:24,560
그리고 아시다시피 모터 액션은
고차원 연속 신호입니다.

114
00:06:24,560 --> 00:06:26,560
그러니 이건 픽셀과 똑같이 생겼죠.

115
00:06:26,560 --> 00:06:30,000
비디오를 렌더링하는 동시에
이것도 렌더링할 수 있습니다.

116
00:06:30,000 --> 00:06:32,592
그래서 Dreamer는 다음 월드

117
00:06:32,592 --> 00:06:35,760
상태와 다음 액션을 동시에 디코딩합니다.

118
00:06:35,760 --> 00:06:39,980
그 결과 학습 때 본 적 없는 태스크와

119
00:06:39,980 --> 00:06:44,200
동작도 제로샷으로 해결할 수 있습니다.

120
00:06:44,200 --> 00:06:47,919
로봇이 실행하는 동안 무엇을 꿈꾸고
있는지 시각화할 수 있습니다.

121
00:06:47,919 --> 00:06:49,760
그리고 그 상관관계가 아주 긴밀합니다.

122
00:06:49,760 --> 00:06:52,280
비디오 예측이 맞으면 액션도 맞고,

123
00:06:52,280 --> 00:06:55,440
비디오가 환각을 일으키면
액션도 실패합니다.

124
00:06:55,440 --> 00:07:00,080
그러니 다시 한번, 비전과
액션이 이제 일급 시민입니다.

125
00:07:00,080 --> 00:07:02,040
그리고 Dreamer로 정말
재미있게 놀고 있습니다.

126
00:07:02,040 --> 00:07:05,095
그래서 저희는 그냥 로봇을
실험실 안에서 돌아다니게

127
00:07:05,095 --> 00:07:08,040
하고, 프롬프트 박스에
아무 말이나 입력해봅니다.

128
00:07:08,040 --> 00:07:11,800
물론 Dreamer가 이 모든
작업을 100% 완벽하게 해내는

129
00:07:11,800 --> 00:07:15,560
건 아니지만, 말하자면 로보틱스의
GPT-2 같은 존재입니다.

130
00:07:15,560 --> 00:07:19,800
매번 움직임의 형태만이라도
정확히 맞추려는 거죠.

131
00:07:19,800 --> 00:07:23,289
그래서 Dreamer는 로보틱스를
위한 open-ended,

132
00:07:23,289 --> 00:07:27,200
open-vocabulary
프롬프팅으로 가는 저희의 첫걸음입니다.

133
00:07:27,200 --> 00:07:29,603
그리고 저희는 이 새로운 유형의 모델을

134
00:07:29,603 --> 00:07:32,120
월드 액션 모델(WAM)이라고 부릅니다.

135
00:07:32,120 --> 00:07:37,680
자, 우리의 오랜 친구 VLA를
위해 잠시 묵념하겠습니다.

136
00:07:37,680 --> 00:07:38,840
그동안 저희를 잘 섬겨줬습니다.

137
00:07:38,840 --> 00:07:40,360
편히 잠들기를.

138
00:07:40,360 --> 00:07:43,090
WAM 만세.

139
00:07:43,090 --> 00:07:46,840
다음은 데이터 전략입니다.

140
00:07:46,840 --> 00:07:50,224
이분은 엔비디아 수석 과학자
빌 댈리인데, 저희 실험실에서

141
00:07:50,224 --> 00:07:53,080
텔레오퍼레이션(텔레옵)을
직접 조작하고 있습니다.

142
00:07:53,080 --> 00:07:57,153
그리고 그의 연봉을 생각하면,
이건 아마 저희 데이터셋에서

143
00:07:57,153 --> 00:08:01,480
지금까지 수집된 것 중 단연 가장
비싼 텔레옵 궤적일 겁니다.

144
00:08:01,480 --> 00:08:05,440
지난 3년은 텔레옵이
지배해온 시기였습니다.

145
00:08:05,440 --> 00:08:07,080
그야말로 황금기였죠.

146
00:08:07,080 --> 00:08:12,334
VR 헤드셋, 스트리밍을 위해
극도로 최적화된 지연시간,

147
00:08:12,334 --> 00:08:17,080
그리고 중세 고문기구 같은
복잡한 리그까지 있었죠.

148
00:08:17,080 --> 00:08:21,960
업계의 엄청난 투자, 그리고
그만큼의 고통이었습니다.

149
00:08:21,960 --> 00:08:25,898
그런데도 텔레옵은 로봇
1대당 하루 24시간이라는

150
00:08:25,898 --> 00:08:28,960
근본적인 물리적 한계에 갇혀 있습니다.

151
00:08:28,960 --> 00:08:30,240
아니, 사실 누굴 속이겠습니까?

152
00:08:30,240 --> 00:08:32,320
실제로는 로봇 1대당
하루 3시간에 가깝죠,

153
00:08:32,320 --> 00:08:34,768
그것도 로봇의 신이 자비로울 때나

154
00:08:34,768 --> 00:08:37,760
그렇습니다. 로봇들은 늘 떼를 쓰거든요.

155
00:08:37,760 --> 00:08:39,840
그럼 어떻게 하면 더 잘할 수 있을까요?

156
00:08:39,840 --> 00:08:41,520
자, 이건 어떨까요?

157
00:08:41,520 --> 00:08:45,760
그냥 로봇 손을 내
손에 착용하는 겁니다.

158
00:08:45,760 --> 00:08:48,960
이건 UMI(유니버설 머니퓰레이션
인터페이스)라고 하는데,

159
00:08:48,960 --> 00:08:51,960
얼핏 단순해 보이지만 실은
아주 영리한 아이디어입니다.

160
00:08:51,960 --> 00:08:56,520
로봇 액추에이터를 손에 착용하고,
사람이 직접 데이터를 수집하는 거죠,

161
00:08:56,520 --> 00:09:01,120
로봇 몸체의 나머지
부분은 루프 밖에 두고요.

162
00:09:01,120 --> 00:09:03,964
그래도 UMI는 로봇
데이터 분야에서 아마 역대

163
00:09:03,964 --> 00:09:06,480
최고의 논문 중 하나라고
말하고 싶습니다.

164
00:09:06,480 --> 00:09:09,240
그리고 유니콘 스타트업을
두 개나 낳았죠.

165
00:09:09,240 --> 00:09:11,659
왼쪽은 졸스(Joles)가
이 디자인을 개선해서,

166
00:09:11,659 --> 00:09:13,720
여기에 그리퍼를 착용할
수 있게 한 거고,

167
00:09:13,720 --> 00:09:18,680
오른쪽은 선데이(Sunday)가
만든 이 3지 데이터 글러브입니다.

168
00:09:18,680 --> 00:09:21,080
그래서 작년에 저희는 한
걸음 더 나아갔습니다.

169
00:09:21,080 --> 00:09:25,354
5지 덱스터러스 로봇 핸드와
일대일로 매핑되는 이 외골격을

170
00:09:25,354 --> 00:09:28,960
설계했고,
덱스UMI(DexUMI)라고 부릅니다.

171
00:09:28,960 --> 00:09:31,200
실제로 작동하는 모습을 보시죠.

172
00:09:31,200 --> 00:09:35,600
왼쪽은 인간이 직접 데이터를 수집하는
모습인데, 역시 가장 빠릅니다.

173
00:09:35,600 --> 00:09:38,640
오른쪽은 텔레옵이
얼마나 어려운지 보세요.

174
00:09:38,640 --> 00:09:41,489
여기 저희 팀에서 가장 숙련된 박사과정

175
00:09:41,489 --> 00:09:44,880
오퍼레이터가, 아주
조심스럽게 정렬해야 하죠.

176
00:09:44,880 --> 00:09:46,440
그리고 엄청 느립니다.

177
00:09:46,440 --> 00:09:49,840
게다가 성공률도 아주 낮고요.

178
00:09:49,840 --> 00:09:55,200
가운데는 이 외골격을 착용하기만
하면 바로 데이터를 수집합니다.

179
00:09:55,200 --> 00:09:58,080
그리고 이 데이터로 로봇
정책을 학습시킵니다.

180
00:09:58,080 --> 00:10:02,151
여기 보시는 건 텔레옵
데이터를 전혀 쓰지

181
00:10:02,151 --> 00:10:06,400
않고 학습한 정책의 완전
자율 롤아웃입니다.

182
00:10:06,400 --> 00:10:09,514
그래서 로봇 1대당 하루
24시간이라는 저주를 깨고,

183
00:10:09,514 --> 00:10:12,520
이 로봇들이 얼마나 행복해하는지
보실 수 있습니다.

184
00:10:12,520 --> 00:10:16,200
더 이상 데이터 수집을 위해 루프
안에 있을 필요가 없으니까요.

185
00:10:16,200 --> 00:10:18,000
그럼 이게 답일까요?

186
00:10:18,000 --> 00:10:21,720
로보틱스의 스케일링
문제를 해결한 걸까요?

187
00:10:21,720 --> 00:10:23,760
여기 테슬라나 웨이모
타시는 분 계신가요?

188
00:10:23,760 --> 00:10:26,000
있으시네요, 그렇죠?

189
00:10:26,000 --> 00:10:30,021
사실 운전하실 때,
여러분은 가장 거대한 물리

190
00:10:30,021 --> 00:10:33,560
데이터 플라이휠에 기여하고 계신 겁니다.

191
00:10:33,560 --> 00:10:36,957
그리고 멋진 건 FSD를
쓰는 동안 전혀 못 느낀다는

192
00:10:36,957 --> 00:10:40,120
거예요, 데이터 업로드가
백그라운드 과정이니까요.

193
00:10:40,120 --> 00:10:41,613
그런데 이런 구식 모캡이나 데이터

194
00:10:41,613 --> 00:10:43,520
웨어러블을 착용하는
건, 여전히 번거롭죠?

195
00:10:43,520 --> 00:10:44,640
거추장스럽습니다.

196
00:10:44,640 --> 00:10:48,160
그냥 차를 몰고 출근하는
것만큼 매끄럽지는 않죠.

197
00:10:48,160 --> 00:10:53,000
그래서 FSD에 해당하는
무언가가 필요합니다.

198
00:10:53,000 --> 00:10:57,600
데이터 수집이 방해가 되지 않고
배경 속으로 사라져야 합니다.

199
00:10:57,600 --> 00:11:01,835
그래야 온갖 삶의 방식과
경제적 가치를 지닌 모든 노동에

200
00:11:01,835 --> 00:11:06,480
걸쳐, 인간의 정교한 손 조작을
온전히 담아낼 수 있으니까요.

201
00:11:06,480 --> 00:11:11,940
그래서 저희는 손 위치 추적이나
촘촘한 언어 주석 같은 세밀한

202
00:11:11,940 --> 00:11:17,560
주석이 달린 인간의 에고센트릭
영상에 완전히 올인하고 있습니다.

203
00:11:17,560 --> 00:11:20,080
에고스케일(EgoScale)을
소개합니다.

204
00:11:20,080 --> 00:11:26,520
이 모델 학습의 99.9%가 인간의
에고센트릭 영상을 기반으로 합니다.

205
00:11:26,520 --> 00:11:31,240
그 결과물이 바로, 이 카메라
픽셀에서 22자유도의 매우

206
00:11:31,240 --> 00:11:35,960
정교한 로봇 손으로 곧장
매핑하는 엔드투엔드 정책입니다.

207
00:11:35,960 --> 00:11:39,760
지금 보시는 건 완전 자율입니다.

208
00:11:39,760 --> 00:11:42,924
저희는 로봇 데이터를 단
한 시간도 쓰지 않고, 실제

209
00:11:42,924 --> 00:11:46,087
환경에서 촬영된 2만
1,000시간 분량의 에고센트릭

210
00:11:46,087 --> 00:11:49,360
인간 데이터만으로 EgoScale을
사전학습시켰습니다.

211
00:11:49,360 --> 00:11:54,000
그리고 사전학습 동안, 저희는 이
손 관절과 손목 자세를 예측합니다.

212
00:11:54,000 --> 00:11:58,100
그다음 액션 파인튜닝에서는,
50시간 분량의 고정밀

213
00:11:58,100 --> 00:12:02,200
모캡 데이터 글러브와 4시간의
텔레옵만 수집합니다.

214
00:12:02,200 --> 00:12:04,640
그 텔레옵이 겨우 4시간입니다.

215
00:12:04,640 --> 00:12:09,320
저희 학습 데이터 구성의
0.1%도 안 됩니다.

216
00:12:09,320 --> 00:12:14,018
이걸로 EgoScale은 카드
분류나 주사기 조작 같은

217
00:12:14,018 --> 00:12:18,560
매우 정교한 작업까지 일반화할
수 있습니다, 그렇죠?

218
00:12:18,560 --> 00:12:20,802
아니면 액체를 옮기는 것도요 — 언젠가는

219
00:12:20,802 --> 00:12:22,840
집에 로봇 간호사가 있을지도 모르죠.

220
00:12:22,840 --> 00:12:25,040
이왕이면 한번 시도해보는 거죠.

221
00:12:25,040 --> 00:12:29,479
그리고 이런 작업들에서는,
테스트 시점에 원샷 시연

222
00:12:29,479 --> 00:12:33,760
한 번만으로 다양한 셔츠
개기 전략을 학습합니다.

223
00:12:33,760 --> 00:12:38,229
그리고 아마 이 논문에서 가장
흥미로운 발견은, 저희가

224
00:12:38,229 --> 00:12:42,400
손 조작의 스케일링 법칙을
발견했다는 점일 겁니다.

225
00:12:42,400 --> 00:12:45,920
사전학습에 투입한 시간과 최적 검증 손실

226
00:12:45,920 --> 00:12:49,280
사이에 아주 깔끔한 관계가 나타납니다.

227
00:12:49,280 --> 00:12:53,880
사실 이건 깔끔한 로그-선형
수학 방정식입니다.

228
00:12:53,880 --> 00:12:59,040
언어 모델을 위한 최초의 스케일링
법칙이 나온 지 6년 만입니다.

229
00:12:59,040 --> 00:13:02,921
자, 이 모든 데이터 전략들을
이 차트에 올려보면,

230
00:13:02,921 --> 00:13:07,080
X축은 로봇 하드웨어와의
정합성, Y축은 확장성입니다.

231
00:13:07,080 --> 00:13:08,520
이런 모습이 됩니다.

232
00:13:08,520 --> 00:13:10,680
텔레옵, 확장성은 가장 낮습니다.

233
00:13:10,680 --> 00:13:14,360
데이터 웨어러블은 수십만
시간까지 갈 수 있고요.

234
00:13:14,360 --> 00:13:18,334
에고센트릭 영상은
FSD처럼 플라이휠을 돌릴

235
00:13:18,334 --> 00:13:22,640
수 있다면 내년쯤 1,000만
시간도 쉽습니다.

236
00:13:22,640 --> 00:13:26,144
여기 선을 하나 그으면,
왼쪽 전부가 바로

237
00:13:26,144 --> 00:13:29,800
그 패러다임입니다 —
센서화된 인간 데이터.

238
00:13:29,800 --> 00:13:31,960
자, 몇 가지 예측을 해보겠습니다.

239
00:13:31,960 --> 00:13:37,880
1~2년 안에 텔레옵은 계속 줄어들어
거의 무시할 수준이 될 겁니다.

240
00:13:37,880 --> 00:13:40,997
그리고 하드웨어와 용도별로 맞춤 설계된

241
00:13:40,997 --> 00:13:44,560
데이터 웨어러블들이
다양하게 등장할 겁니다.

242
00:13:44,560 --> 00:13:49,600
그리고 결국 로보틱스의 주된 데이터원은
에고센트릭 영상이 될 겁니다.

243
00:13:49,600 --> 00:13:53,520
자, 우리의 오랜 친구 텔레옵을
위해 잠시 묵념하겠습니다.

244
00:13:53,520 --> 00:13:54,520
그동안 수고 많았습니다.

245
00:13:54,520 --> 00:13:55,840
편히 잠들기를.

246
00:13:55,840 --> 00:13:59,080
센서화된 인간 데이터 만세.

247
00:13:59,080 --> 00:14:01,240
자, 데이터 전략은 이걸로 끝일까요?

248
00:14:01,240 --> 00:14:04,240
데이터 전략에 원이 두 개
그려진 거 눈치채셨나요?

249
00:14:04,240 --> 00:14:06,760
그럼 바깥쪽 원은 뭘까요?

250
00:14:06,760 --> 00:14:11,046
오래된 곳이든 프론티어
연구소든, 이제 강화학습용 코딩

251
00:14:11,046 --> 00:14:15,760
환경을 수백만 개 확보하는 데
상당한 예산을 쓰고 있습니다.

252
00:14:15,760 --> 00:14:17,200
로보틱스도 마찬가지입니다.

253
00:14:17,200 --> 00:14:20,720
환경을 시급히 스케일업해야 합니다.

254
00:14:20,720 --> 00:14:25,560
물론 실제 로봇에서 직접
강화학습을 할 수도 있죠.

255
00:14:25,560 --> 00:14:28,490
저희 연구실에서는 RL로 특정 태스크를

256
00:14:28,490 --> 00:14:31,560
거의 100% 성공률까지 끌어올렸습니다.

257
00:14:31,560 --> 00:14:35,240
그래서 몇 시간이고 끊임없이
실행할 수 있습니다.

258
00:14:35,240 --> 00:14:39,400
로봇들이 알아서 GPU를 조립하는
모습을 보면 묘하게 힐링됩니다.

259
00:14:39,400 --> 00:14:45,660
현자의 말을 빌리자면, "잘했어,
이 작업은 제 보스가 승인했어."

260
00:14:45,960 --> 00:14:49,275
하지만 예전 방식대로
하면 로봇 100만 대가

261
00:14:49,275 --> 00:14:53,120
필요하니, 100만 개
환경에는 도달할 수 없습니다.

262
00:14:53,120 --> 00:14:55,120
그러니 더 나은 방법이 필요합니다.

263
00:14:55,120 --> 00:14:58,920
자, 예를 들어 아이폰으로
사진을 한 장 찍는다고 해보죠,

264
00:14:58,920 --> 00:15:01,972
이 3D 월드 스캔
파이프라인에 통과시키면

265
00:15:01,972 --> 00:15:04,360
모든 오브젝트를 추출할 수 있고,

266
00:15:04,360 --> 00:15:10,080
그걸 다시 클래식 물리 시뮬레이터
안에 자동으로 합성해 넣습니다.

267
00:15:10,080 --> 00:15:14,120
그래서 스캔 후에는 이 오브젝트들이
실제로 전부 상호작용 가능해집니다.

268
00:15:14,120 --> 00:15:18,079
그리고 시뮬레이션 안에서 이걸
무한히 증강할 수 있는데,

269
00:15:18,079 --> 00:15:21,400
저희는 이 변형들을 디지털
커즌이라고 부릅니다.

270
00:15:21,400 --> 00:15:26,640
그러니까 이제 아이폰이 사실상
포켓 월드 스캐너가 되는 겁니다.

271
00:15:26,640 --> 00:15:29,600
저희는 이 과정을
리얼-투-심-투-리얼이라고 부르는데,

272
00:15:29,600 --> 00:15:32,464
이런 식으로 물리 세계를 디지털 세계로

273
00:15:32,464 --> 00:15:35,600
이식하는 확장 가능한
방법을 갖게 됩니다.

274
00:15:35,600 --> 00:15:39,400
하지만 이 방법은 여전히 클래식
그래픽스 엔진에 의존합니다.

275
00:15:39,400 --> 00:15:41,240
더 잘할 수는 없을까요?

276
00:15:41,240 --> 00:15:44,520
드림 도조(Dream
Dojo)를 소개합니다.

277
00:15:44,520 --> 00:15:47,911
저희가 비디오 월드
모델을 재해석해, 완전한

278
00:15:47,911 --> 00:15:51,160
뉴럴 시뮬레이터로
탈바꿈시킨 결과물입니다.

279
00:15:51,160 --> 00:15:55,500
Dream Dojo는 이런
연속적인 액션 신호를 입력으로

280
00:15:55,500 --> 00:16:00,400
받아, 실시간으로 다음 RGB
프레임과 센서 상태를 출력합니다.

281
00:16:00,400 --> 00:16:03,600
지금 보시는 픽셀 중 실제인
건 단 하나도 없습니다.

282
00:16:03,600 --> 00:16:06,860
그리고 Dream Dojo는
순수하게 데이터 기반

283
00:16:06,860 --> 00:16:10,240
방식으로 여러 로봇의 역학을
포착하고 학습해냅니다.

284
00:16:10,240 --> 00:16:16,200
이 과정에는 물리 방정식도, 그래픽스
엔진도 전혀 관여하지 않습니다.

285
00:16:16,200 --> 00:16:21,093
그래서 로보틱스의 새로운 사후학습
패러다임은, 소수의 실제

286
00:16:21,093 --> 00:16:25,680
로봇 스테이션에서 돌아가는
대규모 병렬 RL 시스템과,

287
00:16:25,680 --> 00:16:29,316
월드 스캔을 처리하는 다수의
그래픽스 코어, 그리고 월드

288
00:16:29,316 --> 00:16:32,600
모델을 구동하는 방대한 추론
컴퓨트로 이루어집니다.

289
00:16:32,600 --> 00:16:38,800
달리 말해, 이 방정식대로 이제 컴퓨트가
곧 환경이고, 곧 데이터입니다.

290
00:16:38,800 --> 00:16:43,200
혹은, 어느 현자의 말을 빌리자면,
많이 살수록, 많이 아끼는 겁니다.

291
00:16:43,200 --> 00:16:47,400
그리고 이 메시지는 제
보스의 승인을 받았습니다.

292
00:16:47,400 --> 00:16:48,320
자, 여기까지입니다.

293
00:16:48,320 --> 00:16:52,839
정리하자면, 이게 바로 로보틱스가
따라갈 위대한 평행입니다.

294
00:16:52,839 --> 00:16:54,960
그리고 이건 지금 이
순간에도 일어나고 있습니다.

295
00:16:54,960 --> 00:16:59,560
우리는 지금 엔드게임의
시작을 보고 있는 겁니다.

296
00:16:59,560 --> 00:17:03,160
문명(Civilization)이라는
비디오 게임 해보셨나요?

297
00:17:03,160 --> 00:17:05,199
지금도 제가 제일 좋아하는 게임입니다.

298
00:17:05,199 --> 00:17:08,390
저는 제 연구를 문명 테크 트리의

299
00:17:08,390 --> 00:17:12,291
업적을 해금하는 것으로 생각하곤 합니다.

300
00:17:12,291 --> 00:17:17,839
로보틱스 쪽에는 해금할 업적이 세
개 더 남아 있고, 그러면 끝입니다.

301
00:17:17,839 --> 00:17:20,959
그럼 저는 은퇴할 수
있는데, 정말 기다려지네요.

302
00:17:20,959 --> 00:17:25,040
첫 번째는 피지컬 튜링
테스트를 통과하는 것입니다.

303
00:17:25,040 --> 00:17:29,597
다양한 활동에서,
인간이 하는 일과 로봇이

304
00:17:29,597 --> 00:17:33,560
하는 일을 구별할 수 없어야 합니다.

305
00:17:33,560 --> 00:17:37,600
아마 취한 사람은 빼고요, 아시죠.

306
00:17:37,600 --> 00:17:40,380
피지컬 튜링 테스트는 단위 에너지 입력

307
00:17:40,380 --> 00:17:43,160
대비 단위 노동 출력에 관한 것입니다.

308
00:17:43,160 --> 00:17:47,880
이 로봇의 섹시한 포즈만 봐도, 저희가
할 일이 많다는 걸 알 수 있죠.

309
00:17:47,880 --> 00:17:51,120
그러니 아마 2~3년
정도 남았을 겁니다.

310
00:17:51,120 --> 00:17:53,480
다음은 피지컬 API입니다.

311
00:17:53,480 --> 00:17:57,331
로봇 함대 전체를 다른
소프트웨어와 마찬가지로

312
00:17:57,331 --> 00:18:00,720
API와 커맨드라인으로 구성할 수 있고,

313
00:18:00,720 --> 00:18:04,160
언젠가는 Opus 9.0이
이를 지휘하게 될 겁니다.

314
00:18:04,160 --> 00:18:07,023
이 피지컬 API가 있으면,
소등 공장(lights-out

315
00:18:07,023 --> 00:18:09,080
factory)을
실현할 수 있을 겁니다.

316
00:18:09,080 --> 00:18:11,920
이는 본질적으로 원자를
찍어내는 프린터입니다.

317
00:18:11,920 --> 00:18:15,670
마크다운 파일로 된
설계도를 입력받아, 완전히

318
00:18:15,670 --> 00:18:19,120
조립된 제품을 완전
자율적으로 출력합니다.

319
00:18:19,120 --> 00:18:23,278
혹은 화학, 생물학, 의학 분야의

320
00:18:23,278 --> 00:18:28,360
과학적 발견을 자동화하는 웻랩도 있고요.

321
00:18:28,360 --> 00:18:31,400
그리고 마지막 정거장은
피지컬 오토 리서치입니다.

322
00:18:31,400 --> 00:18:35,920
로봇이 인간의 능력을 훨씬
뛰어넘어, 스스로 다음

323
00:18:35,920 --> 00:18:40,440
세대를 설계하고 개선하고
만들기 시작하는 것이죠.

324
00:18:40,440 --> 00:18:43,640
그럼 이렇게 물으실 수도 있겠죠,
너무 공상과학 아니냐고.

325
00:18:43,640 --> 00:18:46,920
우리가 살아있는 동안
이걸 볼 수 있겠냐고요.

326
00:18:46,920 --> 00:18:55,320
음, AI 커뮤니티가 2012년
알렉스넷의 첫 순전파부터,

327
00:18:55,320 --> 00:19:00,352
고양이와 개도 겨우 구분하던 모델에서,
에이전틱 AI 리서치를 이야기하는

328
00:19:00,352 --> 00:19:04,880
오늘, 2026년의 AI 어센트까지
오는 데 14년이 걸렸습니다.

329
00:19:04,880 --> 00:19:06,600
그럼 여기에 14년을 더해보죠.

330
00:19:06,600 --> 00:19:08,600
어떤가요?

331
00:19:08,600 --> 00:19:14,160
2026년은 2012년과
2040년의 정확히 중간입니다.

332
00:19:14,160 --> 00:19:16,280
그리고 기술은 선형적으로
발전하지 않습니다.

333
00:19:16,280 --> 00:19:19,120
기하급수적으로 발전하죠.

334
00:19:19,120 --> 00:19:25,352
그래서 저는 95% 확신을 갖고
말씀드립니다. 2040년이면

335
00:19:25,352 --> 00:19:30,640
엔드게임의 끝, 테크 트리의
끝에 도달할 거라고요.

336
00:19:30,640 --> 00:19:34,120
그때도 우리는 여전히 젊을 겁니다.

337
00:19:34,120 --> 00:19:38,280
로보틱스를 믿으면, 로보틱스도
여러분을 믿어줄 겁니다.

338
00:19:38,280 --> 00:19:42,312
이 자리에 앉아 계신
우리 모두, 저는 우리

339
00:19:42,312 --> 00:19:46,680
세대가 너무 늦게 태어나
지구를 탐험하지 못했고

340
00:19:46,680 --> 00:19:50,445
너무 일찍 태어나 별을
탐험하지 못했지만, 로보틱스를

341
00:19:50,445 --> 00:19:53,560
풀어낼 때에 딱 맞춰
태어났다고 생각합니다.

342
00:19:53,560 --> 00:19:54,078
감사합니다.

343
00:19:54,078 --> 00:19:56,778
(박수)