1
00:00:00,240 --> 00:00:02,080
뭐가 신기한지 아세요?

2
00:00:02,080 --> 00:00:04,160
이 모든 게 실제로
일어나고 있다는 거요.

3
00:00:04,160 --> 00:00:05,200
무슨 의미인가요?

4
00:00:05,200 --> 00:00:06,464
그렇게 생각 안 하세요?

5
00:00:06,464 --> 00:00:08,891
이 모든 AI 이야기랑 베이 에어리어

6
00:00:08,891 --> 00:00:11,440
일들이… 실제로 일어나고 있다는 거요.

7
00:00:11,440 --> 00:00:14,128
완전히 SF 같지 않나요?

8
00:00:14,128 --> 00:00:18,758
또 신기한 건, '느린 이륙'이
이렇게 평범하게 느껴진다는 거예요.

9
00:00:18,758 --> 00:00:22,819
GDP의 1%를 AI에
투자한다는 게 훨씬 더

10
00:00:22,819 --> 00:00:26,880
큰 일처럼 느껴졌을 것
같은데, 지금은 그냥…

11
00:00:26,880 --> 00:00:29,915
사람은 생각보다 빨리 적응하나 봐요.

12
00:00:29,915 --> 00:00:31,897
근데 또 좀 추상적이기도 해요.

13
00:00:31,897 --> 00:00:33,013
그게 무슨 뜻인가요?

14
00:00:33,013 --> 00:00:36,374
뉴스에서 어느 회사가 얼마를 투자한다고

15
00:00:36,374 --> 00:00:40,056
발표했다더라, 그런
걸 보게 된다는 거죠.

16
00:00:40,056 --> 00:00:41,836
보이는 건 그게 다예요.

17
00:00:41,836 --> 00:00:45,840
지금까지는 다른 방식으로는
딱히 체감되지 않아요.

18
00:00:45,840 --> 00:00:46,757
아예 여기서부터 시작해 볼까요?

19
00:00:46,757 --> 00:00:48,000
흥미로운 주제인 것 같아요.

20
00:00:48,000 --> 00:00:48,461
좋아요.

21
00:00:48,461 --> 00:00:52,742
평범한 사람 입장에선 별로
달라진 게 없다는 그

22
00:00:52,742 --> 00:00:57,517
말씀은, 특이점에 이르러서도
계속 사실일 것 같아요.

23
00:00:57,517 --> 00:00:58,880
아니요, 저는 그렇게 생각 안 해요.

24
00:00:58,880 --> 00:01:00,035
아, 흥미롭네요.

25
00:01:00,035 --> 00:01:06,767
제가 체감이 안 된다고 말씀드린
건, 어느 회사가 가늠하기

26
00:01:06,767 --> 00:01:12,447
힘든 액수의 투자를
발표했다더라, 그런 거였어요.

27
00:01:12,447 --> 00:01:15,920
그 정보로 뭘 해야 할지
아는 사람은 없을 거예요.

28
00:01:15,920 --> 00:01:20,167
하지만 AI의 영향은
체감될 거라고 생각해요.

29
00:01:20,167 --> 00:01:24,160
AI가 경제 전반에 확산될 거예요.

30
00:01:24,160 --> 00:01:27,396
여기엔 아주 강한 경제적
힘이 작용할 거고,

31
00:01:27,396 --> 00:01:30,632
그 영향은 아주 강하게
체감될 거라고 봐요.

32
00:01:30,632 --> 00:01:32,640
그 영향은 언제쯤 나타날 거라고 보세요?

33
00:01:32,640 --> 00:01:38,480
모델들이 경제적 영향이 보여주는
것보다 더 똑똑해 보이는 것 같아요.

34
00:01:38,480 --> 00:01:38,986
네.

35
00:01:38,986 --> 00:01:44,720
이게 지금 모델들을 두고 정말
혼란스러운 지점 중 하나예요.

36
00:01:44,720 --> 00:01:49,184
평가(evals)에서는 이렇게 잘하는데,

37
00:01:49,184 --> 00:01:53,040
그 사실을 어떻게 이해해야 할까요?

38
00:01:53,040 --> 00:01:56,858
평가를 보면 '이거 꽤
어려운 평가네' 싶어요.

39
00:01:56,858 --> 00:01:58,566
그런데 정말 잘 해내거든요.

40
00:01:58,566 --> 00:02:05,482
그런데 경제적 영향은 훨씬
뒤처져 있는 것 같고요.

41
00:02:07,920 --> 00:02:14,355
어떻게 모델이 한편으론 이렇게 놀라운
일을 해내면서, 다른 한편으론 어떤

42
00:02:14,355 --> 00:02:20,307
상황에서는 같은 일을 두 번
반복하는지, 이해하기가 정말 어려워요.

43
00:02:20,560 --> 00:02:24,560
예를 들어 바이브 코딩으로
뭔가를 만든다고 해볼게요.

44
00:02:24,560 --> 00:02:26,960
어딘가에서 버그가 하나 생겨요.

45
00:02:26,960 --> 00:02:30,089
그럼 모델한테 "이 버그
좀 고쳐줄래?"라고 말하죠.

46
00:02:30,089 --> 00:02:32,770
그럼 모델이 "아,
정말 맞는 말씀이세요.

47
00:02:32,770 --> 00:02:33,404
저한테 버그가 있었네요.

48
00:02:33,404 --> 00:02:34,356
고쳐볼게요"라고 해요.

49
00:02:34,356 --> 00:02:36,960
그러면서 두 번째 버그를 만들어내죠.

50
00:02:36,960 --> 00:02:39,413
그래서 "이번엔 새로 생긴
이 두 번째 버그요"라고

51
00:02:39,413 --> 00:02:41,778
하면, 모델은 "아이고,
제가 어쩌다 그랬을까요.

52
00:02:41,778 --> 00:02:45,105
다시 한번 정말 맞는
말씀이세요"라면서 첫 번째 버그를

53
00:02:45,105 --> 00:02:48,211
도로 가져와요. 그렇게 계속
왔다 갔다 하는 거죠.

54
00:02:48,211 --> 00:02:50,196
어떻게 그런 일이 가능한 걸까요?

55
00:02:50,196 --> 00:02:56,890
확실친 않지만, 뭔가 이상한 일이
벌어지고 있다는 건 분명해요.

56
00:02:56,890 --> 00:03:00,284
가능한 설명이 두 가지 있어요.

57
00:03:00,284 --> 00:03:06,239
좀 더 엉뚱한 설명은, 어쩌면
강화학습(RL) 훈련이 모델을 지나치게

58
00:03:06,239 --> 00:03:11,881
한 가지에만 몰두하게 만들고 시야를
좁혀서, 어떤 면에서는 인식을

59
00:03:11,881 --> 00:03:17,680
더 키워주면서도 다른 면에서는
오히려 좀 둔감하게 만든다는 거예요.

60
00:03:17,680 --> 00:03:21,444
그래서 기본적인 것들을 못 하는 거고요.

61
00:03:21,444 --> 00:03:24,287
하지만 또 다른 설명도 있어요.

62
00:03:24,287 --> 00:03:28,287
사전학습(pre-training)을
하던 시절에는

63
00:03:28,287 --> 00:03:32,138
'어떤 데이터로 학습할
것인가'라는 질문에 이미

64
00:03:32,138 --> 00:03:36,138
답이 나와 있었어요. 답이
'전부 다'였으니까요.

65
00:03:36,138 --> 00:03:41,040
사전학습을 할 때는 모든
데이터가 필요해요.

66
00:03:41,040 --> 00:03:44,960
그러니 이 데이터로 할지 저
데이터로 할지 고민할 필요가 없죠.

67
00:03:44,960 --> 00:03:48,560
하지만 사람들이 RL 훈련을
할 때는 고민이 필요해요.

68
00:03:48,560 --> 00:03:51,767
"좋아, 이건 이런 RL 훈련으로, 저건

69
00:03:51,767 --> 00:03:55,120
저런 RL 훈련으로
하자"고 말하는 거죠.

70
00:03:55,120 --> 00:03:59,038
제가 듣기로는 모든
회사에 새로운 RL 환경만

71
00:03:59,038 --> 00:04:02,800
만들어서 훈련 믹스에
추가하는 팀이 있대요.

72
00:04:02,800 --> 00:04:04,483
질문은, 그게 대체 뭐냐는 거죠.

73
00:04:04,483 --> 00:04:06,080
자유도가 너무 많아요.

74
00:04:06,080 --> 00:04:11,519
만들 수 있는 RL 환경의
종류가 정말 다양하죠.

75
00:04:12,720 --> 00:04:16,819
할 수 있는 한 가지는, 이건
의도치 않게 벌어지는 일

76
00:04:16,819 --> 00:04:21,327
같은데, 사람들이 평가(evals)에서
영감을 얻는 거예요.

77
00:04:21,327 --> 00:04:26,830
"자, 우리 모델이 출시될
때 정말 잘했으면 좋겠다.

78
00:04:26,830 --> 00:04:28,720
평가(evals) 결과가
멋지게 나왔으면 좋겠다.

79
00:04:28,720 --> 00:04:33,840
이 과제에 도움이 될 RL
훈련이 뭘까?"라고 하는 거죠.

80
00:04:33,840 --> 00:04:36,440
이런 일이 실제로
벌어진다고 생각하고, 지금

81
00:04:36,440 --> 00:04:39,040
일어나는 많은 일을
설명할 수 있다고 봐요.

82
00:04:39,040 --> 00:04:44,059
여기에 모델의 일반화가 실제로
부족하다는 점까지 더하면, 지금

83
00:04:44,059 --> 00:04:49,077
우리가 목격하는 현상, 즉
평가(evals) 성능과 실제 성능

84
00:04:49,077 --> 00:04:54,243
사이의 이 괴리를 상당 부분
설명할 수 있어요. 사실 이 괴리가

85
00:04:54,243 --> 00:05:00,000
정확히 무엇을 뜻하는지조차 오늘날
우리는 제대로 이해하지 못하고 있죠.

86
00:05:00,000 --> 00:05:04,428
진짜 보상 해킹은
평가(evals)에 매몰된

87
00:05:04,428 --> 00:05:09,040
인간 연구자들이라는 이
생각이 마음에 드네요.

88
00:05:09,040 --> 00:05:12,294
방금 지적하신 부분을 이해하는, 혹은

89
00:05:12,294 --> 00:05:15,874
생각해보는 방법이 두 가지 있다고 봐요.

90
00:05:15,874 --> 00:05:21,245
하나는, 만약 코딩 대회에서
초인적인 수준이 된다고 해서

91
00:05:21,245 --> 00:05:25,924
모델이 자동으로 더 감각
있고 코드베이스를 개선할

92
00:05:25,924 --> 00:05:31,122
판단력까지 좋아지는 게
아니라면, 그땐 코딩 대회 최고

93
00:05:31,122 --> 00:05:36,840
성능만 테스트하지 않도록 환경의
폭을 넓혀야 한다는 거예요.

94
00:05:36,840 --> 00:05:41,602
X나 Y나 Z를 위한 최고의
애플리케이션도 만들 수 있어야 하는 거죠.

95
00:05:41,602 --> 00:05:45,962
다른 하나는, 아마 이게
암시하신 부분일 텐데, "애초에

96
00:05:45,962 --> 00:05:50,040
코딩 대회에서 초인적이
된다고 해서 왜 더 전반적으로

97
00:05:50,040 --> 00:05:54,400
감각 있는 프로그래머가 되지
않는가?"라고 묻는 거예요.

98
00:05:54,400 --> 00:05:59,255
어쩌면 해야 할 일은 환경의
양과 다양성을 계속 쌓는

99
00:05:59,255 --> 00:06:03,775
게 아니라, 한 환경에서
배운 걸 다른 것의 성능

100
00:06:03,775 --> 00:06:08,798
향상으로 이어지게 하는 접근법을
찾는 걸 수도 있어요.

101
00:06:08,798 --> 00:06:14,160
도움이 될 만한 인간
유비가 하나 있어요.

102
00:06:14,160 --> 00:06:17,309
말씀하신 김에 경쟁 프로그래밍의
경우를 예로 들어보죠.

103
00:06:17,309 --> 00:06:18,911
학생 두 명이 있다고 해보죠.

104
00:06:18,911 --> 00:06:23,018
한 명은 최고의 경쟁 프로그래머가 되기로

105
00:06:23,018 --> 00:06:27,685
마음먹고, 그 분야에서
1만 시간을 연습해요.

106
00:06:27,685 --> 00:06:33,947
모든 문제를 풀고, 모든
증명 기법을 암기하고, 모든

107
00:06:33,947 --> 00:06:40,640
알고리즘을 빠르고 정확하게
구현하는 데 아주 능숙해지죠.

108
00:06:40,640 --> 00:06:43,818
그렇게 해서 그 학생은
최고 중 한 명이 됐죠.

109
00:06:43,818 --> 00:06:48,290
두 번째 학생은 '오, 경쟁 프로그래밍
재밌겠다' 정도로 생각했어요.

110
00:06:48,290 --> 00:06:52,471
아마 100시간 정도, 훨씬 적게
연습했는데도 역시 아주 잘했어요.

111
00:06:52,471 --> 00:06:56,158
둘 중 누가 나중에 커리어에서
더 잘할 것 같으세요?

112
00:06:56,158 --> 00:06:56,800
두 번째요.

113
00:06:56,800 --> 00:06:57,121
맞아요.

114
00:06:57,121 --> 00:06:59,047
저는 기본적으로 그게 지금
벌어지고 있는 일이라고 생각해요.

115
00:06:59,047 --> 00:07:02,279
모델들은 첫 번째 학생과 훨씬 더
비슷한데, 그 정도가 더 심해요.

116
00:07:02,279 --> 00:07:05,943
왜냐하면 우리는 '모델이 경쟁
프로그래밍을 잘해야 하니까

117
00:07:05,943 --> 00:07:10,080
존재하는 모든 경쟁 프로그래밍
문제를 다 모으자'라고 하거든요.

118
00:07:10,080 --> 00:07:13,054
그리고 데이터 증강까지
해서 경쟁 프로그래밍

119
00:07:13,054 --> 00:07:15,656
문제를 더 늘리고, 그걸로 학습시키죠.

120
00:07:15,656 --> 00:07:18,480
그러면 이제 엄청난 경쟁
프로그래머가 생기는 거예요.

121
00:07:18,480 --> 00:07:22,988
이 비유로 보니 더
직관적으로 이해되네요.

122
00:07:22,988 --> 00:07:28,165
네, 그렇게까지 훈련받았다면
온갖 알고리즘과

123
00:07:28,165 --> 00:07:32,480
증명 기법이 다 손끝에 있는 거네요.

124
00:07:32,480 --> 00:07:35,917
그리고 이 정도로 준비된
상태라면 다른 영역으로 꼭

125
00:07:35,917 --> 00:07:39,354
일반화되지는 않는다는 것도
더 직관적으로 와닿아요.

126
00:07:39,354 --> 00:07:43,594
그럼 두 번째 학생이 그
100시간의 파인튜닝을

127
00:07:43,594 --> 00:07:48,160
하기 전에 하고 있던 건
뭐에 비유할 수 있을까요?

128
00:07:48,160 --> 00:07:51,232
저는 그 학생에게 '그것'이
있었다고 생각해요.

129
00:07:51,232 --> 00:07:53,408
'그것'이요.

130
00:07:53,408 --> 00:07:57,435
제가 학부생이었을 때, 저랑
같이 공부했던 학생 중에 그런

131
00:07:57,435 --> 00:08:01,840
사람이 있었던 게 기억나요.
그래서 그게 실재한다는 걸 알아요.

132
00:08:01,840 --> 00:08:06,160
'그것'을 사전학습이 하는 일과
구분하는 게 흥미롭다고 생각해요.

133
00:08:06,160 --> 00:08:09,051
방금 사전학습에서는 데이터를
굳이 골라야 할 필요가

134
00:08:09,051 --> 00:08:12,046
없다고 하신 걸 이렇게
이해할 수도 있을 것 같아요.

135
00:08:12,046 --> 00:08:15,040
사실 그게 1만 시간의
연습과 그리 다르지 않다고요.

136
00:08:15,040 --> 00:08:19,034
다만 그 1만 시간의
연습을 공짜로 얻는 거죠.

137
00:08:19,034 --> 00:08:22,720
이미 사전학습 분포
어딘가에 들어있으니까요.

138
00:08:22,720 --> 00:08:24,900
그런데 어쩌면 말씀하시려는
건 사전학습에서 나오는

139
00:08:24,900 --> 00:08:26,999
일반화가 사실 그렇게 많지
않다는 거 아닐까요.

140
00:08:26,999 --> 00:08:29,187
사전학습에는 그냥 데이터가
엄청 많은 것뿐이지, 그게

141
00:08:29,187 --> 00:08:31,451
RL보다 일반화를 더 잘
시켜준다는 건 아니라는 거죠.

142
00:08:31,451 --> 00:08:35,386
사전학습의 가장 큰 강점은
이거예요. 첫째, 양이

143
00:08:35,386 --> 00:08:38,738
정말 방대하다는 것.
둘째, 어떤 데이터를

144
00:08:38,738 --> 00:08:42,965
사전학습에 넣을지 굳이
고민할 필요가 없다는 것이죠.

145
00:08:42,965 --> 00:08:49,174
아주 자연스러운 데이터고, 그
안에는 사람들이 하는 일들,

146
00:08:49,174 --> 00:08:54,800
즉 사람들의 생각과 여러
특성들이 많이 담겨 있어요.

147
00:08:54,800 --> 00:08:59,559
마치 사람들이 세상 전체를
텍스트에 투영해놓은 것과

148
00:08:59,559 --> 00:09:04,997
같고, 사전학습은 방대한 데이터로
그걸 포착하려는 거예요.

149
00:09:04,997 --> 00:09:10,967
사전학습은 따져보기가 정말
어려운데, 모델이 사전학습

150
00:09:10,967 --> 00:09:17,760
데이터에 의존하는 방식을
이해하기가 너무 어렵기 때문이에요.

151
00:09:17,760 --> 00:09:21,643
모델이 실수할 때마다,
어쩌다 보니 그게 사전학습

152
00:09:21,643 --> 00:09:26,102
데이터로 충분히 뒷받침되지
않아서일 수도 있지 않을까요?

153
00:09:26,102 --> 00:09:30,720
'사전학습이 뒷받침한다'는 건
어쩌면 느슨한 표현일 수도 있어요.

154
00:09:30,720 --> 00:09:35,126
이 부분에 대해 더 유용하게
보탤 말이 있을지는 모르겠네요.

155
00:09:36,000 --> 00:09:39,440
사전학습에 대응하는 인간의
유사물은 없다고 봐요.

156
00:09:39,440 --> 00:09:41,278
사전학습에 대응하는 인간의 유사물이

157
00:09:41,278 --> 00:09:43,600
무엇인지, 사람들이
제안한 비유들이 있어요.

158
00:09:43,600 --> 00:09:47,920
그게 왜 틀렸을 수도 있는지
그 생각을 듣고 싶어요.

159
00:09:47,920 --> 00:09:53,274
하나는 사람이 태어나서
18년, 혹은 15년, 13년

160
00:09:53,274 --> 00:09:58,628
동안 경제적으로 꼭 생산적이진
않지만, 세상을 더 잘

161
00:09:58,628 --> 00:10:03,797
이해하게 만드는 무언가를
하고 있다고 보는 거예요.

162
00:10:03,797 --> 00:10:09,549
다른 하나는 진화가 30억 년
동안 일종의 탐색을 해온 결과로,

163
00:10:09,549 --> 00:10:14,480
한 인간의 일생이라는 인스턴스가
나온다고 보는 거예요.

164
00:10:14,480 --> 00:10:18,000
이 둘 중 어느 쪽이든 사전학습에
비견될 수 있다고 보시는지 궁금해요.

165
00:10:18,000 --> 00:10:22,800
사전학습이 아니라면, 인간의 평생에
걸친 학습은 어떤 것이라고 보세요?

166
00:10:22,800 --> 00:10:26,644
이 둘 다 사전학습과
비슷한 면이 있다고 봐요.

167
00:10:26,644 --> 00:10:30,636
사전학습은 이 둘의 역할을
동시에 하려는 셈이죠.

168
00:10:30,636 --> 00:10:34,400
하지만 큰 차이점들도 있다고 생각해요.

169
00:10:34,400 --> 00:10:40,895
사전학습 데이터의 양은
정말, 정말 어마어마해요.

170
00:10:40,895 --> 00:10:41,520
네.

171
00:10:41,520 --> 00:10:45,375
그런데 신기하게도 인간은
15년이 지나도, 사전학습

172
00:10:45,375 --> 00:10:49,230
데이터의 극히 일부만 가지고
아는 건 훨씬 적어요.

173
00:10:49,230 --> 00:10:54,050
하지만 아는 건 뭐든, 왠지
훨씬 깊이 알고 있어요.

174
00:10:54,050 --> 00:10:58,844
그 나이만 돼도 이미, 우리 AI들이
저지르는 실수는 하지 않죠.

175
00:10:58,844 --> 00:11:00,098
또 한 가지가 있어요.

176
00:11:00,098 --> 00:11:02,854
혹시 진화 같은 것 아니냐고
물으실 수도 있겠죠.

177
00:11:02,854 --> 00:11:04,027
답은, 그럴 수도 있다는 거예요.

178
00:11:04,027 --> 00:11:08,880
하지만 이 경우엔, 오히려 진화 쪽이
우위에 있을 수도 있다고 생각해요.

179
00:11:08,880 --> 00:11:14,280
이 사례를 읽었던 기억이 나요.

180
00:11:14,280 --> 00:11:20,942
신경과학자들이 뇌에 대해
알아내는 한 가지 방법은, 뇌의

181
00:11:20,942 --> 00:11:26,960
여러 부위에 손상을 입은
사람들을 연구하는 거예요.

182
00:11:26,960 --> 00:11:29,709
상상도 못 할 만큼 이상한
증상을 겪는 사람들이 있어요.

183
00:11:29,709 --> 00:11:32,215
정말 굉장히 흥미로운 이야기예요.

184
00:11:32,215 --> 00:11:35,680
그것과 관련해서 떠오르는
사례가 하나 있어요.

185
00:11:35,680 --> 00:11:41,872
뇌졸중이나 사고로 뇌 손상을
입어서 감정을 처리하는

186
00:11:41,872 --> 00:11:48,065
부분이 망가진 사람에 대한
글을 읽은 적이 있어요.

187
00:11:48,065 --> 00:11:52,918
그래서 그는 더 이상 어떤
감정도 느끼지 못하게 됐어요.

188
00:11:54,800 --> 00:11:57,662
여전히 말은 또렷하게 잘했고 작은 퍼즐도

189
00:11:57,662 --> 00:12:00,785
풀 수 있었고, 검사에서도
멀쩡해 보였어요.

190
00:12:00,785 --> 00:12:02,311
하지만 그는 아무
감정도 느끼지 못했어요.

191
00:12:02,311 --> 00:12:06,830
슬픔도, 분노도, 어떤
활기도 느끼지 못했죠.

192
00:12:06,830 --> 00:12:11,152
그런데 그는 어쩐 일인지 어떤 결정을
내리는 데도 극도로 서툴러졌어요.

193
00:12:11,152 --> 00:12:14,592
양말 한 켤레 고르는 데도
몇 시간이 걸렸어요.

194
00:12:14,592 --> 00:12:18,561
재정적으로도 아주 잘못된
결정을 내리곤 했어요.

195
00:12:23,120 --> 00:12:28,592
그게 본질적으로, 우리를
제대로 작동하는 행위자로 만드는

196
00:12:28,592 --> 00:12:34,240
데 타고난 감정이 어떤 역할을
한다는 걸 말해주는 걸까요?

197
00:12:34,240 --> 00:12:39,386
사전학습에 대한 질문과 연결해보면,
사전학습에서 모든 걸 온전히

198
00:12:39,386 --> 00:12:44,237
끌어낼 만큼 잘한다면 그것 역시
얻어낼 수 있을지도 몰라요.

199
00:12:44,237 --> 00:12:47,928
그런데 그건 어쩐지...

200
00:12:50,960 --> 00:12:56,160
음, 사전학습에서 그걸 얻는 게
가능할 수도 있고 아닐 수도 있어요.

201
00:12:56,160 --> 00:12:57,846
'그것'이 뭔가요?

202
00:12:57,846 --> 00:13:01,534
분명히 감정 그 자체는 아니에요.

203
00:13:01,534 --> 00:13:06,995
어떤 결정에 대해서든 최종
보상이 무엇이어야 하는지를

204
00:13:06,995 --> 00:13:12,080
알려주는, 거의 가치 함수
같은 무언가로 보여요.

205
00:13:12,080 --> 00:13:15,200
그게 사전학습에서 암묵적으로 나오는
건 아니라고 생각하시는 건가요?

206
00:13:15,200 --> 00:13:16,563
나올 수도 있다고 생각해요.

207
00:13:16,563 --> 00:13:20,400
그냥 100% 명확한
건 아니라는 거예요.

208
00:13:20,400 --> 00:13:21,625
그런데 '그것'이 뭔가요?

209
00:13:21,625 --> 00:13:23,870
감정을 어떻게 생각하세요?

210
00:13:23,870 --> 00:13:26,320
감정에 대한 ML적 비유는 뭘까요?

211
00:13:26,320 --> 00:13:29,015
아마 일종의 가치 함수
같은 것일 거예요.

212
00:13:29,015 --> 00:13:32,585
다만 지금 사람들이 하는 일에서
가치 함수가 그렇게 두드러진

213
00:13:32,585 --> 00:13:36,480
역할을 하는 게 아니라서, 딱 맞는
ML 비유는 없는 것 같아요.

214
00:13:36,480 --> 00:13:38,617
괜찮으시다면 청취자들을 위해 가치 함수가

215
00:13:38,617 --> 00:13:40,560
뭔지 정의해 주셔도 좋을 것 같아요.

216
00:13:40,560 --> 00:13:45,978
물론이죠, 기꺼이 설명해 드릴게요.

217
00:13:45,978 --> 00:13:51,188
사람들이 강화학습(RL)을 할
때, 그러니까 지금 방식대로

218
00:13:51,188 --> 00:13:56,560
강화학습이 이뤄질 때, 그
에이전트들을 어떻게 훈련시킬까요?

219
00:13:56,560 --> 00:13:59,216
신경망이 있고, 거기에
문제를 하나 줘요. 그러고

220
00:13:59,216 --> 00:14:01,774
나서 모델한테 "가서
풀어봐"라고 하는 거예요.

221
00:14:01,774 --> 00:14:05,487
모델은 수천, 수십만 번의 행동이나 사고

222
00:14:05,487 --> 00:14:08,863
같은 걸 거쳐서 답을 하나 내놓아요.

223
00:14:08,863 --> 00:14:10,619
그 답은 채점을 받고요.

224
00:14:10,619 --> 00:14:14,286
그리고 그 점수가 궤적 안의 행동

225
00:14:14,286 --> 00:14:19,176
하나하나에 대한 훈련
신호로 쓰이는 거예요.

226
00:14:19,176 --> 00:14:26,215
그러면 오래 걸리는 일— 푸는 데
시간이 오래 걸리는 과제를 훈련시킬

227
00:14:26,215 --> 00:14:33,440
때는, 최종 답을 내놓을 때까지
학습이 전혀 일어나지 않는다는 뜻이죠.

228
00:14:33,440 --> 00:14:37,062
강화학습을 순진하게 할
때는 이런 식이에요.

229
00:14:37,062 --> 00:14:40,800
o1, R1도 겉보기엔 이런
식으로 만들어진 것 같고요.

230
00:14:40,800 --> 00:14:45,612
가치 함수는 이런 거예요.
"항상은 아니어도, 가끔은

231
00:14:45,612 --> 00:14:50,424
네가 잘하고 있는지 못하고
있는지 알려줄 수 있어."

232
00:14:50,424 --> 00:14:54,680
가치 함수라는 개념은 어떤 영역에서는
다른 영역보다 더 유용해요.

233
00:14:54,680 --> 00:14:59,164
예를 들어 체스를 두다가 기물을
잃으면, '아, 망했다' 싶잖아요.

234
00:14:59,164 --> 00:15:04,350
게임을 끝까지 둬봐야 방금 한 수가
나빴다는 걸 아는 게 아니라,

235
00:15:04,350 --> 00:15:08,960
그 전에 한 것들도 나빴다는
걸 바로 알 수 있는 거예요.

236
00:15:08,960 --> 00:15:16,217
가치 함수는 끝까지 기다릴 필요
없이 그 과정을 단축시켜 줘요.

237
00:15:19,040 --> 00:15:22,920
수학 문제나 프로그래밍
문제를 풀면서 특정

238
00:15:22,920 --> 00:15:26,800
방향이나 풀이를 탐색하고
있다고 해볼게요.

239
00:15:26,800 --> 00:15:30,320
한 1000 스텝 정도 생각한 뒤에, 이

240
00:15:30,320 --> 00:15:34,320
방향은 가망이 없다고
결론을 내렸다고 해봐요.

241
00:15:34,320 --> 00:15:38,789
이 결론을 내리는 순간, 사실은
1000 스텝 전— 이 경로를

242
00:15:38,789 --> 00:15:43,520
택했던 바로 그 시점에 이미 보상
신호를 받을 수 있었던 거예요.

243
00:15:43,520 --> 00:15:48,169
"다음엔 비슷한 상황에서 이
경로를 택하지 말아야겠다"는

244
00:15:48,169 --> 00:15:53,118
걸, 실제로 최종 답을 내놓기
훨씬 전에 알 수 있는 거죠.

245
00:15:53,118 --> 00:15:59,690
딥시크 R1 논문에 이런 얘기가
있었는데— 궤적의 공간이 워낙 넓어서,

246
00:15:59,690 --> 00:16:05,756
중간 궤적과 가치 사이의 매핑을
학습하기가 어려울 수도 있다고요.

247
00:16:05,756 --> 00:16:09,304
그리고 예를 들어 코딩할
때는, 잘못된 아이디어를

248
00:16:09,304 --> 00:16:12,720
냈다가 다시 돌아가서
뭔가를 바꾸기도 하잖아요.

249
00:16:12,720 --> 00:16:16,800
그건 딥러닝에 대한 믿음이
너무 없는 말 같은데요.

250
00:16:16,800 --> 00:16:23,520
물론 어려울 수는 있죠. 하지만
딥러닝이 못 할 일은 없어요.

251
00:16:23,520 --> 00:16:29,095
제 예상으로는 가치 함수가
분명 유용할 거고, 이미

252
00:16:29,095 --> 00:16:34,869
쓰이고 있지 않다면 앞으로는
분명 쓰이게 될 거예요.

253
00:16:34,869 --> 00:16:40,911
제가 감정 중추가 손상된 사람
이야기로 암시하려던 건,

254
00:16:40,911 --> 00:16:47,355
어쩌면 인간의 가치 함수가
진화가 하드코딩해 놓은 방식으로

255
00:16:47,355 --> 00:16:54,202
감정에 의해 중요하게 조절된다는
걸 시사하는 거라는 점이에요.

256
00:16:55,360 --> 00:16:58,064
그리고 그게 사람들이 세상에서 효과적으로

257
00:16:58,064 --> 00:17:00,400
살아가는 데 중요한 걸지도 몰라요.

258
00:17:00,400 --> 00:17:02,640
그게 제가 여쭤보려던 질문이었어요.

259
00:17:02,640 --> 00:17:09,400
가치 함수로서의 감정에 대해
정말 흥미로운 점은, 이해하기엔

260
00:17:09,400 --> 00:17:16,160
꽤 단순한데도 이 정도로
유용하다는 게 인상적이라는 거예요.

261
00:17:16,160 --> 00:17:18,301
제 답은 두 가지예요.

262
00:17:18,301 --> 00:17:24,911
저희가 학습시키는 것들, 저희가
얘기하는 그런 종류의 AI에

263
00:17:24,911 --> 00:17:31,120
비하면 감정이 상대적으로
단순하다는 데는 저도 동의해요.

264
00:17:31,120 --> 00:17:33,266
어쩌면 너무 단순해서
사람이 이해할 수 있는

265
00:17:33,266 --> 00:17:35,680
방식으로 지도를 그릴 수
있을 정도일지도 몰라요.

266
00:17:35,680 --> 00:17:38,544
그걸 해보면 멋질 것 같아요.

267
00:17:38,544 --> 00:17:45,103
다만 유용성 면에서는 복잡성과
강건성 사이에 트레이드오프가

268
00:17:45,103 --> 00:17:51,048
있다고 생각해요. 복잡한
건 아주 유용할 수 있지만,

269
00:17:51,048 --> 00:17:56,377
단순한 건 아주 넓은
범위의 상황에서 유용하죠.

270
00:18:00,240 --> 00:18:04,805
지금 보이는 걸 해석하는 한
방법은, 우리 감정 대부분이

271
00:18:04,805 --> 00:18:09,371
포유류 조상에게서 진화해 왔고
그다음 인류 조상 단계에서

272
00:18:09,371 --> 00:18:13,200
아주 조금, 정말 조금만
파인튜닝됐다는 거예요.

273
00:18:13,200 --> 00:18:18,940
다만 포유류에겐 없을 법한 사회적
감정은 저희에게 꽤 있어요.

274
00:18:18,940 --> 00:18:21,128
하지만 그렇게 정교하지는 않아요.

275
00:18:21,128 --> 00:18:24,421
그리고 정교하지 않기 때문에,
우리가 실제로 살아온

276
00:18:24,421 --> 00:18:28,067
세상과는 아주 다른 이런
세상에서도 잘 작동하는 거고요.

277
00:18:28,067 --> 00:18:29,830
사실 실수도 하긴 해요.

278
00:18:29,830 --> 00:18:31,288
예를 들면 우리 감정이…

279
00:18:31,288 --> 00:18:32,800
음, 사실 잘 모르겠네요.

280
00:18:32,800 --> 00:18:35,192
배고픔도 감정에 들어가나요?

281
00:18:35,192 --> 00:18:36,352
그건 논쟁의 여지가 있죠.

282
00:18:36,352 --> 00:18:43,077
하지만 예를 들어 배고픔이라는
직관적 감각은, 먹을 게 풍족한

283
00:18:43,077 --> 00:18:50,000
이 세상에서는 우리를 제대로
이끌어주지 못하고 있다고 생각해요.

284
00:18:50,000 --> 00:18:52,695
사람들은 데이터 스케일링, 파라미터

285
00:18:52,695 --> 00:18:56,240
스케일링, 컴퓨트 스케일링
얘기를 해왔잖아요.

286
00:18:56,240 --> 00:18:58,000
스케일링을 더 일반적으로
생각할 방법이 있을까요?

287
00:18:58,000 --> 00:19:03,084
다른 스케일링 축은 뭐가 있을까요?

288
00:19:03,084 --> 00:19:10,917
제가 맞을 수도 있다고
생각하는 관점이 하나 있어요.

289
00:19:12,160 --> 00:19:17,288
예전에 ML이 돌아가던 방식은,
사람들이 그냥 이것저것

290
00:19:17,288 --> 00:19:22,074
만지작거리면서 흥미로운
결과를 얻어보려던 거였어요.

291
00:19:22,074 --> 00:19:27,692
과거에는 그런 식으로 흘러갔던 거죠.

292
00:19:27,692 --> 00:19:31,493
그러다 스케일링에 대한 통찰이 찾아왔죠.

293
00:19:31,493 --> 00:19:35,662
스케일링 법칙, GPT-3가 나오고 다들

294
00:19:35,662 --> 00:19:40,400
스케일링을 해야 한다는
걸 갑자기 깨달았어요.

295
00:19:40,400 --> 00:19:45,464
이건 언어가 사고에 영향을
미치는 하나의 사례예요.

296
00:19:45,464 --> 00:19:48,292
'스케일링'은 그냥 한
단어지만, 사람들에게 뭘

297
00:19:48,292 --> 00:19:51,120
해야 할지 알려주기 때문에
아주 강력한 단어죠.

298
00:19:51,120 --> 00:19:54,504
다들 "일단 스케일링을
해보자"라고 말하는 거예요.

299
00:19:54,504 --> 00:19:57,280
그럼 '뭘 스케일링하지?'라고
묻게 되죠.

300
00:19:57,280 --> 00:19:59,829
사전학습이 바로 스케일링할 대상이었어요.

301
00:19:59,829 --> 00:20:02,240
그건 특정한 스케일링 레시피였던 거예요.

302
00:20:02,240 --> 00:20:08,000
사전학습의 큰 돌파구는 바로 이
레시피가 좋다는 걸 깨달은 거였어요.

303
00:20:08,000 --> 00:20:12,250
"자, 컴퓨트랑 데이터를
어느 정도 섞어서

304
00:20:12,250 --> 00:20:16,870
일정 크기의 신경망에
넣으면 결과가 나옵니다.

305
00:20:16,870 --> 00:20:19,122
그 레시피를 그냥 스케일링하기만 하면

306
00:20:19,122 --> 00:20:21,599
더 좋아질 거라는 것도 알 수 있고요."

307
00:20:21,599 --> 00:20:23,080
이것도 훌륭하죠.

308
00:20:23,080 --> 00:20:30,730
기업들은 이걸 좋아해요, 자원을
투자하는 아주 저위험 방법을 주니까요.

309
00:20:30,730 --> 00:20:35,550
연구에 자원을 투자하는
건 그보다 훨씬 어렵죠.

310
00:20:35,550 --> 00:20:36,357
한번 비교해보세요.

311
00:20:36,357 --> 00:20:40,959
연구를 한다면 "연구자들이여, 가서
연구해서 뭔가 만들어내라"가 돼야

312
00:20:40,959 --> 00:20:45,440
하는데, 그에 비하면 데이터를 더
얻고 컴퓨트를 더 얻는 건 쉽죠.

313
00:20:45,440 --> 00:20:49,315
사전학습에서는 뭔가 나온다는
걸 알 수 있어요.

314
00:20:49,315 --> 00:20:55,320
실제로 트위터에서 몇몇 사람들이
하는 말을 보면, 어쩌면 제미나이가

315
00:20:55,320 --> 00:21:01,488
사전학습에서 더 많은 걸 뽑아내는
방법을 찾은 것처럼 보이기도 해요.

316
00:21:01,488 --> 00:21:04,466
하지만 어느 시점엔 사전학습도
데이터가 바닥날 거예요.

317
00:21:04,466 --> 00:21:06,262
데이터는 명백히 유한하니까요.

318
00:21:06,262 --> 00:21:07,465
그럼 다음엔 뭘 해야 할까요?

319
00:21:07,465 --> 00:21:11,334
이전과는 다른 레시피로
강화된 사전학습을 하거나,

320
00:21:11,334 --> 00:21:15,920
강화학습(RL)을 하거나,
아니면 또 다른 뭔가를 하겠죠.

321
00:21:15,920 --> 00:21:19,052
하지만 이제 컴퓨트가 커졌어요,
지금 컴퓨트는 아주 크죠,

322
00:21:19,052 --> 00:21:22,184
어떤 의미에서는 우리가 다시
연구의 시대로 돌아온 거예요.

323
00:21:22,184 --> 00:21:24,160
이걸 다르게 표현할
수도 있을 것 같아요.

324
00:21:24,160 --> 00:21:31,280
2020년까지, 그러니까
2012~2020년은 연구의 시대였어요.

325
00:21:31,280 --> 00:21:34,981
자, 2020년부터 2025년까지는
스케일링의 시대였죠—그

326
00:21:34,981 --> 00:21:38,914
연도엔 오차범위를 좀 두기로
하고요—사람들이 "이거 대단하다.

327
00:21:38,914 --> 00:21:40,338
더 스케일링해야겠다.

328
00:21:40,338 --> 00:21:41,462
계속 스케일링하자"라고 말했으니까요.

329
00:21:41,462 --> 00:21:43,184
한 단어로 하면, 스케일링이었죠.

330
00:21:43,184 --> 00:21:46,320
그런데 이제 규모가 정말 커요.

331
00:21:46,320 --> 00:21:50,028
정말 믿음이 "오, 엄청
크긴 한데, 100배

332
00:21:50,028 --> 00:21:53,440
더 있으면 완전히
달라질 거야"인 건가요?

333
00:21:53,440 --> 00:21:55,686
분명 달라지긴 할 거예요.

334
00:21:55,686 --> 00:21:58,346
그런데 규모를 100배로 늘리면 모든 게

335
00:21:58,346 --> 00:22:01,247
완전히 바뀔 거라는 게
정말 그 믿음인가요?

336
00:22:01,247 --> 00:22:03,036
저는 그게 사실이라고 생각하지 않아요.

337
00:22:03,036 --> 00:22:05,607
그래서 다시 연구의
시대로 돌아온 거예요,

338
00:22:05,607 --> 00:22:07,619
다만 이번엔 큰 컴퓨터와 함께요.

339
00:22:07,619 --> 00:22:10,400
그거 정말 흥미로운 표현이네요.

340
00:22:10,400 --> 00:22:12,560
그럼 방금 직접 던지신
질문을 제가 다시 여쭤볼게요.

341
00:22:12,560 --> 00:22:15,000
우리가 스케일링하는 건 정확히 뭐고,

342
00:22:15,000 --> 00:22:17,440
레시피가 있다는 건 무슨 의미일까요?

343
00:22:17,440 --> 00:22:21,333
사전학습에 있었던 것 같은, 물리 법칙에

344
00:22:21,333 --> 00:22:25,934
가까운 아주 깔끔한 관계는
저는 잘 모르겠네요.

345
00:22:25,934 --> 00:22:30,920
데이터나 컴퓨트, 파라미터와 손실
사이엔 거듭제곱 법칙이 있었잖아요.

346
00:22:30,920 --> 00:22:35,580
우리가 찾아야 할 관계는
어떤 종류이고, 이 새로운

347
00:22:35,580 --> 00:22:40,240
레시피가 어떤 모습일지는
어떻게 생각해봐야 할까요?

348
00:22:40,240 --> 00:22:44,953
우리는 이미 한 종류의
스케일링에서 다른 종류의

349
00:22:44,953 --> 00:22:50,391
스케일링으로의 전환을 목격했죠,
사전학습에서 RL로요.

350
00:22:50,391 --> 00:22:52,974
이제 사람들은 RL을
스케일링하고 있어요.

351
00:22:52,974 --> 00:22:57,315
트위터에서 사람들이 하는 말을
보면, 지금은 사전학습보다

352
00:22:57,315 --> 00:23:00,816
RL에 컴퓨트를 더 많이
쓴다고 해요, RL이

353
00:23:00,816 --> 00:23:04,597
실제로 컴퓨트를 꽤 많이
잡아먹을 수 있으니까요.

354
00:23:04,597 --> 00:23:07,404
아주 긴 롤아웃을
만드니까, 그 롤아웃들을

355
00:23:07,404 --> 00:23:09,600
만드는 데 컴퓨트가 많이 들어요.

356
00:23:09,600 --> 00:23:13,182
그런데 롤아웃 하나당
얻는 학습량은 상대적으로

357
00:23:13,182 --> 00:23:17,193
적어서, 정말 컴퓨트를
엄청나게 쓸 수 있는 거죠.

358
00:23:21,680 --> 00:23:24,283
저라면 그걸 스케일링이라고
부르지도 않을 거예요.

359
00:23:24,283 --> 00:23:27,280
저는 이렇게 말할 것 같아요,
"자, 지금 뭐 하고 있는 거야?

360
00:23:27,280 --> 00:23:31,840
지금 하는 게 할 수 있는
일 중 가장 생산적인 일이야?

361
00:23:31,840 --> 00:23:36,000
컴퓨트를 쓰는 더 생산적인
방법을 찾을 수는 없어?"

362
00:23:36,000 --> 00:23:39,520
저희가 앞서 가치 함수
얘기를 했었잖아요.

363
00:23:39,520 --> 00:23:43,787
사람들이 가치 함수를
잘 다루게 되면, 아마

364
00:23:43,787 --> 00:23:47,520
자원을 더 생산적으로 쓰게 될 거예요.

365
00:23:47,520 --> 00:23:51,880
모델을 학습시키는 완전히 다른
방법을 찾아낸다면, 이렇게 말할 수도

366
00:23:51,880 --> 00:23:56,240
있겠죠. "이게 스케일링인가,
아니면 그냥 자원을 잘 쓰는 건가?"

367
00:23:56,240 --> 00:23:57,980
그러면 좀 애매해지는 것 같아요.

368
00:23:57,980 --> 00:24:00,890
그런 의미에서, 예전에
연구의 시대였을 때는 이랬죠.

369
00:24:00,890 --> 00:24:03,600
"이것도 해보고, 이것도
해보고, 이것도 해보자.

370
00:24:03,600 --> 00:24:05,334
저것도 해보고, 저것도
해보고, 저것도 해보자.

371
00:24:05,334 --> 00:24:07,680
오, 이것 봐, 뭔가
흥미로운 일이 일어나네."

372
00:24:07,680 --> 00:24:10,174
저는 그런 식으로 다시
돌아갈 거라고 봐요.

373
00:24:10,174 --> 00:24:13,672
연구의 시대로 돌아온
거라면, 한발 물러서서 봤을

374
00:24:13,672 --> 00:24:17,040
때 레시피에서 가장 고민해야
할 부분은 뭘까요?

375
00:24:17,040 --> 00:24:20,023
가치 함수라고 하셨는데,
사람들은 이미 지금 레시피에

376
00:24:20,023 --> 00:24:23,108
LLM-as-a-Judge
같은 걸 얹어보고 있잖아요.

377
00:24:23,108 --> 00:24:25,842
그것도 가치 함수라고
할 수 있겠지만, 훨씬

378
00:24:25,842 --> 00:24:28,348
더 근본적인 걸 염두에 두신 것 같아요.

379
00:24:29,920 --> 00:24:34,019
사전학습 과정 끝에 단계를
더 붙이는 게 아니라,

380
00:24:34,019 --> 00:24:37,359
사전학습 자체를 다시 생각해봐야 할까요?

381
00:24:38,240 --> 00:24:41,600
가치 함수에 대한 논의,
흥미로웠던 것 같아요.

382
00:24:41,600 --> 00:24:46,737
제가 강조하고 싶은 건, 가치
함수가 RL을 더 효율적으로

383
00:24:46,737 --> 00:24:52,035
만들어줄 거라는 거예요. 그리고
그게 차이를 만든다고 봐요.

384
00:24:52,035 --> 00:24:55,474
하지만 가치 함수로 할 수
있는 건 뭐든, 가치 함수

385
00:24:55,474 --> 00:24:58,795
없이도 할 수 있다고 봐요.
그냥 더 느릴 뿐이죠.

386
00:24:58,795 --> 00:25:03,472
제가 가장 근본적이라고 보는
건, 이 모델들이 어쩐

387
00:25:03,472 --> 00:25:07,815
일인지 사람보다 일반화를
훨씬 못한다는 거예요.

388
00:25:07,815 --> 00:25:09,444
이건 너무 명백하죠.

389
00:25:09,444 --> 00:25:13,569
이게 아주 근본적인 것 같아요.

390
00:25:13,569 --> 00:25:17,203
그러니까 핵심은 일반화예요.

391
00:25:17,203 --> 00:25:19,358
여기엔 두 가지 하위 질문이 있어요.

392
00:25:19,358 --> 00:25:22,798
하나는 샘플 효율성에 관한
거예요. 왜 이 모델들은

393
00:25:22,798 --> 00:25:26,360
사람보다 학습하는 데 훨씬
많은 데이터가 필요할까요?

394
00:25:26,360 --> 00:25:27,884
두 번째 질문이 있어요.

395
00:25:27,884 --> 00:25:32,973
데이터양과는 별개로, 왜
모델에게 원하는 걸 가르치는

396
00:25:32,973 --> 00:25:37,360
게 사람에게 가르치는
것보다 훨씬 어려울까요?

397
00:25:37,360 --> 00:25:42,814
사람의 경우엔, 굳이 검증
가능한 보상이 없어도…

398
00:25:42,814 --> 00:25:46,503
지금도 아마 여러 연구자들을
멘토링하고 계실 텐데, 그들과

399
00:25:46,503 --> 00:25:50,653
이야기하면서 코드도 보여주고,
어떻게 생각하는지도 보여주시잖아요.

400
00:25:50,653 --> 00:25:54,607
그런 모습을 보면서 사고방식과 연구를
어떻게 해야 하는지를 배우는 거죠.

401
00:25:54,607 --> 00:25:56,517
그 사람들한테 검증 가능한
보상을 정해줄 필요는

402
00:25:56,517 --> 00:25:58,720
없잖아요, 이런 식으로요.
"자, 이게 커리큘럼의 다음

403
00:25:58,720 --> 00:26:00,850
부분이고, 이제 이게 네
커리큘럼의 다음 부분이야."

404
00:26:00,850 --> 00:26:03,121
"아, 이번 훈련은 불안정했네."

405
00:26:03,121 --> 00:26:06,640
그런 번거롭고 일일이 맞춤 제작해야
하는 과정이 없는 거예요.

406
00:26:06,640 --> 00:26:10,843
어쩌면 이 두 문제가 실제로는 서로
연결돼 있을 수도 있는데, 저는 두

407
00:26:10,843 --> 00:26:14,831
번째 문제, 그러니까 지속 학습에
더 가까운 것과, 첫 번째 문제,

408
00:26:14,831 --> 00:26:19,034
그러니까 그냥 샘플 효율성처럼 느껴지는
것을 둘 다 탐구해보고 싶어요.

409
00:26:19,034 --> 00:26:24,554
사실 인간의 샘플 효율성에
대해 고려해야 할

410
00:26:24,554 --> 00:26:30,534
가능한 설명 하나로 진화를
떠올려볼 수 있어요.

411
00:26:31,760 --> 00:26:35,320
진화는 우리에게 가능한 한 가장 유용한

412
00:26:35,320 --> 00:26:38,880
정보를 아주 적은 양으로 물려준 거죠.

413
00:26:38,880 --> 00:26:44,882
시각, 청각, 이동 능력 같은
것들에 대해서는, 진화가 우리에게

414
00:26:44,882 --> 00:26:50,027
많은 걸 물려줬다는 주장이
꽤 설득력 있다고 생각해요.

415
00:26:50,027 --> 00:26:54,483
예를 들어 인간의
손재주는 훨씬 뛰어난데…

416
00:26:54,483 --> 00:26:57,282
물론 로봇도 시뮬레이션에서 엄청난 양의

417
00:26:57,282 --> 00:27:00,480
훈련을 시키면 손재주가
좋아질 수는 있어요.

418
00:27:00,480 --> 00:27:03,923
하지만 사람처럼 실제 세계에서
로봇을 훈련시켜 새로운

419
00:27:03,923 --> 00:27:07,485
기술을 빠르게 익히게 하는
건 아직 훨씬 멀어 보여요.

420
00:27:07,485 --> 00:27:10,560
여기서 이렇게 말할 수도 있겠죠.
"아, 맞아, 이동 능력."

421
00:27:10,560 --> 00:27:15,920
"우리 조상들은 모두 뛰어난 이동
능력이 필요했지, 다람쥐 때부터."

422
00:27:15,920 --> 00:27:17,802
"그러니까 이동 능력에
대해서는 우리한테 믿기

423
00:27:17,802 --> 00:27:19,760
힘들 정도로 강력한
프라이어가 있을지도 몰라."

424
00:27:19,760 --> 00:27:22,109
시각에 대해서도 같은
주장을 할 수 있어요.

425
00:27:22,109 --> 00:27:26,381
제가 알기로는 얀 르쿤이
아이들은 10시간만 연습하면

426
00:27:26,381 --> 00:27:30,800
운전을 배운다고 지적한 적이
있는데, 그건 사실이에요.

427
00:27:30,800 --> 00:27:33,613
하지만 우리 시각은 정말 뛰어나죠.

428
00:27:33,613 --> 00:27:38,236
적어도 저는, 다섯 살
때의 제 모습이 기억나요.

429
00:27:38,236 --> 00:27:41,120
그때 저는 자동차에
완전히 빠져 있었어요.

430
00:27:41,120 --> 00:27:43,850
제 자동차 인식 능력은 다섯 살 때 이미

431
00:27:43,850 --> 00:27:47,200
운전하기에 충분하고도
남았을 거라고 꽤 확신해요.

432
00:27:47,200 --> 00:27:49,040
다섯 살짜리는 그렇게 많은
데이터를 접하지 못하잖아요.

433
00:27:49,040 --> 00:27:51,328
대부분의 시간을 부모님 집에서 보내니까,

434
00:27:51,328 --> 00:27:53,200
데이터 다양성이 아주 낮은 거죠.

435
00:27:53,200 --> 00:27:56,650
하지만 어쩌면 그것도 진화
덕분이라고 말할 수 있어요.

436
00:27:56,650 --> 00:28:00,400
하지만 언어, 수학,
코딩에서는 아마 아닐 거예요.

437
00:28:00,400 --> 00:28:02,290
그래도 여전히 모델보다는
나은 것 같아요.

438
00:28:02,290 --> 00:28:06,564
모델이 언어, 수학, 코딩에서는
평균적인 사람보다 나은 게 분명하죠.

439
00:28:06,564 --> 00:28:09,628
하지만 학습에 있어서도
평균적인 사람보다 나을까요?

440
00:28:09,628 --> 00:28:10,171
아, 그럼요.

441
00:28:10,171 --> 00:28:11,437
네, 확실히 그래요.

442
00:28:11,437 --> 00:28:16,873
제 말은, 언어·수학·코딩에서,
특히 수학과 코딩에서

443
00:28:16,873 --> 00:28:22,496
그렇다는 건 사람을 학습에
능하게 만드는 그것이 복잡한

444
00:28:22,496 --> 00:28:28,869
프라이어라기보다는 뭔가 더 근본적인
것임을 시사한다는 거예요.

445
00:28:28,869 --> 00:28:30,679
잘 이해가 안 되네요.

446
00:28:30,679 --> 00:28:32,880
왜 그런 거죠?

447
00:28:32,880 --> 00:28:40,120
자, 사람들이 어떤 스킬에서
상당한 신뢰성을 보인다고 해보죠.

448
00:28:40,120 --> 00:28:46,302
그 스킬이 수백만 년, 아니
수억 년 동안 우리 조상들에게

449
00:28:46,302 --> 00:28:52,484
정말 유용했던 것이었다면,
인간이 그걸 잘하는 이유는 진화

450
00:28:52,484 --> 00:28:58,472
때문이다, 즉 아주 알기
어려운 방식으로 부호화된 진화적

451
00:28:58,472 --> 00:29:05,620
프라이어가 있어서 그렇게 잘하게
된 거라고 주장할 수 있을 거예요.

452
00:29:07,200 --> 00:29:14,343
하지만 사람들이 최근까지 존재하지도
않았던 영역에서 뛰어난 능력,

453
00:29:14,343 --> 00:29:21,089
신뢰성, 강건성, 학습 능력을
보인다면, 이건 사람이 그냥 더

454
00:29:21,089 --> 00:29:28,033
나은 머신러닝을 갖고 있다는
신호에 더 가까워요. 그게 다예요.

455
00:29:29,395 --> 00:29:33,995
그게 뭔지는 어떻게 생각해봐야 할까요?

456
00:29:33,995 --> 00:29:35,878
ML로 치면 뭐에 해당하나요?

457
00:29:35,878 --> 00:29:39,314
흥미로운 지점이 몇 가지 있어요.

458
00:29:39,314 --> 00:29:40,931
샘플이 더 적게 들어요.

459
00:29:40,931 --> 00:29:42,426
더 비지도적이에요.

460
00:29:42,426 --> 00:29:44,555
아이가 운전을 배운다고 하면…

461
00:29:44,555 --> 00:29:47,200
아, 아이들이 운전을 배우는 건 아니죠.

462
00:29:47,200 --> 00:29:52,009
십 대가 운전을 배울
때, 미리 짜인 검증

463
00:29:52,009 --> 00:29:56,400
가능한 보상을 딱히 받는 게 아니에요.

464
00:29:56,400 --> 00:30:02,720
그건 기계, 그리고 환경과의
상호작용에서 나오는 거예요.

465
00:30:02,720 --> 00:30:04,475
샘플이 훨씬 더 적게 들죠.

466
00:30:04,475 --> 00:30:06,169
더 비지도적인 것 같고요.

467
00:30:06,169 --> 00:30:07,440
더 강건한 것 같은데요?

468
00:30:07,440 --> 00:30:08,835
훨씬 더 강건하죠.

469
00:30:08,835 --> 00:30:13,822
인간의 강건성은 정말 놀라울 정도예요.

470
00:30:14,160 --> 00:30:16,189
이 모든 게 한꺼번에 일어나는 이유를

471
00:30:16,189 --> 00:30:18,320
하나로 묶어 설명할 방법이 있으신가요?

472
00:30:18,320 --> 00:30:25,330
이런 걸 실현할 수 있는
머신러닝 비유는 뭘까요?

473
00:30:26,320 --> 00:30:32,288
질문하신 것 중 하나는, 십대
운전자가 외부 선생님 없이

474
00:30:32,288 --> 00:30:37,679
어떻게 스스로 교정하며
경험에서 배우느냐는 거였죠.

475
00:30:37,679 --> 00:30:41,600
답은, 그들에게 가치
함수가 있다는 겁니다.

476
00:30:41,600 --> 00:30:45,075
전반적인 감각을 갖고 있는데, 사실 이게

477
00:30:45,075 --> 00:30:48,235
사람한테는 굉장히 강건하기도 합니다.

478
00:30:50,480 --> 00:30:54,723
인간의 가치 함수가 뭐든
간에, 중독 관련 몇몇

479
00:30:54,723 --> 00:30:58,476
예외를 빼면 실제로
아주, 아주 강건해요.

480
00:30:58,476 --> 00:31:04,546
그래서 예를 들어 운전을 배우는
십대의 경우, 운전을 시작하자마자

481
00:31:04,546 --> 00:31:10,448
스스로 얼마나 서투른지, 얼마나
자신 없는지 바로 느끼게 되죠.

482
00:31:10,448 --> 00:31:12,029
그러고 나서 "아,
그렇구나" 하고 알게 되고요.

483
00:31:12,029 --> 00:31:15,707
그리고 당연히, 십대의 학습
속도는 정말 빠르고요.

484
00:31:15,707 --> 00:31:17,520
10시간이면 이미 운전할
준비가 되는 거죠.

485
00:31:17,520 --> 00:31:20,397
인간에게는 어떤 해법이 있는
것 같은데, 그걸 어떻게

486
00:31:20,397 --> 00:31:22,977
하는 건지, 왜 그렇게
어려운 건지 궁금하네요.

487
00:31:22,977 --> 00:31:26,199
이런 걸 가능하게
하려면 모델을 학습시키는

488
00:31:26,199 --> 00:31:28,720
방식을 어떻게 재구상해야 할까요?

489
00:31:28,720 --> 00:31:37,200
좋은 질문이네요, 그리고 제가
의견이 많은 질문이기도 하고요.

490
00:31:37,200 --> 00:31:41,828
그런데 안타깝게도, 우리는 모든
머신러닝 아이디어를 자유롭게 논할

491
00:31:41,828 --> 00:31:46,327
수 없는 세상에 살고 있고, 이게
바로 그런 경우 중 하나예요.

492
00:31:46,327 --> 00:31:49,360
아마 방법이 있을 겁니다.

493
00:31:49,360 --> 00:31:51,345
저는 이게 가능하다고 생각해요.

494
00:31:51,345 --> 00:31:56,178
사람들이 실제로 그렇다는 사실 자체가,
이게 가능하다는 증거라고 봅니다.

495
00:31:56,178 --> 00:32:01,769
다만 다른 장애물이 있을
수도 있는데, 인간 뉴런이

496
00:32:01,769 --> 00:32:07,760
우리 생각보다 더 많은 컴퓨트를
쓸 가능성이 그거예요.

497
00:32:07,760 --> 00:32:13,760
그게 사실이고 중요한 역할을 한다면,
일이 더 어려워질 수도 있고요.

498
00:32:13,760 --> 00:32:18,424
하지만 어쨌든, 이건 제가
의견을 갖고 있는 어떤

499
00:32:18,424 --> 00:32:23,089
머신러닝 원리가 존재한다는
걸 가리킨다고 봅니다.

500
00:32:23,089 --> 00:32:28,679
다만 안타깝게도, 여건상
자세히 논하기는 어렵네요.

501
00:32:28,679 --> 00:32:32,560
아무도 이 팟캐스트 안 들어요, 일리야.

502
00:32:32,560 --> 00:32:36,560
궁금하네요.

503
00:33:00,934 --> 00:33:06,115
다시 연구의 시대로 돌아왔다고 하셨는데,

504
00:33:06,115 --> 00:33:11,767
2012~2020년에
그 현장에 계셨잖아요.

505
00:35:55,840 --> 00:36:00,640
연구의 시대로 돌아간다면
지금 분위기는 어떨까요?

506
00:36:00,640 --> 00:36:06,935
예를 들어, 알렉스넷 이후에도
실험에 쓰이는 컴퓨트양은

507
00:36:06,935 --> 00:36:13,440
계속 늘었고, 프론티어 시스템의
규모도 계속 커졌잖아요.

508
00:36:13,440 --> 00:36:16,456
이제 다시 연구의 시대로 접어들면, 그

509
00:36:16,456 --> 00:36:19,760
시대도 여전히 엄청난
컴퓨트가 필요할까요?

510
00:36:19,760 --> 00:36:25,843
오래된 자료들을 다시 꺼내 옛
논문들을 읽어야 하게 될까요?

511
00:36:28,000 --> 00:36:34,960
연구 분위기가 더 강했던 시절에 구글,
오픈AI, 스탠퍼드에 계셨잖아요?

512
00:36:34,960 --> 00:36:40,160
커뮤니티에서는 어떤
것들을 기대해야 할까요?

513
00:36:40,160 --> 00:36:46,108
스케일링의 시대가 낳은 결과
중 하나는, 스케일링이

514
00:36:46,108 --> 00:36:50,994
방 안의 공기를 전부
빨아들였다는 거예요.

515
00:36:53,120 --> 00:36:56,263
스케일링이 방 안의
공기를 전부 빨아들이다

516
00:36:56,263 --> 00:36:59,680
보니, 모두가 똑같은
일을 하기 시작한 거죠.

517
00:36:59,680 --> 00:37:08,566
결국 아이디어보다 회사 수가 훨씬
더 많은 세상에 이르렀어요.

518
00:37:08,566 --> 00:37:13,853
그것과 관련해서,
실리콘밸리에는 "아이디어는

519
00:37:13,853 --> 00:37:18,480
싸고, 실행이 전부다"라는 말이 있죠.

520
00:37:18,480 --> 00:37:22,421
다들 그렇게 말하고,
거기엔 일리가 있어요.

521
00:37:22,421 --> 00:37:27,035
그런데 트위터에서 누군가 이런 말을
하는 걸 봤어요. "아이디어가

522
00:37:27,035 --> 00:37:30,880
그렇게 싸다면, 왜 아무도
아이디어를 못 내는 거지?"

523
00:37:30,880 --> 00:37:33,490
그리고 저는 그것도 맞는
말이라고 생각해요.

524
00:37:33,490 --> 00:37:42,622
연구의 진전을 병목이라는 관점에서
생각해보면, 병목이 여러 개 있어요.

525
00:37:42,622 --> 00:37:47,882
하나는 아이디어고, 다른 하나는
그걸 현실로 만드는 능력이에요.

526
00:37:47,882 --> 00:37:52,240
이건 컴퓨트일 수도 있고,
엔지니어링일 수도 있고요.

527
00:37:52,240 --> 00:37:55,200
90년대로 돌아가 보면,
꽤 좋은 아이디어를 가진

528
00:37:55,200 --> 00:37:58,160
사람들이 있었어요. 훨씬
더 큰 컴퓨터가 있었다면

529
00:37:58,160 --> 00:38:01,120
그 아이디어가 유효하다는
걸 보여줄 수 있었겠죠.

530
00:38:01,120 --> 00:38:04,469
하지만 그럴 수 없었기
때문에, 아무도 설득

531
00:38:04,469 --> 00:38:07,400
못 하는 아주 작은 시연밖에 못 했죠.

532
00:38:07,400 --> 00:38:09,673
그러니까 병목은 컴퓨트였던 거예요.

533
00:38:09,673 --> 00:38:13,914
그러다 스케일링의 시대에
들어서면서 컴퓨트가 크게 늘어났죠.

534
00:38:13,914 --> 00:38:18,144
물론 컴퓨트가 얼마나
필요한가 하는 질문은

535
00:38:18,144 --> 00:38:21,823
남아있지만, 컴퓨트 자체는 방대해요.

536
00:38:21,823 --> 00:38:27,440
컴퓨트가 이미 방대해서,
아이디어를 입증하는 데 그보다

537
00:38:27,440 --> 00:38:32,683
훨씬 더 많은 컴퓨트가
필요한지는 분명하지 않아요.

538
00:38:32,683 --> 00:38:34,707
비유를 하나 들어볼게요.

539
00:38:34,707 --> 00:38:37,006
알렉스넷은 GPU 2개로 만들어졌어요.

540
00:38:37,006 --> 00:38:40,640
그게 거기에 사용된 컴퓨트의 전부였죠.

541
00:38:40,640 --> 00:38:44,680
트랜스포머는 GPU 8개에서
64개로 만들어졌어요.

542
00:38:44,680 --> 00:38:50,535
트랜스포머 논문의 그 어떤 실험도
2017년 기준 GPU 64개를 넘게

543
00:38:50,535 --> 00:38:56,090
쓴 적이 없는데, 그게 지금 GPU로
치면 한 2개 정도일 거예요.

544
00:38:56,090 --> 00:38:57,996
ResNet도 있었죠?

545
00:38:57,996 --> 00:39:03,114
o1 추론이 세상에서 가장 컴퓨트가 많이

546
00:39:03,114 --> 00:39:08,000
드는 건 아니었다고 주장할 수도 있죠.

547
00:39:08,000 --> 00:39:15,397
그러니까 연구에는 어느 정도의
컴퓨트가 분명히 필요하지만, 역대

548
00:39:15,397 --> 00:39:22,160
최대 규모의 컴퓨트가 꼭
필요한지는 전혀 명확하지 않아요.

549
00:39:22,160 --> 00:39:27,613
이렇게 주장할 수도 있고, 저도
사실이라고 생각하는데요. 절대적으로

550
00:39:27,613 --> 00:39:33,360
최고의 시스템을 만들려면 컴퓨트가
훨씬 많은 게 도움이 된다는 거예요.

551
00:39:33,360 --> 00:39:38,377
특히 모두가 같은
패러다임 안에 있을 땐,

552
00:39:38,377 --> 00:39:43,393
컴퓨트가 큰 차별화
요소 중 하나가 되죠.

553
00:39:46,400 --> 00:39:48,400
역사를 여쭤보는 이유는, 실제로
그 현장에 계셨기 때문이에요.

554
00:39:48,400 --> 00:39:49,956
실제로 무슨 일이
있었는지는 저도 잘 몰라요.

555
00:39:49,956 --> 00:39:52,591
최소한의 컴퓨트만으로도 이런 아이디어들을

556
00:39:52,591 --> 00:39:54,747
개발하는 게 가능했던 것 같네요.

557
00:39:54,747 --> 00:39:57,898
하지만 트랜스포머가 곧바로
유명해진 건 아니었어요.

558
00:39:57,898 --> 00:40:02,589
점점 더 큰 규모의 컴퓨트에서
검증되면서, 모두가 그걸 쓰기

559
00:40:02,589 --> 00:40:06,853
시작하고 그 위에서 실험하고
쌓아 올리기 시작한 거죠.

560
00:40:06,853 --> 00:40:07,360
맞아요.

561
00:40:07,360 --> 00:40:12,225
그럼 SSI에 아이디어가
50개 있다고 할 때, 다른

562
00:40:12,225 --> 00:40:17,089
프론티어 기업들 같은 컴퓨트
없이 그중 어떤 게 다음

563
00:40:17,089 --> 00:40:22,960
트랜스포머고 어떤 게 부실한
아이디어인지 어떻게 알 수 있나요?

564
00:40:22,960 --> 00:40:25,487
그 부분은 제가 말씀드릴 수 있어요.

565
00:40:25,487 --> 00:40:30,320
짧게 말씀드리면, 방금
SSI를 언급하셨는데요.

566
00:40:30,320 --> 00:40:35,028
구체적으로 저희 얘기를 하자면, SSI가

567
00:40:35,028 --> 00:40:41,020
연구용으로 가진 컴퓨트는
사실 그렇게 적지 않아요.

568
00:40:41,020 --> 00:40:42,269
왜 그런지 설명해 드리고 싶어요.

569
00:40:42,269 --> 00:40:48,043
간단한 계산만으로도, 저희가
가진 컴퓨트가 연구용으로는

570
00:40:48,043 --> 00:40:53,239
생각보다 비슷한 수준이라는
걸 설명할 수 있어요.

571
00:40:53,239 --> 00:40:55,213
설명해 드릴게요.

572
00:40:55,213 --> 00:41:02,493
SSI는 30억 달러를 조달했는데,
절대적인 기준으로 봐도 큰 금액이죠.

573
00:41:02,493 --> 00:41:05,669
하지만 "다른 회사들은 훨씬 더 많이

574
00:41:05,669 --> 00:41:09,163
조달하잖아"라고 말할 수도 있을 거예요.

575
00:41:09,163 --> 00:41:13,920
하지만 그들의 컴퓨트 중 상당
부분은 인퍼런스로 들어가요.

576
00:41:13,920 --> 00:41:16,617
그 큰 숫자들, 그 큰 대출들은 인퍼런스

577
00:41:16,617 --> 00:41:18,823
용도로 이미 정해져 있는 거예요.

578
00:41:18,823 --> 00:41:20,160
그게 첫 번째고요.

579
00:41:20,160 --> 00:41:23,825
두 번째로, 인퍼런스를
수행하는 제품을 가지려면

580
00:41:23,825 --> 00:41:28,053
엔지니어와 영업 인력으로
이루어진 큰 조직이 필요해요.

581
00:41:28,053 --> 00:41:34,280
연구 인력의 상당수가 온갖 제품 관련
기능을 만드는 데 투입돼야 하죠.

582
00:41:34,280 --> 00:41:41,689
그래서 실제로 연구에 남는 몫을 보면,
그 차이가 훨씬 작아지는 거예요.

583
00:41:41,689 --> 00:41:46,364
다른 문제는요, 정말 다른
걸 하고 있다면 그걸

584
00:41:46,364 --> 00:41:51,040
증명하는 데 꼭 절대적
최대 규모가 필요한가요?

585
00:41:51,040 --> 00:41:54,109
전혀 그렇지 않다고 봐요.

586
00:41:54,109 --> 00:41:58,562
저희 경우엔, 저희가 하는 일이
옳다는 걸 저희 자신에게도,

587
00:41:58,562 --> 00:42:02,880
다른 누구에게도 증명할 만큼
충분한 컴퓨트가 있다고 봐요.

588
00:42:02,880 --> 00:42:06,458
오픈AI 같은 회사들이
실험에만 지금까지 연간

589
00:42:06,458 --> 00:42:11,038
50억~60억 달러 규모를
쓴다는 공개된 추정치가 있었죠.

590
00:42:11,038 --> 00:42:16,333
이건 인퍼런스 등에 쓰는
비용과는 별개의 금액이고요.

591
00:42:16,333 --> 00:42:19,727
그러면 연구 실험에만 쓰는 연간 지출이

592
00:42:19,727 --> 00:42:22,960
SSI의 총 펀딩보다 많은 셈이네요.

593
00:42:22,960 --> 00:42:25,123
그건 그걸로 무엇을
하느냐의 문제라고 봐요.

594
00:42:25,123 --> 00:42:28,335
그걸로 무엇을 하느냐의 문제예요.

595
00:42:29,840 --> 00:42:32,541
그들의 경우, 다른 회사들의 경우엔 훈련

596
00:42:32,541 --> 00:42:35,120
컴퓨트에 대한 수요가 훨씬 더 많아요.

597
00:42:35,120 --> 00:42:41,759
작업 흐름도 훨씬 다양하고 모달리티도
다양하고, 그냥 할 일이 더 많죠.

598
00:42:41,759 --> 00:42:44,131
그래서 파편화되는 거예요.

599
00:42:44,131 --> 00:42:47,729
SSI는 어떻게 돈을 벌 건가요?

600
00:42:48,480 --> 00:42:52,116
이 질문에 대한 제 답은 대략 이래요.

601
00:42:52,116 --> 00:42:58,550
지금은 그냥 연구에 집중하고 있고
그 답은 저절로 드러날 거라고 봐요.

602
00:42:58,550 --> 00:43:01,360
가능한 답이 여러 개
있을 거라고 생각해요.

603
00:43:01,360 --> 00:43:05,040
SSI의 계획은 여전히
초지능으로 직행하는 건가요?

604
00:43:05,040 --> 00:43:05,586
글쎄요.

605
00:43:05,586 --> 00:43:08,316
거기엔 나름의 장점이 있다고 봐요.

606
00:43:08,316 --> 00:43:13,078
장점이 많다고 생각하는
게, 일상적인 시장

607
00:43:13,078 --> 00:43:17,840
경쟁에 영향받지 않는다는
게 참 좋거든요.

608
00:43:17,840 --> 00:43:25,200
하지만 계획을 바꾸게 만들 수도
있는 이유가 두 가지 있다고 봐요.

609
00:43:25,200 --> 00:43:31,360
하나는 실용적인 건데, 타임라인이
길어질 경우예요. 그럴 수도 있고요.

610
00:43:31,360 --> 00:43:37,307
둘째, 가장 뛰어나고
강력한 AI가 세상에 나가

611
00:43:37,307 --> 00:43:42,568
영향을 미치는 데 큰
가치가 있다고 봐요.

612
00:43:42,568 --> 00:43:46,480
이건 의미 있게 가치
있는 일이라고 생각해요.

613
00:43:46,480 --> 00:43:49,440
그러면 왜 기본 계획이
초지능으로 직행하는 건가요?

614
00:43:49,440 --> 00:43:52,892
오픈AI, 앤트로픽,
다른 회사들은 명시적으로

615
00:43:52,892 --> 00:43:56,897
"보세요, 저희는 점점 약한
지능들을 내놓아서 대중이

616
00:43:56,897 --> 00:44:01,040
익숙해지고 대비하게 합니다"라고
생각하는 것 같거든요.

617
00:44:01,040 --> 00:44:06,400
초지능을 직행으로 만드는 게
왜 더 나을 수 있을까요?

618
00:44:06,400 --> 00:44:09,908
찬성 논거와 반대 논거를
둘 다 말씀드릴게요.

619
00:44:09,908 --> 00:44:14,767
찬성 논거는, 시장 안에
있을 때 사람들이 마주치는

620
00:44:14,767 --> 00:44:20,320
어려움 중 하나가 '무한 경쟁'에
참여해야 한다는 거예요.

621
00:44:20,320 --> 00:44:23,980
무한 경쟁이 힘든 건,
힘겨운 트레이드오프에

622
00:44:23,980 --> 00:44:27,945
노출되고 그걸 스스로
감수해야 하기 때문이에요.

623
00:44:27,945 --> 00:44:33,344
"이 모든 것으로부터 우리를 격리하고
연구에만 집중하다가, 준비됐을

624
00:44:33,344 --> 00:44:38,160
때만, 그전엔 절대 나가지
않겠다"라고 말하는 건 근사하죠.

625
00:44:38,160 --> 00:44:43,600
하지만 반론도 타당하고, 그 둘은 서로
반대 방향으로 작용하는 힘이에요.

626
00:44:43,600 --> 00:44:50,880
반론은 이래요. "자, 강력한
AI를 세상이 보는 건 유용하다.

627
00:44:50,880 --> 00:44:53,058
강력한 AI를 세상이 보는
게 유용한 이유는, 그게

628
00:44:53,058 --> 00:44:55,159
그걸 전달할 수 있는
유일한 방법이기 때문이다."

629
00:44:55,159 --> 00:44:57,665
음, 꼭 아이디어를
전달할 수 있다는 것만도

630
00:44:57,665 --> 00:45:00,588
아니고— 아이디어가 아니라
AI를 전달하는 거예요.

631
00:45:00,588 --> 00:45:01,772
AI를 전달하는 거예요.

632
00:45:01,772 --> 00:45:04,640
"AI를 전달한다"는 게 무슨 뜻인가요?

633
00:45:04,640 --> 00:45:08,459
AI에 관한 에세이를 쓴다고 해보죠.
그 에세이가 "AI는 이렇게

634
00:45:08,459 --> 00:45:12,278
될 거고, 저렇게 될 거고, 또
이렇게 될 거다"라고 말한다고요.

635
00:45:12,278 --> 00:45:15,839
그걸 읽고 "그래, 흥미로운
에세이네"라고 말하죠.

636
00:45:15,839 --> 00:45:20,219
이제 AI가 이걸 하고, 저걸
하는 걸 실제로 본다고 해보세요.

637
00:45:20,219 --> 00:45:22,329
비교가 안 되죠.

638
00:45:22,329 --> 00:45:29,130
기본적으로 저는 AI가 대중 앞에
있다는 데서 큰 이점이 있다고

639
00:45:29,130 --> 00:45:36,320
생각하고, 그게 저희가 완전한
직행을 하지 않을 이유가 될 거예요.

640
00:45:36,320 --> 00:45:40,320
꼭 그것만은 아니지만, 그게
중요한 부분이라고는 생각해요.

641
00:45:40,320 --> 00:45:45,477
다른 큰 문제는, 인간의 공학과
연구를 통틀어 최종 결과물이 그저

642
00:45:45,477 --> 00:45:50,633
'어떻게 안전하게 만들까'라는
생각만으로 더 안전해진 분야를 저는

643
00:45:50,633 --> 00:45:55,646
떠올릴 수 없다는 거예요 —
오히려 오늘날 비행기 사고율이 수십

644
00:45:55,646 --> 00:46:00,230
년 전보다 마일당 왜 훨씬
낮아졌는지를 생각해보면 말이죠.

645
00:46:00,230 --> 00:46:04,547
왜 리눅스에서 버그를 찾는 게 수십
년 전보다 훨씬 어려워졌을까요?

646
00:46:04,547 --> 00:46:06,614
저는 그게 대부분 이 시스템들이 실제

647
00:46:06,614 --> 00:46:08,680
세상에 배포됐기 때문이라고 생각해요.

648
00:46:08,680 --> 00:46:14,255
실패가 발견되고, 그 실패들이
고쳐지면서 시스템이 더 강건해진 거죠.

649
00:46:14,255 --> 00:46:19,719
AGI와 초인적 지능이라고 왜
다를지 저는 잘 모르겠어요. 특히—이

650
00:46:19,719 --> 00:46:24,739
얘기는 나중에 다루면 좋겠는데—초지능의
해악이 단순히 어딘가에

651
00:46:24,739 --> 00:46:29,760
악의적인 페이퍼클립 AI가 있다는
문제만은 아닌 것 같거든요.

652
00:46:29,760 --> 00:46:33,345
이건 정말 강력한 것인데, 사람들이
그것과 어떻게 상호작용할지,

653
00:46:33,345 --> 00:46:37,134
사람들이 그걸로 뭘 할지조차 저희는
개념화하는 법을 모르고 있어요.

654
00:46:37,134 --> 00:46:41,425
점진적으로 접근하게 하는 게,
아마 그 영향을 분산시키고

655
00:46:41,425 --> 00:46:45,440
사람들이 대비하도록 돕는
더 나은 방법인 것 같아요.

656
00:46:45,440 --> 00:46:51,673
음, 이 점에서는 직행
시나리오에서도 결국 점진적으로

657
00:46:51,673 --> 00:46:58,121
출시하게 될 거라고 생각해요,
제가 상상하기론 그래요.

658
00:46:58,121 --> 00:47:02,766
점진적 접근은 어떤 계획에도
필연적으로 포함될 거예요.

659
00:47:02,766 --> 00:47:07,258
그냥 뭘 제일 먼저
세상에 내놓느냐의 문제죠.

660
00:47:07,258 --> 00:47:08,682
그게 첫 번째고요.

661
00:47:08,682 --> 00:47:14,545
두 번째는, 다른 사람들보다 지속
학습을 더 강하게 주장해오신

662
00:47:14,545 --> 00:47:20,064
걸로 아는데, 저는 이게 중요하고
맞는 얘기라고 생각해요.

663
00:47:20,064 --> 00:47:21,695
이유를 말씀드릴게요.

664
00:47:21,695 --> 00:47:29,600
언어가 사고에 영향을 미치는
또 다른 예를 들어볼게요.

665
00:47:29,600 --> 00:47:37,266
이번엔, 모두의 사고를 형성해온 단어
두 개일 거라고 저는 생각해요.

666
00:47:37,520 --> 00:47:39,646
첫 번째 단어, AGI.

667
00:47:39,646 --> 00:47:43,023
두 번째 단어, 사전학습.

668
00:47:43,023 --> 00:47:45,023
설명해 드릴게요.

669
00:47:45,023 --> 00:47:49,316
AGI라는 용어, 이게 왜 존재할까요?

670
00:47:49,316 --> 00:47:51,531
굉장히 특이한 용어예요.

671
00:47:51,531 --> 00:47:52,982
왜 존재하는 걸까요?

672
00:47:52,982 --> 00:47:54,356
이유가 있어요.

673
00:47:54,356 --> 00:48:01,862
제 생각에 AGI라는 용어가 존재하는
이유는, 지능의 어떤 최종 상태를

674
00:48:01,862 --> 00:48:09,175
나타내는 대단히 중요하고 본질적인
표현이라서가 아니라, 예전에 있었던

675
00:48:09,175 --> 00:48:16,873
다른 용어에 대한 반작용이기 때문이에요.
그 용어가 바로 좁은 AI예요.

676
00:48:16,873 --> 00:48:20,375
체커 AI, 체스 AI,
컴퓨터 게임 AI 같은

677
00:48:20,375 --> 00:48:24,013
게임과 AI의 아득한
역사로 거슬러 올라가 보면,

678
00:48:24,013 --> 00:48:27,515
다들 이렇게 말했죠. "이
좁은 지능 좀 봐."

679
00:48:27,515 --> 00:48:29,367
"체스 AI가 카스파로프를 이길 순

680
00:48:29,367 --> 00:48:31,609
있어도, 그거 말곤
아무것도 못 하잖아."

681
00:48:31,609 --> 00:48:33,311
"정말 좁다니까. 인공 좁은
지능(artificial

682
00:48:33,311 --> 00:48:34,720
narrow
intelligence)이지."

683
00:48:34,720 --> 00:48:38,287
그래서 그에 대한
반작용으로, 어떤 사람들은

684
00:48:38,287 --> 00:48:41,110
이렇게 말했죠. "이건 안 좋다."

685
00:48:41,110 --> 00:48:42,946
"너무 좁다."

686
00:48:42,946 --> 00:48:52,181
"우리에게 필요한 건 일반 AI,
그러니까 모든 걸 다 하는 AI다."

687
00:48:53,040 --> 00:48:56,005
그 용어가 큰 주목을 받게 된 거죠.

688
00:48:56,005 --> 00:49:03,120
두 번째로 크게 주목받은 건 사전학습,
정확히는 사전학습의 레시피예요.

689
00:49:03,120 --> 00:49:08,318
요즘 사람들이 RL을 하는
방식은 어쩌면 사전학습이

690
00:49:08,318 --> 00:49:12,960
남긴 개념적 각인을
되돌리고 있는 것 같아요.

691
00:49:12,960 --> 00:49:15,038
그런데 사전학습에는
이런 특성이 있었어요.

692
00:49:15,038 --> 00:49:23,846
사전학습을 더 하면 모델이 거의
모든 면에서 고르게 좋아져요.

693
00:49:23,846 --> 00:49:25,497
일반 AI요.

694
00:49:25,497 --> 00:49:28,797
사전학습이 AGI를 만들어줘요.

695
00:49:28,797 --> 00:49:33,614
그런데 AGI와 사전학습에
일어난 일은 어떤

696
00:49:33,614 --> 00:49:37,829
의미에서 목표를 넘어서 쏴버린 거예요.

697
00:49:38,160 --> 00:49:43,902
'AGI'라는 용어를, 특히
사전학습 맥락에서 생각해보면

698
00:49:43,902 --> 00:49:48,718
인간은 AGI가 아니라는
걸 알게 되실 거예요.

699
00:49:48,718 --> 00:49:57,885
네, 분명 기초 능력은 있지만
인간에겐 방대한 지식이 빠져 있어요.

700
00:50:00,080 --> 00:50:03,821
대신 우리는 지속 학습에 의존하죠.

701
00:50:03,821 --> 00:50:08,030
그러니까 "좋아, 우리가 성공해서 안전한

702
00:50:08,030 --> 00:50:12,240
초지능을 만들어냈다고 하자"라고 하면요.

703
00:50:12,240 --> 00:50:14,513
질문은, 그걸 어떻게 정의하느냐예요.

704
00:50:14,513 --> 00:50:18,480
지속 학습 곡선의 어느 지점에 있을까요?

705
00:50:18,480 --> 00:50:23,050
저는 아주 의욕 넘치는 15살짜리
초지능을 만들어낸 거예요.

706
00:50:23,050 --> 00:50:27,313
아는 건 별로 없지만 훌륭한
학생이고 의욕이 넘치죠.

707
00:50:27,313 --> 00:50:31,930
"가서 프로그래머가 돼라, 가서
의사가 돼라, 가서 배워라."

708
00:50:31,930 --> 00:50:38,880
그러니 배포 자체가 일종의 시행착오
학습 기간을 포함하는 셈이죠.

709
00:50:38,880 --> 00:50:44,240
완성품을 딱 내놓는 게
아니라 하나의 과정인 거예요.

710
00:50:44,240 --> 00:50:44,827
그렇군요.

711
00:50:44,827 --> 00:50:50,516
그러니까 지금 말씀하시는
초지능은 경제의 모든

712
00:50:50,516 --> 00:50:56,660
일을 할 줄 아는 완성된
정신이 아니라는 거네요.

713
00:50:58,560 --> 00:51:03,744
예를 들어 오픈AI 헌장에서
AGI를 정의하는 방식은, 인간이

714
00:51:03,744 --> 00:51:08,624
할 수 있는 모든 일을 다 할
수 있어야 한다는 거잖아요.

715
00:51:08,624 --> 00:51:11,831
대신 모든 일을 배울 수 있는 정신을

716
00:51:11,831 --> 00:51:15,520
제안하시는 거고, 그게
바로 초지능이고요.

717
00:51:15,520 --> 00:51:15,990
맞아요.

718
00:51:15,990 --> 00:51:20,795
그런데 일단 학습
알고리즘이 갖춰지면 사람이

719
00:51:20,795 --> 00:51:25,200
조직에 들어가듯 세상에 배포되는 거예요.

720
00:51:25,200 --> 00:51:25,623
정확해요.

721
00:51:25,623 --> 00:51:31,490
이 둘 중 하나가 일어날 것 같은데
어쩌면 둘 다 아닐 수도 있고요.

722
00:51:31,490 --> 00:51:37,317
하나는, 이 초효율적인 학습
알고리즘이 ML 연구라는 작업에서

723
00:51:37,317 --> 00:51:43,316
초인적이 돼서 당신만큼, 어쩌면
더 뛰어나질 수 있다는 거예요.

724
00:51:43,316 --> 00:51:48,212
그 결과 알고리즘 자체가 점점
더 초인적으로 되어가는 거고요.

725
00:51:48,212 --> 00:51:52,597
다른 하나는, 설령 그런 일이
일어나지 않더라도—이건 명시적으로

726
00:51:52,597 --> 00:51:56,857
당신의 비전인데요—단일 모델이
있어서, 그 모델의 인스턴스들이

727
00:51:56,857 --> 00:52:01,242
경제 전반에 배포되어 서로 다른
일을 하고, 그 일을 하는 법을

728
00:52:01,242 --> 00:52:05,627
배우고, 일을 하면서 지속 학습을
하고, 인간이 습득할 수 있는

729
00:52:05,627 --> 00:52:09,761
모든 기술을 습득하는데, 그것도
전부 동시에 습득한 다음 그

730
00:52:09,761 --> 00:52:14,021
학습 결과들을 하나로 합친다면,
소프트웨어 차원의 재귀적 자기

731
00:52:14,021 --> 00:52:18,030
개선 없이도 사실상 초지능이
되는 모델을 갖게 되는 거죠.

732
00:52:18,030 --> 00:52:21,483
왜냐하면 이제 경제의 모든 일을
다 할 수 있는 모델 하나가

733
00:52:21,483 --> 00:52:25,040
생기는 거고, 인간은 그런 식으로
정신을 합칠 수 없으니까요.

734
00:52:25,040 --> 00:52:28,640
그럼 광범위한 배포로부터 일종의 지능
폭발이 일어날 거라고 보시나요?

735
00:52:28,640 --> 00:52:37,280
저는 우리가 빠른 경제 성장을
이루게 될 가능성이 높다고 봐요.

736
00:52:37,280 --> 00:52:42,064
광범위한 배포와
관련해서는, 서로 상충하는

737
00:52:42,064 --> 00:52:46,640
주장 두 가지를 할 수 있다고 생각해요.

738
00:52:46,640 --> 00:52:52,862
하나는, 실제로 AI가 빠르게
뭔가를 배울 수 있는 지점에

739
00:52:52,862 --> 00:52:58,890
도달하고 그런 AI가 많이
있게 되면, 어떤 규제가 막지

740
00:52:58,890 --> 00:53:05,307
않는 한 그것들을 경제에
배치하려는 강한 힘이 작용할 거라는

741
00:53:05,307 --> 00:53:11,140
거예요. 그런데 그런 규제가
실제로 있을 수도 있고요.

742
00:53:13,360 --> 00:53:18,327
하지만 한동안 매우 빠른 경제
성장이 일어난다는 아이디어,

743
00:53:18,327 --> 00:53:22,518
그건 광범위한 배포로부터
충분히 가능하다고 봐요.

744
00:53:22,518 --> 00:53:25,440
문제는 그게 얼마나
빠를 것이냐는 거고요.

745
00:53:25,440 --> 00:53:28,026
이건 알기 어렵다고
생각하는데요, 한편으로는

746
00:53:28,026 --> 00:53:30,720
이렇게 매우 효율적인
노동자가 있는 거잖아요.

747
00:53:30,720 --> 00:53:34,998
다른 한편으로는 세상은 정말
크고 처리할 일이 정말

748
00:53:34,998 --> 00:53:38,818
많은데, 그 일은 또
다른 속도로 움직이고요.

749
00:53:38,818 --> 00:53:41,600
그런데 또 다른
한편으로는, 이제 AI가…

750
00:53:41,600 --> 00:53:44,923
그래서 저는 매우 빠른 경제
성장이 가능하다고 봐요.

751
00:53:44,923 --> 00:53:51,983
온갖 일들이 다 벌어질 거예요.
나라마다 규칙이 다르고, 더

752
00:53:51,983 --> 00:53:59,256
우호적인 규칙을 가진 나라일수록
경제 성장이 더 빠를 거고요.

753
00:54:18,187 --> 00:54:22,687
예측하기 어렵죠.

754
00:54:32,482 --> 00:54:40,149
제가 보기엔 이건 아주
위태로운 상황인 것 같아요.

755
00:55:12,599 --> 00:55:15,945
극한으로 가면, 이게 가능해야
한다는 건 이미 알고 있는 거죠.

756
00:55:15,945 --> 00:55:19,812
학습 면에서 인간만큼
뛰어나면서도, 인간은 할 수 없는

757
00:55:19,812 --> 00:55:24,066
방식으로 서로 다른 인스턴스들의
뇌를 합칠 수 있는 무언가가

758
00:55:24,066 --> 00:55:28,320
있다면, 이건 이미 물리적으로
가능해야 하는 일처럼 보여요.

759
00:55:28,320 --> 00:55:30,800
인간도 가능하고, 디지털
컴퓨터도 가능하잖아요.

760
00:55:30,800 --> 00:55:33,440
그 둘을 합치기만 하면 이런
존재가 만들어지는 거고요.

761
00:55:33,440 --> 00:55:41,107
이런 존재는 또한 극도로
강력할 것 같기도 하고요.

762
00:55:41,440 --> 00:55:43,429
경제 성장이라는 게 그걸
표현하는 한 방식이죠.

763
00:55:43,429 --> 00:55:45,680
다이슨 스피어는 엄청난
경제 성장이잖아요.

764
00:55:45,680 --> 00:55:49,008
하지만 또 다른 표현
방식은, 어쩌면 아주 짧은

765
00:55:49,008 --> 00:55:52,080
시간 안에 이런 걸 갖게
될 거라는 거예요…

766
00:55:52,080 --> 00:55:53,996
SSI에서 사람을 채용하면, 아마 6개월

767
00:55:53,996 --> 00:55:56,000
안에는 순수하게 생산적인
인력이 되잖아요.

768
00:55:56,000 --> 00:55:58,537
인간은 정말 빠르게 배우는데, 이것은

769
00:55:58,537 --> 00:56:01,200
점점 더 빠르게 더 똑똑해지고 있고요.

770
00:56:01,200 --> 00:56:03,690
그 일이 잘 풀리게 하려면
어떻게 해야 한다고 보시나요?

771
00:56:03,690 --> 00:56:05,840
SSI가 그걸 잘 해낼 수 있는
위치에 있는 이유는 뭔가요?

772
00:56:05,840 --> 00:56:09,623
결국 제가 여쭙고 싶은 건, 거기서
SSI의 계획이 무엇이냐는 거예요.

773
00:56:12,160 --> 00:56:19,753
제 생각이 달라져 온 방식 중
하나는, 이제 AI를 점진적으로,

774
00:56:19,753 --> 00:56:25,827
그리고 미리 배포하는 데
더 무게를 둔다는 거예요.

775
00:56:28,920 --> 00:56:35,645
AI에 관해 정말 어려운 점
하나는, 아직 존재하지 않는

776
00:56:35,645 --> 00:56:42,587
시스템 얘기를 하고 있다 보니
상상하기가 어렵다는 거예요.

777
00:56:43,600 --> 00:56:48,100
벌어지고 있는 일 중
하나는, 실제로는 AGI를

778
00:56:48,100 --> 00:56:52,080
체감하기가 정말 어렵다는
거라고 생각해요.

779
00:56:52,080 --> 00:56:56,688
AGI를 체감하기는 정말 어려워요.

780
00:56:56,688 --> 00:57:02,359
그것에 대해 이야기할 순
있지만, 나이 들고 노쇠해졌을

781
00:57:02,359 --> 00:57:07,840
때 늙는다는 게 어떤 건지
대화하는 상상을 해보세요.

782
00:57:07,840 --> 00:57:12,768
대화를 나눌 수도, 상상해보려
할 수도 있지만 그냥

783
00:57:12,768 --> 00:57:17,520
어렵고, 결국 그렇지 않은
현실로 돌아오게 되죠.

784
00:57:17,520 --> 00:57:24,023
AGI와 그 미래 힘을
둘러싼 문제들 상당수는, 그걸

785
00:57:24,023 --> 00:57:29,853
상상하기가 너무 어렵다는
데서 비롯된다고 봐요.

786
00:57:30,960 --> 00:57:33,678
미래의 AI는 다를 거예요.

787
00:57:33,678 --> 00:57:35,717
강력할 거고요.

788
00:57:35,717 --> 00:57:40,692
실제로, 그 문제 전체가—AI와
AGI의 문제란 대체 뭘까요?

789
00:57:40,692 --> 00:57:43,360
그 문제 전체가 바로 힘이에요.

790
00:57:43,360 --> 00:57:45,962
그 문제 전체가 바로 힘이에요.

791
00:57:45,962 --> 00:57:50,494
그 힘이 정말로 커지면,
무슨 일이 벌어질까요?

792
00:57:50,494 --> 00:57:56,367
지난 1년간 제 생각이 바뀐
것 중 하나는—그리고 그

793
00:57:56,367 --> 00:58:02,847
변화는, 조심스럽게 말하자면
저희 회사의 계획에도 역전파될

794
00:58:02,847 --> 00:58:09,327
수 있는데—상상하기 어렵다면
어떻게 해야 하느냐는 거예요.

795
00:58:12,960 --> 00:58:14,785
그걸 직접 보여줘야 해요.

796
00:58:14,785 --> 00:58:16,560
그걸 직접 보여줘야 해요.

797
00:58:16,560 --> 00:58:22,186
저는 AI를 연구하는 사람들
대부분도 그걸 상상하지

798
00:58:22,186 --> 00:58:28,013
못한다고 봐요, 일상에서
보는 것과 너무 다르니까요.

799
00:58:28,013 --> 00:58:33,900
제가 확신하는 건, 이런 일이
일어날 거라고 예측한다는 거예요.

800
00:58:33,900 --> 00:58:36,253
이건 예측이에요.

801
00:58:36,253 --> 00:58:44,541
AI가 더 강력해질수록, 사람들이
행동을 바꿀 거라고 봐요.

802
00:58:44,541 --> 00:58:52,034
지금은 일어나지 않는 온갖 전례
없는 일들을 보게 될 거예요.

803
00:58:52,034 --> 00:58:54,244
몇 가지 예를 들어볼게요.

804
00:58:54,244 --> 00:58:58,752
좋든 나쁘든, 앞으로 일어날
일에서 프론티어 기업들이 아주

805
00:58:58,752 --> 00:59:03,120
중요한 역할을 할 거라고
생각해요. 정부도 마찬가지고요.

806
00:59:03,120 --> 00:59:07,436
앞으로 보게 될 거라고
생각하는 것 중 하나는, 이미

807
00:59:07,436 --> 00:59:11,753
시작되는 조짐이 보이는데,
치열하게 경쟁하던 기업들이

808
00:59:11,753 --> 00:59:15,920
AI 안전 문제에서는 협력하기
시작하는 모습이에요.

809
00:59:15,920 --> 00:59:19,195
오픈AI와 앤트로픽이
작은 첫걸음을 떼는 걸

810
00:59:19,195 --> 00:59:22,880
보셨을 텐데, 예전에는
그런 게 존재하지 않았죠.

811
00:59:22,880 --> 00:59:26,087
그건 제가 한 3년 전쯤
어느 강연에서 이런

812
00:59:26,087 --> 00:59:29,026
일이 일어날 거라고 예측했던 부분이에요.

813
00:59:29,026 --> 00:59:33,509
그리고 저는, AI가 계속
더 강력해지고 그 강력함이

814
00:59:33,509 --> 00:59:38,147
눈에 더 잘 보이게 될수록,
정부와 대중 쪽에서도 뭔가

815
00:59:38,147 --> 00:59:42,476
조치를 취하고 싶어 하는
욕구가 생길 거라고 봐요.

816
00:59:42,476 --> 00:59:47,557
AI를 직접 보여주는 것, 그 자체가
아주 중요한 힘이라고 생각해요.

817
00:59:47,557 --> 00:59:48,954
그게 첫 번째예요.

818
00:59:48,954 --> 00:59:52,215
두 번째는, 자, AI가
만들어지고 있잖아요.

819
00:59:52,215 --> 00:59:54,237
그럼 뭘 해야 할까요?

820
00:59:54,237 --> 01:00:00,723
제가 일어날 거라고 보는 것 중 하나는,
지금 AI를 만드는 사람들한테는

821
01:00:00,723 --> 01:00:06,560
AI가 실수를 저지르기 때문에
강력하게 느껴지지 않는다는 거예요.

822
01:00:06,560 --> 01:00:08,622
하지만 어느 시점이 되면 AI가 실제로

823
01:00:08,622 --> 01:00:10,880
강력하게 느껴지기
시작할 거라고 생각해요.

824
01:00:10,880 --> 01:00:14,733
그런 일이 일어나면,
모든 AI 기업이 안전에

825
01:00:14,733 --> 01:00:18,894
접근하는 방식에서 큰
변화가 나타날 거라고 봐요.

826
01:00:18,894 --> 01:00:22,103
훨씬 더 편집증적이 될 거예요.

827
01:00:22,103 --> 01:00:24,134
이건 앞으로 실제로 일어나는 걸 보게

828
01:00:24,134 --> 01:00:26,266
될 거라는 예측으로 드리는 말씀이에요.

829
01:00:26,266 --> 01:00:27,438
제 말이 맞는지는 두고 봐야겠죠.

830
01:00:27,438 --> 01:00:29,762
하지만 AI가 더
강력해지는 걸 직접 보게

831
01:00:29,762 --> 01:00:32,289
될 테니, 이런 일이
일어날 거라고 생각해요.

832
01:00:32,289 --> 01:00:37,252
지금 벌어지고 있는 모든 일은,
제가 보기엔, 사람들이 오늘날의

833
01:00:37,252 --> 01:00:42,640
AI를 보면서 미래의 AI는 상상하기
어려워하기 때문이라고 생각해요.

834
01:00:42,640 --> 01:00:46,408
세 번째로 일어나야 할 일이 있어요.

835
01:00:46,408 --> 01:00:51,048
저희 회사에 대해 물어보셔서
그런데, SSI 관점에서만이

836
01:00:51,048 --> 01:00:54,640
아니라 더 넓은 의미에서
말씀드리는 거예요.

837
01:00:54,640 --> 01:00:58,400
질문은, 기업들이 무엇을 만들겠다는
포부를 가져야 하느냐는 거예요.

838
01:00:58,400 --> 01:01:00,337
무엇을 만들고자 해야 할까요?

839
01:01:00,337 --> 01:01:04,938
모두가 매달려 온 하나의 큰 아이디어가

840
01:01:04,938 --> 01:01:09,538
있었는데, 바로 자기 개선형 AI예요.

841
01:01:09,538 --> 01:01:11,120
왜 그렇게 됐을까요?

842
01:01:11,120 --> 01:01:14,193
아이디어보다 기업 수가
더 많기 때문이에요.

843
01:01:14,193 --> 01:01:17,972
하지만 저는 그보다 더
나은, 만들 만한 것이 있다고

844
01:01:17,972 --> 01:01:21,360
생각하고, 모두가 그걸
원하게 될 거라고 봐요.

845
01:01:21,360 --> 01:01:25,824
그건 바로 지각 있는 생명을 특히 소중히

846
01:01:25,824 --> 01:01:29,680
여기도록 강건하게 정렬된 AI예요.

847
01:01:29,680 --> 01:01:34,182
지각 있는 생명을 소중히 여기는
AI를 만드는 게, 인간의

848
01:01:34,182 --> 01:01:38,684
생명만 소중히 여기는 AI를
만드는 것보다 오히려 더 쉬울

849
01:01:38,684 --> 01:01:43,326
수 있다고 봐요. AI 자신도
지각이 있는 존재일 테니까요.

850
01:01:43,326 --> 01:01:48,333
거울 뉴런이나, 인간이 동물에게
느끼는 공감 같은 걸 생각해보면—

851
01:01:48,333 --> 01:01:53,200
충분히 크지 않다고 반박할 수도
있지만, 분명히 존재하긴 하죠.

852
01:01:53,200 --> 01:01:58,241
우리가 타인을 모델링할 때도 자신을
모델링하는 것과 같은 회로를 쓰기

853
01:01:58,241 --> 01:02:03,680
때문에 나타나는 창발적 속성이라고
봐요. 그게 가장 효율적인 방식이니까요.

854
01:02:03,680 --> 01:02:08,059
그러니 AI가 지각 있는 존재들을
소중히 여기도록 만들었다 해도— 정렬

855
01:02:08,059 --> 01:02:12,326
문제를 풀었을 때 그게 정말 추구해야
할 목표인지는 사실 저도 확신이

856
01:02:12,326 --> 01:02:16,480
없는데— 그래도 결국 대부분의 지각
있는 존재는 AI가 될 거예요.

857
01:02:16,480 --> 01:02:19,360
AI는 수조 개, 결국엔
수천조 개에 이를 테니까요.

858
01:02:19,360 --> 01:02:23,280
인간은 지각 있는 존재 중 아주
작은 일부에 불과할 거고요.

859
01:02:23,280 --> 01:02:29,680
그러니 목표가 이 미래
문명에 대한 인간의 통제 같은

860
01:02:29,680 --> 01:02:36,080
거라면, 이게 최선의
기준인지는 저도 확신이 없어요.

861
01:02:36,080 --> 01:02:37,280
맞아요.

862
01:02:37,280 --> 01:02:42,570
최선의 기준이 아닐 수도 있고요.

863
01:02:42,570 --> 01:02:45,605
두 가지를 말씀드릴게요.

864
01:02:45,605 --> 01:02:49,899
첫째, 지각 있는 생명을 소중히 여기라는

865
01:02:49,899 --> 01:02:54,192
것— 거기엔 나름의 가치가 있다고 봐요.

866
01:02:54,192 --> 01:02:56,254
고려해볼 만한 가치가 있어요.

867
01:02:56,254 --> 01:03:02,392
이런 상황에 놓였을 때
기업들이 참고할 수 있는 짧은

868
01:03:02,392 --> 01:03:08,530
아이디어 목록 같은 게
있으면 도움이 될 것 같아요.

869
01:03:08,530 --> 01:03:10,240
그게 둘째고요.

870
01:03:10,240 --> 01:03:17,047
셋째, 가장 강력한 초지능의 힘을
어떻게든 제한할 수 있다면 실질적으로

871
01:03:17,047 --> 01:03:23,680
정말 큰 도움이 될 거예요. 이런
우려들 상당수를 해소해줄 테니까요.

872
01:03:23,680 --> 01:03:28,287
어떻게 그렇게 할지는 저도 잘
모르겠지만, 정말 정말 강력한

873
01:03:28,287 --> 01:03:32,614
시스템을 이야기할 땐 실질적으로
도움이 될 거라고 봐요.

874
01:03:32,614 --> 01:03:34,763
정렬 논의를 계속 이어가기 전에, 그

875
01:03:34,763 --> 01:03:36,912
부분을 좀 더 파고들어보고 싶은데요.

876
01:03:36,912 --> 01:03:38,560
그 위쪽으로는 대체 얼마나
여지가 있는 걸까요?

877
01:03:38,560 --> 01:03:41,226
초지능을 어떻게 이해하고 계신가요?

878
01:03:41,226 --> 01:03:45,176
이 학습 효율성이라는 개념으로
보면, 초지능은 그저 새로운

879
01:03:45,176 --> 01:03:48,880
기술이나 지식을 극도로 빠르게
배우는 존재일 뿐일까요?

880
01:03:48,880 --> 01:03:51,888
아니면 그냥 더 큰 전략
풀을 갖고 있는 걸까요?

881
01:03:51,888 --> 01:03:57,960
중심에 하나로 응집된, 더 강력하고
더 큰 '그것'이 있는 걸까요?

882
01:03:57,960 --> 01:04:03,054
그렇다면 이게 나머지 인류 문명에 비해
신 같은 존재로 느껴질까요, 아니면

883
01:04:03,054 --> 01:04:07,775
그냥 또 다른 에이전트나 에이전트들의
또 다른 집합체처럼 느껴질까요?

884
01:04:07,775 --> 01:04:12,119
이건 사람마다 직관이 다른 영역이에요.

885
01:04:12,119 --> 01:04:16,240
정말 강력할 게 틀림없다고 생각해요.

886
01:04:16,240 --> 01:04:21,389
제 생각에 가장 가능성이 높은 건, 그런

887
01:04:21,389 --> 01:04:27,240
AI가 여럿이 거의
동시에 만들어지는 거예요.

888
01:04:28,128 --> 01:04:33,297
클러스터가 충분히 크다면
— 말 그대로 대륙 크기

889
01:04:33,297 --> 01:04:39,040
클러스터라면 — 그건 정말
강력할 수 있다고 생각해요.

890
01:04:39,040 --> 01:04:42,904
말 그대로 대륙 크기
클러스터를 갖게 된다면,

891
01:04:42,904 --> 01:04:46,149
그 AI들은 정말 강력해질 수 있어요.

892
01:04:46,640 --> 01:04:52,740
제가 말씀드릴 수 있는 건,
극도로 강력한 AI, 정말

893
01:04:52,740 --> 01:04:58,839
극적으로 강력한 AI를 얘기하는
거라면, 어떤 식으로든

894
01:04:58,839 --> 01:05:05,549
제약이 있거나 일종의 합의 같은
게 있으면 좋겠다는 거예요.

895
01:05:05,549 --> 01:05:10,716
초지능의 우려는 뭔가요?

896
01:05:11,200 --> 01:05:13,867
그 우려를 설명하는 한
가지 방법은 뭘까요?

897
01:05:13,867 --> 01:05:17,525
충분히 강력한 시스템을,
정말로 충분히 강력한 시스템을

898
01:05:17,525 --> 01:05:21,060
상상해보면 — 그리고 지각
있는 생명을 소중히 여기는

899
01:05:21,060 --> 01:05:24,840
것처럼 뭔가 합리적인 일을
아주 외곬으로 하라고 시킨다면

900
01:05:24,840 --> 01:05:28,619
— 우리가 그 결과를 마음에
들어하지 않을 수도 있어요.

901
01:05:28,619 --> 01:05:30,284
정말로 그게 핵심이에요.

902
01:05:30,284 --> 01:05:33,374
그런데 어쩌면 답은,
일반적인 의미의 RL

903
01:05:33,374 --> 01:05:36,465
에이전트를 만들지 않는
거일 수도 있어요.

904
01:05:36,465 --> 01:05:39,231
몇 가지를 짚어볼게요.

905
01:05:39,231 --> 01:05:43,600
저는 인간이 반(半) RL
에이전트라고 생각해요.

906
01:05:43,600 --> 01:05:47,984
보상을 좇다가, 감정이든
뭐든 그게 우리를 그 보상에

907
01:05:47,984 --> 01:05:51,914
지치게 만들고, 그러면
다른 보상을 좇게 되죠.

908
01:05:51,914 --> 01:05:56,128
시장은 아주 근시안적인
종류의 에이전트예요.

909
01:05:56,128 --> 01:05:57,338
진화도 마찬가지예요.

910
01:05:57,338 --> 01:06:01,235
진화는 어떤 면에서는 아주 똑똑하지만,
다른 면에서는 아주 멍청해요.

911
01:06:01,235 --> 01:06:05,014
정부는 세 부분 사이의
끝나지 않는 싸움으로

912
01:06:05,014 --> 01:06:08,320
설계돼 있고, 그게 어떤 효과를 내죠.

913
01:06:08,320 --> 01:06:10,337
그러니까 저는 이런 것들을 생각해요.

914
01:06:10,337 --> 01:06:15,109
이 논의를 어렵게 만드는 또 다른
건, 우리가 존재하지 않는,

915
01:06:15,109 --> 01:06:19,600
어떻게 만드는지도 모르는 시스템을
얘기하고 있다는 거예요.

916
01:06:19,600 --> 01:06:21,760
그게 또 다른 이유고,
사실 그게 제 믿음이에요.

917
01:06:21,760 --> 01:06:24,320
지금 사람들이 하고 있는
건 어느 정도까지는

918
01:06:24,320 --> 01:06:26,560
가다가 결국 사그라들 거라고 생각해요.

919
01:06:26,560 --> 01:06:30,080
계속 개선되긴 하겠지만, 그게
'그것'은 아닐 거예요.

920
01:06:30,080 --> 01:06:35,316
'그것'을 우리는 어떻게
만드는지 모르고, 많은 게

921
01:06:35,316 --> 01:06:40,552
신뢰할 수 있는 일반화를
이해하는 데 달려 있어요.

922
01:06:40,552 --> 01:06:42,940
한 가지 더 말씀드릴게요.

923
01:06:42,940 --> 01:06:49,129
정렬을 어렵게 만드는 원인
중 하나로 꼽을 수 있는

924
01:06:49,129 --> 01:06:55,760
건, 인간의 가치를 학습하는
능력이 취약하다는 거예요.

925
01:06:55,760 --> 01:06:58,206
그럼 그것들을 최적화하는
능력도 취약해지는 거죠.

926
01:06:58,206 --> 01:07:00,080
실제로는 그것들을 최적화하는
법을 배우긴 해요.

927
01:07:00,080 --> 01:07:03,539
그리고 이렇게 말할 수 있지
않을까요, "이것들 전부

928
01:07:03,539 --> 01:07:06,640
신뢰할 수 없는 일반화의
사례 아닌가?"라고요?

929
01:07:06,640 --> 01:07:10,080
그런데 왜 인간은 훨씬 더
일반화를 잘하는 것처럼 보일까요?

930
01:07:10,080 --> 01:07:11,680
일반화가 훨씬 더 뛰어나다면 어떨까요?

931
01:07:11,680 --> 01:07:12,960
그렇다면 무슨 일이 벌어질까요?

932
01:07:12,960 --> 01:07:14,507
그 효과는 어떤 걸까요?

933
01:07:14,507 --> 01:07:19,200
하지만 이 질문들엔
지금으로선 답할 수가 없어요.

934
01:07:19,200 --> 01:07:24,640
AI가 잘 풀린다는 게 어떤
모습일지, 어떻게 생각해야 할까요?

935
01:07:24,640 --> 01:07:26,692
AI가 어떻게 진화할지
그림을 그려보셨잖아요.

936
01:07:26,692 --> 01:07:29,541
지속 학습을 하는
에이전트들이 생길 거고요.

937
01:07:29,541 --> 01:07:31,165
AI는 아주 강력해질 거고요.

938
01:07:31,165 --> 01:07:33,600
어쩌면 서로 다른 AI들이
여럿 존재하겠죠.

939
01:07:33,600 --> 01:07:36,930
대륙 크기의 컴퓨트를
가진 지능들이 곳곳에

940
01:07:36,930 --> 01:07:39,825
돌아다니는 상황, 어떻게 생각하세요?

941
01:07:39,825 --> 01:07:41,684
그게 얼마나 위험할까요?

942
01:07:41,684 --> 01:07:45,222
그 위험을 어떻게 줄일 수 있을까요?

943
01:07:45,222 --> 01:07:50,978
그리고 어딘가엔 정렬되지 않은
AI들과 악의적인 행위자들이 있을

944
01:07:50,978 --> 01:07:56,240
수 있는 균형을 지키면서, 그걸
어떻게 해낼 수 있을까요?

945
01:07:56,240 --> 01:07:58,502
"지각 있는 생명을
소중히 여기는 AI"를

946
01:07:58,502 --> 01:08:00,960
제가 좋아하는 이유 중
하나가 바로 이거예요.

947
01:08:00,960 --> 01:08:05,619
이게 좋은 건지 나쁜
건지는 논쟁할 수 있어요.

948
01:08:05,619 --> 01:08:10,500
하지만 이 극적인 시스템들
중 처음 등장하는 N개가

949
01:08:10,500 --> 01:08:15,556
인류를 아끼고 사랑한다면,
그러니까 지각 있는 생명을

950
01:08:15,556 --> 01:08:20,437
소중히 여긴다면, 물론 이것
역시 이뤄내야만 해요.

951
01:08:20,437 --> 01:08:22,312
이건 이뤄내야만 해요.

952
01:08:22,312 --> 01:08:27,849
그러니까 처음 N개의
시스템이 이걸 이뤄낸다면,

953
01:08:27,849 --> 01:08:32,960
적어도 한동안은 잘
흘러갈 수 있다고 봐요.

954
01:08:32,960 --> 01:08:36,560
그다음엔 장기적으로 어떻게
될 것인가 하는 질문이 남죠.

955
01:08:36,560 --> 01:08:40,573
장기적인 균형 상태는
어떻게 이룰 수 있을까요?

956
01:08:40,573 --> 01:08:44,960
그 지점에도 답은 있다고 생각해요.

957
01:08:44,960 --> 01:08:50,624
저는 이 답이 마음에 들지 않지만,
그래도 고려는 해봐야 해요.

958
01:08:51,760 --> 01:08:55,225
장기적으로 보면 이렇게 말할
수도 있어요. "좋아요,

959
01:08:55,225 --> 01:08:58,332
강력한 AI가 존재하는
세상이라면, 단기적으로는

960
01:08:58,332 --> 01:09:01,200
보편적 고소득을 갖게
됐다고 할 수 있죠."

961
01:09:01,200 --> 01:09:04,880
"보편적 고소득이 있고, 우리 모두
잘 지내고 있어요"라고 말이죠.

962
01:09:04,880 --> 01:09:07,140
그런데 불교에서는 뭐라고 하죠?

963
01:09:07,140 --> 01:09:09,399
"변화만이 유일한 상수다."

964
01:09:09,399 --> 01:09:10,492
모든 건 변해요.

965
01:09:10,492 --> 01:09:14,518
정부나 정치 구조 같은
게 있는데, 그것도

966
01:09:14,518 --> 01:09:18,720
변하죠. 이런 것들은
유효기간이 있으니까요.

967
01:09:18,720 --> 01:09:21,161
새로운 정부 형태가 등장해서 한동안

968
01:09:21,161 --> 01:09:24,115
작동하다가, 시간이
지나면 작동을 멈추죠.

969
01:09:24,115 --> 01:09:28,499
우리는 그런 일이 늘
일어나는 걸 봐왔어요.

970
01:09:28,499 --> 01:09:32,274
그래서 저는 장기적인 균형
상태에 대해, 모든 사람이

971
01:09:32,274 --> 01:09:36,049
자기 대신 일해줄 AI를
하나씩 갖게 될 거고, 그건

972
01:09:36,049 --> 01:09:39,954
좋은 일이라고 말하는 게 한
가지 접근이라고 생각해요.

973
01:09:39,954 --> 01:09:43,926
그게 무한정 유지될 수
있다면, 맞는 말이에요.

974
01:09:43,926 --> 01:09:48,670
그런데 문제는, 그럼 그 AI가
나가서 그 사람 대신 돈을 벌고,

975
01:09:48,670 --> 01:09:53,415
정치 영역에서 그 사람의 필요를
대변하고, 그러고 나서 아마 짧은

976
01:09:53,415 --> 01:09:58,555
보고서 하나를 써서 "자, 제가 한
일은 이렇고 상황은 이렇습니다"라고

977
01:09:58,555 --> 01:10:02,640
하면, 그 사람은 "좋아,
계속해"라고 말한다는 거예요.

978
01:10:02,640 --> 01:10:05,760
하지만 그 사람은 더 이상
참여자가 아니게 되죠.

979
01:10:05,760 --> 01:10:10,163
그럼 그건 불안정한 위치에
있는 거라고 할 수 있어요.

980
01:10:10,480 --> 01:10:14,307
미리 말씀드리자면,
저는 이 해법이 마음에

981
01:10:14,307 --> 01:10:18,300
들지 않지만, 그래도
하나의 해법이긴 해요.

982
01:10:19,040 --> 01:10:21,470
그 해법은 사람들이 일종의 뉴럴링크++를

983
01:10:21,470 --> 01:10:23,680
통해 부분적으로 AI가 되는 거예요.

984
01:10:23,680 --> 01:10:29,079
그 결과로 일어나는 일은, AI가
뭔가를 이해하면 우리도 그걸

985
01:10:29,079 --> 01:10:34,160
이해하게 된다는 거예요. 이해
자체가 통째로 전달되니까요.

986
01:10:34,160 --> 01:10:37,792
그래서 이제 AI가 어떤 상황에 놓이면,

987
01:10:37,792 --> 01:10:41,920
우리도 그 상황에 완전히
관여하게 되는 거죠.

988
01:10:41,920 --> 01:10:45,966
저는 이게 균형 상태에
대한 답이라고 생각해요.

989
01:10:45,966 --> 01:10:52,300
저는 수백만 년, 많은 경우
수십억 년 전 완전히 다른 환경에서

990
01:10:52,300 --> 01:10:57,729
발달한 감정이 지금도 우리
행동을 이렇게 강하게 이끌고

991
01:10:57,729 --> 01:11:03,520
있다는 사실 자체가 정렬 성공의
한 사례가 아닐까 싶어요.

992
01:11:03,520 --> 01:11:08,334
좀 더 풀어서 말씀드리면—
이걸 가치 함수라고 불러야

993
01:11:08,334 --> 01:11:13,314
할지 보상 함수라고 불러야
할지는 모르겠지만— 뇌간에는

994
01:11:13,314 --> 01:11:17,796
"더 성공한 사람과
짝짓기하라"는 지침이 있어요.

995
01:11:17,796 --> 01:11:22,303
대뇌 피질은 현대적 맥락에서 성공이
뭘 의미하는지를 이해하는 부분이에요.

996
01:11:22,303 --> 01:11:25,984
그런데 뇌간은 대뇌 피질을
정렬시켜서 이렇게 말할 수 있어요.

997
01:11:25,984 --> 01:11:29,558
"네가 성공을 뭐라고 인식하든—
그게 뭔지 이해할 만큼 나는

998
01:11:29,558 --> 01:11:33,564
똑똑하지 않지만— 그래도 너는 이
지침을 계속 추구하게 될 거야."

999
01:11:33,564 --> 01:11:36,560
저는 더 일반적인
논점이 있다고 생각해요.

1000
01:11:36,560 --> 01:11:41,182
저는 진화가 고차원적인 욕구를 어떻게

1001
01:11:41,182 --> 01:11:46,960
부호화하는지가 사실 정말
신비롭다고 생각해요.

1002
01:11:46,960 --> 01:11:52,525
냄새는 화학물질이니까, 좋은 냄새
나는 음식에 대한 욕구를 진화가

1003
01:11:52,525 --> 01:11:58,400
심어줬다는 건 이해하기 쉬워요. 그냥
그 화학물질을 쫓으면 되니까요.

1004
01:11:58,400 --> 01:12:02,800
진화가 그런 일을 했다는
건 아주 쉽게 상상이 가요.

1005
01:12:02,800 --> 01:12:08,880
그런데 진화는 이런 다양한 사회적
욕구들도 우리에게 심어줬어요.

1006
01:12:08,880 --> 01:12:12,720
우리는 사회에서 긍정적으로
비춰지는 걸 정말 신경 쓰죠.

1007
01:12:12,720 --> 01:12:16,106
평판이 좋은 상태를 유지하는
것도 신경 쓰고요.

1008
01:12:16,106 --> 01:12:19,867
우리가 가진 이런 사회적 직관들, 저는

1009
01:12:19,867 --> 01:12:23,270
이게 타고난 거라고 강하게 느껴요.

1010
01:12:23,270 --> 01:12:27,315
진화가 어떻게 그걸
해냈는지는 모르겠어요.

1011
01:12:27,315 --> 01:12:31,360
뇌 안에서 표상되는
고차원적 개념이니까요.

1012
01:12:31,360 --> 01:12:36,120
어떤 사회적인 것을 신경 쓴다고 해봐요.

1013
01:12:36,120 --> 01:12:40,880
그건 냄새 같은 저수준 신호가 아니에요.

1014
01:12:40,880 --> 01:12:43,718
그걸 감지하는 센서 같은
게 있는 것도 아니고요.

1015
01:12:43,718 --> 01:12:47,708
뇌가 사회적으로 무슨 일이
벌어지는지 이해하려면, 수많은

1016
01:12:47,708 --> 01:12:51,440
정보 조각을 짜맞추는 처리
과정을 많이 거쳐야 해요.

1017
01:12:51,440 --> 01:12:54,710
그런데 진화는 어떻게든 "바로 그걸
신경 써야 해"라고 말한 거예요.

1018
01:12:54,710 --> 01:12:55,675
대체 어떻게 그렇게 한 걸까요?

1019
01:12:55,675 --> 01:12:57,028
그것도 빠르게 해냈고요.

1020
01:12:57,028 --> 01:13:00,628
우리가 신경 쓰는 이런 정교한 사회적인

1021
01:13:00,628 --> 01:13:04,400
것들은, 꽤 최근에 진화했다고 생각해요.

1022
01:13:04,400 --> 01:13:09,993
진화는 이런 고차원적 욕구를
아무렇지도 않게 하드코딩해낸 거예요.

1023
01:13:12,000 --> 01:13:16,000
어떻게 그렇게 했는지에 대한
괜찮은 가설을, 저는 모르겠어요.

1024
01:13:16,000 --> 01:13:24,560
이런저런 아이디어를 굴려봤지만,
어느 것도 만족스럽지 않았어요.

1025
01:13:24,560 --> 01:13:28,103
특히 인상적인 지점은
이거예요. 만약 이게 살아가면서

1026
01:13:28,103 --> 01:13:31,280
학습한 욕구였다면, 뇌가
똑똑하니까 말이 되죠.

1027
01:13:31,280 --> 01:13:35,600
똑똑한 욕구를 학습할 수 있다는
것 자체는 말이 되는 거예요.

1028
01:13:35,600 --> 01:13:38,444
그게 하려던 말은 아니었을
수도 있지만, 이렇게

1029
01:13:38,444 --> 01:13:41,506
이해하는 방법도 있어요.
욕구는 유전체 안에 새겨져

1030
01:13:41,506 --> 01:13:44,240
있는데, 유전체 자체는
똑똑하지 않다는 거죠.

1031
01:13:44,240 --> 01:13:47,260
그런데 어떻게든 이 특성을
기술할 수 있다는 거예요.

1032
01:13:47,260 --> 01:13:49,961
그 특성을 어떻게
정의하는지조차 불분명한데,

1033
01:13:49,961 --> 01:13:52,549
그걸 유전자에 새겨
넣을 수 있다는 거죠.

1034
01:13:52,549 --> 01:13:55,520
본질적으로는요, 아니면
다르게 말해볼게요.

1035
01:13:55,520 --> 01:13:59,835
유전체가 쓸 수 있는 도구들을
생각해보면, 유전체는 "좋아,

1036
01:13:59,835 --> 01:14:03,496
뇌를 만드는 레시피는
이거야"라고 말하는 셈이에요.

1037
01:14:03,496 --> 01:14:06,067
이렇게 말할 수도 있겠죠.
"여기 도파민 뉴런을

1038
01:14:06,067 --> 01:14:08,441
냄새 센서에 연결하는
레시피가 있어"라고요.

1039
01:14:08,441 --> 01:14:13,086
그리고 냄새가 어떤 좋은 냄새라면,
그걸 먹고 싶어지는 거죠.

1040
01:14:13,086 --> 01:14:15,680
게놈이 그렇게 하는 건 상상이 가요.

1041
01:14:15,680 --> 01:14:18,498
제가 주장하는 건 그건
상상하기 더 어렵다는 거예요.

1042
01:14:18,498 --> 01:14:23,422
게놈이 '너의 뇌 전체, 뇌의
상당 부분이 수행하는 어떤 복잡한

1043
01:14:23,422 --> 01:14:28,486
계산을 신경 써야 한다'고 말하는
건 상상하기 더 어렵다는 거죠.

1044
01:14:28,486 --> 01:14:30,176
제가 주장하는 건 그게 다예요.

1045
01:14:30,176 --> 01:14:33,760
그게 어떻게 이뤄질 수 있는지에 대한
추측 하나는 말씀드릴 수 있어요.

1046
01:14:33,760 --> 01:14:37,760
추측 하나를 제시해 보고, 그 추측이
왜 아마 틀렸는지 설명해 드릴게요.

1047
01:14:37,760 --> 01:14:43,281
뇌에는 뇌 영역들이 있죠.

1048
01:14:43,281 --> 01:14:46,732
우리에겐 대뇌 피질이 있고요.

1049
01:14:46,732 --> 01:14:52,080
거기엔 그 모든 뇌 영역들이 있어요.

1050
01:14:52,080 --> 01:14:55,983
대뇌 피질은 균일하지만,
그 안의 뇌 영역들과

1051
01:14:55,983 --> 01:14:59,105
뉴런들은 대체로 이웃끼리만 소통해요.

1052
01:14:59,105 --> 01:15:01,120
그게 왜 뇌 영역들이
생기는지를 설명해 주죠.

1053
01:15:01,120 --> 01:15:03,840
예를 들어 언어 처리
같은 걸 하려면, 언어를

1054
01:15:03,840 --> 01:15:06,342
담당하는 뉴런들이 서로
소통해야 하니까요.

1055
01:15:06,342 --> 01:15:08,886
그리고 뉴런들은 대체로
가까운 이웃하고만 소통할 수

1056
01:15:08,886 --> 01:15:11,520
있으니, 그게 하나의 영역을
이룰 수밖에 없는 거죠.

1057
01:15:11,520 --> 01:15:15,280
그 영역들은 사람마다
대체로 같은 위치에 있고요.

1058
01:15:15,280 --> 01:15:18,394
그러니 어쩌면 진화가 뇌의 어떤 위치를

1059
01:15:18,394 --> 01:15:21,360
말 그대로 하드코딩했을 수도 있어요.

1060
01:15:21,360 --> 01:15:25,065
그러니까 "아, 뇌의 이런저런
GPS 좌표에서, 거기가

1061
01:15:25,065 --> 01:15:29,264
발화하면, 그게 네가 신경 써야
할 것이다"라고 말하는 거죠.

1062
01:15:29,264 --> 01:15:31,372
어쩌면 그게 진화가
한 일일 수도 있어요,

1063
01:15:31,372 --> 01:15:33,572
그건 진화의 도구함 안에
있는 방법이니까요.

1064
01:15:33,572 --> 01:15:39,093
네, 그런데 예를 들어 선천적으로
시각장애가 있는 사람들은

1065
01:15:39,093 --> 01:15:44,960
대뇌 피질의 그 영역을 다른
감각이 차지하는 경우가 있잖아요.

1066
01:15:44,960 --> 01:15:49,547
잘은 모르지만, 시각 신호를
필요로 하는 욕구나 보상

1067
01:15:49,547 --> 01:15:54,450
함수가 피질의 다른 영역이
그 자리를 차지한 사람들에게서

1068
01:15:54,450 --> 01:15:58,720
더 이상 작동하지 않는다면
저는 놀랄 것 같아요.

1069
01:15:58,720 --> 01:16:02,434
예를 들어 시각이 없어지면,
'주변 사람들이 나를

1070
01:16:02,434 --> 01:16:06,423
좋아했으면 좋겠다' 같은,
보통은 시각적 단서도 함께

1071
01:16:06,423 --> 01:16:10,000
따라오는 그런 감정을
여전히 느낄 수 있을까요.

1072
01:16:10,000 --> 01:16:11,213
그 말에 전적으로 동의해요.

1073
01:16:11,213 --> 01:16:15,771
이 이론에 대한 더 강력한
반론도 있다고 생각해요.

1074
01:16:16,880 --> 01:16:21,008
어릴 때 뇌의 절반이
제거된 사람들이 있는데,

1075
01:16:21,008 --> 01:16:25,466
그들도 여전히 모든 뇌
영역을 다 갖고 있거든요.

1076
01:16:25,466 --> 01:16:29,522
그런데 그게 전부 어떻게든 한쪽 반구로만
옮겨가요, 그건 뇌 영역의 위치가

1077
01:16:29,522 --> 01:16:33,282
고정된 게 아니라는 뜻이고, 그러니
그 이론은 사실이 아니라는 거죠.

1078
01:16:33,282 --> 01:16:36,019
사실이면 멋있었겠지만, 아니에요.

1079
01:16:36,019 --> 01:16:37,680
그래서 그건 미스터리라고 생각해요.

1080
01:16:37,680 --> 01:16:39,900
하지만 흥미로운 미스터리죠.

1081
01:16:39,900 --> 01:16:43,372
사실은 진화가 어떻게든
우리가 사회적인 것에 아주,

1082
01:16:43,372 --> 01:16:46,720
아주 안정적으로 신경
쓰도록 만들어냈다는 거예요.

1083
01:16:46,720 --> 01:16:51,281
온갖 특이한 정신적 상태나
결핍, 감정적 문제를 가진

1084
01:16:51,281 --> 01:16:55,685
사람들조차도 이 부분엔
신경을 쓰는 경향이 있어요.

1085
01:18:13,360 --> 01:18:15,805
SSI는 무엇을 다르게
하려고 계획하고 있나요?

1086
01:18:15,805 --> 01:18:22,399
아마 이 시기가 오면 프론티어 기업
중 하나가 되는 게 계획이시겠죠.

1087
01:18:22,399 --> 01:18:27,541
아마 SSI를 시작하신 것도
"이걸 안전하게 하는 방법을 다른

1088
01:18:27,541 --> 01:18:32,229
회사들과는 다르게 갖고 있다고
생각한다"는 마음이셨겠죠.

1089
01:18:32,229 --> 01:18:34,324
그 차이가 뭔가요?

1090
01:18:34,324 --> 01:18:39,791
제가 설명하자면, 유망하다고
생각하는 아이디어들이 있고,

1091
01:18:39,791 --> 01:18:44,906
그게 정말 유망한지 아닌지
검증해보고 싶다는 거예요.

1092
01:18:44,906 --> 01:18:46,515
정말 그만큼 단순해요.

1093
01:18:46,515 --> 01:18:47,609
하나의 시도인 거죠.

1094
01:18:47,609 --> 01:18:52,419
만약 이 아이디어들이 —
저희가 논의했던 일반화

1095
01:18:52,419 --> 01:18:57,783
이해에 관한 아이디어들
말이에요 — 옳다고 판명되면,

1096
01:18:57,783 --> 01:19:03,148
저희는 뭔가 가치 있는 걸
갖게 될 거라고 생각해요.

1097
01:19:03,148 --> 01:19:05,086
그게 옳다고 판명될까요?

1098
01:19:05,086 --> 01:19:06,362
저희는 연구를 하고 있어요.

1099
01:19:06,362 --> 01:19:09,035
저희는 완전히 '연구의 시대' 회사예요.

1100
01:19:09,035 --> 01:19:10,429
진전을 이루고 있어요.

1101
01:19:10,429 --> 01:19:13,435
사실 지난 1년간 꽤
좋은 진전을 이뤘지만,

1102
01:19:13,435 --> 01:19:16,566
계속 더 진전을 이루고
더 연구를 해야 해요.

1103
01:19:16,566 --> 01:19:19,151
제가 보는 방식은 그래요.

1104
01:19:19,151 --> 01:19:26,318
목소리를 내고 참여하려는
시도로 보고 있어요.

1105
01:19:29,840 --> 01:19:34,309
공동창업자이자 전 CEO께서
최근 메타로 이직하셨는데,

1106
01:19:34,309 --> 01:19:38,183
사람들은 이렇게 물어요.
"돌파구가 많이 나오고

1107
01:19:38,183 --> 01:19:42,801
있었다면, 그런 일이 일어나기는
어려웠을 것 같은데요."

1108
01:19:42,801 --> 01:19:45,080
어떻게 답하실지 궁금해요.

1109
01:19:45,080 --> 01:19:48,000
이 질문에 대해서는, 그냥 잊혀졌을 수도

1110
01:19:48,000 --> 01:19:50,920
있는 몇 가지 사실을 상기시켜 드릴게요.

1111
01:19:50,920 --> 01:19:55,920
맥락을 보여주는 이 사실들이
상황을 설명해준다고 생각해요.

1112
01:19:55,920 --> 01:20:02,223
맥락을 말씀드리면, 저희가 320억
달러 기업가치로 투자 유치를

1113
01:20:02,223 --> 01:20:09,426
하고 있었는데, 메타가 저희를 인수하겠다고
제안해왔고, 저는 거절했어요.

1114
01:20:09,426 --> 01:20:15,368
그런데 제 전 공동창업자는 어떤
의미에서는 그러겠다고 했죠.

1115
01:20:15,368 --> 01:20:20,679
그 결과 그도 상당한 단기
유동성을 누릴 수 있었고,

1116
01:20:20,679 --> 01:20:25,440
SSI 출신 중 유일하게
메타에 합류하게 됐죠.

1117
01:20:25,440 --> 01:20:30,444
SSI의 계획은, 초인적 지능을
갖게 되는 인류 역사상 아주

1118
01:20:30,444 --> 01:20:35,600
중요한 이 시기에 프론티어에 서
있는 회사가 되는 것 같아요.

1119
01:20:35,600 --> 01:20:39,360
초인적 지능이 잘 풀리게 만들 방법에
대한 아이디어들이 있으신 거고요.

1120
01:20:39,360 --> 01:20:42,480
하지만 다른 회사들은 각자 자신들의
아이디어를 시도할 거고요.

1121
01:20:42,480 --> 01:20:48,400
초지능이 잘 흘러가게 만드는
SSI만의 접근법은 뭐가 다른가요?

1122
01:20:48,400 --> 01:20:54,880
SSI를 구분 짓는 가장
큰 건 기술적 접근법이에요.

1123
01:20:54,880 --> 01:20:58,056
저희는 가치 있다고 생각하는 다른 기술적

1124
01:20:58,056 --> 01:21:01,520
접근법을 갖고 있고,
그걸 추구하고 있어요.

1125
01:21:01,520 --> 01:21:06,160
결국엔 전략들의 수렴이 있을
거라는 입장은 변함없어요.

1126
01:21:06,160 --> 01:21:12,550
AI가 더 강력해지면서 어느
시점엔, 전략이 어때야 하는지가

1127
01:21:12,550 --> 01:21:19,520
모두에게 어느 정도 분명해지는 그런
수렴이 있을 거라고 생각해요.

1128
01:21:19,520 --> 01:21:25,111
아마 이런 모습일 거예요. 서로
대화할 방법을 찾아야 하고,

1129
01:21:25,111 --> 01:21:31,040
최초의 진짜 초지능 AI는 정렬되어
있어야 하고, 어떻게든 지각

1130
01:21:31,040 --> 01:21:36,292
있는 생명을 소중히 여기고
사람들을 소중히 여겨야 하고,

1131
01:21:36,292 --> 01:21:42,560
민주적이어야 하고 — 이런 것들
중 하나이거나 그 조합이어야 해요.

1132
01:21:42,560 --> 01:21:49,727
이게 모두가 추구해야
할 조건이라고 생각해요.

1133
01:21:50,400 --> 01:21:53,443
그게 바로 SSI가 추구하는 것이고요.

1134
01:21:53,443 --> 01:21:57,000
이번엔, 아직 아니라면, 다른
모든 회사들도 결국 같은

1135
01:21:57,000 --> 01:22:00,320
걸 추구하고 있다는 걸
깨닫게 될 거라고 생각해요.

1136
01:22:00,320 --> 01:22:00,815
두고 봐야죠.

1137
01:22:00,815 --> 01:22:05,375
AI가 더 강력해지면 세상이
정말로 바뀔 거라고 생각해요.

1138
01:22:07,920 --> 01:22:10,200
상황도 정말 달라지고, 사람들도 정말

1139
01:22:10,200 --> 01:22:12,480
다르게 행동하게 될 거라고 생각해요.

1140
01:22:12,480 --> 01:22:16,363
예측 얘기가 나왔으니
말인데, 말씀하신 그 시스템

1141
01:22:16,363 --> 01:22:20,101
— 사람만큼 학습할 수
있고 그 결과로 초인간이

1142
01:22:20,101 --> 01:22:23,840
되는 시스템 — 에 대한
예측은 어떻게 되나요?

1143
01:22:23,840 --> 01:22:26,138
5에서 20 정도라고 생각해요.

1144
01:22:26,138 --> 01:22:27,600
5년에서 20년이요?

1145
01:22:27,600 --> 01:22:28,275
음.

1146
01:22:28,275 --> 01:22:32,786
세상이 어떻게 흘러갈지, 그
그림을 한번 풀어보고 싶어요.

1147
01:22:32,786 --> 01:22:36,464
이런 거예요 — 앞으로
몇 년간은 다른 회사들이

1148
01:22:36,464 --> 01:22:40,000
지금 접근법을 계속
이어가다가 정체되는 거죠.

1149
01:22:40,000 --> 01:22:42,253
여기서 '정체된다'는 건 매출이 수천억

1150
01:22:42,253 --> 01:22:44,720
달러 초반 수준을 넘지
못한다는 뜻인가요?

1151
01:22:44,720 --> 01:22:51,303
정체된다는 게 어떤
의미인지는 어떻게 보시나요?

1152
01:22:51,303 --> 01:22:55,614
제 생각에 정체된다는 건… 아마 여러

1153
01:22:55,614 --> 01:23:00,788
회사들 사이에서 다
비슷비슷해 보일 거예요.

1154
01:23:00,788 --> 01:23:01,790
그런 식일 수도 있어요.

1155
01:23:01,790 --> 01:23:06,367
확실치 않지만, 정체되더라도 이 회사들이

1156
01:23:06,367 --> 01:23:10,320
엄청난 매출은 낼 수 있다고 봐요.

1157
01:23:10,320 --> 01:23:14,634
이익은 아닐 수도 있어요,
서로 차별화하려고

1158
01:23:14,634 --> 01:23:19,127
애써야 할 테니까요.
하지만 매출은 확실히요.

1159
01:23:19,127 --> 01:23:23,437
그런데 당신 모델을
보면, 결국 올바른 해법이

1160
01:23:23,437 --> 01:23:27,920
나오면 모든 회사가 수렴하게
된다는 뜻이잖아요.

1161
01:23:27,920 --> 01:23:29,836
왜 그렇게 생각하시는지 궁금해요.

1162
01:23:29,836 --> 01:23:33,080
제가 말한 건 정렬 전략에서의
수렴 쪽에 더 가까워요.

1163
01:23:33,080 --> 01:23:36,904
기술적 접근에서도 결국
수렴이 일어나긴 할 것

1164
01:23:36,904 --> 01:23:41,186
같지만, 제가 암시한 건
정렬 전략의 수렴이었어요.

1165
01:23:41,186 --> 01:23:43,680
정확히 어떤 걸 해야 한다는 건가요?

1166
01:23:43,680 --> 01:23:46,880
미래가 어떻게 펼쳐질지에 대한
그림을 좀 더 잘 이해하고 싶어서요.

1167
01:23:46,880 --> 01:23:50,224
지금은 여러 회사가 있고, 그들의
접근법이 계속 매출은 내겠지만

1168
01:23:50,224 --> 01:23:53,376
이 인간 같은 학습자에는 도달하지
못할 거라고 보시는 거죠.

1169
01:23:53,376 --> 01:23:56,560
그럼 지금 회사들이 여러
갈래로 나뉘어 있는 셈이네요.

1170
01:23:56,560 --> 01:24:00,160
당신이 있고, 씽킹 머신즈가
있고, 다른 랩들도 많고요.

1171
01:24:00,160 --> 01:24:03,120
그중 하나가 올바른 접근법을
찾아낼 수도 있고요.

1172
01:24:03,120 --> 01:24:05,457
그런데 그 제품 출시가
다른 사람들에게 이걸

1173
01:24:05,457 --> 01:24:07,600
어떻게 하는지 분명히 알려주게 되잖아요.

1174
01:24:07,600 --> 01:24:11,329
어떻게 하는지는 분명해지지
않을 것 같아요. 하지만 뭔가

1175
01:24:11,329 --> 01:24:15,179
다른 게 가능하다는 건 분명해지죠.
그리고 그게 정보예요.

1176
01:24:15,179 --> 01:24:21,232
그러면 사람들이 그게 어떻게
작동하는지 알아내려 하겠죠.

1177
01:24:21,232 --> 01:24:26,779
다만 여기서 다뤄지지 않은
것 중 하나는, AI의

1178
01:24:26,779 --> 01:24:32,736
능력이 늘어날 때마다 일하는
방식에 어떤 변화가 생길

1179
01:24:32,736 --> 01:24:38,899
거라는 점이에요. 정확히 어떤
변화인지는 모르겠지만요.

1180
01:24:42,960 --> 01:24:45,913
중요할 거라고 생각하지만, 정확히 그게

1181
01:24:45,913 --> 01:24:48,725
뭔지는 콕 집어 말씀드리기 어렵네요.

1182
01:24:50,320 --> 01:24:54,518
기본적으로 생각하면, 그
모델을 가진 회사가 이 모든

1183
01:24:54,518 --> 01:24:58,427
이득을 가져갈 거라고
예상하게 되잖아요. 세상에서

1184
01:24:58,427 --> 01:25:02,480
쌓아온 기술과 지식을 가진
모델을 갖고 있으니까요.

1185
01:25:02,480 --> 01:25:07,417
그 이득이 널리 분산될 거라고,
이 지속 학습 루프를 가장 먼저

1186
01:25:07,417 --> 01:25:12,636
돌리는 모델 회사한테만 돌아가지
않을 거라고 생각할 이유가 뭔가요?

1187
01:25:14,880 --> 01:25:20,280
제가 생각하기에 이런
일이 일어날 것 같아요.

1188
01:25:20,280 --> 01:25:28,799
첫째, 지금까지 과거의 AI들이
어떻게 흘러왔는지 한번 보죠.

1189
01:25:28,799 --> 01:25:37,243
한 회사가 진보를 만들어내면 다른
회사가 서둘러서, 어느 정도 시간이 지난

1190
01:25:37,243 --> 01:25:45,069
뒤 비슷한 걸 만들어냈고, 그렇게
시장에서 경쟁하며 가격을 낮춰갔죠.

1191
01:25:45,069 --> 01:25:48,425
그래서 시장의 관점에서 보면, 거기서도

1192
01:25:48,425 --> 01:25:51,621
비슷한 일이 일어날 거라고 생각해요.

1193
01:25:51,621 --> 01:25:56,234
그나저나 저희가 지금 얘기하는
건 '좋은 세상' 쪽이에요.

1194
01:25:56,640 --> 01:25:59,420
좋은 세상이란 어떤 모습인가요?

1195
01:25:59,420 --> 01:26:07,253
그건 강력하고 인간 같은
학습자들이 있으면서 동시에…

1196
01:26:07,758 --> 01:26:12,547
그런데 말이죠, 초지능 AI의
스펙에서 아직 이야기하지 않은

1197
01:26:12,547 --> 01:26:17,046
게 하나 더 있는데, 고려해
볼 가치가 있는 것 같아요.

1198
01:26:17,046 --> 01:26:19,407
그건 좁게 만들 수도 있다는 거예요.

1199
01:26:19,407 --> 01:26:22,004
유용하면서 동시에 좁을 수 있다는 거죠.

1200
01:26:22,004 --> 01:26:24,320
좁은 초지능 AI를 여러
개 가질 수도 있어요.

1201
01:26:24,320 --> 01:26:28,888
그런데 그런 게 여럿 있고, 그걸로

1202
01:26:28,888 --> 01:26:33,937
큰 수익을 내는 회사가 있다고 해보죠.

1203
01:26:33,937 --> 01:26:37,895
그럼 다른 회사가 들어와서
경쟁을 시작하는 거예요.

1204
01:26:37,895 --> 01:26:43,872
경쟁이 작동하는 방식은
전문화를 통해서예요.

1205
01:26:43,872 --> 01:26:49,017
경쟁은 전문화를 좋아하죠.

1206
01:26:49,017 --> 01:26:53,953
시장에서도 보이고,
진화에서도 마찬가지로 보여요.

1207
01:26:53,953 --> 01:26:56,922
다양한 니치들이 생기고,
각 니치를 차지하는

1208
01:26:56,922 --> 01:26:59,520
서로 다른 회사들이 많이 생길 거예요.

1209
01:26:59,520 --> 01:27:04,191
이런 세상에서는 한 AI
회사가 정말 복잡한 경제

1210
01:27:04,191 --> 01:27:08,862
활동의 어떤 영역에서 훨씬
뛰어나고, 다른 회사는

1211
01:27:08,862 --> 01:27:13,360
또 다른 영역에서 더
뛰어나다고 할 수 있겠죠.

1212
01:27:13,360 --> 01:27:15,200
그리고 세 번째 회사는
소송을 정말 잘하고요.

1213
01:27:15,200 --> 01:27:18,570
그건 인간 같은 학습이 함의하는
것과 모순되지 않나요?

1214
01:27:18,570 --> 01:27:19,840
그러니까 그건 배울 수 있다는 거잖아요…

1215
01:27:19,840 --> 01:27:23,130
배울 수는 있죠, 하지만
축적된 학습이라는 게 있어요.

1216
01:27:23,130 --> 01:27:25,120
큰 투자가 들어가 있는 거죠.

1217
01:27:25,120 --> 01:27:27,762
이 일에 정말, 정말 잘하게, 정말

1218
01:27:27,762 --> 01:27:30,960
뛰어나게 되기까지
엄청난 컴퓨트를 썼어요.

1219
01:27:30,960 --> 01:27:33,375
다른 누군가는 또 다른 일에 정말 잘하게

1220
01:27:33,375 --> 01:27:36,120
되려고 엄청난 컴퓨트와
엄청난 경험을 썼고요.

1221
01:27:36,120 --> 01:27:39,465
그렇게 인간적인 학습을 많이
쏟아부어서 그 지점에 도달했는데,

1222
01:27:39,465 --> 01:27:42,809
이제 그 정점에 서면 다른 누군가는
이렇게 말하겠죠. "이봐,

1223
01:27:42,809 --> 01:27:45,859
난 당신이 배운 걸 나도
처음부터 배우고 싶지는 않아."

1224
01:27:45,859 --> 01:27:51,490
그럼 여러 회사들이 인간 같은
지속 학습 에이전트를 동시에

1225
01:27:51,490 --> 01:27:58,000
시작해서, 각자 다른 가지에서 트리
탐색을 시작해야 한다는 거네요.

1226
01:27:58,000 --> 01:28:02,196
그런데 한 회사가 그 에이전트를, 그

1227
01:28:02,196 --> 01:28:06,811
학습자를 먼저 손에 넣으면, 그럼 왠지…

1228
01:28:06,811 --> 01:28:12,488
음, 경제 안의 모든 개별
직무를 생각해보면, 회사 하나가

1229
01:28:12,488 --> 01:28:18,519
그 각각을 학습하는 인스턴스를
두는 게 충분히 가능해 보여요.

1230
01:28:18,519 --> 01:28:20,490
타당한 논리예요.

1231
01:28:20,490 --> 01:28:25,120
제 강한 직관으로는 이렇게
흘러가지 않을 것 같아요.

1232
01:28:25,120 --> 01:28:28,677
그 주장대로라면 이렇게 흘러가겠지만, 제

1233
01:28:28,677 --> 01:28:32,557
강한 직감은 그렇게 되지
않으리라는 거예요.

1234
01:28:32,557 --> 01:28:36,822
이론상으론 이론과 실제가 다르지 않죠.

1235
01:28:36,822 --> 01:28:37,778
실제로는 다르지만요.

1236
01:28:37,778 --> 01:28:39,440
이것도 그런 경우 중
하나가 될 것 같아요.

1237
01:28:39,440 --> 01:28:43,192
재귀적 자기 개선에 대한 사람들의
모델 중 상당수는, 서버 안에

1238
01:28:43,192 --> 01:28:47,051
일리야가 100만 명 있어서 각자
다른 아이디어를 낸다는 걸 문자

1239
01:28:47,051 --> 01:28:51,232
그대로 명시하고, 이게 초지능의 아주
빠른 등장으로 이어진다고 말해요.

1240
01:28:51,232 --> 01:28:56,665
지금 하고 계신 일이 얼마나 병렬화
가능한지에 대한 직감이 있으신가요?

1241
01:28:56,665 --> 01:29:00,800
일리야를 복제한다면,
거기서 얻는 이득은 뭘까요?

1242
01:29:00,800 --> 01:29:02,175
모르겠어요.

1243
01:29:02,175 --> 01:29:07,236
분명 수확 체감이 있을
거라고 봐요. 똑같이 생각하는

1244
01:29:07,236 --> 01:29:11,774
사람보다는 다르게 생각하는
사람들을 원하니까요.

1245
01:29:11,774 --> 01:29:15,553
저를 그대로 복제한 존재들이
있다 해도, 거기서 점진적으로

1246
01:29:15,553 --> 01:29:18,859
얼마나 더 가치를 얻을 수
있을지는 잘 모르겠어요.

1247
01:29:18,859 --> 01:29:23,497
다르게 생각하는 사람들,
그게 우리가 원하는 거예요.

1248
01:29:23,497 --> 01:29:29,438
완전히 다른 회사에서, 어쩌면
겹치지 않을 법한 데이터셋으로

1249
01:29:29,438 --> 01:29:35,920
학습시킨 모델들인데도 서로 이렇게까지
비슷한 건 왜 그런 걸까요?

1250
01:29:35,920 --> 01:29:39,520
데이터셋들이 생각보다 더
많이 겹치는 걸 수도 있죠.

1251
01:29:39,520 --> 01:29:43,249
하지만 한 사람 한 사람은
미래의 AI보다 생산성이

1252
01:29:43,249 --> 01:29:46,844
낮을 수 있어도, 인간
팀이 AI 팀보다 다양성이

1253
01:29:46,844 --> 01:29:50,173
크다는 사실에는 분명
의미가 있을 것 같아요.

1254
01:29:50,173 --> 01:29:53,600
AI들 사이에서 의미 있는 다양성을
어떻게 이끌어낼 수 있을까요?

1255
01:29:53,600 --> 01:29:56,720
그냥 temperature를 높이는
건 헛소리만 낳을 것 같아요.

1256
01:29:56,720 --> 01:29:58,960
그보다는 서로 다른 과학자들이
저마다 다른 편견이나

1257
01:29:58,960 --> 01:30:01,360
생각을 갖는 것 같은, 그런
종류의 다양성이 필요해요.

1258
01:30:01,360 --> 01:30:04,720
AI 에이전트들 사이에서 그런 종류의
다양성을 어떻게 얻을 수 있을까요?

1259
01:30:04,720 --> 01:30:10,720
지금까지 다양성이 없었던 이유는,
제 생각엔 사전학습 때문이에요.

1260
01:30:10,720 --> 01:30:13,954
사전학습된 모델들이 다
거의 똑같은 건, 다들

1261
01:30:13,954 --> 01:30:16,800
같은 데이터로 사전학습을 하기 때문이죠.

1262
01:30:16,800 --> 01:30:22,021
이제 RL과 사후학습에서부터
차별화가 나타나기 시작해요.

1263
01:30:22,021 --> 01:30:26,400
사람마다 서로 다른 RL
훈련을 만들어내니까요.

1264
01:30:26,400 --> 01:30:30,129
예전에 셀프플레이를 힌트로
언급하신 적이 있었죠.

1265
01:30:30,129 --> 01:30:34,133
데이터를 얻거나, 학습을
촉발하기 위해 비슷한 수준의

1266
01:30:34,133 --> 01:30:38,000
지능을 가진 에이전트들끼리
맞붙게 하는 방법으로요.

1267
01:30:38,000 --> 01:30:42,400
그런데 LLM에 이런 방식이
통한다는 공개된 제안이

1268
01:30:42,400 --> 01:30:46,800
왜 없는지, 우리는 이걸
어떻게 생각해봐야 할까요?

1269
01:30:46,800 --> 01:30:49,665
두 가지를 말씀드리고 싶어요.

1270
01:30:49,665 --> 01:30:55,321
제가 셀프플레이를 흥미롭다고
생각했던 이유는, 데이터 없이

1271
01:30:55,321 --> 01:31:00,800
컴퓨트만으로 모델을 만들어낼
방법을 제공했기 때문이에요.

1272
01:31:00,800 --> 01:31:03,429
데이터가 궁극적인 병목이라고 본다면,

1273
01:31:03,429 --> 01:31:06,320
컴퓨트만 쓰는 방식이 아주 흥미로워지죠.

1274
01:31:06,320 --> 01:31:10,798
그래서 그게 흥미로운 지점이에요.

1275
01:31:10,798 --> 01:31:18,158
문제는 셀프플레이가—적어도 과거에
하던 방식대로, 에이전트들이 서로

1276
01:31:18,158 --> 01:31:25,120
경쟁하는 형태로는—특정 기술들을
기르는 데만 유용하다는 거예요.

1277
01:31:25,120 --> 01:31:26,560
너무 좁아요.

1278
01:31:26,560 --> 01:31:35,040
협상, 갈등, 특정 사회적 기술,
전략 수립 같은 데만 유용하죠.

1279
01:31:35,040 --> 01:31:39,360
그런 기술들이 중요하다면
셀프플레이가 유용할 거예요.

1280
01:31:39,360 --> 01:31:48,080
사실 셀프플레이도 자기 자리를 찾긴
했다고 봐요, 다른 형태로요.

1281
01:31:48,080 --> 01:31:52,614
그러니까 토론이라든지 증명자-검증자,
혹은 여러분의 실수를

1282
01:31:52,614 --> 01:31:57,998
찾아내도록 인센티브가 걸린
LLM-as-a-Judge 같은 것들이요.

1283
01:31:57,998 --> 01:32:01,414
정확히 셀프플레이는 아니지만,
관련된 적대적 구조라고 할

1284
01:32:01,414 --> 01:32:04,720
수 있죠. 사람들이 실제로
하고 있는 방식이라고 봐요.

1285
01:32:04,720 --> 01:32:13,600
사실 셀프플레이는 에이전트 간의 더
일반적인 경쟁의 특수한 사례예요.

1286
01:32:13,600 --> 01:32:16,560
경쟁에 대한 자연스러운 반응은
남들과 달라지려 하는 거죠.

1287
01:32:16,560 --> 01:32:20,427
그러니까 여러 에이전트를 함께 두고
이렇게 말한다고 해보세요. "다들

1288
01:32:20,427 --> 01:32:23,989
이 문제를 풀어야 하고, 너는
에이전트로서 다른 모두가 뭘 하고

1289
01:32:23,989 --> 01:32:27,856
있는지 보고 있어." 그러면 에이전트는
이렇게 말하겠죠. "음, 다들

1290
01:32:27,856 --> 01:32:31,520
이미 이 방식을 쓰고 있다면, 내가
이걸 따라야 할지 모르겠는데.

1291
01:32:31,520 --> 01:32:33,569
차별화된 걸 해야 할 것 같아."

1292
01:32:33,569 --> 01:32:36,702
그래서 이런 구조도 접근법의 다양성을

1293
01:32:36,702 --> 01:32:40,305
만들어내는 인센티브가
될 수 있다고 봐요.

1294
01:32:40,305 --> 01:32:44,400
마지막 질문이에요.
연구 감각이란 뭔가요?

1295
01:32:44,400 --> 01:32:53,567
누가 봐도 세상에서 AI 연구
감각이 최고라고 여겨지는 분이잖아요.

1296
01:32:56,218 --> 01:33:00,408
알렉스넷부터 GPT-3까지, 딥러닝

1297
01:33:00,408 --> 01:33:05,040
역사상 가장 큰 사건들의 공동저자셨죠.

1298
01:33:05,040 --> 01:33:08,232
그게 뭔가요, 이런 아이디어들을 어떻게

1299
01:33:08,232 --> 01:33:11,120
떠올리시는지 어떻게 설명하시겠어요?

1300
01:33:11,120 --> 01:33:14,476
제 경우에 대해서는 말씀드릴 수 있어요.

1301
01:33:14,476 --> 01:33:18,720
사람마다 방식이 다르다고 생각해요.

1302
01:33:18,720 --> 01:33:25,201
저 개인적으로는, AI가 어때야
하는가에 대한 미학이 하나의

1303
01:33:25,201 --> 01:33:32,665
기준이에요. 사람이 어떤 존재인지를
생각하되, 제대로 생각하는 거죠.

1304
01:33:32,665 --> 01:33:35,724
사람에 대해 잘못
생각하기는 아주 쉬운데,

1305
01:33:35,724 --> 01:33:39,315
사람에 대해 제대로
생각한다는 건 무슨 뜻일까요?

1306
01:33:39,315 --> 01:33:41,192
몇 가지 예를 들어볼게요.

1307
01:33:41,192 --> 01:33:44,851
인공 뉴런이라는 아이디어는 뇌에서 직접

1308
01:33:44,851 --> 01:33:48,685
영감을 받은 거고, 훌륭한 아이디어예요.

1309
01:33:48,685 --> 01:33:48,937
왜일까요?

1310
01:33:48,937 --> 01:33:51,561
왜냐하면 뇌에는 여러
기관들이 있잖아요. 주름도

1311
01:33:51,561 --> 01:33:54,488
있고요. 근데 그 주름은
아마 중요하지 않을 거예요.

1312
01:33:54,488 --> 01:33:56,400
그럼 왜 뉴런은 중요하다고 생각할까요?

1313
01:33:56,400 --> 01:33:58,377
뉴런은 수가 많으니까요.

1314
01:33:58,377 --> 01:34:01,280
왠지 맞는 느낌이 드는 거죠.
그래서 뉴런을 원하게 되고요.

1315
01:34:01,280 --> 01:34:10,240
뉴런 사이의 연결을 바꿔줄 어떤
국소적 학습 규칙을 원하게 되죠.

1316
01:34:10,240 --> 01:34:12,920
뇌가 그렇게 할 거라는 게
그럴듯하게 느껴지는 거예요.

1317
01:34:12,920 --> 01:34:15,600
분산 표현이라는 아이디어도 그렇고요.

1318
01:34:15,600 --> 01:34:18,592
뇌가 경험에 반응하니까, 우리 신경망도

1319
01:34:18,592 --> 01:34:21,584
경험으로부터 학습해야 한다는 생각이요.

1320
01:34:21,584 --> 01:34:26,754
뇌는 경험으로부터 학습하니, 신경망도
경험으로부터 학습해야 한다는 거죠.

1321
01:34:26,754 --> 01:34:30,785
스스로에게 묻게 되는 거예요,
이게 근본적인가 아닌가.

1322
01:34:30,785 --> 01:34:32,440
원래 어떤 모습이어야 하는가 하는 거요.

1323
01:34:32,440 --> 01:34:36,873
그런 게 저를 상당히 이끌어
왔다고 생각해요. 여러 각도에서

1324
01:34:36,873 --> 01:34:41,440
생각하고, 거의 아름다움을 찾는
거죠. 아름다움과 단순함이요.

1325
01:34:41,440 --> 01:34:44,121
추함, 추함이 들어설 자리는 없어요.

1326
01:34:44,121 --> 01:34:48,091
아름다움, 단순함, 우아함, 그리고
뇌로부터 얻는 올바른 영감이죠.

1327
01:34:48,091 --> 01:34:51,208
그 모든 게 동시에 존재해야 해요.

1328
01:34:51,208 --> 01:34:55,939
그것들이 많이 있을수록, 톱다운
신념에 더 확신을 가질 수 있어요.

1329
01:34:55,939 --> 01:35:01,530
톱다운 신념은 실험이 나를
반박할 때 버티게 해주는 거예요.

1330
01:35:01,530 --> 01:35:04,395
왜냐하면 데이터를 항상 신뢰한다면, 맞는

1331
01:35:04,395 --> 01:35:07,520
걸 하고 있어도 버그가
있을 수 있으니까요.

1332
01:35:07,520 --> 01:35:09,349
근데 버그가 있다는 걸 모르는 거죠.

1333
01:35:09,349 --> 01:35:11,040
버그가 있다는 걸 어떻게 알 수 있나요?

1334
01:35:11,040 --> 01:35:12,750
계속 디버깅해야 할지, 아니면 방향이

1335
01:35:12,750 --> 01:35:14,630
틀렸다고 결론내려야 할지 어떻게 아나요?

1336
01:35:14,630 --> 01:35:15,662
그게 톱다운이에요.

1337
01:35:15,662 --> 01:35:18,472
이렇게 될 수밖에 없다고
말할 수 있는 거죠.

1338
01:35:18,472 --> 01:35:22,587
이런 건 반드시 작동해야 한다,
그러니 계속 가야 한다는 거예요.

1339
01:35:22,587 --> 01:35:26,200
그게 톱다운이고, 이 다면적인 아름다움과

1340
01:35:26,200 --> 01:35:29,320
뇌에서 얻는 영감에 근거한 거예요.

1341
01:35:29,320 --> 01:35:31,600
네, 오늘은 여기까지 하죠.

1342
01:35:31,600 --> 01:35:33,085
정말 감사합니다.

1343
01:35:33,085 --> 01:35:34,960
일리야, 정말 감사드려요.

1344
01:35:34,960 --> 01:35:35,311
네.

1345
01:35:35,311 --> 01:35:35,895
감사합니다.

1346
01:35:35,895 --> 01:35:36,480
정말 좋았어요.

1347
01:35:36,480 --> 01:35:38,080
네, 즐거웠어요.

1348
01:35:38,080 --> 01:35:40,460
네, 저도요.