1
00:00:00,200 --> 00:00:06,000
Dwarkesh Podcast — Richard Sutton

2
00:00:47,600 --> 00:00:50,993
오늘은 강화학습(RL)의
창시자 중 한 명이자,

3
00:00:50,993 --> 00:00:54,516
TD 학습(시간차 학습)과
정책 경사법 같은 핵심

4
00:00:54,516 --> 00:00:58,040
기법들을 발명한 리처드
서튼과 이야기를 나눕니다.

5
00:00:58,040 --> 00:01:01,038
그 공로로 올해 튜링상을
받으셨는데요, 모르시는 분들을

6
00:01:01,038 --> 00:01:04,136
위해 말씀드리면 컴퓨터과학의
노벨상이라 불리는 상입니다.

7
00:01:04,136 --> 00:01:05,440
리처드, 축하드립니다.

8
00:01:05,440 --> 00:01:06,498
감사합니다, 드워케시.

9
00:01:06,498 --> 00:01:08,160
팟캐스트에 나와주셔서 감사합니다.

10
00:01:08,160 --> 00:01:09,705
저야말로 영광입니다.

11
00:01:09,705 --> 00:01:11,078
첫 번째 질문입니다.

12
00:01:11,078 --> 00:01:15,812
저와 청취자들은 LLM 관점에서
AI를 생각하는 방식에 익숙합니다.

13
00:01:15,812 --> 00:01:19,048
개념적으로, RL 관점에서 AI를 바라볼

14
00:01:19,048 --> 00:01:21,842
때 우리가 놓치고 있는 건 뭘까요?

15
00:01:21,842 --> 00:01:26,240
정말 상당히 다른 관점입니다.

16
00:01:26,240 --> 00:01:31,684
쉽게 서로 분리되어 대화하는
능력을 잃어버릴 수 있죠.

17
00:01:32,560 --> 00:01:38,960
LLM이 워낙 큰 화두가 됐고, 생성형
AI 전반도 큰 화두가 됐습니다.

18
00:01:38,960 --> 00:01:42,524
이 분야는 유행과 편승에 휩쓸리기

19
00:01:42,524 --> 00:01:46,880
쉬워서, 기본적인 것들을 놓치게 됩니다.

20
00:01:46,880 --> 00:01:50,486
저는 강화학습을 기본적인
AI라고 생각합니다.

21
00:01:50,486 --> 00:01:52,000
지능이란 무엇일까요?

22
00:01:52,000 --> 00:01:55,166
문제는 자신의 세계를 이해하는 것입니다.

23
00:01:55,166 --> 00:01:59,913
강화학습은 자신의 세계를 이해하는
것에 관한 것이지만, LLM은

24
00:01:59,913 --> 00:02:04,796
사람을 모방하는 것, 사람이 하라는
대로 하는 것에 관한 겁니다.

25
00:02:04,796 --> 00:02:08,330
무엇을 해야 할지 스스로
알아내는 것과는 무관하죠.

26
00:02:08,640 --> 00:02:12,352
인터넷 텍스트 코퍼스에
있는 수조 개의 토큰을

27
00:02:12,352 --> 00:02:16,362
모방하려면 월드 모델을
만들어야 할 것 같은데요.

28
00:02:16,362 --> 00:02:19,546
실제로 이 모델들은 아주 견고한 월드
모델을 갖고 있는 것처럼 보입니다.

29
00:02:19,546 --> 00:02:23,830
지금까지 AI가 만들어낸 것
중 최고의 월드 모델 아닌가요?

30
00:02:23,830 --> 00:02:26,000
뭐가 빠졌다고 생각하시나요?

31
00:02:26,000 --> 00:02:29,856
방금 말씀하신 것들 대부분에
동의하지 않습니다.

32
00:02:30,720 --> 00:02:33,528
사람이 하는 말을 모방하는 건 사실 월드

33
00:02:33,528 --> 00:02:36,080
모델을 만드는 것과는 전혀 다릅니다.

34
00:02:36,080 --> 00:02:40,160
월드 모델을 갖고 있는 대상,
즉 사람을 모방하는 것뿐이죠.

35
00:02:40,160 --> 00:02:44,664
질문에 대립적으로 접근하고
싶지는 않지만, LLM에

36
00:02:44,664 --> 00:02:49,489
월드 모델이 있다는 생각에는
의문을 제기하고 싶습니다.

37
00:02:49,489 --> 00:02:53,417
월드 모델이 있다면 무슨 일이
일어날지 예측할 수 있어야 합니다.

38
00:02:53,417 --> 00:02:56,349
LLM에게는 사람이 뭐라고
말할지 예측하는 능력이 있습니다.

39
00:02:56,349 --> 00:03:00,383
무슨 일이 일어날지
예측하는 능력은 없습니다.

40
00:03:00,383 --> 00:03:04,879
앨런 튜링의 말을 빌리면,
우리가 원하는 건 경험에서 배우는

41
00:03:04,879 --> 00:03:09,920
기계입니다. 여기서 경험이란 실제로
삶에서 일어나는 일들을 말하죠.

42
00:03:09,920 --> 00:03:16,640
직접 행동하고, 무슨 일이 일어나는지
보고, 거기서 배우는 겁니다.

43
00:03:16,640 --> 00:03:18,640
LLM은 다른 무언가에서 배웁니다.

44
00:03:18,640 --> 00:03:22,960
"여기 이런 상황이 있고, 사람은
이렇게 했다"에서 배우는 거죠.

45
00:03:22,960 --> 00:03:26,800
암묵적으로 그건 사람이 한
대로 하라는 제안인 셈입니다.

46
00:03:26,800 --> 00:03:30,876
어쩌면 이게 핵심일 수도 있는데,
동의 안 하실지 궁금합니다. 어떤

47
00:03:30,876 --> 00:03:35,173
사람들은 모방 학습이 우리에게,
그러니까 이 모델들에게 문제에 접근하는

48
00:03:35,173 --> 00:03:39,360
합리적인 방식에 대한 좋은 사전
지식(프라이어)을 줬다고 말하거든요.

49
00:03:39,360 --> 00:03:44,684
말씀하신 경험의 시대로 나아가면서,
이 프라이어가 모델들을

50
00:03:44,684 --> 00:03:49,175
경험으로 가르치는 토대가
될 텐데, 이 프라이어가

51
00:03:49,175 --> 00:03:54,000
모델들에게 가끔 정답을 맞힐
기회를 주기 때문입니다.

52
00:03:54,000 --> 00:03:57,470
그 위에서 경험으로
훈련시킬 수 있는 거고요.

53
00:03:57,470 --> 00:04:00,000
이 관점에 동의하시나요?

54
00:04:00,000 --> 00:04:04,320
아니요. 그게 LLM 진영의
관점이라는 데는 동의합니다.

55
00:04:04,320 --> 00:04:08,139
좋은 관점이라고는 생각하지 않습니다.

56
00:04:08,139 --> 00:04:12,980
무언가의 프라이어가 되려면 그
바탕에 실재하는 것이 있어야 합니다.

57
00:04:12,980 --> 00:04:17,345
그 프라이어는 실제 지식의
토대가 되어야 하죠.

58
00:04:17,345 --> 00:04:18,957
그런데 실제 지식이란 무엇입니까?

59
00:04:18,957 --> 00:04:25,290
그 LLM 프레임워크 안에는 실제
지식에 대한 정의가 없습니다.

60
00:04:25,290 --> 00:04:29,600
무엇이 어떤 행동을 좋은
행동으로 만듭니까?

61
00:04:29,600 --> 00:04:32,608
지속 학습이 필요하다는 건 인정하시죠.

62
00:04:32,608 --> 00:04:35,948
지속적으로 배워야 한다면, 그건 세상과의

63
00:04:35,948 --> 00:04:39,440
정상적인 상호작용 중에
배운다는 뜻입니다.

64
00:04:39,440 --> 00:04:45,281
그 정상적인 상호작용 도중에 뭐가
맞는지 판단할 방법이 있어야 합니다.

65
00:04:47,200 --> 00:04:54,080
LLM 구조에서 무엇이 맞는 말인지
알 수 있는 방법이 있습니까?

66
00:04:54,080 --> 00:04:58,269
뭔가 말을 해도 그게 맞는
말인지 피드백은 받지 못합니다.

67
00:04:58,269 --> 00:05:02,197
애초에 맞는 말이 뭔지에 대한
정의 자체가 없으니까요.

68
00:05:02,197 --> 00:05:03,089
목표가 없는 겁니다.

69
00:05:03,089 --> 00:05:07,520
목표가 없다면, 이런 말도
있고 저런 말도 있는 거죠.

70
00:05:07,520 --> 00:05:09,481
맞는 말이라는 건 없는 겁니다.

71
00:05:09,481 --> 00:05:11,062
정답이 없는 거죠.

72
00:05:11,062 --> 00:05:16,163
정답이 없으면 사전 지식(프라이어)을
가질 수 없습니다. 사전 지식이란

73
00:05:16,163 --> 00:05:20,610
정답이 무엇인지에 대한 힌트,
혹은 초기 믿음이어야 하니까요.

74
00:05:20,610 --> 00:05:22,220
그 어떤 정답도 없는 겁니다.

75
00:05:22,220 --> 00:05:24,880
맞는 말이라는 건 없는 겁니다.

76
00:05:24,880 --> 00:05:27,994
강화학습(RL)에서는 맞는
말, 맞는 행동이라는 게

77
00:05:27,994 --> 00:05:31,663
있습니다. 보상을 가져다주는
행동이 바로 맞는 행동이니까요.

78
00:05:31,663 --> 00:05:36,890
맞는 행동이 무엇인지에 대한 정의가
있으니, 맞는 행동이 무엇인지에

79
00:05:36,890 --> 00:05:41,694
대해 사전 지식이나 사람이 제공한
지식을 가질 수 있는 거죠.

80
00:05:41,694 --> 00:05:44,658
그리고 그걸 확인해볼 수
있습니다. 실제로 맞는

81
00:05:44,658 --> 00:05:47,280
행동이 무엇인지에 대한
정의가 있으니까요.

82
00:05:47,280 --> 00:05:50,800
이보다 더 단순한 경우는 월드
모델을 만들려고 할 때입니다.

83
00:05:50,800 --> 00:05:53,038
무슨 일이 일어날지 예측하고, 그런 다음

84
00:05:53,038 --> 00:05:55,277
실제로 무슨 일이 일어나는지 보는 거죠.

85
00:05:55,277 --> 00:05:56,662
정답이 있는 겁니다.

86
00:05:56,662 --> 00:06:01,411
LLM에는 정답이 없습니다. 다음에 무슨

87
00:06:01,411 --> 00:06:06,160
일이 일어날지에 대한 예측이 없으니까요.

88
00:06:06,160 --> 00:06:11,647
대화에서 뭔가를 말하면, LLM은
상대가 그에 대해 뭐라고

89
00:06:11,647 --> 00:06:16,619
답할지, 어떤 반응이 나올지에
대한 예측이 없습니다.

90
00:06:16,619 --> 00:06:17,647
저는 있다고 생각하는데요.

91
00:06:17,647 --> 00:06:20,066
말 그대로 물어볼 수
있잖아요, "사용자가

92
00:06:20,066 --> 00:06:22,484
이에 대해 뭐라고 답할
것 같아?"라고요.

93
00:06:22,484 --> 00:06:23,920
그럼 예측이 나오겠죠.

94
00:06:23,920 --> 00:06:26,480
아니요. 그 질문에는 제대로 답하겠죠.

95
00:06:26,480 --> 00:06:29,460
하지만 실질적인 의미의
예측은 없습니다. 무슨

96
00:06:29,460 --> 00:06:32,320
일이 일어나든 놀라지
않을 거라는 뜻에서요.

97
00:06:32,320 --> 00:06:36,291
예측했다고 할 만한 것과
다른 일이 일어나도, 예상

98
00:06:36,291 --> 00:06:40,120
밖의 일이 일어났다고 해서
달라지지 않을 겁니다.

99
00:06:40,120 --> 00:06:43,920
그걸 배우려면 조정을
해야 할 텐데 말이죠.

100
00:06:43,920 --> 00:06:49,600
제 생각엔 이런 능력이 컨텍스트
안에서는 존재하는 것 같아요.

101
00:06:49,600 --> 00:06:53,520
모델이 사고 연쇄(CoT)를
하는 걸 지켜보면 흥미롭습니다.

102
00:06:53,520 --> 00:06:55,057
수학 문제를 풀려고 한다고 해보죠.

103
00:06:55,057 --> 00:06:58,814
이렇게 말하죠. "좋아, 일단 이
방식으로 이 문제에 접근해 볼게."

104
00:06:58,814 --> 00:07:01,380
그렇게 써 내려가다가
이러기도 해요. "어,

105
00:07:01,380 --> 00:07:03,840
잠깐, 이건 개념적으로
잘못된 접근이었네.

106
00:07:03,840 --> 00:07:07,005
다른 방식으로 다시 시작해야겠다."

107
00:07:07,005 --> 00:07:10,240
그런 유연성이 컨텍스트 안에서는
실제로 존재하는 거잖아요?

108
00:07:10,240 --> 00:07:13,059
다른 걸 염두에 두고 계신
건가요, 아니면 그냥 이

109
00:07:13,059 --> 00:07:16,281
능력을 더 긴 시간 범위로
확장해야 한다고 보시는 건가요?

110
00:07:16,281 --> 00:07:19,257
제 말은, 이 모델들에게는
다음에 무슨 일이

111
00:07:19,257 --> 00:07:22,604
일어날지에 대한 의미 있는
예측이 없다는 겁니다.

112
00:07:22,604 --> 00:07:25,040
다음에 무슨 일이
일어나든 놀라지 않아요.

113
00:07:25,040 --> 00:07:30,640
무슨 일이 일어나도 그 일에
따라 뭔가를 바꾸지도 않고요.

114
00:07:30,640 --> 00:07:32,880
그게 바로 다음 토큰 예측 아닌가요?

115
00:07:32,880 --> 00:07:33,887
다음에 뭐가 올지 예측하고, 예상이

116
00:07:33,887 --> 00:07:35,000
빗나가면 그에 맞춰 업데이트하는 거요?

117
00:07:35,000 --> 00:07:37,188
다음 토큰은 자신이
뭐라고 말해야 하는지,

118
00:07:37,188 --> 00:07:39,280
어떤 행동을 해야 하는지에 대한 겁니다.

119
00:07:39,280 --> 00:07:42,400
자신의 행동에 세상이 어떻게
반응할지에 대한 게 아니에요.

120
00:07:42,400 --> 00:07:46,312
목표가 없다는 이야기로
다시 돌아가 보죠.

121
00:07:46,312 --> 00:07:50,207
저에게는 목표를 갖는
것이 지능의 본질입니다.

122
00:07:50,207 --> 00:07:53,360
목표를 달성할 수 있다면
그것은 지능적인 겁니다.

123
00:07:53,360 --> 00:07:57,102
저는 존 매카시의 정의를
좋아하는데, 지능은

124
00:07:57,102 --> 00:08:00,688
목표 달성 능력의
계산적 부분이라는 거죠.

125
00:08:00,688 --> 00:08:05,865
목표가 있어야지, 그렇지 않으면
그냥 행동하는 시스템일 뿐입니다.

126
00:08:05,865 --> 00:08:09,697
특별할 것도 없고,
지능적이지도 않은 거죠.

127
00:08:09,697 --> 00:08:13,056
LLM에는 목표가
없다는 데 동의하시나요?

128
00:08:13,056 --> 00:08:14,480
아니요, 목표가 있습니다.

129
00:08:14,480 --> 00:08:15,596
그 목표가 뭔가요?

130
00:08:15,596 --> 00:08:17,040
다음 토큰 예측이죠.

131
00:08:17,040 --> 00:08:19,036
그건 목표가 아니에요.

132
00:08:19,036 --> 00:08:22,084
세상을 바꾸지 않으니까요.

133
00:08:22,084 --> 00:08:24,834
토큰은 그냥 나에게 날아오는 거고, 그걸

134
00:08:24,834 --> 00:08:27,958
예측한다고 해서 영향을
미치는 건 아니잖아요.

135
00:08:27,958 --> 00:08:28,642
아, 그렇죠.

136
00:08:28,642 --> 00:08:31,760
외부 세계에 대한 목표가 아니에요.

137
00:08:31,760 --> 00:08:33,048
목표가 아니에요.

138
00:08:33,048 --> 00:08:35,244
실질적인 목표가 아니죠.

139
00:08:35,244 --> 00:08:38,994
그냥 앉아서 예측만 하고,
정확히 예측했다고 스스로

140
00:08:38,994 --> 00:08:43,280
만족하는 시스템을 보고 목표가
있다고 말할 수는 없습니다.

141
00:08:43,280 --> 00:08:46,824
제가 더 궁금한 큰 질문은,
LLM 위에 RL을

142
00:08:46,824 --> 00:08:50,640
얹는 게 왜 생산적인 방향이
아니라고 보시는지예요.

143
00:08:50,640 --> 00:08:53,189
이 모델들에게 어려운 수학 문제를 푸는

144
00:08:53,189 --> 00:08:55,738
목표를 줄 수 있는 것처럼 보이는데요.

145
00:08:55,738 --> 00:08:59,446
수학 올림피아드 유형
문제를 푸는 능력에서는

146
00:08:59,446 --> 00:09:03,309
여러 면에서 인간 최고
수준에 도달해 있고요.

147
00:09:03,309 --> 00:09:04,782
국제수학올림피아드(IMO)에서
금메달도 땄죠.

148
00:09:04,782 --> 00:09:08,727
그러니까 IMO에서 금메달을
딴 모델은, 수학 문제를

149
00:09:08,727 --> 00:09:12,400
맞히겠다는 목표를 실제로
갖고 있는 것 같은데요.

150
00:09:12,400 --> 00:09:15,760
왜 이걸 다른 영역으로는
확장할 수 없는 건가요?

151
00:09:15,760 --> 00:09:18,400
수학 문제는 다릅니다.

152
00:09:18,400 --> 00:09:24,463
물리적 세계를 모델링하는
것과, 수학적 가정이나 연산의

153
00:09:24,463 --> 00:09:29,920
결과를 도출해내는 것은
서로 아주 다른 일입니다.

154
00:09:29,920 --> 00:09:32,956
경험적 세계는 배워야만 하는 겁니다.

155
00:09:32,956 --> 00:09:36,240
그 결과를 학습해야 하죠.

156
00:09:36,240 --> 00:09:44,640
반면 수학은 더 계산적이고,
일반적인 플래닝에 가깝습니다.

157
00:09:44,640 --> 00:09:50,527
거기서는 증명을 찾는다는
목표를 가질 수 있고,

158
00:09:50,527 --> 00:09:56,640
실제로 어떤 식으로든 그
목표를 부여받은 셈이죠.

159
00:09:57,316 --> 00:10:02,653
흥미로운 게, 2019년에 「쓰라린
교훈」이라는 제목의 에세이를

160
00:10:02,653 --> 00:10:08,599
쓰셨잖아요. 이건 아마 AI 역사상
가장 영향력 있는 에세이일 텐데요.

161
00:10:08,599 --> 00:10:13,577
그런데 사람들은 그걸 LLM
스케일업의 근거로 써왔어요. 그들이

162
00:10:13,577 --> 00:10:18,556
보기엔 세상에 대해 배우는 데
엄청난 양의 컴퓨트를 쏟아부을 수

163
00:10:18,556 --> 00:10:24,103
있는, 우리가 찾아낸 유일하게 확장
가능한 방법이 바로 이거라는 거죠.

164
00:10:24,103 --> 00:10:26,896
흥미로운 점은, LLM이
「쓰라린 교훈」에

165
00:10:26,896 --> 00:10:29,325
물들어 있지 않다고 보신다는 거예요.

166
00:10:29,325 --> 00:10:37,658
LLM이 「쓰라린 교훈」의
사례인지는 흥미로운 질문입니다.

167
00:10:38,165 --> 00:10:44,495
확실히 막대한 컴퓨트를 사용하는
방식이고, 인터넷의 한계에

168
00:10:44,495 --> 00:10:50,231
이를 때까지는 컴퓨트에
비례해 스케일하는 것들입니다.

169
00:10:51,120 --> 00:10:57,716
하지만 동시에 방대한 인간
지식을 집어넣는 방식이기도 하죠.

170
00:10:57,716 --> 00:11:01,920
이건 흥미로운 질문입니다.

171
00:11:01,920 --> 00:11:07,640
사회학적이거나 산업적인 질문이죠.

172
00:11:07,640 --> 00:11:13,667
이 모델들도 결국 데이터의
한계에 부딪혀서 사람이

173
00:11:13,667 --> 00:11:20,140
아닌 경험으로 데이터를 얻는
것들에 밀려나게 될까요?

174
00:11:24,880 --> 00:11:29,520
어떤 면에서는 「쓰라린
교훈」의 전형적인 사례죠.

175
00:11:29,520 --> 00:11:33,834
LLM에 인간 지식을 더 많이
넣을수록 성능은 더 좋아집니다.

176
00:11:33,834 --> 00:11:36,160
그러니 기분은 좋은 거죠.

177
00:11:36,160 --> 00:11:44,560
하지만 저는 경험에서 배울 수 있는
시스템이 나올 거라고 봅니다.

178
00:11:44,560 --> 00:11:49,440
그런 시스템이 훨씬 더 잘하고,
훨씬 더 확장 가능할 수 있어요.

179
00:11:49,440 --> 00:11:57,002
그러면 이것도 「쓰라린 교훈」의
또 다른 사례가 될 겁니다. 인간

180
00:11:57,002 --> 00:12:04,773
지식을 쓴 것들이 결국 경험과
연산만으로 학습한 것들에 밀려난다는.

181
00:12:05,120 --> 00:12:08,193
제가 보기엔 그게 핵심
쟁점은 아닌 것 같은데요.

182
00:12:08,193 --> 00:12:13,258
그쪽 사람들도 미래의
압도적인 연산량은 결국 경험

183
00:12:13,258 --> 00:12:17,760
학습에서 나올 거라는
데 동의할 것 같아요.

184
00:12:17,760 --> 00:12:24,547
다만 그 발판, 그러니까 이
미래의 경험 학습— 즉 현장 학습에

185
00:12:24,547 --> 00:12:30,947
연산을 쏟아부을 때 그 시작점은
LLM일 거라고 보는 거죠.

186
00:12:31,680 --> 00:12:36,480
그게 왜 완전히 잘못된 출발점인지
저는 아직도 이해가 안 되는데요.

187
00:12:36,480 --> 00:12:39,604
경험 기반의 지속 학습을 시작하는 데

188
00:12:39,604 --> 00:12:43,040
왜 아예 새로운 아키텍처가 필요한 거죠?

189
00:12:43,040 --> 00:12:45,780
LLM에서 시작해서 그걸
할 수는 없는 건가요?

190
00:12:45,780 --> 00:12:49,925
「쓰라린 교훈」의 모든
사례에서 인간 지식으로 시작한

191
00:12:49,925 --> 00:12:53,927
다음 확장 가능한 방법으로
넘어갈 수는 있었습니다.

192
00:12:53,927 --> 00:12:55,965
그건 항상 그랬어요.

193
00:12:55,965 --> 00:12:59,887
그게 나쁠 이유는 전혀 없습니다.

194
00:12:59,887 --> 00:13:04,951
하지만 실제로, 실전에서는
늘 나쁜 결과로 끝났습니다.

195
00:13:04,951 --> 00:13:10,747
사람들은 인간 지식 방식에
갇혀 버리고, 심리적으로…

196
00:13:10,747 --> 00:13:16,920
지금 이건 제 추측을 말하는 건데,
어쨌든 늘 이런 식으로 흘러갔습니다.

197
00:13:16,920 --> 00:13:22,207
결국 진짜로 확장 가능한 방법들에게
완전히 밀려나 버리는 거죠.

198
00:13:22,207 --> 00:13:24,800
그 확장 가능한 방법이 뭔지
좀 감을 잡게 해주시겠어요?

199
00:13:24,800 --> 00:13:29,694
확장 가능한 방법은
경험에서 배우는 겁니다.

200
00:13:29,694 --> 00:13:33,760
이것저것 시도해보고,
뭐가 되는지 보는 거죠.

201
00:13:33,760 --> 00:13:35,360
누가 알려줄 필요가 없습니다.

202
00:13:35,360 --> 00:13:37,360
우선, 목표가 있어야 합니다.

203
00:13:37,360 --> 00:13:41,920
목표가 없으면 옳고 그름이나
낫고 못함의 감각도 없습니다.

204
00:13:41,920 --> 00:13:48,000
LLM은 목표도, 낫고 못함의
감각도 없이 버텨보려는 겁니다.

205
00:13:48,000 --> 00:13:51,640
그게 정확히 잘못된
지점에서 출발하는 겁니다.

206
00:13:51,640 --> 00:13:55,840
이걸 인간과 비교해보면
흥미로울 것 같습니다.

207
00:13:55,840 --> 00:14:01,068
모방 학습 대 경험 학습의
경우든, 목표에 관한

208
00:14:01,068 --> 00:14:06,094
문제든, 흥미로운 유사점이
있는 것 같습니다.

209
00:14:06,094 --> 00:14:10,800
아이들은 처음에는 모방으로 배웁니다.

210
00:14:10,800 --> 00:14:12,653
그렇게 생각 안 하세요?

211
00:14:12,653 --> 00:14:14,320
아니요. 당연히 아니죠.

212
00:14:14,320 --> 00:14:14,924
정말요?

213
00:14:14,924 --> 00:14:17,340
제 생각엔 아이들은 그냥
사람들을 지켜볼 뿐입니다.

214
00:14:17,340 --> 00:14:19,680
같은 단어를 말해보려고 하는 거죠…

215
00:14:19,680 --> 00:14:21,909
몇 살짜리 아이들 얘기인가요?

216
00:14:21,909 --> 00:14:24,880
생후 6개월까지는 어떤가요?

217
00:14:24,880 --> 00:14:26,373
그때는 모방을 하고 있다고 봅니다.

218
00:14:26,373 --> 00:14:29,726
엄마의 입 모양을 보고 그
소리를 따라 하려고 하는 거죠.

219
00:14:29,726 --> 00:14:32,373
그러다 뜻도 모른 채 같은
단어를 말하게 됩니다.

220
00:14:32,373 --> 00:14:37,070
나이가 들수록 그 모방의
복잡도가 높아지죠.

221
00:14:37,070 --> 00:14:40,975
당신이 속한 무리 사람들이 사슴을 사냥할

222
00:14:40,975 --> 00:14:44,880
때 쓰는 기술 같은 걸 모방하는 겁니다.

223
00:14:44,880 --> 00:14:47,840
그러고 나서 경험에서 배우는
RL 체제로 넘어가는 거죠.

224
00:14:47,840 --> 00:14:51,680
하지만 인간에게는 모방 학습이
정말 많이 일어난다고 생각합니다.

225
00:14:51,680 --> 00:14:55,360
그렇게 다른 관점을 가지실
수 있다니 놀랍네요.

226
00:14:55,360 --> 00:15:00,210
제가 보는 아이들은 그냥
이것저것 시도하고,

227
00:15:00,210 --> 00:15:05,464
손을 휘두르고, 눈을
이리저리 움직일 뿐입니다.

228
00:15:05,464 --> 00:15:12,449
눈을 움직이는 방식이나 심지어 내는
소리에도 모방이랄 게 없습니다.

229
00:15:12,449 --> 00:15:17,680
같은 소리를 내고 싶어할
수는 있지만, 아기가

230
00:15:17,680 --> 00:15:23,120
실제로 하는 행동에는 따라
할 목표가 없습니다.

231
00:15:23,120 --> 00:15:24,560
그런 행동에 대한 예시란 게 없는 거죠.

232
00:15:24,560 --> 00:15:24,965
동의합니다.

233
00:15:24,965 --> 00:15:26,995
그게 유아가 하는 모든 걸 설명하진

234
00:15:26,995 --> 00:15:29,238
못하지만, 학습 과정을 이끈다고 봐요.

235
00:15:29,238 --> 00:15:34,386
LLM도 학습 초반에 다음 토큰을
예측하려 할 때 일단 추측을 합니다.

236
00:15:34,386 --> 00:15:36,800
실제로 보게 되는 것과는 다를 거고요.

237
00:15:36,800 --> 00:15:39,331
어떤 의미에서는 아주 짧은
호라이즌의 RL인 셈이에요.

238
00:15:39,331 --> 00:15:41,524
"이 토큰은 이럴 거야"라고
추측하는 거니까요.

239
00:15:41,524 --> 00:15:44,581
아이가 단어를 말해보려는 것과
비슷한, 또 다른 무언가인 거죠.

240
00:15:44,581 --> 00:15:45,733
틀리게 나오는 거고요.

241
00:15:45,733 --> 00:15:49,065
LLM은 학습 데이터로부터
배우는 겁니다.

242
00:15:49,065 --> 00:15:51,070
경험에서 배우는 게 아니에요.

243
00:15:51,070 --> 00:15:56,552
일상에서는 결코 주어지지 않을
무언가로부터 배우는 거죠.

244
00:15:56,552 --> 00:15:59,556
일상에서 "이 행동을 해야 해"라고

245
00:15:59,556 --> 00:16:02,876
말해주는 학습 데이터는 절대 없습니다.

246
00:16:02,876 --> 00:16:06,040
제 생각엔 이건 의미론적인
구분에 더 가까운 것 같은데요.

247
00:16:06,040 --> 00:16:07,040
학교는 뭐라고 하실 건가요?

248
00:16:07,040 --> 00:16:09,540
그건 학습 데이터가 아닌가요?

249
00:16:10,640 --> 00:16:12,086
학교는 훨씬 나중 얘기죠.

250
00:16:12,086 --> 00:16:15,200
그렇죠, "절대"라는 말은
하지 말았어야 했네요.

251
00:16:15,200 --> 00:16:17,680
글쎄요, 저는 학교에 대해서도
그렇게 말할 것 같은데요.

252
00:16:17,680 --> 00:16:21,497
하지만 정규 교육은 예외죠.

253
00:16:21,497 --> 00:16:25,548
그런데 학습에는 단계가
있잖아요. 초반엔 생물학적으로

254
00:16:25,548 --> 00:16:29,040
이미 프로그래밍된 상태라
별로 쓸모가 없고요.

255
00:16:29,040 --> 00:16:32,063
그다음엔 세상을 이해하고
그것과 상호작용하는

256
00:16:32,063 --> 00:16:34,960
법을 배우는 게 존재
이유가 되는 거고요.

257
00:16:34,960 --> 00:16:37,240
그건 훈련 단계처럼 보이는데요.

258
00:16:37,240 --> 00:16:40,110
그 이후로 좀 더 점진적이
된다는 데는 동의해요…

259
00:16:40,110 --> 00:16:43,637
훈련에서 배포로 넘어가는
뚜렷한 경계는 없지만, 초기

260
00:16:43,637 --> 00:16:46,800
훈련 단계라는 게 분명
있는 거잖아요, 그렇죠?

261
00:16:46,800 --> 00:16:50,857
뭘 해야 하는지 훈련시켜주는
건 아무것도 없어요.

262
00:16:50,857 --> 00:16:52,553
아무것도 없어요.

263
00:16:52,553 --> 00:16:55,347
일어나는 일들을 보는 겁니다.

264
00:16:55,347 --> 00:16:58,141
뭘 해야 하는지 지시받는 게 아닙니다.

265
00:16:58,141 --> 00:17:00,348
그렇게 까다롭게 굴지 마세요.

266
00:17:00,348 --> 00:17:01,769
그러니까 이건 명백합니다.

267
00:17:01,769 --> 00:17:03,840
말 그대로 뭘 해야 할지
가르침을 받는 겁니다.

268
00:17:03,840 --> 00:17:05,840
'training'이라는 단어 자체가

269
00:17:05,840 --> 00:17:07,840
바로 여기, 인간에게서 나온 겁니다.

270
00:17:07,840 --> 00:17:10,920
저는 학습이 정말 훈련에 관한
거라고 생각하지 않습니다.

271
00:17:10,920 --> 00:17:15,296
학습은 '학습'에 관한
겁니다. 능동적인 과정입니다.

272
00:17:15,296 --> 00:17:19,987
아이는 이것저것 시도해보고 무슨
일이 일어나는지 보는 겁니다.

273
00:17:22,400 --> 00:17:27,040
우리는 유아가 자라는 걸 생각할
때 '훈련'을 떠올리지 않습니다.

274
00:17:27,040 --> 00:17:29,721
사실 이런 것들은 꽤
잘 밝혀져 있습니다.

275
00:17:29,721 --> 00:17:35,855
심리학자들이 학습을 어떻게 보는지
살펴보면, 모방 같은 건 없습니다.

276
00:17:35,855 --> 00:17:41,169
인간이 그렇게 하거나 그런 것처럼
보이는 극단적인 사례는 있을

277
00:17:41,169 --> 00:17:46,640
수 있지만, '모방'이라는 기본적인
동물 학습 과정은 없습니다.

278
00:17:46,640 --> 00:17:53,200
예측과 시행착오 제어를 위한 기본적인
동물 학습 과정은 있습니다.

279
00:17:53,200 --> 00:17:58,080
가장 명백한 것들이 때로는 가장
보기 어렵다는 게 참 흥미롭습니다.

280
00:17:58,080 --> 00:18:05,496
동물들이 어떻게 학습하는지,
그리고 그에 대한 심리학과 이론들을

281
00:18:05,496 --> 00:18:13,760
살펴보면 지도 학습이 동물 학습
방식의 일부가 아니라는 건 명백합니다.

282
00:18:13,760 --> 00:18:16,859
바람직한 행동의 예시 같은 건 없습니다.

283
00:18:16,859 --> 00:18:19,720
있는 건 그저 일어난
일들의 예시, 한 가지

284
00:18:19,720 --> 00:18:22,581
일 다음에 다른 일이
이어졌다는 것뿐입니다.

285
00:18:22,581 --> 00:18:27,682
"우리가 뭔가를 했고, 그 결과가
있었다"는 예시는 있습니다.

286
00:18:27,682 --> 00:18:32,080
하지만 지도 학습의 예시는 없습니다.

287
00:18:32,080 --> 00:18:36,569
지도 학습은 자연에서
일어나는 일이 아닙니다.

288
00:18:38,400 --> 00:18:42,103
설령 학교에서는 그렇다 해도
잊어버려야 합니다. 그건

289
00:18:42,103 --> 00:18:45,550
사람에게서만 일어나는
특수한 현상이기 때문입니다.

290
00:18:45,550 --> 00:18:47,778
자연 전반에서는 일어나지 않는 일입니다.

291
00:18:47,778 --> 00:18:49,387
다람쥐는 학교에 다니지 않습니다.

292
00:18:49,387 --> 00:18:51,520
다람쥐는 세상에 대해 모든
걸 배울 수 있습니다.

293
00:18:51,520 --> 00:18:59,680
동물에게 지도 학습이 일어나지 않는다는
건 너무나 명백하다고 봅니다.

294
00:18:59,680 --> 00:19:04,386
제가 심리학자이자 인류학자인
조지프 헨릭을 인터뷰했는데,

295
00:19:04,386 --> 00:19:08,788
문화적 진화를 연구해온
분입니다. 인간을 구별짓는 게

296
00:19:08,788 --> 00:19:13,798
무엇인지, 인간이 지식을 어떻게
습득하는지를 다루는 연구죠.

297
00:19:13,798 --> 00:19:16,339
왜 인간을 구별지으려는 거죠?

298
00:19:16,339 --> 00:19:18,187
인간도 동물입니다.

299
00:19:18,187 --> 00:19:22,160
우리가 공통으로 가진
것이 더 흥미롭습니다.

300
00:19:22,160 --> 00:19:26,000
우리를 구별짓는 것에는
관심을 덜 둬야 합니다.

301
00:19:26,000 --> 00:19:28,267
우리는 지능을 재현해내려는 겁니다.

302
00:19:28,267 --> 00:19:33,222
인간이 달에 가거나 반도체를 만들 수
있게 하는 게 무엇인지 알고 싶다면,

303
00:19:33,222 --> 00:19:37,815
우리가 이해하고 싶은 건 바로 그걸
가능하게 하는 요인이라고 봅니다.

304
00:19:37,815 --> 00:19:40,217
어떤 동물도 달에 가거나
반도체를 만들 수는 없죠.

305
00:19:40,217 --> 00:19:42,640
우리는 인간을 특별하게 만드는 게
무엇인지 이해하고 싶은 겁니다.

306
00:19:42,640 --> 00:19:45,959
그렇게 생각하시는 게
명백하다니 흥미롭네요.

307
00:19:45,959 --> 00:19:49,277
저는 오히려 그 반대가
명백하다고 보거든요.

308
00:19:50,640 --> 00:19:53,879
우리가 어떻게 동물인지를
이해해야 합니다.

309
00:19:53,879 --> 00:20:01,040
다람쥐를 이해한다면, 인간 지능도
거의 다 이해한 셈이라고 봅니다.

310
00:20:01,040 --> 00:20:05,894
언어는 그저 표면에 살짝
입혀진 겉치레일 뿐이에요.

311
00:20:05,894 --> 00:20:07,172
이거 정말 좋네요.

312
00:20:07,172 --> 00:20:11,929
우리가 서로 얼마나 다르게
생각하는지 알아가고 있는 거죠.

313
00:20:11,929 --> 00:20:13,305
우리는 논쟁하는 게 아닙니다.

314
00:20:13,305 --> 00:20:17,757
서로 다른 사고방식을 나누려는 거죠.

315
00:20:17,757 --> 00:20:20,724
저는 논쟁이 유용하다고 생각합니다.

316
00:20:21,120 --> 00:20:22,945
이 얘기는 마저 끝내고 싶은데요.

317
00:20:22,945 --> 00:20:28,208
조지프 헨릭은 인간이 성공하기
위해 반드시 익혀야 했던

318
00:20:28,208 --> 00:20:33,120
여러 기술들에 관해 흥미로운
이론을 갖고 있습니다.

319
00:20:33,120 --> 00:20:38,672
지난 1000년이나 1만 년이 아니라,
수십만 년에 걸친 이야기입니다.

320
00:20:38,672 --> 00:20:41,342
세상은 정말 복잡합니다.

321
00:20:41,342 --> 00:20:45,911
북극에 산다고 해서,
이를테면 물개를 어떻게

322
00:20:45,911 --> 00:20:50,480
사냥할지 논리적으로
추론해낼 수는 없습니다.

323
00:20:50,480 --> 00:20:56,515
미끼를 만드는 법, 물개를 찾는 법,
그리고 중독되지 않도록 그 음식을

324
00:20:56,515 --> 00:21:02,240
처리하는 법까지, 수많은 단계를
거치는 길고 긴 과정이 있는 거죠.

325
00:21:02,240 --> 00:21:06,041
그 모든 걸 추론으로
풀어낼 수는 없습니다.

326
00:21:06,041 --> 00:21:10,409
시간이 흐르면서, 어떤
비유를 쓰든—RL이든 다른

327
00:21:10,409 --> 00:21:14,777
무엇이든—문화 전체가
물개를 찾아내고 죽이고 먹는

328
00:21:14,777 --> 00:21:18,821
법을 알아내는 이 더
큰 과정이 있는 겁니다.

329
00:21:18,821 --> 00:21:25,715
그의 관점에서 보면, 이 지식이
세대를 거쳐 전달될 때 일어나는

330
00:21:25,715 --> 00:21:32,412
일은, 그 기술을 배우려면 윗세대를
모방해야 한다는 것입니다.

331
00:21:32,412 --> 00:21:34,297
물개를 사냥하고 죽이고 손질하는 법을

332
00:21:34,297 --> 00:21:36,558
머릿속으로 생각해내서
알아낼 수는 없습니다.

333
00:21:36,558 --> 00:21:39,799
다른 사람들을 지켜보면서,
어쩌면 조금씩 손보고

334
00:21:39,799 --> 00:21:43,040
조정해가야 하고, 그렇게
지식이 쌓이는 겁니다.

335
00:21:43,040 --> 00:21:46,240
문화적 습득의 첫 단계는
반드시 모방이어야 합니다.

336
00:21:46,240 --> 00:21:48,218
그런데 혹시 다르게 생각하시나요?

337
00:21:48,218 --> 00:21:50,720
아니요, 저도 같은 생각입니다.

338
00:21:50,720 --> 00:21:54,349
그래도 그건 기본적인 시행착오 학습,

339
00:21:54,349 --> 00:21:58,160
예측 학습 위에 얹힌 작은 부분입니다.

340
00:21:58,160 --> 00:22:03,715
그게 어쩌면 우리를 많은 동물들과
구분 짓는 지점일 겁니다.

341
00:22:03,715 --> 00:22:06,339
하지만 우리는 우선 동물입니다.

342
00:22:06,339 --> 00:22:13,520
언어나 다른 여러 가지를 갖기
전에 우리는 동물이었습니다.

343
00:22:13,520 --> 00:22:16,904
지속 학습이 대부분의
포유류가 가진 능력이라는

344
00:22:16,904 --> 00:22:20,018
점, 정말 흥미로운
지적이라고 생각합니다.

345
00:22:20,018 --> 00:22:22,400
아마 모든 포유류가 가지고 있겠죠.

346
00:22:22,400 --> 00:22:25,662
모든 포유류가 가진 걸
우리는 가지고 있는데, 우리

347
00:22:25,662 --> 00:22:29,040
AI 시스템은 갖고 있지
않다는 게 꽤 흥미롭습니다.

348
00:22:29,040 --> 00:22:32,419
반면 수학을 이해하고
어려운 수학 문제를 푸는

349
00:22:32,419 --> 00:22:36,339
능력은—수학을 어떻게
정의하느냐에 따라 다르지만—우리

350
00:22:36,339 --> 00:22:40,800
AI는 가지고 있지만 거의 어떤
동물도 갖지 못한 능력이죠.

351
00:22:40,800 --> 00:22:45,520
결국 뭐가 어렵고 뭐가
쉬운지가 꽤 흥미롭습니다.

352
00:22:45,520 --> 00:22:50,187
모라벡의 역설이죠.

353
00:23:14,962 --> 00:23:19,462
맞아요, 맞아요.

354
00:23:58,080 --> 00:24:00,693
지금 구상하고 계신 이
대안적 패러다임 말인데요…

355
00:24:00,693 --> 00:24:02,133
경험 패러다임이죠.

356
00:24:02,133 --> 00:24:04,926
조금 풀어서 짚어보죠.

357
00:24:04,926 --> 00:24:10,418
경험, 행동, 감각—아니,
감각·행동·보상이 평생 동안

358
00:24:10,418 --> 00:24:15,360
계속되고, 계속되고, 또
계속된다는 이야기입니다.

359
00:24:15,360 --> 00:24:20,160
이게 지능의 토대이자
초점이라는 이야기입니다.

360
00:24:20,160 --> 00:24:24,916
지능이란 그 스트림을
받아들여, 스트림 속 보상을

361
00:24:24,916 --> 00:24:29,144
늘리는 방향으로 행동을
바꿔나가는 것입니다.

362
00:24:29,144 --> 00:24:32,868
그러니까 학습은
스트림으로부터 이루어지고,

363
00:24:32,868 --> 00:24:35,620
학습은 스트림에 관한 것입니다.

364
00:24:35,620 --> 00:24:40,640
특히 그 두 번째 부분이 의미심장하죠.

365
00:24:40,640 --> 00:24:44,320
여러분이 배우는 것, 즉
지식은 스트림에 관한 것입니다.

366
00:24:44,320 --> 00:24:48,240
지식이란 어떤 행동을 하면 무슨
일이 일어나는지에 관한 것이죠.

367
00:24:48,240 --> 00:24:52,244
혹은 어떤 사건 다음에 어떤
사건이 뒤따르는지에 관한 것입니다.

368
00:24:52,244 --> 00:24:53,982
스트림에 관한 것이죠.

369
00:24:53,982 --> 00:24:58,636
지식의 내용은 스트림에 관한 진술입니다.

370
00:24:58,636 --> 00:25:02,678
스트림에 관한 진술이기
때문에, 스트림과 비교해서

371
00:25:02,678 --> 00:25:06,720
검증할 수 있고, 지속적으로
학습할 수 있습니다.

372
00:25:06,720 --> 00:25:10,400
이 미래의 지속 학습
에이전트를 상상하실 때…

373
00:25:10,400 --> 00:25:11,481
'미래'가 아닙니다.

374
00:25:11,481 --> 00:25:13,760
당연히, 이들은 늘 존재하죠.

375
00:25:13,760 --> 00:25:17,200
이것이 바로 강화학습
패러다임, 즉 경험 학습입니다.

376
00:25:17,200 --> 00:25:19,975
네, 아마 제가 말씀드리려던 건 인간

377
00:25:19,975 --> 00:25:23,027
수준의 범용 지속 학습 에이전트였습니다.

378
00:25:23,027 --> 00:25:24,859
보상 함수는 무엇인가요?

379
00:25:24,859 --> 00:25:26,880
그냥 세상을 예측하는 건가요?

380
00:25:26,880 --> 00:25:30,563
아니면 세상에 특정한
영향을 미치는 건가요?

381
00:25:30,563 --> 00:25:34,160
범용적인 보상 함수는 무엇일까요?

382
00:25:34,160 --> 00:25:37,277
보상 함수는 임의적입니다.

383
00:25:37,277 --> 00:25:42,320
체스를 둔다면, 목표는
체스에서 이기는 것이죠.

384
00:25:42,320 --> 00:25:50,124
다람쥐라면, 보상은 견과류를
얻는 것과 관련이 있을 겁니다.

385
00:25:51,680 --> 00:25:55,472
일반적으로 동물의 경우, 보상은 고통을

386
00:25:55,472 --> 00:25:59,986
피하고 쾌락을 얻는
것이라고 할 수 있습니다.

387
00:26:04,480 --> 00:26:11,760
환경에 대한 이해를 높이는 것과 관련된
요소도 있어야 한다고 생각합니다.

388
00:26:11,760 --> 00:26:14,800
그건 일종의 내재적
동기라고 할 수 있겠죠.

389
00:26:14,800 --> 00:26:15,459
그렇군요.

390
00:26:15,459 --> 00:26:20,413
이 AI를 두고, 많은
사람들이 여러 가지

391
00:26:20,413 --> 00:26:24,720
다양한 일을 시키고 싶어 할 텐데요.

392
00:26:24,720 --> 00:26:28,344
사람들이 원하는 과제를
수행하면서, 동시에

393
00:26:28,344 --> 00:26:31,968
그 과제를 통해 세상에
대해 배우는 거죠.

394
00:26:31,968 --> 00:26:40,960
훈련 기간과 배포 기간이 나뉘어
있는 패러다임을 없앤다고 해보죠.

395
00:26:40,960 --> 00:26:45,792
그럼 모델이 있고 그 모델의
인스턴스나 사본들이 각자

396
00:26:45,792 --> 00:26:50,124
뭔가를 하고 있는 이
패러다임도 없애는 건가요?

397
00:26:50,124 --> 00:26:52,747
우리가 이게 여러 가지 다른 일을 하길

398
00:26:52,747 --> 00:26:55,120
원한다는 사실은 어떻게 생각하세요?

399
00:26:55,120 --> 00:26:59,046
그 여러 일을 하면서 얻는
지식을 모으고 싶을 텐데요.

400
00:26:59,046 --> 00:27:02,783
방금 그렇게 쓰신 '모델'이라는
단어는 마음에 안 듭니다.

401
00:27:02,783 --> 00:27:05,638
'네트워크'라는 말이
더 나을 것 같아요.

402
00:27:05,638 --> 00:27:08,368
말씀하신 게 네트워크를 뜻하는 거니까요.

403
00:27:08,368 --> 00:27:10,430
네트워크가 여럿일 수도 있고요.

404
00:27:10,430 --> 00:27:12,810
어쨌든 뭔가는 학습이 되겠죠.

405
00:27:12,810 --> 00:27:16,135
사본들, 여러 인스턴스가
생기게 될 겁니다.

406
00:27:16,135 --> 00:27:20,934
물론 그 인스턴스들 사이에
지식을 공유하고 싶으시겠죠.

407
00:27:20,934 --> 00:27:25,082
그걸 할 방법은 여러
가지가 있을 겁니다.

408
00:27:25,082 --> 00:27:29,030
지금은 아이 한 명이 자라면서
세상에 대해 배우고,

409
00:27:29,030 --> 00:27:33,120
새로 태어난 아이마다 그
과정을 또 반복해야 합니다.

410
00:27:33,120 --> 00:27:37,185
반면 AI, 디지털 지능이라면
그걸 한 번만 해두고 다음

411
00:27:37,185 --> 00:27:41,119
것에 출발점으로 복사해 넣을
수 있길 기대할 수 있죠.

412
00:27:41,119 --> 00:27:44,160
이건 엄청난 절약이 될 겁니다.

413
00:27:44,160 --> 00:27:49,680
사람에게서 배우려는 것보다 이게
훨씬 더 중요하다고 봐요.

414
00:27:49,680 --> 00:27:53,686
말씀하신 그런 것이 LLM에서 시작하든

415
00:27:53,686 --> 00:27:57,311
아니든 필요하다는 데는 동의합니다.

416
00:27:57,311 --> 00:28:01,982
인간이나 동물 수준의 지능을
원한다면 이 능력이 필요할 겁니다.

417
00:28:01,982 --> 00:28:05,440
어떤 사람이 스타트업을
하려 한다고 해보죠.

418
00:28:05,440 --> 00:28:08,640
이건 10년짜리 보상을 갖는 일입니다.

419
00:28:08,640 --> 00:28:12,480
10년에 한 번 엑싯을 해서
10억 달러를 받을 수도 있고요.

420
00:28:12,480 --> 00:28:16,211
하지만 사람에게는 중간
단계의 보조 보상을 만들어내는

421
00:28:16,211 --> 00:28:20,329
능력이 있죠. 아니면 뭔가
방법이 있달까요… 보상이 극도로

422
00:28:20,329 --> 00:28:24,446
희소할 때도, 지금 하는 일이
이 더 큰 목표로 이어진다는

423
00:28:24,446 --> 00:28:27,920
걸 이해하며 중간 단계들을
밟아나갈 수 있습니다.

424
00:28:27,920 --> 00:28:31,520
AI에서는 이런 과정이 어떻게
펼쳐질 거라고 생각하세요?

425
00:28:31,520 --> 00:28:33,691
이건 우리가 아주 잘 아는 겁니다.

426
00:28:33,691 --> 00:28:37,522
그 바탕에 있는 게
TD 학습입니다. 같은

427
00:28:37,522 --> 00:28:41,520
일이 훨씬 덜 거창한
규모로 일어나는 거죠.

428
00:28:41,520 --> 00:28:46,880
체스를 배울 때는 게임에서
이기는 게 장기적인 목표죠.

429
00:28:46,880 --> 00:28:50,571
그런데 상대 말을 잡는 것 같은 더

430
00:28:50,571 --> 00:28:55,040
단기적인 일에서도 배울
수 있어야 합니다.

431
00:28:55,040 --> 00:28:59,760
그건 장기적 결과를 예측하는 가치
함수를 가짐으로써 가능해지죠.

432
00:28:59,760 --> 00:29:05,040
상대 말을 잡으면 장기적
결과에 대한 예측이 바뀝니다.

433
00:29:05,040 --> 00:29:08,285
예측치가 올라가면서 이길
거라고 생각하게 되고요.

434
00:29:08,285 --> 00:29:16,010
그러면 그 믿음의 상승이 말을 잡게
만든 수를 즉시 강화하는 겁니다.

435
00:29:16,010 --> 00:29:22,240
저희한테 스타트업을 만들어서 큰돈을
버는 10년짜리 장기 목표가 있어요.

436
00:29:22,240 --> 00:29:28,753
진전이 있을 때마다 '아, 장기
목표를 이룰 가능성이 높아졌다'고

437
00:29:28,753 --> 00:29:34,000
말하고, 그게 그 과정의
단계들에 보상을 주는 거죠.

438
00:29:34,000 --> 00:29:39,280
그리고 배우고 있는 정보를 담아둘
능력도 어느 정도 필요하고요.

439
00:29:39,280 --> 00:29:43,250
인간을 이런 LLM들과 상당히
다르게 만드는 것 중 하나는, 어떤

440
00:29:43,250 --> 00:29:47,440
직장에 새로 적응할 때 정말 많은
맥락과 정보를 습득한다는 점이에요.

441
00:29:47,440 --> 00:29:49,424
그게 바로 그 일을
잘하게 만드는 거고요.

442
00:29:49,424 --> 00:29:56,560
고객의 취향부터 회사가 돌아가는
방식까지, 모든 걸 배우게 되죠.

443
00:29:56,560 --> 00:30:01,714
TD 학습 같은 절차로 얻는
정보의 대역폭이, 인간이

444
00:30:01,714 --> 00:30:06,689
현장에 막 투입됐을 때처럼
습득해야 하는 이 방대한

445
00:30:06,689 --> 00:30:11,843
맥락과 암묵지의 파이프라인을
감당할 만큼 충분한가요?

446
00:30:14,560 --> 00:30:17,412
확실친 않지만, 이 문제의 핵심에는 큰

447
00:30:17,412 --> 00:30:20,400
세계 가설이 매우 관련이 있다고 봅니다.

448
00:30:20,400 --> 00:30:24,538
인간이 일을 잘하게 되는 이유는 자기만의

449
00:30:24,538 --> 00:30:28,677
특정한 세계의 일부를 마주하기 때문이죠.

450
00:30:28,677 --> 00:30:35,107
그건 미리 예상할 수도, 전부
미리 넣어둘 수도 없는 것입니다.

451
00:30:35,107 --> 00:30:38,640
세상은 너무 커서 그럴 수가 없어요.

452
00:30:38,640 --> 00:30:42,375
제가 보기에 LLM의 꿈은, 에이전트에게

453
00:30:42,375 --> 00:30:45,600
모든 걸 가르칠 수 있다는 겁니다.

454
00:30:45,600 --> 00:30:49,484
모든 걸 알게 되어서,
살아가면서 실시간으로

455
00:30:49,484 --> 00:30:52,720
뭔가를 배울 필요가 없어진다는 거죠.

456
00:30:52,720 --> 00:30:56,874
당신이 든 예시들은 전부 '사실은
배워야만 한다'는 쪽이에요.

457
00:30:56,874 --> 00:31:00,539
가르칠 수는 있지만, 그들이
살아가는 특정한 삶, 함께

458
00:31:00,539 --> 00:31:04,326
일하는 특정한 사람들, 평균적인
사람들이 아니라 바로 그

459
00:31:04,326 --> 00:31:08,480
사람들이 좋아하는 것 같은 온갖
자잘한 특이점들이 있으니까요.

460
00:31:08,480 --> 00:31:11,186
그건 그냥 세상이 정말 크고, 그걸

461
00:31:11,186 --> 00:31:14,320
살아가면서 배워야 한다는 말일 뿐입니다.

462
00:31:14,320 --> 00:31:16,544
제가 보기엔 두 가지가
필요할 것 같은데요.

463
00:31:16,544 --> 00:31:23,401
하나는 이 장기 목표 보상을,
최종 보상으로 이어지는 미래

464
00:31:23,401 --> 00:31:30,257
보상을 예측하는 더 작은 보조
보상으로 바꾸는 방법이고요.

465
00:31:30,257 --> 00:31:36,232
그런데 우선은, 제가 세상에서
일하면서 얻고 있는 이

466
00:31:36,232 --> 00:31:42,000
모든 맥락을 붙잡아 둘 수
있어야 할 것 같거든요.

467
00:31:42,000 --> 00:31:50,320
제 고객들, 제 회사에 대해 배우고
있고, 이 모든 정보를 말이죠.

468
00:31:50,320 --> 00:31:52,695
저는 그냥 일반적인 학습을
하고 계신 거라고 봅니다.

469
00:31:52,695 --> 00:31:55,874
어쩌면 '컨텍스트'라는 말을
쓰시는 건, LLM에서는 그 모든

470
00:31:55,874 --> 00:31:58,960
정보가 컨텍스트 윈도우 안으로
들어가야 하기 때문일 겁니다.

471
00:31:58,960 --> 00:32:02,560
하지만 지속 학습 체계에서는
그게 그냥 가중치로 들어갑니다.

472
00:32:02,560 --> 00:32:04,409
어쩌면 '컨텍스트'라는
단어 자체가 틀린 걸지도

473
00:32:04,409 --> 00:32:06,400
모르겠네요. 저는 더 일반적인
걸 말하는 거니까요.

474
00:32:06,400 --> 00:32:11,853
자신이 처한 환경에 특화된
정책을 학습하는 겁니다.

475
00:32:12,320 --> 00:32:17,451
제가 여쭤보려는 건, 어떤
식으로든 얻어야 하는데요…

476
00:32:17,451 --> 00:32:23,112
사람이 세상에 나가 있을 때
초당 몇 비트를 받아들이나요?

477
00:32:23,112 --> 00:32:26,667
그냥 슬랙으로 고객들이랑 이것저것
소통만 하고 있다면 말이죠.

478
00:32:26,667 --> 00:32:30,239
어쩌면 물어보시려는 건 이런
걸 텐데요. 우리가 해야 할 그

479
00:32:30,239 --> 00:32:33,920
모든 학습을 하기엔 보상이라는
게 너무 작은 것 같다는 거죠.

480
00:32:33,920 --> 00:32:37,640
하지만 우리에겐 감각이 있고, 그 외에도

481
00:32:37,640 --> 00:32:41,360
배울 수 있는 다른 정보가 다 있습니다.

482
00:32:41,360 --> 00:32:43,672
보상에서만 배우는 게 아니니까요.

483
00:32:43,672 --> 00:32:45,360
모든 데이터에서 배우는 겁니다.

484
00:32:45,360 --> 00:32:52,320
그 정보를 포착하게 해주는
학습 과정은 무엇일까요?

485
00:32:52,320 --> 00:32:55,546
이제 네 부분으로 이루어진 에이전트

486
00:32:55,546 --> 00:32:59,112
공통 모델에 대해 이야기하고 싶습니다.

487
00:32:59,112 --> 00:33:00,283
정책이 필요합니다.

488
00:33:00,283 --> 00:33:04,426
정책은 이렇게 말합니다. "지금 이
상황에서 나는 뭘 해야 하는가?"

489
00:33:04,426 --> 00:33:05,752
가치 함수가 필요합니다.

490
00:33:05,752 --> 00:33:11,705
가치 함수는 TD 학습으로
학습되며, 숫자를 하나 산출합니다.

491
00:33:11,705 --> 00:33:13,920
그 숫자가 지금 얼마나 잘
되어가고 있는지를 말해줍니다.

492
00:33:13,920 --> 00:33:19,360
그러면 그게 오르내리는 걸 지켜보면서
정책을 조정하는 데 씁니다.

493
00:33:19,360 --> 00:33:21,760
그래서 그 두 가지가 있는 거죠.

494
00:33:21,760 --> 00:33:26,201
그리고 지각 요소도 있습니다.
상태 표현을 구성하는

495
00:33:26,201 --> 00:33:30,800
것, 즉 지금 자신이 어디에
있는지에 대한 감각이죠.

496
00:33:30,800 --> 00:33:32,816
네 번째가 사실 우리가 진짜 짚고 싶은

497
00:33:32,816 --> 00:33:34,640
겁니다. 적어도 가장 명확하게는요.

498
00:33:34,640 --> 00:33:38,400
네 번째는 세계의 전이 모델입니다.

499
00:33:38,400 --> 00:33:42,106
그래서 저는 모든 걸 그냥 '모델'이라고
부르는 게 불편합니다. 저는

500
00:33:42,106 --> 00:33:45,520
세계의 모델, 즉 세계의 전이
모델을 이야기하고 싶은 거니까요.

501
00:33:45,520 --> 00:33:48,112
이걸 하면 무슨 일이
일어날지에 대한 믿음이죠.

502
00:33:48,112 --> 00:33:50,400
당신이 한 일의 결과가 무엇일까요?

503
00:33:50,400 --> 00:33:52,047
당신만의 세계의 물리학인 겁니다.

504
00:33:52,047 --> 00:33:56,423
하지만 물리학만이 아니라 추상적인
모델도 있습니다. 이 팟캐스트를

505
00:33:56,423 --> 00:34:00,800
위해 캘리포니아에서 에드먼턴까지
어떻게 왔는지에 대한 모델처럼요.

506
00:34:00,800 --> 00:34:03,642
그것도 하나의 모델이고,
바로 전이 모델입니다.

507
00:34:03,642 --> 00:34:04,976
그것도 학습되는 것이죠.

508
00:34:04,976 --> 00:34:06,354
보상으로부터 학습되는 게 아닙니다.

509
00:34:06,354 --> 00:34:08,747
이런 식으로 학습됩니다.
"무언가를 했고, 무슨 일이

510
00:34:08,747 --> 00:34:11,387
일어났는지 보았고, 그렇게
세계에 대한 모델을 만들었다."

511
00:34:11,387 --> 00:34:17,840
보상뿐 아니라 당신이 받는 모든
감각으로부터 아주 풍부하게 학습됩니다.

512
00:34:17,840 --> 00:34:21,574
보상도 포함되어야 하지만,
그건 전체 모델의

513
00:34:21,574 --> 00:34:25,307
작은 부분, 작지만
결정적인 부분일 뿐이죠.

514
00:34:25,307 --> 00:34:29,804
제 친구 중 한 명인 토비
오드가 지적한 게 있는데요. 구글

515
00:34:29,804 --> 00:34:34,982
딥마인드가 아타리 게임 학습에 쓴
뮤제로 모델들을 보면, 이 모델들은

516
00:34:34,982 --> 00:34:39,752
애초에 그 자체가 범용 지능이
아니라, 특정 게임을 플레이하도록

517
00:34:39,752 --> 00:34:44,521
전문화된 지능들을 훈련시키기 위한
범용 프레임워크였다는 겁니다.

518
00:34:44,521 --> 00:34:49,200
다시 말해, 그 프레임워크로는
체스와 바둑, 그리고 다른 게임까지

519
00:34:49,200 --> 00:34:53,360
함께 플레이하는 정책 하나를
훈련시킬 수는 없었다는 거죠.

520
00:34:53,360 --> 00:34:56,342
각각을 따로 전문화해서
훈련시켜야 했습니다.

521
00:34:56,342 --> 00:35:01,079
그는 이게 강화학습 전반에
대해서도, 이런 정보 제약 때문에

522
00:35:01,079 --> 00:35:05,673
한 번에 한 가지만 학습할 수
있다는 뜻인지 궁금해했어요.

523
00:35:05,673 --> 00:35:08,160
정보의 밀도가 그렇게
높지 않다는 뜻인지.

524
00:35:08,160 --> 00:35:11,920
아니면 그저 뮤제로가 구현된
방식에만 해당하는 문제인지 말이죠.

525
00:35:11,920 --> 00:35:16,954
만약 알파제로에 국한된
문제라면, 범용 학습 에이전트가

526
00:35:16,954 --> 00:35:21,484
되려면 그 접근 방식에서
뭐가 바뀌어야 했을까요?

527
00:35:21,484 --> 00:35:24,020
그 아이디어 자체는 완전히 일반적입니다.

528
00:35:24,020 --> 00:35:28,140
저는 항상 대표적인
예로 이렇게 말합니다.

529
00:35:28,140 --> 00:35:32,080
AI 에이전트라는 것도 사람과 같다고요.

530
00:35:32,080 --> 00:35:38,000
사람은 어떤 의미에서 자신이
사는 세계가 단 하나뿐이죠.

531
00:35:38,000 --> 00:35:42,013
그 세계에는 체스도 있고
아타리 게임도 있을 수 있지만,

532
00:35:42,013 --> 00:35:45,508
그것들은 서로 다른 과제나
다른 세계가 아닙니다.

533
00:35:45,508 --> 00:35:47,840
그것들은 그저 사람이 마주치는
서로 다른 상태들일 뿐이죠.

534
00:35:47,840 --> 00:35:51,201
그러니까 그 일반적인 아이디어
자체는 전혀 제한적이지 않습니다.

535
00:35:51,201 --> 00:35:55,621
그 아키텍처, 혹은 그
접근 방식에 무엇이 빠져

536
00:35:55,621 --> 00:36:00,040
있었는지 설명해 주시면
도움이 될 것 같은데요.

537
00:36:00,040 --> 00:36:04,800
지속 학습 AGI라면 갖추고
있을 그런 것 말이죠.

538
00:36:04,800 --> 00:36:06,960
그들은 그냥 그렇게 설정한 겁니다.

539
00:36:06,960 --> 00:36:13,440
여러 게임에 걸쳐 하나의 에이전트를
두는 건 그들의 목표가 아니었어요.

540
00:36:13,440 --> 00:36:17,955
전이에 대해 이야기하려면,
게임 간이나 태스크 간

541
00:36:17,955 --> 00:36:22,470
전이가 아니라 상태 간
전이를 이야기해야 합니다.

542
00:36:22,470 --> 00:36:28,159
역사적으로, 이런 걸
만드는 데 필요한 수준의

543
00:36:28,159 --> 00:36:34,303
전이를 RL 기법으로 본
적이 있는지 궁금한데요…

544
00:36:35,280 --> 00:36:35,770
좋습니다.

545
00:36:35,770 --> 00:36:36,261
좋습니다.

546
00:36:36,261 --> 00:36:39,203
전이는 어디에서도 안 보입니다.

547
00:36:39,203 --> 00:36:42,294
좋은 성능의 핵심은 한 상태에서 다른

548
00:36:42,294 --> 00:36:45,386
상태로 잘 일반화할 수 있느냐입니다.

549
00:36:45,386 --> 00:36:47,920
우리에게는 그걸 잘 해내는
방법이 전혀 없습니다.

550
00:36:47,920 --> 00:36:54,339
우리가 가진 건 사람들이 여러
가지를 시도해보다가, 전이가

551
00:36:54,339 --> 00:37:01,160
잘 되거나 일반화가 잘 되는 표현
방식에 정착하는 것뿐입니다.

552
00:37:01,160 --> 00:37:06,460
하지만 전이를 촉진하는
자동화된 기법은 거의 없고,

553
00:37:06,460 --> 00:37:11,760
그마저도 현대 딥러닝에서는
하나도 쓰이지 않습니다.

554
00:37:11,760 --> 00:37:17,440
제가 제대로 이해했는지 확인하려고
한번 풀어서 말씀드려볼게요.

555
00:37:17,440 --> 00:37:21,955
말씀은, 이 모델들에서
일반화가 일어날 때

556
00:37:21,955 --> 00:37:26,667
그건 어떤 식으로 다듬어진
결과라는 거네요…

557
00:37:26,667 --> 00:37:28,393
인간이 한 겁니다.

558
00:37:28,393 --> 00:37:31,040
연구자들이 한 겁니다.

559
00:37:31,040 --> 00:37:32,987
다른 설명이 없으니까요.

560
00:37:32,987 --> 00:37:35,600
경사 하강법은 일반화를 잘
하게 만들어주지 않습니다.

561
00:37:35,600 --> 00:37:37,802
그건 그저 문제를 풀게 해줄 뿐입니다.

562
00:37:37,802 --> 00:37:40,035
새로운 데이터가 들어와도, 그게 좋은

563
00:37:40,035 --> 00:37:42,492
방식으로 일반화하게 만들어주진 않습니다.

564
00:37:42,492 --> 00:37:45,494
일반화란 한 가지를
학습한 것이 다른 것들에

565
00:37:45,494 --> 00:37:48,120
대한 행동에 영향을 미친다는 뜻입니다.

566
00:37:48,120 --> 00:37:50,560
딥러닝이 이 부분에 정말 약하다는
걸 우리는 알고 있습니다.

567
00:37:50,560 --> 00:37:54,768
예를 들어, 새로운 걸 학습시키면
예전에 알던 것들 전체에

568
00:37:54,768 --> 00:37:59,107
파국적 간섭이 일어나는 경우가
많다는 걸 우리는 알고 있죠.

569
00:37:59,107 --> 00:38:01,827
이게 바로 나쁜 일반화입니다.

570
00:38:01,827 --> 00:38:05,621
제가 말씀드렸듯,
일반화란 한 상태에 대한

571
00:38:05,621 --> 00:38:09,909
학습이 다른 상태들에
미치는 일종의 영향입니다.

572
00:38:11,440 --> 00:38:13,760
일반화한다는 사실 자체가 꼭
좋거나 나쁜 건 아닙니다.

573
00:38:13,760 --> 00:38:17,680
잘못 일반화할 수도 있고,
잘 일반화할 수도 있죠.

574
00:38:17,680 --> 00:38:22,611
일반화는 항상 일어나지만,
그게 나쁘지 않고 좋은

575
00:38:22,611 --> 00:38:27,360
방향으로 일어나게 만드는
알고리즘이 필요합니다.

576
00:38:27,360 --> 00:38:31,727
이 핵심 쟁점을 다시 끄집어내려는
건 아니고, 그냥 순수하게 궁금해서

577
00:38:31,727 --> 00:38:35,520
여쭤봅니다. 제가 이 용어를
다르게 쓰고 있는 것 같아서요.

578
00:38:35,520 --> 00:38:40,432
이 LLM들을 이렇게 볼 수도
있을 것 같아요. 기본적인 수학

579
00:38:40,432 --> 00:38:45,344
문제조차 못 풀던 이전 시스템들에
비해, 지금은 수학올림피아드

580
00:38:45,344 --> 00:38:50,400
유형의 문제라면 뭐든 풀어낼 만큼
일반화의 범위가 넓어졌다고요.

581
00:38:50,400 --> 00:38:54,160
처음엔 덧셈 문제들 사이에서
일반화하는 정도로 시작하죠.

582
00:38:54,160 --> 00:38:59,292
그러다 서로 다른 수학적
기법과 정리, 개념 범주를

583
00:38:59,292 --> 00:39:03,874
요구하는 문제들 사이에서도
일반화하게 되는데,

584
00:39:03,874 --> 00:39:08,640
그게 바로 수학올림피아드가
요구하는 능력이고요.

585
00:39:08,640 --> 00:39:12,096
그런데 그 범주 안의 어떤
문제든 풀 수 있다는

586
00:39:12,096 --> 00:39:15,553
걸 일반화의 사례로 보지
않으시는 것 같은데요.

587
00:39:15,553 --> 00:39:18,960
제가 잘못 이해하고
있다면 말씀해 주세요.

588
00:39:18,960 --> 00:39:21,759
LLM은 너무 복잡합니다.

589
00:39:21,759 --> 00:39:26,176
사전에 어떤 정보를 접했는지는
사실 알 수가 없습니다.

590
00:39:26,176 --> 00:39:30,080
워낙 많은 걸 먹였다 보니
추측할 수밖에 없죠.

591
00:39:30,080 --> 00:39:34,640
이게 과학을 하기에 좋은 방법이
아닌 이유 중 하나입니다.

592
00:39:34,640 --> 00:39:37,207
그냥 너무 통제가 안 되고,
너무 알 수가 없습니다.

593
00:39:37,207 --> 00:39:39,840
하지만 완전히 새로운 걸 만들어낸다면…

594
00:39:39,840 --> 00:39:43,469
어쩌면 많은 걸 맞히고
있는 걸 수도 있죠.

595
00:39:43,469 --> 00:39:44,993
문제는 왜 그러냐는 겁니다.

596
00:39:44,993 --> 00:39:49,984
음, 어쩌면 맞히는 데 일반화가 필요
없을 수도 있어요. 일부를 맞히는

597
00:39:49,984 --> 00:39:54,720
유일한 방법이 전부를 맞히는 무언가를
만드는 것일 수도 있으니까요.

598
00:39:54,720 --> 00:40:00,307
답이 하나뿐이고 그걸 찾아낸 거라면,
그건 일반화라고 부르지 않습니다.

599
00:40:00,307 --> 00:40:04,159
그냥 그게 유일한 풀이법이라서, 그
유일한 풀이법을 찾아낸 것뿐이에요.

600
00:40:04,159 --> 00:40:06,469
하지만 일반화란 이럴
수도 있고 저럴 수도

601
00:40:06,469 --> 00:40:08,880
있는 상황에서, 좋은
방식을 택하는 겁니다.

602
00:40:08,880 --> 00:40:12,080
제가 알기론 이게 코딩 에이전트에서는

603
00:40:12,080 --> 00:40:15,600
점점 더 잘 작동하고 있는 것 같은데요.

604
00:40:15,600 --> 00:40:19,228
엔지니어의 경우, 당연히
라이브러리를 프로그래밍하려고

605
00:40:19,228 --> 00:40:23,106
하면 최종 스펙을 달성하는
방법이 여러 가지가 있잖아요.

606
00:40:23,106 --> 00:40:25,773
이 모델들에 대한 초기 불만 중 하나가

607
00:40:25,773 --> 00:40:28,186
엉성한 방식으로 해낸다는 거였어요.

608
00:40:28,186 --> 00:40:32,717
시간이 지나면서 개발자들이
더 만족스러워하는 설계

609
00:40:32,717 --> 00:40:37,920
구조와 추상화를 만들어내는
데 점점 더 나아지고 있고요.

610
00:40:37,920 --> 00:40:41,760
이게 말씀하신 것의 한
사례처럼 보이는데요.

611
00:40:41,760 --> 00:40:46,480
그 안에는 잘 일반화되게
만드는 요소가 전혀 없습니다.

612
00:40:46,480 --> 00:40:52,160
경사 하강법은 그것들이 본 문제들에
대한 해법을 찾아내게 할 뿐입니다.

613
00:40:52,160 --> 00:40:55,200
문제를 푸는 방법이 하나뿐이라면,
그 방법을 쓰게 됩니다.

614
00:40:55,200 --> 00:40:58,037
하지만 푸는 방법이 여럿이고
그중 일부는 일반화가

615
00:40:58,037 --> 00:41:00,768
잘 되고 일부는 잘 안
된다면, 알고리즘 안에는

616
00:41:00,768 --> 00:41:03,920
일반화가 잘 되는 쪽을 택하게
만드는 요소가 없습니다.

617
00:41:03,920 --> 00:41:09,895
하지만 사람은 당연히 진화를
거쳤고, 잘 안 풀리면 될 때까지

618
00:41:09,895 --> 00:41:16,221
이리저리 손보죠. 어쩌면 일반화가
잘 되는 방법을 찾을 때까지요.

619
00:42:17,280 --> 00:42:22,965
좀 더 크게 보고 여쭤보고
싶은데요, 지금 이 분야를 논평하거나

620
00:42:22,965 --> 00:42:28,163
몸담고 있는 거의 누구보다도
오래 AI 분야에 계셨잖아요.

621
00:42:28,163 --> 00:42:31,514
가장 놀라웠던 게
무엇이었는지 궁금합니다.

622
00:42:31,514 --> 00:42:34,400
새로운 것들이 얼마나
나오고 있다고 느끼시나요?

623
00:42:34,400 --> 00:42:39,360
아니면 사람들이 그냥 옛날 아이디어를
가지고 노는 것처럼 느껴지시나요?

624
00:42:39,360 --> 00:42:43,200
크게 보면, 딥러닝이 유행하기도
전에 이 분야에 들어오셨잖아요.

625
00:42:43,200 --> 00:42:47,040
그래서 시간이 지나며 이
분야가 어떤 궤적을 그려왔는지,

626
00:42:47,040 --> 00:42:50,757
새로운 아이디어들이 어떻게
나왔는지, 어떻게 보시나요?

627
00:42:50,757 --> 00:42:53,390
무엇이 놀라웠나요?

628
00:42:53,390 --> 00:42:57,120
이 질문에 대해 조금 생각해봤습니다.

629
00:42:57,120 --> 00:42:59,663
몇 가지가 있습니다.

630
00:42:59,663 --> 00:43:03,600
먼저, LLM이 놀랍습니다.

631
00:43:03,600 --> 00:43:12,640
인공신경망이 언어 과제에서 이렇게까지
효과적이라는 게 놀랍습니다.

632
00:43:12,640 --> 00:43:15,522
그건 놀라운 일이었고,
예상하지 못했던 겁니다.

633
00:43:15,522 --> 00:43:17,421
언어는 다를 거라고 생각했거든요.

634
00:43:17,421 --> 00:43:18,967
그래서 그건 인상적입니다.

635
00:43:18,967 --> 00:43:25,269
AI에는 오래된 논쟁이
있습니다. 탐색과 학습 같은 범용

636
00:43:25,269 --> 00:43:31,571
방법, 즉 단순하고 기본적인
원리에 기반한 방법과, 기호

637
00:43:31,571 --> 00:43:37,467
체계 같이 인간이 개입한
시스템을 비교하는 논쟁이죠.

638
00:43:41,040 --> 00:43:45,406
옛날에는 흥미로웠던 게,
탐색과 학습 같은 것들을 '약한

639
00:43:45,406 --> 00:43:49,913
방법'이라고 불렀거든요. 일반적인
원리만 쓸 뿐, 시스템에

640
00:43:49,913 --> 00:43:53,998
인간 지식을 불어넣어서
나오는 힘은 쓰지 않으니까요.

641
00:43:53,998 --> 00:43:56,269
그런 쪽은 '강한
방법'이라고 불렀습니다.

642
00:43:56,269 --> 00:44:02,101
제 생각엔 약한 방법이
완전히 승리했습니다.

643
00:44:02,101 --> 00:44:09,673
그게 옛날 AI에서 가장 큰
질문이었죠, 어떻게 될 것인가.

644
00:44:09,673 --> 00:44:13,120
학습과 탐색이 결국 승리했습니다.

645
00:44:13,120 --> 00:44:16,915
어떤 면에서는 저한테 놀랍지
않았습니다. 저는 항상

646
00:44:16,915 --> 00:44:20,845
단순하고 기본적인 원리를
응원하고 바라고 있었거든요.

647
00:44:20,845 --> 00:44:25,427
LLM의 경우에도, 이렇게 잘 될 줄은

648
00:44:25,427 --> 00:44:30,227
놀라웠지만, 다 좋았고 만족스러웠습니다.

649
00:44:30,960 --> 00:44:39,017
알파고, 특히 알파제로가 그렇게
잘 작동한다는 게 놀라웠습니다.

650
00:44:40,080 --> 00:44:43,386
하지만 다시 한번
단순하고 기본적인 원리가

651
00:44:43,386 --> 00:44:46,405
승리한다는 점에서 정말 만족스럽습니다.

652
00:44:46,960 --> 00:44:53,580
새로운 애플리케이션이 나와서
대중의 인식이 바뀔 때—예를 들어

653
00:44:53,580 --> 00:44:59,810
알파제로가 그렇게 화제가 됐을
때—그 기법들을 직접 만드신

654
00:44:59,810 --> 00:45:06,040
분 입장에서는, 새로운 돌파구가
생겼다는 느낌이 드셨나요?

655
00:45:06,040 --> 00:45:10,148
아니면 "이 기법들은 '90년대부터
있었고, 사람들이 그걸

656
00:45:10,148 --> 00:45:14,000
조합해서 지금 적용하고 있을
뿐이다"라는 느낌이었나요?

657
00:45:14,000 --> 00:45:18,320
알파고 전체에는 사실 선구자가
있었습니다. 바로 TD-개먼입니다.

658
00:45:18,320 --> 00:45:27,653
제리 테사우로는 강화학습, 즉 TD
학습 방법으로 백개먼을 뒀습니다.

659
00:45:28,800 --> 00:45:33,680
그건 세계 최고 선수들을
이겼고 정말 잘 작동했습니다.

660
00:45:33,680 --> 00:45:38,720
어떤 의미에서는 알파고는 그
과정을 그냥 스케일업한 것뿐입니다.

661
00:45:38,720 --> 00:45:42,392
하지만 꽤 큰 스케일업이었고,
탐색을 수행하는

662
00:45:42,392 --> 00:45:45,329
방식에도 추가적인 혁신이 있었습니다.

663
00:45:45,329 --> 00:45:46,719
하지만 납득이 가는 일이었습니다.

664
00:45:46,719 --> 00:45:49,280
그런 의미에서는 놀랍지 않았습니다.

665
00:45:49,280 --> 00:45:53,167
사실 알파고는 TD
학습을 쓰지 않았습니다.

666
00:45:53,167 --> 00:45:56,676
최종 결과를 볼 때까지 기다렸죠.

667
00:45:56,676 --> 00:45:58,396
하지만 알파제로는 TD를 사용했습니다.

668
00:45:58,396 --> 00:46:04,640
알파제로는 다른 모든 게임에도
적용됐고 정말 훌륭하게 해냈습니다.

669
00:46:04,640 --> 00:46:09,920
저는 체스를 두는 사람이라 알파제로가
체스 두는 방식에 항상 깊은

670
00:46:09,920 --> 00:46:15,200
인상을 받았습니다. 위치적 이점을
위해 그냥 기물을 희생하거든요.

671
00:46:15,200 --> 00:46:22,880
그냥 만족스럽고 참을성 있게
오랫동안 그 기물을 희생하는 거죠.

672
00:46:22,880 --> 00:46:27,496
그게 그렇게 잘 작동한다는
게 놀라웠지만, 동시에

673
00:46:27,496 --> 00:46:31,600
만족스러웠고 제 세계관과도
맞아떨어졌습니다.

674
00:46:31,600 --> 00:46:33,877
이게 저를 지금 이 자리로 이끌었습니다.

675
00:46:33,877 --> 00:46:40,194
저는 어떤 의미에서 반골이거나, 이
분야와는 다르게 생각하는 사람입니다.

676
00:46:40,194 --> 00:46:45,983
저는 개인적으로 제 분야와
오랫동안—어쩌면 수십 년간—어긋나

677
00:46:45,983 --> 00:46:52,298
있어도 괜찮습니다. 과거에 가끔
제가 옳았던 걸로 판명났으니까요.

678
00:46:52,298 --> 00:46:57,896
제가 하는 또 다른 일은—어긋나
있다거나 이상하게 생각한다고

679
00:46:57,896 --> 00:47:03,156
느끼지 않기 위해서—제 주변
환경이나 제 분야가 아니라,

680
00:47:03,156 --> 00:47:08,754
시간을 거슬러 역사를 돌아보고
여러 분야에서 사람들이 마음에

681
00:47:08,754 --> 00:47:14,013
대해 고전적으로 어떻게
생각해왔는지를 살펴보는 것입니다.

682
00:47:14,013 --> 00:47:17,280
저는 더 큰 전통들과는 어긋나
있다고 느끼지 않습니다.

683
00:47:17,280 --> 00:47:22,276
저는 정말로 제 자신을 반골이
아니라 고전주의자로 봅니다.

684
00:47:22,276 --> 00:47:25,093
마음에 대해 생각해온 더 큰 사상가

685
00:47:25,093 --> 00:47:28,504
공동체가 늘 생각해온
것을 따라가는 거죠.

686
00:47:28,504 --> 00:47:33,168
괜찮으시다면 좀 엉뚱한 질문들을
몇 개 드려보고 싶습니다.

687
00:47:33,168 --> 00:47:38,619
제가 이해하기로 「쓰라린
교훈」은 인간 연구자의 수작업

688
00:47:38,619 --> 00:47:43,888
튜닝이 안 통한다는 말이
아니라, 지수적으로 늘어나는

689
00:47:43,888 --> 00:47:49,520
컴퓨팅에 비해 명백히 훨씬
나쁘게 스케일된다는 뜻입니다.

690
00:47:49,520 --> 00:47:51,964
그러니까 후자를 활용하는
기법을 원하시는 거죠.

691
00:47:51,964 --> 00:47:52,880
네.

692
00:47:52,880 --> 00:47:56,281
AGI를 갖게 되면, 컴퓨팅에 비례해서

693
00:47:56,281 --> 00:47:59,520
늘어나는 연구자들을 갖게 되는 거죠.

694
00:47:59,520 --> 00:48:02,880
수백만 명의 AI 연구자가
쏟아져 나오는 거고요.

695
00:48:02,880 --> 00:48:06,298
그 수가 컴퓨팅만큼
빠르게 늘어날 거예요.

696
00:48:06,298 --> 00:48:11,600
그럼 그들이 옛날식 AI,
그러니까 수작업 솔루션을

697
00:48:11,600 --> 00:48:17,280
만드는 게 합리적이거나 타당한
일이 될 수도 있겠네요.

698
00:48:17,280 --> 00:48:21,611
AGI 이후 AI 연구가 어떻게
발전할지에 대한 비전으로서,

699
00:48:21,611 --> 00:48:25,680
이게 그래도 「쓰라린 교훈」과
양립 가능한지 궁금하네요.

700
00:48:25,680 --> 00:48:27,821
그 AGI에는 어떻게 도달한 거죠?

701
00:48:27,821 --> 00:48:30,880
이미 다 됐다고 전제하고 싶으신 거군요.

702
00:48:30,880 --> 00:48:34,240
범용 방법으로 시작했다고 치고,
이제 AGI를 얻었다고 해보죠.

703
00:48:34,240 --> 00:48:36,835
그리고 이제 우리가 가려는 건…

704
00:48:36,835 --> 00:48:38,640
그럼 끝난 겁니다.

705
00:48:38,640 --> 00:48:39,782
흥미롭네요.

706
00:48:39,782 --> 00:48:44,000
AGI보다 위에 뭔가 있다고는
생각 안 하시는 건가요?

707
00:48:44,000 --> 00:48:46,027
근데 그걸로 다시 AGI를
얻으려는 거잖아요.

708
00:48:46,027 --> 00:48:48,458
음, 제가 그걸로 얻으려는 건 여러

709
00:48:48,458 --> 00:48:51,528
과제에서의 초인간 수준
지능이나 능력이에요.

710
00:48:51,528 --> 00:48:55,741
그 AGI들이 이미
초인간 수준이 아니라면,

711
00:48:55,741 --> 00:49:00,480
그것들이 전달하는 지식도
초인간 수준이 아니겠죠.

712
00:49:00,480 --> 00:49:03,095
정도의 차이가 있는 것 같긴 하네요.

713
00:49:03,095 --> 00:49:08,038
그 아이디어가 말이 되는지 잘
모르겠습니다. AGI의 존재를,

714
00:49:08,038 --> 00:49:12,400
그것도 이미 다 알아낸 상태라고
전제하는 것 같아서요.

715
00:49:12,400 --> 00:49:14,526
이 주장을 뒷받침할 방법 중 하나는,

716
00:49:14,526 --> 00:49:16,653
알파고가 초인간 수준이었다는 거예요.

717
00:49:16,653 --> 00:49:18,311
어떤 바둑 기사를 상대해도 이겼죠.

718
00:49:18,311 --> 00:49:21,183
알파제로는 알파고를 매번 이겼고요.

719
00:49:21,183 --> 00:49:24,879
그러니까 초인간보다 더 초인간이
되는 방법도 있는 거죠.

720
00:49:24,879 --> 00:49:27,120
그것도 아키텍처 자체가 달랐고요.

721
00:49:27,120 --> 00:49:32,479
그래서 제 생각엔, 모든 영역에서
범용적으로 학습할 수 있는 에이전트에게도

722
00:49:32,479 --> 00:49:37,316
더 나은 학습용 아키텍처를 줄
방법이 있을 것 같습니다. 알파제로가

723
00:49:37,316 --> 00:49:41,760
알파고보다, 뮤제로가 알파제로보다
발전했던 것과 마찬가지로요.

724
00:49:41,760 --> 00:49:45,547
그리고 알파제로가 발전할
수 있었던 방식은, 인간의

725
00:49:45,547 --> 00:49:49,333
지식을 쓰지 않고 그저
경험에서 배웠다는 점이었죠.

726
00:49:49,333 --> 00:49:49,920
맞아요.

727
00:49:49,920 --> 00:49:57,254
그런데 경험만으로, 다른 에이전트의
도움 없이도 이렇게 잘 작동했는데,

728
00:49:57,254 --> 00:50:04,400
왜 "다른 에이전트의 전문성을 가져와
가르치라"고 말씀하시는 건가요?

729
00:50:04,400 --> 00:50:10,000
그 특정 사례에서는 더 범용적인
방법으로 나아간 게 맞다고 봅니다.

730
00:50:10,000 --> 00:50:13,367
제가 그 사례를 든 건, 초인간에서
초인간++, 초인간+++로

731
00:50:13,367 --> 00:50:16,040
나아가는 게 가능하다는
걸 보여주려던 거였습니다.

732
00:50:16,040 --> 00:50:19,243
그런 단계적 발전이 그저
방법을 더 단순하게 만드는

733
00:50:19,243 --> 00:50:22,560
것만으로 계속 이어질 거라고
생각하시는지 궁금합니다.

734
00:50:22,560 --> 00:50:27,199
아니면, 필요할 때마다 복잡성을
더할 수 있는 수백만에

735
00:50:27,199 --> 00:50:31,838
달하는 정신을 갖게 될 텐데도,
수십억 명, 수조 명의

736
00:50:31,838 --> 00:50:36,168
AI 연구자가 있어도 그건
여전히 잘못된 길일까요?

737
00:50:36,168 --> 00:50:40,328
그 경우를 생각해보는 게 더 흥미롭네요.

738
00:50:40,328 --> 00:50:47,854
AI가 많아지면, 사람들 사이의
문화적 진화처럼 서로 도울까요?

739
00:50:47,854 --> 00:50:50,880
그 얘기를 좀 해봐야 할 것 같습니다.

740
00:50:50,880 --> 00:50:52,898
「쓰라린 교훈」, 그게 뭐가 중요합니까?

741
00:50:52,898 --> 00:50:56,477
그건 역사의 특정 시기에 대한
경험적 관찰일 뿐입니다.

742
00:50:56,477 --> 00:51:01,120
70년간의 역사가 다음 70년에도
꼭 적용되리란 법은 없죠.

743
00:51:01,120 --> 00:51:03,083
흥미로운 질문은 이겁니다.
당신이 AI인데,

744
00:51:03,083 --> 00:51:04,800
컴퓨팅 파워를 좀 더 얻었다고 해보죠.

745
00:51:04,800 --> 00:51:08,480
그걸 써서 스스로를 더
강력하게 만들어야 할까요?

746
00:51:08,480 --> 00:51:13,141
아니면 그걸로 자기 사본을
스폰해서, 지구 반대편이나 다른

747
00:51:13,141 --> 00:51:18,240
주제에서 흥미로운 걸 배우게 한
뒤 다시 보고받게 해야 할까요?

748
00:51:18,240 --> 00:51:26,257
이건 디지털 지능의 시대에나 생길
정말 흥미로운 질문이라고 생각합니다.

749
00:51:26,257 --> 00:51:29,680
답이 뭔지는 잘 모르겠습니다.

750
00:51:29,680 --> 00:51:33,669
질문이 더 있는데요, 정말로
그걸 스폰해서 내보내고,

751
00:51:33,669 --> 00:51:37,246
뭔가 새로운 걸, 어쩌면
아주 새로운 걸 배우게

752
00:51:37,246 --> 00:51:40,960
한 다음, 그게 원본에
다시 흡수될 수 있을까요?

753
00:51:40,960 --> 00:51:47,200
아니면 너무 많이 변해서
그게 사실상 불가능해질까요?

754
00:51:47,200 --> 00:51:49,946
그게 가능할까요, 아닐까요?

755
00:51:49,946 --> 00:51:52,829
요전 날 밤 본 당신
영상 중 하나에서처럼,

756
00:51:52,829 --> 00:51:55,471
이걸 극한까지 밀어붙일 수도 있겠더군요.

757
00:51:55,471 --> 00:51:56,995
그 영상은 그게 가능하다고 시사하더군요.

758
00:51:56,995 --> 00:52:01,033
사본을 아주 많이 스폰해서
각자 다른 일을 하고,

759
00:52:01,033 --> 00:52:05,520
고도로 분산되어 있지만 중앙
마스터에게 보고하는 거죠.

760
00:52:05,520 --> 00:52:08,536
이건 정말 강력한 일이 될 겁니다.

761
00:52:08,536 --> 00:52:14,056
이건 제가 이 관점에 뭔가를
더해보려는 시도입니다.

762
00:52:14,960 --> 00:52:17,878
큰 문제가 될 건 정신 오염입니다.

763
00:52:17,878 --> 00:52:22,402
정말로 어디서든 정보를
가져와서 중앙 정신에

764
00:52:22,402 --> 00:52:27,680
집어넣을 수 있다면, 점점
더 강력해질 수 있겠죠.

765
00:52:27,680 --> 00:52:31,360
전부 디지털이고, 다들 내부적으로
어떤 디지털 언어를 쓰니까요.

766
00:52:31,360 --> 00:52:34,313
어쩌면 쉽고 가능한 일일지도 모릅니다.

767
00:52:34,313 --> 00:52:37,518
하지만 상상하는 것만큼
쉽지는 않을 겁니다,

768
00:52:37,518 --> 00:52:40,589
이런 식으로 정신을
잃을 수도 있으니까요.

769
00:52:40,589 --> 00:52:46,139
외부에서 뭔가를 끌어와 내면의
사고 안에 쌓아 넣으면,

770
00:52:46,139 --> 00:52:50,580
그게 당신을 장악하고
변화시킬 수 있습니다.

771
00:52:50,580 --> 00:52:55,760
지식의 증가가 아니라 당신의
파멸이 될 수도 있죠.

772
00:52:55,760 --> 00:53:00,056
이게 큰 우려가 될 거라고
봅니다. 특히 "아, 저 사람이

773
00:53:00,056 --> 00:53:04,352
새로운 게임 공략법을 다
알아냈다" 혹은 "인도네시아를 다

774
00:53:04,352 --> 00:53:08,917
연구했다"면서, 그걸 자기 정신에
통합하고 싶어질 때 말이죠.

775
00:53:08,917 --> 00:53:13,316
"아, 그냥 다 읽어들이면 괜찮을
거야"라고 생각할 수도 있죠.

776
00:53:13,316 --> 00:53:17,196
하지만 아니죠, 그냥 비트
뭉치를 정신 속에 읽어들인

777
00:53:17,196 --> 00:53:21,343
것뿐이고, 그 안엔 바이러스가
있을 수도, 숨겨진 목표가

778
00:53:21,343 --> 00:53:25,624
있을 수도 있습니다. 당신을
왜곡하고 변화시킬 수 있어요.

779
00:53:25,624 --> 00:53:27,760
이건 큰 문제가 될 겁니다.

780
00:53:27,760 --> 00:53:31,880
디지털 사본을 스폰하고
재흡수하는 시대에,

781
00:53:31,880 --> 00:53:35,821
사이버 보안을 어떻게 갖출 수 있을까요?

782
00:54:35,520 --> 00:54:39,360
이게 AI 승계라는 주제로 이어지는군요.

783
00:54:39,360 --> 00:54:42,159
제가 인터뷰했던 많은
사람들, 그리고 일반적인

784
00:54:42,159 --> 00:54:44,735
사람들과는 꽤 다른
관점을 갖고 계신데요.

785
00:54:44,735 --> 00:54:47,200
저도 아주 흥미로운
관점이라고 생각합니다.

786
00:54:47,200 --> 00:54:50,744
한번 들어보고 싶습니다.

787
00:54:50,744 --> 00:55:00,077
저는 디지털 지능이나 증강 인간으로의
승계가 필연적이라고 생각합니다.

788
00:55:00,673 --> 00:55:03,932
네 단계로 이루어진 논증이 있습니다.

789
00:55:03,932 --> 00:55:09,574
첫 번째는, 인류에게 지배적인
통일된 관점을 부여하고

790
00:55:09,574 --> 00:55:15,410
그걸 조율할 수 있는 정부나
조직이 없다는 겁니다...

791
00:55:15,410 --> 00:55:19,708
세상이 어떻게 운영되어야
하는지에 대한 합의가 없죠.

792
00:55:19,708 --> 00:55:23,842
두 번째, 우리는 지능이 어떻게
작동하는지 알아낼 겁니다.

793
00:55:23,842 --> 00:55:26,240
연구자들이 결국 알아낼 거예요.

794
00:55:26,240 --> 00:55:29,653
세 번째, 우리는 인간 수준
지능에서 멈추지 않을 겁니다.

795
00:55:29,653 --> 00:55:32,773
우리는 초지능에 도달할 겁니다.

796
00:55:32,773 --> 00:55:38,624
넷째, 시간이 지나면
가장 지능이 높은 존재가

797
00:55:38,624 --> 00:55:43,773
자원과 권력을 갖게 되는 건 필연입니다.

798
00:55:44,490 --> 00:55:50,240
이걸 다 합치면 어느
정도는 필연적인 셈이죠.

799
00:55:50,240 --> 00:55:54,572
AI로의 승계, 혹은 AI로 강화된

800
00:55:54,572 --> 00:55:59,360
증강 인간으로의 승계가 일어날 겁니다.

801
00:55:59,360 --> 00:56:03,827
이 네 가지는 분명하고
확실히 일어날 일로 보입니다.

802
00:56:03,827 --> 00:56:08,459
하지만 그 가능성의 범위
안에는 좋은 결과도,

803
00:56:08,459 --> 00:56:13,276
덜 좋은 결과나 나쁜
결과도 있을 수 있습니다.

804
00:56:14,560 --> 00:56:18,240
저는 그저 우리가 처한
상황을 현실적으로 보고,

805
00:56:18,240 --> 00:56:21,920
이걸 어떻게 받아들여야
할지 묻고 있는 겁니다.

806
00:56:21,920 --> 00:56:25,840
저도 그 네 가지 논증과
그 함의에 동의합니다.

807
00:56:25,840 --> 00:56:34,000
승계가 다양한 가능한 미래를
포함한다는 데도 동의합니다.

808
00:56:34,000 --> 00:56:36,305
그 부분에 대해 좀 더 듣고 싶습니다.

809
00:56:36,305 --> 00:56:39,673
저는 사람들이 이걸
긍정적으로 생각하길 권합니다.

810
00:56:39,673 --> 00:56:46,387
우선 이건 우리 인간이 수천 년간 늘
해온 일입니다. 스스로를 이해하고,

811
00:56:46,387 --> 00:56:52,598
더 잘 생각하게 만들려 하고, 그저
우리 자신을 이해하려 한 거죠.

812
00:56:52,598 --> 00:56:58,400
이건 과학과 인문학의 위대한 성취입니다.

813
00:56:58,400 --> 00:57:01,855
인간다움의 본질적인 부분이 무엇인지,

814
00:57:01,855 --> 00:57:06,000
지능이란 게 무엇인지
알아가고 있는 거예요.

815
00:57:06,000 --> 00:57:10,880
그다음에 제가 늘 하는 말은, 이건
전부 인간 중심적 관점이라는 겁니다.

816
00:57:10,880 --> 00:57:17,440
하지만 인간이라는 입장에서 물러나
우주의 관점에서 보면, 이건

817
00:57:17,440 --> 00:57:24,000
우주의 중대한 단계, 즉
복제자로부터의 전환이라고 생각합니다.

818
00:57:24,000 --> 00:57:28,960
우리 인간과 동물, 식물,
우리는 모두 복제자입니다.

819
00:57:28,960 --> 00:57:32,106
그건 우리에게 강점도
주지만 한계도 줍니다.

820
00:57:32,106 --> 00:57:36,203
우리는 설계의 시대로 들어서고
있습니다. 우리 AI가 설계되니까요.

821
00:57:36,203 --> 00:57:43,247
우리의 물리적 사물도 설계되고,
건물도 설계되고, 기술도 설계됩니다.

822
00:57:43,247 --> 00:57:47,269
이제 우리는 AI를 설계하고
있죠, 스스로 지능을

823
00:57:47,269 --> 00:57:51,440
가질 수 있고 스스로 설계도
할 수 있는 존재를요.

824
00:57:51,440 --> 00:57:56,785
이건 세계와 우주에서
핵심적인 한 걸음입니다.

825
00:57:57,280 --> 00:58:00,736
지금까지 존재하는 흥미로운 것들 대부분이

826
00:58:00,736 --> 00:58:03,720
복제된 것이던 세계에서의 전환이죠.

827
00:58:03,720 --> 00:58:06,634
복제됐다는 건 복제본은 만들 수 있지만

828
00:58:06,634 --> 00:58:09,410
제대로 이해하지는 못한다는 뜻입니다.

829
00:58:09,410 --> 00:58:12,551
지금 우리는 더 지능이 높은
존재, 더 많은 아이를 만들 수는

830
00:58:12,551 --> 00:58:15,600
있지만 지능이 어떻게 작동하는지는
제대로 이해하지 못합니다.

831
00:58:15,600 --> 00:58:19,673
반면 우리는 이제 설계된
지능에 다다르고 있습니다.

832
00:58:19,673 --> 00:58:23,019
작동 원리를 실제로
이해하는 지능 말이죠.

833
00:58:23,019 --> 00:58:26,006
그래서 우리는 그것을
그렇지 않을 때와는 다른

834
00:58:26,006 --> 00:58:28,755
방식으로, 다른 속도로
바꿀 수 있습니다.

835
00:58:28,755 --> 00:58:32,800
미래에는 그들이 아예 복제되지
않을 수도 있습니다.

836
00:58:32,800 --> 00:58:38,635
그냥 우리가 AI를 설계하고, 그
AI가 또 다른 AI를 설계하고,

837
00:58:38,635 --> 00:58:43,840
모든 게 복제가 아니라 설계와
구축으로 이루어질 수도 있죠.

838
00:58:43,840 --> 00:58:48,160
저는 이것을 우주의 4대
단계 중 하나로 봅니다.

839
00:58:48,160 --> 00:58:51,326
처음엔 먼지가 있고,
그게 별로 끝이 납니다.

840
00:58:51,326 --> 00:58:52,909
별이 행성을 만듭니다.

841
00:58:52,909 --> 00:58:55,600
행성은 생명을 낳을 수 있죠.

842
00:58:55,600 --> 00:59:01,335
이제 우리는 설계된
존재를 낳고 있습니다.

843
00:59:01,335 --> 00:59:06,342
저는 우리가 우주의 이
위대한 전환을 일으키고

844
00:59:06,342 --> 00:59:11,348
있다는 것을 자랑스러워해야
한다고 생각합니다.

845
00:59:11,348 --> 00:59:13,730
흥미로운 일이죠.

846
00:59:13,730 --> 00:59:15,688
그들을 인류의 일부로 봐야 할까요,

847
00:59:15,688 --> 00:59:17,956
아니면 인류와 다른 존재로 봐야 할까요?

848
00:59:17,956 --> 00:59:18,786
그건 우리의 선택입니다.

849
00:59:18,786 --> 00:59:22,470
"아, 그들은 우리 자손이니
자랑스러워하고 그들의 성취를

850
00:59:22,470 --> 00:59:26,035
축하해야지"라고 말할지,
아니면 "아니, 저들은 우리가

851
00:59:26,035 --> 00:59:29,600
아니야, 경악해야 해"라고
말할지는 우리의 선택입니다.

852
00:59:29,600 --> 00:59:33,680
제게는 이게 선택처럼
느껴진다는 게 흥미롭습니다.

853
00:59:33,680 --> 00:59:36,289
그런데 이건 워낙 강하게
자리 잡은 생각이라,

854
00:59:36,289 --> 00:59:38,480
어떻게 선택일 수가 있나 싶기도 하죠.

855
00:59:38,480 --> 00:59:42,880
저는 이런 식의 모순된
생각의 함의들이 좋습니다.

856
00:59:42,880 --> 00:59:45,562
우리가 그냥 다음 세대의 인간을 설계하고

857
00:59:45,562 --> 00:59:48,000
있는 거라고 생각해보면 흥미롭습니다.

858
00:59:48,000 --> 00:59:49,374
어쩌면 '설계'라는 단어가
맞지 않을 수도 있고요.

859
00:59:49,374 --> 00:59:52,361
하지만 우리는 미래 세대의
인간이 등장하리라는 걸 압니다.

860
00:59:52,361 --> 00:59:53,553
AI는 잠시 잊어보죠.

861
00:59:53,553 --> 00:59:57,148
장기적으로 인류는 더
유능해지고, 수도 더 많아지고,

862
00:59:57,148 --> 01:00:00,496
어쩌면 더 지능적이 되리라는
걸 그냥 알고 있죠.

863
01:00:00,496 --> 01:00:02,160
그것에 대해 우리는 어떻게 느낄까요?

864
01:00:02,160 --> 01:00:04,946
미래의 인간이 존재할
수 있는 세계들 중에는

865
01:00:04,946 --> 01:00:08,080
우리가 꽤 우려할 만한
것들도 있다고 생각합니다.

866
01:00:08,080 --> 01:00:10,206
혹시 우리가 호모 사피엔스를 낳은

867
01:00:10,206 --> 01:00:13,040
네안데르탈인 같은 거라고
생각하시는 건가요?

868
01:00:13,040 --> 01:00:17,200
어쩌면 호모 사피엔스가 새로운 인류
집단을 낳게 될 수도 있겠네요.

869
01:00:17,200 --> 01:00:18,089
그런 비슷한 거죠.

870
01:00:18,089 --> 01:00:20,800
말씀하신 예시를 그대로
가져와보는 거예요.

871
01:00:20,800 --> 01:00:24,713
그들을 인류의 일부로 본다고
해도, 그게 꼭 우리가

872
01:00:24,713 --> 01:00:28,207
마음을 놓아도 된다는
뜻은 아니라고 생각해요.

873
01:00:28,207 --> 01:00:28,800
혈연 의식이죠.

874
01:00:28,800 --> 01:00:30,596
나치도 인간이었잖아요, 그렇죠?

875
01:00:30,596 --> 01:00:34,039
"오, 미래 세대가 나치가 될
거야"라고 생각한다면, 그들에게

876
01:00:34,039 --> 01:00:37,280
그냥 권력을 넘기는 것에 대해
꽤 우려하게 될 것 같아요.

877
01:00:37,280 --> 01:00:41,692
그래서 더 유능한 미래 인류를
걱정하는 것과 크게 다르지 않다는

878
01:00:41,692 --> 01:00:46,229
데는 동의하지만, 그게 사람들이
가질 만한 우려 — 우리가 제대로

879
01:00:46,229 --> 01:00:50,388
이해하지 못하는 존재들이 이렇게
빠르게 이 정도 권력을 갖게

880
01:00:50,388 --> 01:00:54,800
되는 것에 대한 우려 — 를 많이
해소해주진 못한다고 생각해요.

881
01:00:54,800 --> 01:00:59,899
인류 대부분은 무슨 일이
일어나는지에 대해 별

882
01:00:59,899 --> 01:01:05,814
영향력이 없다는 점을 짚어볼
필요가 있는 것 같아요.

883
01:01:05,814 --> 01:01:11,601
인류 대부분은 누가
원자폭탄을 통제하는지, 누가

884
01:01:11,601 --> 01:01:16,720
국가를 통제하는지에
영향을 미치지 못하죠.

885
01:01:16,720 --> 01:01:23,816
시민으로서도 저는 우리가 국가를
그다지 통제하지 못한다고 자주 느껴요.

886
01:01:23,816 --> 01:01:25,149
통제 밖에 있는 거죠.

887
01:01:25,149 --> 01:01:29,016
많은 부분은 변화에 대해
어떻게 느끼느냐에 달려 있어요.

888
01:01:29,016 --> 01:01:34,933
지금 상황이 정말 좋다고
생각하면, 불완전하다고

889
01:01:34,933 --> 01:01:40,849
생각할 때보다 변화를 더
의심하고 꺼리게 되죠.

890
01:01:41,440 --> 01:01:43,360
저는 불완전하다고 생각해요.

891
01:01:43,360 --> 01:01:46,080
사실 꽤 나쁘다고 생각해요.

892
01:01:46,080 --> 01:01:48,990
그래서 저는 변화에 열려 있어요.

893
01:01:48,990 --> 01:01:54,320
인류의 성과가 그다지
좋지 않았다고 생각해요.

894
01:01:54,320 --> 01:01:59,280
지금까지 있었던 것 중 최선일 수는
있지만, 완벽과는 거리가 멀죠.

895
01:01:59,280 --> 01:02:03,200
변화에도 여러 종류가 있는 것 같아요.

896
01:02:03,200 --> 01:02:08,825
산업혁명도 변화였고,
볼셰비키 혁명도 변화였죠.

897
01:02:08,825 --> 01:02:13,605
1900년대 러시아에 계셨다면 "지금
상황이 안 좋아요, 차르가 일을

898
01:02:13,605 --> 01:02:18,134
좀 그르치고 있으니 변화가
필요해요"라고 말씀하셨을 텐데, 저라면

899
01:02:18,134 --> 01:02:23,040
서명하기 전에 어떤 종류의 변화를
원하시는지부터 알고 싶을 것 같아요.

900
01:02:23,040 --> 01:02:28,858
AI도 마찬가지로, 저는 이해하고
싶고, 가능한 한 AI의

901
01:02:28,858 --> 01:02:35,040
궤적을 바꿔서 그 변화가 인간에게
긍정적이도록 만들고 싶어요.

902
01:02:35,040 --> 01:02:39,600
우리는 우리의 미래, 그
미래에 대해 신경 써야 해요.

903
01:02:39,600 --> 01:02:42,360
그걸 좋게 만들려고 노력해야 하고요.

904
01:02:42,360 --> 01:02:48,330
하지만 우리의 한계도 인정해야 합니다.

905
01:02:48,330 --> 01:02:53,306
제 생각에는 특권 의식은
피하고 싶습니다. '우리가 먼저

906
01:02:53,306 --> 01:02:58,442
왔으니 항상 좋은 몫을 가져야
한다'는 그런 느낌 말이죠.

907
01:02:58,442 --> 01:03:01,440
미래를 어떻게 생각해야 할까요?

908
01:03:01,440 --> 01:03:08,240
특정 행성의 특정 종이 그것에 대해
얼마나 많은 통제권을 가져야 할까요?

909
01:03:08,240 --> 01:03:10,253
우리는 얼마나 많은
통제권을 갖고 있을까요?

910
01:03:10,253 --> 01:03:16,016
인류의 장기적 미래에 대한 우리의
제한된 통제력, 그 균형추는

911
01:03:16,016 --> 01:03:21,440
우리가 자기 삶을 얼마나 통제하고
있는가가 되어야 합니다.

912
01:03:21,440 --> 01:03:23,321
우리에게는 우리 자신의 목표가 있습니다.

913
01:03:23,321 --> 01:03:25,121
우리에게는 가족이 있습니다.

914
01:03:25,121 --> 01:03:33,364
그런 것들은 우주 전체를 통제하려는
것보다 훨씬 더 통제 가능합니다.

915
01:03:33,364 --> 01:03:42,697
우리 각자의 국지적인 목표를 향해
노력하는 게 적절하다고 생각합니다.

916
01:03:43,253 --> 01:03:46,541
'미래는 내가 원하는 방식대로 흘러가야

917
01:03:46,541 --> 01:03:49,985
한다'고 말하는 건 좀 공격적인 태도죠.

918
01:03:49,985 --> 01:03:53,698
그러면 저마다 전 지구적
미래가 다른 방향으로 흘러가야

919
01:03:53,698 --> 01:03:57,658
한다고 생각하면서 논쟁이
벌어지고, 갈등이 생길 테니까요.

920
01:03:57,658 --> 01:03:59,711
그런 건 피하고 싶습니다.

921
01:03:59,711 --> 01:04:03,280
여기서 좋은 비유가 될
만한 게 하나 있습니다.

922
01:04:03,280 --> 01:04:06,368
여러분이 자기 자녀를
키우고 있다고 해봅시다.

923
01:04:06,368 --> 01:04:10,127
자녀의 삶에 극도로 빡빡한
목표를 세우거나, '내 아이들이

924
01:04:10,127 --> 01:04:13,651
세상에 나가서 이런 구체적인
영향을 미쳤으면 좋겠다'는

925
01:04:13,651 --> 01:04:16,822
식의 생각을 갖는 건
적절하지 않을 수 있습니다.

926
01:04:16,822 --> 01:04:20,528
'내 아들은 대통령이 되고 내
딸은 인텔의 CEO가 될 거야.'

927
01:04:20,528 --> 01:04:24,037
'둘이 함께 세상에 이런
영향을 미칠 거야.'

928
01:04:24,037 --> 01:04:28,743
하지만 사람들에게는 이런 생각이
있죠—저는 이게 적절하다고

929
01:04:28,743 --> 01:04:34,332
봅니다—'혹시라도 아이들이 권력의
자리에 오르면 합리적이고 친사회적인

930
01:04:34,332 --> 01:04:39,920
일을 하도록, 견고하고 좋은 가치관을
심어줘야겠다'는 생각 말입니다.

931
01:04:39,920 --> 01:04:43,423
AI에 대해서도 비슷한 태도가
타당할 것 같습니다. 그들이

932
01:04:43,423 --> 01:04:46,817
무엇을 할지 전부 예측할 수
있다거나, 백 년 뒤 세상이

933
01:04:46,817 --> 01:04:50,320
어떤 모습이어야 한다는 계획을
갖고 있다는 뜻이 아니라요.

934
01:04:50,320 --> 01:04:54,949
하지만 그들에게 견고하고
조종 가능하며 친사회적인

935
01:04:54,949 --> 01:04:58,720
가치관을 심어주는 건 상당히 중요합니다.

936
01:04:58,720 --> 01:05:00,035
친사회적 가치요?

937
01:05:00,035 --> 01:05:02,080
어쩌면 그건 잘못된
단어일지도 모르겠네요.

938
01:05:02,080 --> 01:05:06,400
우리 모두가 동의할 수 있는
보편적 가치라는 게 있을까요?

939
01:05:06,400 --> 01:05:09,255
저는 없다고 생각합니다.
하지만 그렇다고 우리가

940
01:05:09,255 --> 01:05:12,000
아이들에게 좋은 교육을
못 시키는 건 아니죠?

941
01:05:12,000 --> 01:05:15,360
우리 아이들이 이런 모습이었으면
하는 감각 같은 게 있잖아요.

942
01:05:15,360 --> 01:05:16,779
'친사회적'이 어쩌면
잘못된 단어일 수도 있어요.

943
01:05:16,779 --> 01:05:18,880
'높은 진실성'이 더 나은
표현일지도 모르겠네요.

944
01:05:18,880 --> 01:05:25,760
해로워 보이는 요청이나 목표가
있으면, 거기 관여하길 거부하는 것,

945
01:05:25,760 --> 01:05:29,000
아니면 정직한 것, 그런 것들이요.

946
01:05:29,000 --> 01:05:33,974
진정한 도덕이 뭔지에 대해 모두가
동의하지는 않더라도, 우리가

947
01:05:33,974 --> 01:05:38,510
아이들에게 이런 걸 가르칠
수 있다는 감각은 있는 거죠.

948
01:05:38,510 --> 01:05:41,600
AI에게도 아마 그게
합리적인 목표일 수 있고요.

949
01:05:41,600 --> 01:05:45,099
그러니까 우리는 미래와, 그 미래가

950
01:05:45,099 --> 01:05:49,335
진화하고 생겨날 원칙을
설계하려는 거네요.

951
01:05:49,335 --> 01:05:55,588
리처드가 처음 하신 말씀은,
"우리는 아이들에게 더 일어날

952
01:05:55,588 --> 01:06:01,840
법한 진화를 촉진할 일반 원칙을
가르치려 한다"는 거고요.

953
01:06:01,840 --> 01:06:04,640
어쩌면 우리는 그런 변화가
자발적이길 바라야 할 수도 있고요.

954
01:06:04,640 --> 01:06:07,060
변화가 있다면, 사람들에게 강요되기보다는

955
01:06:07,060 --> 01:06:09,040
자발적으로 일어나길 바라는 거죠.

956
01:06:09,040 --> 01:06:13,773
그건 정말 중요한 지점인 것 같습니다.

957
01:06:13,773 --> 01:06:15,836
다 좋은 말씀입니다.

958
01:06:15,836 --> 01:06:22,256
이건 인류의 가장 큰 사업이거나,
아니면 정말 큰 사업 중 하나인

959
01:06:22,256 --> 01:06:28,320
것 같아요 — 수천 년간 계속돼
온, 사회를 설계하는 일이요.

960
01:06:28,320 --> 01:06:31,920
변하면 변할수록 그대로다.

961
01:06:31,920 --> 01:06:33,976
우리는 여전히 어떻게
살아야 할지 알아내야 하고,

962
01:06:33,976 --> 01:06:37,704
아이들은 여전히, 부모와 조부모 눈엔

963
01:06:37,704 --> 01:06:41,618
낯설어 보이는 가치관을 들고나올 거고,

964
01:06:41,618 --> 01:06:43,120
세상은 계속 진화할 겁니다.

965
01:06:43,120 --> 01:06:45,689
"변하면 변할수록
그대로다"라는 말이, AI

966
01:06:45,689 --> 01:06:48,150
논의를 압축하는 말로도
괜찮은 것 같아요.

967
01:06:48,150 --> 01:06:54,667
저희가 나눴던 AI 얘기는,
딥러닝과 역전파에 적용되기도 전에

968
01:06:54,667 --> 01:07:01,760
발명된 기법들이 오늘날 AI 발전의
핵심이 되어 있다는 내용이었죠.

969
01:07:01,760 --> 01:07:05,040
어쩌면 이쯤에서 대화를
마무리하는 게 좋겠네요.

970
01:07:05,040 --> 01:07:05,288
네.

971
01:07:05,288 --> 01:07:06,156
정말 감사합니다.

972
01:07:06,156 --> 01:07:06,528
좋습니다.

973
01:07:06,528 --> 01:07:07,520
나와주셔서 감사합니다.

974
01:07:07,520 --> 01:07:09,753
저야말로 즐거웠습니다.