1
00:00:00,200 --> 00:00:06,000
한글 자막 — Junwon Lee (romaanj.github.io/talks)
원본: Dwarkesh Patel 채널 (YouTube) · 기계번역 보조, 오류 제보 환영

2
00:00:48,560 --> 00:00:50,787
오늘은 안드레이 카파시와
이야기를 나눠보겠습니다.

3
00:00:50,787 --> 00:00:53,386
안드레이, 왜 이걸
'에이전트의 해'가 아니라

4
00:00:53,386 --> 00:00:55,778
'에이전트의 10년'이라고
하시는 건가요?

5
00:00:55,778 --> 00:00:58,308
먼저, 이 자리에 초대해
주셔서 감사합니다.

6
00:00:58,308 --> 00:00:59,598
이렇게 함께하게 되어 기쁘네요.

7
00:00:59,598 --> 00:01:02,638
방금 말씀하신 '에이전트의 10년'이라는

8
00:01:02,638 --> 00:01:06,230
표현은 사실 기존에 있던
말에 대한 반응이에요.

9
00:01:06,230 --> 00:01:11,473
누가 한 말인지는 정확히
모르겠지만, LLM이 앞으로 어떻게

10
00:01:11,473 --> 00:01:16,240
진화할지를 두고 '에이전트의
해'라고 암시한 거였어요.

11
00:01:16,240 --> 00:01:18,928
그 말에 좀 자극을
받았는데, 업계에 과도한

12
00:01:18,928 --> 00:01:21,280
예측이 퍼져 있다고 느꼈기 때문이에요.

13
00:01:21,280 --> 00:01:23,496
제 생각엔 이건
'에이전트의 10년'이라고

14
00:01:23,496 --> 00:01:25,520
하는 게 더 정확한 표현인 것 같아요.

15
00:01:25,520 --> 00:01:29,117
지금도 아주 초기 단계의
에이전트들, 그러니까 Claude나

16
00:01:29,117 --> 00:01:32,388
Codex 같은 것들이 정말
인상적이고 저도 매일 쓰고

17
00:01:32,388 --> 00:01:35,440
있지만, 아직 해야 할 일이
정말 많다고 느껴져요.

18
00:01:35,440 --> 00:01:36,929
그래서 제 반응은,
우리가 이 녀석들과 앞으로

19
00:01:36,929 --> 00:01:38,240
10년은 함께 일하게 될 거라는 거예요.

20
00:01:38,240 --> 00:01:42,000
계속 더 좋아질 거고, 정말
멋진 일이 될 거예요.

21
00:01:42,000 --> 00:01:46,880
저는 그냥 그 말이 함축하는
시간축에 반응한 거였어요.

22
00:01:46,880 --> 00:01:49,473
그럼 10년이 걸릴 거라고
보시는 건 구체적으로 뭔가요?

23
00:01:49,473 --> 00:01:51,840
병목은 뭔가요?

24
00:01:51,840 --> 00:01:53,062
실제로 작동하게 만드는 것, 그 자체요.

25
00:01:53,062 --> 00:01:56,119
에이전트라고 할 때, 그러니까
랩들이 염두에 둔 것,

26
00:01:56,119 --> 00:01:59,176
그리고 아마 저도 마찬가지인데,
이건 거의 같이 일할

27
00:01:59,176 --> 00:02:02,022
직원이나 인턴을 채용하는
것처럼 생각하시면 돼요.

28
00:02:02,022 --> 00:02:04,720
예를 들어 여기서도 몇몇
직원분들과 함께 일하시잖아요.

29
00:02:04,720 --> 00:02:06,623
그 일을 Claude나
Codex 같은 에이전트가

30
00:02:06,623 --> 00:02:08,244
대신 하게 하고 싶어지는
건 언제쯤일까요?

31
00:02:08,244 --> 00:02:09,649
지금은 당연히 못 하죠.

32
00:02:09,649 --> 00:02:11,760
그게 가능해지려면 뭐가 필요할까요?

33
00:02:11,760 --> 00:02:12,820
지금은 왜 그렇게 안 하시는 거죠?

34
00:02:12,820 --> 00:02:15,670
지금 안 하시는 이유는, 그냥 아직
제대로 작동을 안 하기 때문이에요.

35
00:02:15,670 --> 00:02:18,434
지능이 충분치 않고,
멀티모달 능력도 부족하고,

36
00:02:18,434 --> 00:02:20,880
컴퓨터 사용 같은 것도
제대로 못 하고요.

37
00:02:20,880 --> 00:02:23,513
아까 말씀하신 것들 중에도
못 하는 게 많고요.

38
00:02:23,513 --> 00:02:24,909
연속 학습 능력도 없어요.

39
00:02:24,909 --> 00:02:27,120
그냥 뭔가 말해준다고 그걸
기억하는 게 아니에요.

40
00:02:27,120 --> 00:02:30,560
인지적으로 결핍돼 있어서,
그냥 잘 안 되는 거예요.

41
00:02:30,560 --> 00:02:32,800
이 모든 문제를 다 해결하는 데
대략 10년 정도 걸릴 거예요.

42
00:02:32,800 --> 00:02:34,165
흥미롭네요.

43
00:02:34,165 --> 00:02:38,762
전문 팟캐스터로서, 그리고
AI를 멀리서 지켜보는 사람으로서

44
00:02:38,762 --> 00:02:42,662
저도 뭐가 부족한지는 쉽게
짚을 수 있어요 — 연속

45
00:02:42,662 --> 00:02:47,120
학습이 부족하다, 멀티모달리티가
부족하다, 이런 식으로요.

46
00:02:47,120 --> 00:02:52,720
하지만 거기에 정확히 언제까지라고
못 박을 좋은 방법은 딱히 없어요.

47
00:02:52,720 --> 00:02:57,200
누가 연속 학습이 얼마나 걸릴지
물으면, 이게 5년짜리 프로젝트인지

48
00:02:57,200 --> 00:03:01,196
10년짜리인지 50년짜리인지에
대한 사전 감이 전혀 없어요.

49
00:03:01,196 --> 00:03:02,020
왜 10년인가요?

50
00:03:02,020 --> 00:03:03,327
왜 1년은 아닌가요?

51
00:03:03,327 --> 00:03:04,633
왜 50년은 아닌가요?

52
00:03:04,633 --> 00:03:10,034
여기서부터는 제 나름의 직관이
좀 들어가는데요, 이 분야에서의

53
00:03:10,034 --> 00:03:14,640
제 경험을 바탕으로 어느
정도 외삽을 해보는 거예요.

54
00:03:14,640 --> 00:03:17,068
저는 거의 20년
가까이 AI를 해왔어요.

55
00:03:17,068 --> 00:03:19,920
15년 정도예요, 그렇게 길지는 않고요.

56
00:03:19,920 --> 00:03:23,040
여기 리처드 서튼도 나오셨었는데,
그분은 훨씬 더 오래 계셨죠.

57
00:03:23,040 --> 00:03:25,571
그래도 저는 사람들이
예측을 하고 그게 어떻게

58
00:03:25,571 --> 00:03:28,000
됐는지 지켜본 경험이
15년 정도는 있어요.

59
00:03:28,000 --> 00:03:30,247
또 저는 한동안 업계에
있었고, 연구 쪽에도

60
00:03:30,247 --> 00:03:32,400
있었고, 업계에서
한동안 일하기도 했어요.

61
00:03:32,400 --> 00:03:37,760
거기서 남은 전반적인 직관이 있어요.

62
00:03:37,760 --> 00:03:40,735
이 문제들이 다룰 수
있고 극복 가능한 것

63
00:03:40,735 --> 00:03:43,840
같지만, 그래도 여전히
어렵다는 느낌이에요.

64
00:03:43,840 --> 00:03:47,040
그냥 평균을 내보면, 제겐
대략 10년 정도로 느껴져요.

65
00:03:47,040 --> 00:03:48,686
이거 꽤 흥미롭네요.

66
00:03:48,686 --> 00:03:53,179
역사 자체뿐 아니라, 여러
돌파구의 순간마다 그 자리에 있던

67
00:03:53,179 --> 00:03:58,080
사람들이 앞으로 무슨 일이 일어날
거라고 느꼈는지도 듣고 싶어요.

68
00:03:58,080 --> 00:04:00,564
그 느낌들이 어떤 식으로 지나치게

69
00:04:00,564 --> 00:04:03,600
비관적이었거나, 지나치게 낙관적이었나요?

70
00:04:03,600 --> 00:04:05,451
하나씩 차례로 짚어볼까요?

71
00:04:05,451 --> 00:04:07,312
그건 엄청나게 큰
질문이에요, 15년 동안

72
00:04:07,312 --> 00:04:08,930
일어난 일들을 다 얘기하는 거니까요.

73
00:04:08,930 --> 00:04:13,098
AI가 정말 멋진 이유는, 분야
전체가 갑자기 완전히 다른 모습으로

74
00:04:13,098 --> 00:04:17,040
보이게 되는 지각변동 같은 순간들이
여러 번 있었기 때문이에요.

75
00:04:17,040 --> 00:04:19,247
저도 아마 그런 걸 두세
번은 겪은 것 같아요.

76
00:04:19,247 --> 00:04:25,200
앞으로도 계속 있을 거라고 봐요,
놀라울 정도로 규칙적으로 찾아오거든요.

77
00:04:25,200 --> 00:04:28,381
제 경력이 시작될 때, 딥러닝을
시작했을 때, 딥러닝에

78
00:04:28,381 --> 00:04:31,455
관심을 갖게 됐을 때, 그건
우연히 토론토 대학교에서

79
00:04:31,455 --> 00:04:34,000
제프리 힌튼 바로 옆에
있었기 때문이었어요.

80
00:04:34,000 --> 00:04:37,040
제프리 힌튼은 물론 AI의
대부 같은 인물이죠.

81
00:04:37,040 --> 00:04:38,582
그는 온갖 신경망들을
훈련시키고 있었어요.

82
00:04:38,582 --> 00:04:40,160
저는 그게 정말 놀랍고
흥미롭다고 생각했어요.

83
00:04:40,160 --> 00:04:43,680
당시 AI 업계 사람들 대부분이
하던 주된 일과는 거리가 멀었죠.

84
00:04:43,680 --> 00:04:46,560
그냥 곁가지의 작은 틈새 주제였어요.

85
00:04:46,560 --> 00:04:49,096
그게 아마 AlexNet과 함께 찾아온

86
00:04:49,096 --> 00:04:51,633
첫 번째 극적인 지각변동이었을 거예요.

87
00:04:51,633 --> 00:04:55,412
AlexNet이 다들 방향을 바꾸게
했고, 다들 신경망을 훈련시키기

88
00:04:55,412 --> 00:04:59,600
시작했지만, 그래도 여전히 과제별로,
특정 과제 하나하나에 맞춘 거였어요.

89
00:04:59,600 --> 00:05:04,400
예를 들면 이미지 분류기 하나, 신경망
기계번역기 하나, 그런 식이었죠.

90
00:05:04,400 --> 00:05:07,715
사람들은 아주 서서히 에이전트에
관심을 갖기 시작했어요.

91
00:05:07,715 --> 00:05:11,761
"좋아, 시각피질 부분은 이제
체크했다 치고, 뇌의 나머지

92
00:05:11,761 --> 00:05:15,554
부분들은? 세상과 상호작용할
수 있는 온전한 에이전트,

93
00:05:15,554 --> 00:05:19,600
온전한 개체는 어떻게 얻지?"
라고 생각하기 시작한 거죠.

94
00:05:19,600 --> 00:05:24,554
제 생각엔 2013년쯤 있었던 아타리
심층강화학습으로의 전환이 그 초기

95
00:05:24,554 --> 00:05:29,253
에이전트 노력의 일부였어요, 세상을
지각할 뿐 아니라 행동을 취하고

96
00:05:29,253 --> 00:05:34,080
상호작용하고 환경에서 보상을 받는
에이전트를 만들려는 시도였으니까요.

97
00:05:34,080 --> 00:05:36,605
당시엔 그게 아타리 게임이었죠.

98
00:05:36,605 --> 00:05:39,680
저는 그게 헛발질이었다고 생각해요.

99
00:05:39,680 --> 00:05:44,439
제가 몸담았던 초기 OpenAI조차
받아들였던 헛발질이었어요, 그 시절

100
00:05:44,439 --> 00:05:49,321
시대정신이 강화학습 환경, 게임, 게임
플레이, 게임 깨기, 온갖 종류의

101
00:05:49,321 --> 00:05:54,080
게임을 확보하는 거였고, OpenAI도
그런 걸 많이 하고 있었거든요.

102
00:05:54,080 --> 00:05:58,952
그게 AI의 또 다른 두드러진
부분이었는데, 한 2,

103
00:05:58,952 --> 00:06:04,161
3, 4년 동안은 다들 게임에
강화학습을 하고 있었어요.

104
00:06:04,161 --> 00:06:06,800
그것도 다 조금은 헛발질이었죠.

105
00:06:06,800 --> 00:06:09,200
제가 OpenAI에서
하려던 건... 저는 늘

106
00:06:09,200 --> 00:06:11,983
게임이 AGI로 이어질
거라는 데 좀 회의적이었어요.

107
00:06:11,983 --> 00:06:14,679
왜냐하면 제 생각엔,
회계사 같은 것, 실제

108
00:06:14,679 --> 00:06:17,600
세상과 상호작용하는 뭔가가
필요하다고 봤거든요.

109
00:06:17,600 --> 00:06:20,480
게임이 어떻게 그런 걸로 이어지는지
도무지 알 수가 없었어요.

110
00:06:20,480 --> 00:06:23,316
예를 들어 제가 OpenAI에서
했던 프로젝트는

111
00:06:23,316 --> 00:06:26,807
유니버스(Universe)
프로젝트 범위 안에서, 키보드와

112
00:06:26,807 --> 00:06:30,080
마우스로 웹페이지를 조작하는
에이전트에 관한 거였어요.

113
00:06:30,080 --> 00:06:32,964
저는 정말로 실제 디지털
세상과 상호작용하면서

114
00:06:32,964 --> 00:06:35,501
지식노동을 할 수 있는 뭔가를 원했어요.

115
00:06:35,501 --> 00:06:38,843
그런데 결과적으로 그건 너무
일렀어요, 훨씬 너무 일러서,

116
00:06:38,843 --> 00:06:42,080
우리가 그 작업을 하지 말았어야
할 정도로 일렀던 거죠.

117
00:06:42,080 --> 00:06:45,694
왜냐하면 그냥 이리저리 헤매면서
키보드를 마구 두드리고

118
00:06:45,694 --> 00:06:48,827
마우스를 클릭하면서 이런
환경에서 보상을 얻으려

119
00:06:48,827 --> 00:06:52,080
하면, 보상이 너무 희박해서
학습이 안 되거든요.

120
00:06:52,080 --> 00:06:54,626
숲 하나를 통째로 태울
만큼 컴퓨팅을 쏟아붓고도,

121
00:06:54,626 --> 00:06:56,794
결국 아무것도 제대로
띄우지 못할 거예요.

122
00:06:56,794 --> 00:07:00,440
그때 빠져 있던 건 신경망이
가진 표현력이라는 힘이었어요.

123
00:07:00,440 --> 00:07:02,928
예를 들어 요즘 사람들이
컴퓨터를 사용하는 에이전트를

124
00:07:02,928 --> 00:07:05,760
학습시키는데, 그것도 거대 언어
모델 위에서 하고 있잖아요.

125
00:07:05,760 --> 00:07:08,715
언어 모델을 먼저 얻어야 하고,
표현을 먼저 얻어야 하는데,

126
00:07:08,715 --> 00:07:11,760
그건 사전학습과 LLM 관련
작업들을 통해서만 가능한 거예요.

127
00:07:11,760 --> 00:07:17,280
대략 말하면, 사람들이 몇 번이고
너무 일찍 완성형을 만들려고

128
00:07:17,280 --> 00:07:22,800
했던 것 같아요. 에이전트를 정말
너무 일찍부터 좇았던 거죠.

129
00:07:22,800 --> 00:07:24,592
아타리도 그랬고,
유니버스(Universe)도

130
00:07:24,592 --> 00:07:26,240
그랬고, 심지어 제
경험도 마찬가지였어요.

131
00:07:26,240 --> 00:07:30,560
그런 에이전트에 도달하려면 실제로
먼저 해둬야 할 것들이 있는 거예요.

132
00:07:30,560 --> 00:07:33,268
지금은 에이전트가 훨씬
더 유능해졌지만, 그래도

133
00:07:33,268 --> 00:07:36,080
그 스택의 일부는 여전히
빠져 있을 수도 있어요.

134
00:07:36,080 --> 00:07:40,899
사람들이 하던 일을 크게 세
갈래로 나눌 수 있을 것 같아요.

135
00:07:40,899 --> 00:07:46,143
과제별로 신경망을 학습시키던 것,
첫 번째 에이전트 시도들, 그리고

136
00:07:46,143 --> 00:07:51,103
다른 걸 얹기 전에 신경망의
표현력부터 추구했던 LLM 단계요.

137
00:07:51,103 --> 00:07:51,847
흥미롭네요.

138
00:07:51,847 --> 00:07:54,498
서튼의 관점을 최대한
옹호해보자면, 인간은 그냥

139
00:07:54,498 --> 00:07:57,148
모든 걸 한 번에 해낼
수 있다는 거고, 심지어

140
00:07:57,148 --> 00:07:59,901
동물도 모든 걸 한 번에
해낼 수 있다는 거예요.

141
00:07:59,901 --> 00:08:03,682
동물이 오히려 더 나은 예일 수도
있는데, 언어라는 발판조차 없으니까요.

142
00:08:03,682 --> 00:08:06,914
그냥 세상에 던져져서, 아무 라벨도 없이

143
00:08:06,914 --> 00:08:10,000
모든 걸 스스로 파악해내야 하는 거죠.

144
00:08:10,000 --> 00:08:14,274
그럼 AGI의 비전은 그냥 감각
데이터를 보고, 컴퓨터 화면을

145
00:08:14,274 --> 00:08:18,800
보고, 처음부터 스스로 상황을
파악해내는 존재여야 한다는 거고요.

146
00:08:18,800 --> 00:08:21,722
인간을 비슷한 상황에 놓고
처음부터 학습시켜야 한다면…

147
00:08:21,722 --> 00:08:24,166
이건 인간이 자라나는 것, 혹은
동물이 자라나는 것과 같은 거예요.

148
00:08:24,166 --> 00:08:27,097
수백만 년치 학습을 시키는
지금 방식 대신, 그게

149
00:08:27,097 --> 00:08:29,920
AI의 비전이 되지 말아야
할 이유가 있을까요?

150
00:08:29,920 --> 00:08:31,992
정말 좋은 질문이네요.

151
00:08:31,992 --> 00:08:36,946
서튼이 이 팟캐스트에 나오셨었죠,
그 방송을 봤고 그에 대한

152
00:08:36,946 --> 00:08:41,600
글도 썼는데, 거기서 제가
어떻게 보는지 조금 다뤘어요.

153
00:08:41,600 --> 00:08:44,753
저는 동물에 빗대는 데 아주
조심스러운 편인데, 동물은

154
00:08:44,753 --> 00:08:48,116
완전히 다른 최적화 과정을 거쳐
나온 존재이기 때문이에요.

155
00:08:48,116 --> 00:08:52,779
동물은 진화한 존재라서, 엄청난 양의
하드웨어가 이미 내장돼 있어요.

156
00:08:52,779 --> 00:08:55,840
예를 들어 제 글에서
든 예는 얼룩말이었어요.

157
00:08:55,840 --> 00:08:59,280
얼룩말은 태어나고 몇 분만 지나면
뛰어다니면서 어미를 따라가요.

158
00:08:59,280 --> 00:09:01,708
그건 정말 엄청나게 복잡한 일이에요.

159
00:09:01,708 --> 00:09:03,596
그건 강화학습이 아니에요.

160
00:09:03,596 --> 00:09:05,192
그건 이미 타고난 거예요.

161
00:09:05,192 --> 00:09:08,319
진화가 우리 신경망의 가중치를
ATCG로 인코딩하는 방법을

162
00:09:08,319 --> 00:09:11,349
갖고 있다는 건 분명한데,
그게 어떻게 작동하는지는 전혀

163
00:09:11,349 --> 00:09:14,085
모르겠어요. 그런데 어쨌든
작동은 하는 것 같아요.

164
00:09:14,640 --> 00:09:18,784
뇌는 완전히 다른 과정에서 나온
거라, 거기서 영감을 얻는 데는

165
00:09:18,784 --> 00:09:23,165
조심스러워요. 우리가 실제로 그
과정을 돌리고 있는 건 아니니까요.

166
00:09:23,165 --> 00:09:25,760
제 글에서 저는 우리가 동물을
만드는 게 아니라고 했어요.

167
00:09:25,760 --> 00:09:30,171
우리는 유령이나 영혼,
뭐라고 부르든 그런 걸 만들고

168
00:09:30,171 --> 00:09:34,583
있는 거예요. 진화를 통해
학습시키는 게 아니니까요.

169
00:09:34,583 --> 00:09:37,640
우리는 인간과 그들이
인터넷에 올린 데이터를

170
00:09:37,640 --> 00:09:40,188
모방하는 방식으로 학습시키고 있어요.

171
00:09:40,188 --> 00:09:42,866
그래서 결국 이런 유령 같은
존재들이 나오는 거예요.

172
00:09:42,866 --> 00:09:45,360
완전히 디지털이면서 인간을
흉내 내고 있으니까요.

173
00:09:45,360 --> 00:09:47,019
다른 종류의 지능인 거죠.

174
00:09:47,019 --> 00:09:49,056
지능의 공간을 상상해본다면, 우리는 거의

175
00:09:49,056 --> 00:09:51,000
다른 지점에서 출발하고 있는 셈이에요.

176
00:09:51,000 --> 00:09:52,663
우리는 사실 동물을
만들고 있는 게 아니에요.

177
00:09:52,663 --> 00:09:55,736
하지만 시간이 지나면서 좀
더 동물에 가깝게 만드는

178
00:09:55,736 --> 00:09:58,480
것도 가능하고, 저는
그래야 한다고 생각해요.

179
00:09:58,480 --> 00:09:59,593
한 가지만 더요.

180
00:09:59,593 --> 00:10:01,750
저는 서튼이 정말...

181
00:10:01,750 --> 00:10:04,880
그의 프레임워크는 '우리는
동물을 만들고 싶다'는 거예요.

182
00:10:04,880 --> 00:10:06,929
그게 실제로 작동한다면 정말
멋질 거라고 생각해요.

183
00:10:06,929 --> 00:10:07,680
그야말로 놀라운 일일 거예요.

184
00:10:07,680 --> 00:10:11,820
인터넷에 그냥 돌리기만 하면
모든 걸 학습하는 단일

185
00:10:11,820 --> 00:10:15,960
알고리즘이 있다면, 그건
정말 대단한 일일 거예요.

186
00:10:15,960 --> 00:10:19,985
그런 게 존재하는지는 잘
모르겠고, 확실히 동물들이 하는

187
00:10:19,985 --> 00:10:24,400
방식도 아니에요. 동물에게는
진화라는 외부 루프가 있으니까요.

188
00:10:24,400 --> 00:10:28,400
학습처럼 보이는 것 중 많은
부분은 사실 뇌의 성숙에 가까워요.

189
00:10:28,400 --> 00:10:32,880
동물에게는 강화학습이
거의 없다고 생각해요.

190
00:10:32,880 --> 00:10:37,120
강화학습의 많은 부분은 운동 과제에
가깝지, 지능 과제가 아니에요.

191
00:10:37,120 --> 00:10:39,120
그래서 사실 대략적으로 말하면, 인간은

192
00:10:39,120 --> 00:10:41,120
RL을 그다지 쓰지 않는다고 생각해요.

193
00:10:41,120 --> 00:10:42,113
마지막 문장 다시요?

194
00:10:42,113 --> 00:10:44,122
그 지능 중 많은 부분은 운동 과제가
아니라... 그게, 뭐라고 하셨죠?

195
00:10:44,122 --> 00:10:48,619
제 관점에서는, 강화학습(RL)의
상당 부분은 훨씬 더 운동에

196
00:10:48,619 --> 00:10:53,116
가까운 일들일 거예요, 후프에
공 던지기 같은 단순한 과제요.

197
00:10:53,440 --> 00:10:56,366
하지만 인간이 문제
해결 같은 지적인 과제

198
00:10:56,366 --> 00:10:59,546
대부분에 강화학습을
쓴다고는 생각하지 않아요.

199
00:10:59,546 --> 00:11:02,781
그렇다고 연구에서 그걸 하지
말아야 한다는 건 아니지만, 그게

200
00:11:02,781 --> 00:11:05,920
동물이 하는 일인지 아닌지,
그냥 그런 느낌이 들 뿐이에요.

201
00:11:05,920 --> 00:11:09,600
여러 아이디어가 섞여 있어서, 잠깐
소화할 시간을 좀 가져볼게요.

202
00:11:09,600 --> 00:11:15,280
그 관점을 이해하기 위해 명확히
해볼 질문이 하나 있어요.

203
00:11:15,280 --> 00:11:19,569
말씀은, 진화가 사전학습과
비슷한 일을 한다는 거잖아요

204
00:11:19,569 --> 00:11:24,000
— 세상을 이해할 수 있는
무언가를 만든다는 의미에서요.

205
00:11:24,000 --> 00:11:28,326
차이는, 인간의 경우
진화가 3기가바이트의

206
00:11:28,326 --> 00:11:32,840
DNA를 통해 조금씩
조정돼야 한다는 거죠.

207
00:11:32,840 --> 00:11:37,360
그건 모델의 가중치와는 많이 다르고요.

208
00:11:37,360 --> 00:11:41,268
말 그대로, 모델의
가중치는 뇌인데, 그건

209
00:11:41,268 --> 00:11:44,837
정자와 난자에는 당연히 존재하지 않죠.

210
00:11:44,837 --> 00:11:46,560
그러니까 그건 자라나야 하는 거고요.

211
00:11:46,560 --> 00:11:49,575
게다가, 뇌의 시냅스
하나하나에 대한 정보가

212
00:11:49,575 --> 00:11:53,093
DNA 속 3기가바이트 안에
존재할 수는 없잖아요.

213
00:11:53,093 --> 00:11:55,516
진화는 오히려, 평생에
걸친 학습을 수행할

214
00:11:55,516 --> 00:11:58,256
알고리즘을 찾아내는 쪽에
더 가까운 것 같아요.

215
00:11:58,256 --> 00:12:02,613
다만 말씀하신 대로, 그 평생 학습이
RL과 유사하지 않을 수도 있고요.

216
00:12:02,613 --> 00:12:05,788
이게 말씀하신 것과 양립 가능한가요,
아니면 동의하지 않으시나요?

217
00:12:05,788 --> 00:12:06,087
그런 것 같아요.

218
00:12:06,087 --> 00:12:09,284
어떤 기적적인 압축이 일어나고
있다는 데는 동의해요, 신경망의

219
00:12:09,284 --> 00:12:12,105
가중치가 ATCG로 저장돼
있는 건 당연히 아니니까요.

220
00:12:12,105 --> 00:12:14,000
극적인 압축이 있는 거죠.

221
00:12:14,000 --> 00:12:16,302
어떤 학습 알고리즘들이
인코딩돼 있어서, 그게

222
00:12:16,302 --> 00:12:18,880
넘겨받아 온라인으로 학습의
일부를 수행하는 거고요.

223
00:12:18,880 --> 00:12:20,984
그 부분은 확실히 동의해요.

224
00:12:20,984 --> 00:12:23,600
저는 훨씬 더 실용적인
쪽에 가까운 것 같아요.

225
00:12:23,600 --> 00:12:26,080
'동물을 만들자'는 관점에서
접근하는 게 아니에요.

226
00:12:26,080 --> 00:12:28,960
'쓸모 있는 걸 만들자'는
관점에서 접근하는 거죠.

227
00:12:28,960 --> 00:12:31,675
저는 안전모를 쓰고, 그냥 이렇게
보는 거예요 — 우리는 진화를

228
00:12:31,675 --> 00:12:34,467
하지는 않을 거다, 왜냐하면 저는
그걸 어떻게 하는지 모르니까요.

229
00:12:34,467 --> 00:12:37,491
하지만 실제로 밝혀진 건,
인터넷 문서를 모방함으로써

230
00:12:37,491 --> 00:12:40,724
이런 유령, 영혼 같은 존재들을
만들 수 있다는 거예요.

231
00:12:40,724 --> 00:12:41,546
이게 통해요.

232
00:12:41,546 --> 00:12:46,073
그건 어떤 면에서 진화가 해온
것과 비슷하게, 이미 많은

233
00:12:46,073 --> 00:12:50,453
지식과 지능이 내장된 상태로
끌어올려주는 방법인 거죠.

234
00:12:50,453 --> 00:12:53,545
그래서 저는 사전학습을
"조잡한 진화"라고 부릅니다.

235
00:12:53,545 --> 00:12:58,343
우리가 가진 기술과 자원으로
실현 가능한 버전인 거예요,

236
00:12:58,343 --> 00:13:03,451
강화학습 같은 걸 할 수 있는
출발점에 도달하기 위한 거죠.

237
00:13:03,451 --> 00:13:06,226
반대 관점을 최대한
옹호해보자면, 서튼과 인터뷰하고

238
00:13:06,226 --> 00:13:09,200
좀 생각해봤는데요, 그분이
중요한 지점을 짚었더라고요.

239
00:13:09,200 --> 00:13:11,690
사실 진화는 우리에게
지식을 주는 건 아니잖아요.

240
00:13:11,690 --> 00:13:16,589
지식을 찾아내는 알고리즘을 주는
거고, 그건 사전학습과는 달라 보여요.

241
00:13:16,589 --> 00:13:18,917
아마 사전학습이 더 잘 학습할 수 있는

242
00:13:18,917 --> 00:13:21,578
존재를 만드는 데 도움을
준다는 관점이겠죠.

243
00:13:21,578 --> 00:13:25,707
메타학습을 가르치는 거니까, 알고리즘을
찾아내는 것과 비슷하다는 거고요.

244
00:13:25,707 --> 00:13:28,574
근데 만약 "진화는 지식을
주고, 사전학습도 지식을

245
00:13:28,574 --> 00:13:31,440
준다"는 식이라면, 그
비유는 무너지는 것 같아요.

246
00:13:31,440 --> 00:13:34,634
미묘한 지점이고 반박하신
게 맞다고 생각해요, 근데

247
00:13:34,634 --> 00:13:37,943
기본적으로 사전학습이 하는
일은, 인터넷 전체에 대한

248
00:13:37,943 --> 00:13:41,365
다음 토큰 예측기를 얻어서
신경망에 학습시키는 거예요.

249
00:13:41,365 --> 00:13:43,680
서로 무관한 두 가지 일을 하는 거죠.

250
00:13:43,680 --> 00:13:46,080
첫째, 제가 말하는 그 모든
지식을 습득하는 거고요.

251
00:13:46,080 --> 00:13:48,710
둘째, 실제로 지능을 갖게 되는 거예요.

252
00:13:48,710 --> 00:13:53,414
인터넷 속 알고리즘적 패턴들을
관찰하면서, 신경망 내부에 작은 회로와

253
00:13:53,414 --> 00:13:58,490
알고리즘들을 부팅시켜서 인컨텍스트 러닝
같은 걸 할 수 있게 되는 거고요.

254
00:13:58,490 --> 00:14:00,800
지식 자체는 필요하지도,
원하지도 않는 거죠.

255
00:14:00,800 --> 00:14:04,038
그게 아마 신경망 전체를
발목 잡고 있는 것

256
00:14:04,038 --> 00:14:07,545
같아요, 가끔 지식에 너무
의존하게 만들거든요.

257
00:14:07,545 --> 00:14:10,726
예를 들어, 제 생각엔 에이전트들이
잘 못하는 것 중 하나가,

258
00:14:10,726 --> 00:14:13,440
인터넷에 존재하는 데이터
매니폴드를 벗어나는 거예요.

259
00:14:13,440 --> 00:14:17,920
지식이나 기억이 더 적었다면,
오히려 더 잘했을지도 몰라요.

260
00:14:17,920 --> 00:14:21,640
앞으로 우리가 해야 할
일은—이게 연구 패러다임의 일부가

261
00:14:21,640 --> 00:14:25,360
될 텐데—지식의 일부를
제거하고, 제가 "인지 코어"라고

262
00:14:25,360 --> 00:14:28,720
부르는 걸 남기는 방법을
찾아내는 거라고 생각해요.

263
00:14:28,720 --> 00:14:33,778
지식은 걷어냈지만 알고리즘은
담고 있는, 지능과 문제

264
00:14:33,778 --> 00:14:39,360
해결, 그 전략들의 마법을 담고
있는 지적인 존재인 거죠.

265
00:14:39,360 --> 00:14:41,534
거기엔 정말 흥미로운 게 많아요.

266
00:14:41,534 --> 00:14:43,550
인컨텍스트 러닝부터 시작해보죠.

267
00:14:43,550 --> 00:14:48,800
뻔한 지점이긴 한데, 명시적으로 말하고
곱씹어볼 가치가 있는 것 같아요.

268
00:14:48,800 --> 00:14:53,071
이 모델들이 가장 지능적으로 보이는
상황은—제가 대화하다가 "와,

269
00:14:53,071 --> 00:14:57,105
저 반대편에 생각하면서 반응하는
뭔가가 정말 있구나" 싶어지는

270
00:14:57,105 --> 00:15:01,258
순간은—실수를 했을 때 "아,
잠깐, 그렇게 생각하면 안 되지,

271
00:15:01,258 --> 00:15:01,840
다시 되짚어볼게" 하는 식일 때예요.

272
00:15:01,840 --> 00:15:03,180
그건 전부 컨텍스트
안에서 일어나는 일이에요.

273
00:15:03,180 --> 00:15:07,796
바로 거기서 눈에 보이는 진짜
지능이 있는 것 같아요.

274
00:15:07,796 --> 00:15:10,867
그 인컨텍스트 러닝 과정은 사전학습에서의

275
00:15:10,867 --> 00:15:13,380
경사 하강법으로 발달되는 거예요.

276
00:15:13,380 --> 00:15:18,012
인컨텍스트 러닝 자체를 자연스럽게
메타러닝하긴 하지만, 인컨텍스트

277
00:15:18,012 --> 00:15:22,130
러닝 그 자체는 경사 하강법이
아니에요. 마치 우리 인간이

278
00:15:22,130 --> 00:15:26,376
뭔가를 할 수 있는 그 지능은
진화로 조건화됐지만, 살아있는

279
00:15:26,376 --> 00:15:30,880
동안의 학습 자체는 또 다른
과정으로 일어나는 것과 비슷하게요.

280
00:15:30,880 --> 00:15:34,480
전적으로 동의하는 건 아니지만,
하시던 말씀은 계속해 주세요.

281
00:15:34,480 --> 00:15:36,880
음, 그 비유가 어디서
깨지는지 정말 궁금하네요.

282
00:15:36,880 --> 00:15:41,760
인컨텍스트 러닝이 경사 하강법을 안
한다고 단정 짓기는 조심스러워요.

283
00:15:41,760 --> 00:15:44,553
명시적인 경사 하강법을
하고 있는 건 아니에요.

284
00:15:44,553 --> 00:15:48,599
인컨텍스트 러닝은 토큰 윈도우
안에서 패턴을 완성하는 거예요.

285
00:15:48,599 --> 00:15:52,060
그런데 인터넷에는 어마어마하게 많은
패턴이 있다는 게 밝혀진 거죠.

286
00:15:52,060 --> 00:15:53,779
맞아요, 모델은 패턴을 완성하도록

287
00:15:53,779 --> 00:15:55,880
학습하고, 그건 가중치 안에 들어있어요.

288
00:15:55,880 --> 00:16:00,131
신경망의 가중치는 패턴을 발견해서
그 패턴을 완성하려고 하는 거예요.

289
00:16:00,131 --> 00:16:03,959
신경망 내부에서 일종의 적응이
일어나는데, 이건 신비로운

290
00:16:03,959 --> 00:16:08,280
일이고 그냥 인터넷에 패턴이 워낙
많아서 저절로 나오는 거예요.

291
00:16:08,280 --> 00:16:11,254
인컨텍스트 러닝 이면의
메커니즘을 들여다본 논문

292
00:16:11,254 --> 00:16:14,000
중에 흥미롭다고 생각한
게 몇 편 있었어요.

293
00:16:14,000 --> 00:16:17,111
인컨텍스트 러닝이 신경망
레이어 내부에서 작은 경사

294
00:16:17,111 --> 00:16:20,000
하강 루프를 돌리고 있을
가능성은 있다고 봐요.

295
00:16:20,000 --> 00:16:23,646
특히 기억나는 논문이
하나 있는데, 인컨텍스트

296
00:16:23,646 --> 00:16:26,563
러닝으로 선형 회귀를 하는 거였어요.

297
00:16:26,563 --> 00:16:29,909
신경망에 넣는 입력이 X,
Y 쌍들인데, X, Y,

298
00:16:29,909 --> 00:16:33,494
X, Y, X, Y가 마침
한 직선 위에 있는 거예요.

299
00:16:33,494 --> 00:16:37,859
그다음 X를 넣으면 Y가
나오길 기대하는 거죠. 신경망을

300
00:16:37,859 --> 00:16:41,520
이런 식으로 훈련시키면
선형 회귀를 하게 돼요.

301
00:16:41,520 --> 00:16:44,406
보통 선형 회귀를 돌릴
때는, X와 Y를 보고

302
00:16:44,406 --> 00:16:47,408
오차를 확인하고 가중치의
경사를 계산해서 몇 번

303
00:16:47,408 --> 00:16:50,640
업데이트하는 작은 경사 하강
옵티마이저를 쓰잖아요.

304
00:16:50,640 --> 00:16:54,945
그런데 그 인컨텍스트 러닝
알고리즘의 가중치를 들여다봤더니,

305
00:16:54,945 --> 00:16:59,120
경사 하강법의 메커니즘과 비슷한
점들을 발견했다는 거예요.

306
00:16:59,120 --> 00:17:03,319
사실 그 논문은 한발 더
나아가서, 신경망의 가중치를

307
00:17:03,319 --> 00:17:07,228
아예 하드코딩해 어텐션과
신경망 내부 전체를 통해

308
00:17:07,228 --> 00:17:10,848
경사 하강법을 수행하도록
만들었던 것 같아요.

309
00:17:10,848 --> 00:17:12,439
제가 반박하고 싶은
건 그거 하나뿐이에요.

310
00:17:12,439 --> 00:17:15,707
인컨텍스트 러닝이 정확히 어떻게
작동하는지는 아무도 모르지만,

311
00:17:15,707 --> 00:17:19,264
내부적으로 뭔가 묘한 경사 하강법
비슷한 걸 하고 있을 것 같아요.

312
00:17:19,264 --> 00:17:20,784
그럴 가능성은 있다고 봐요.

313
00:17:20,784 --> 00:17:22,876
제가 반박한 건, 그게
인컨텍스트 러닝을 하고

314
00:17:22,876 --> 00:17:24,800
있는 게 아니라는
말씀에 대해서뿐이었어요.

315
00:17:24,800 --> 00:17:26,584
그게 뭘 하는 건지는 아무도
모르지만, 아마 비슷한

316
00:17:26,584 --> 00:17:28,240
걸 하고 있을 거예요.
그런데 확실히는 몰라요.

317
00:17:28,240 --> 00:17:33,649
그럼 생각해볼 만한 게,
인컨텍스트 러닝과 사전학습이 둘

318
00:17:33,649 --> 00:17:38,883
다 경사 하강법 비슷한 걸
하는 거라면, 왜 인컨텍스트

319
00:17:38,883 --> 00:17:44,640
러닝에서는 연속 학습, 진짜
지능 같은 느낌을 받는 걸까요?

320
00:17:44,640 --> 00:17:48,341
반면 사전학습만으로는 그런
비슷한 느낌을 못 받잖아요.

321
00:17:48,341 --> 00:17:49,539
그렇게 주장할 수도 있죠.

322
00:17:49,539 --> 00:17:51,653
같은 알고리즘이라면, 대체
뭐가 다를 수 있을까요?

323
00:17:51,653 --> 00:17:55,640
이렇게 생각해볼 수 있어요.
학습에서 받는 정보

324
00:17:55,640 --> 00:18:00,240
대비, 모델이 얼마나 많은
정보를 저장하느냐는 거예요.

325
00:18:00,240 --> 00:18:03,498
사전학습을 보면, 예를 들어 Llama

326
00:18:03,498 --> 00:18:07,067
3는 15조 토큰으로
학습된 걸로 알아요.

327
00:18:07,067 --> 00:18:12,625
70B 모델을 보면,
사전학습에서 읽는 토큰 대비

328
00:18:12,625 --> 00:18:18,800
가중치에 담기는 정보량이
토큰당 0.07비트 정도예요.

329
00:18:18,800 --> 00:18:22,469
반면 KV 캐시가 인컨텍스트
러닝에서 토큰 하나마다

330
00:18:22,469 --> 00:18:26,007
얼마나 커지는지 보면,
320킬로바이트 정도예요.

331
00:18:26,007 --> 00:18:29,545
그러니까 모델이 토큰당 흡수하는 정보량에

332
00:18:29,545 --> 00:18:32,601
3,500만 배 차이가 나는 거죠.

333
00:18:32,601 --> 00:18:34,880
이게 정말 관련이 있는 건지 궁금해요.

334
00:18:34,880 --> 00:18:35,744
저도 어느 정도 동의해요.

335
00:18:35,744 --> 00:18:40,598
제가 보통 이렇게 말하는데요,
신경망 학습 중에 일어나는 건

336
00:18:40,598 --> 00:18:45,600
뭐든 그 지식은 학습 시점 일에
대한 흐릿한 기억일 뿐이에요.

337
00:18:45,600 --> 00:18:47,259
압축이 워낙 극단적이기 때문이에요.

338
00:18:47,259 --> 00:18:49,181
15조 토큰을 가져다가, 겨우 수십억

339
00:18:49,181 --> 00:18:51,680
파라미터짜리 최종 신경망으로
압축하는 거니까요.

340
00:18:51,680 --> 00:18:54,560
당연히 어마어마한 압축이
일어나고 있는 거죠.

341
00:18:54,560 --> 00:18:57,920
그래서 저는 이걸 인터넷 문서에
대한 흐릿한 기억이라고 불러요.

342
00:18:57,920 --> 00:19:00,482
반면 신경망의 컨텍스트
윈도우 안에서 일어나는

343
00:19:00,482 --> 00:19:03,250
일은—토큰들을 넣고 KV
캐시 표현을 쌓아 올리는

344
00:19:03,250 --> 00:19:06,120
거니까—신경망이 아주
직접적으로 접근할 수 있어요.

345
00:19:06,120 --> 00:19:09,151
그래서 저는 KV 캐시와
테스트 시점에 일어나는

346
00:19:09,151 --> 00:19:11,600
걸 작업 기억에 더 가깝다고 비유해요.

347
00:19:11,600 --> 00:19:14,190
컨텍스트 윈도우 안에
있는 건 전부 신경망이

348
00:19:14,190 --> 00:19:16,240
아주 직접적으로 접근할 수 있어요.

349
00:19:16,240 --> 00:19:21,120
LLM과 인간 사이에는 늘
거의 놀라운 비유들이 있어요.

350
00:19:21,120 --> 00:19:23,248
놀랍다고 느끼는 건, 우리가 인간의 뇌를

351
00:19:23,248 --> 00:19:25,280
직접 만들려던 게 아니었기 때문이에요.

352
00:19:25,280 --> 00:19:27,280
그냥 이게 작동한다는 걸 발견하고
그렇게 하고 있는 거죠.

353
00:19:27,280 --> 00:19:30,417
하지만 가중치 안에 있는
건 뭐든, 1년 전에

354
00:19:30,417 --> 00:19:33,429
읽은 것에 대한 흐릿한
기억이라고 생각해요.

355
00:19:33,429 --> 00:19:35,966
테스트 시점에 컨텍스트로 주는 건 뭐든,

356
00:19:35,966 --> 00:19:38,272
곧바로 작업 기억 안에 있는 거고요.

357
00:19:38,272 --> 00:19:41,120
생각을 정리하는 데
정말 강력한 비유네요.

358
00:19:41,120 --> 00:19:44,154
예를 들어 LLM에게 어떤
책, 이를테면 닉 레인의

359
00:19:44,154 --> 00:19:46,971
책 같은 것에 대해 무슨
내용이었는지 물어보면,

360
00:19:46,971 --> 00:19:49,680
LLM은 대체로 대략
맞는 답을 내놓곤 해요.

361
00:19:49,680 --> 00:19:53,159
하지만 챕터 전체를 주고 질문하면
훨씬 더 나은 결과를 얻는데,

362
00:19:53,159 --> 00:19:56,240
이제 그게 모델의 작업 기억에
로드되어 있기 때문이에요.

363
00:19:56,240 --> 00:20:00,320
그러니까 길게 돌려 말했지만 결국
동의한다는 거고, 그게 이유예요.

364
00:20:00,320 --> 00:20:05,613
한 발 물러나서, 인간
지능 중 이 모델들로

365
00:20:05,613 --> 00:20:09,803
가장 재현하지 못한 부분은 뭔가요?

366
00:20:12,400 --> 00:20:13,334
그냥 많은 부분이요.

367
00:20:13,334 --> 00:20:16,812
이렇게 생각해볼 수도 있을
것 같은데, 최선의 방식인지는

368
00:20:16,812 --> 00:20:20,515
모르겠지만 — 다시 말씀드리지만
이 비유들이 완벽하진 않다는

369
00:20:20,515 --> 00:20:23,769
걸 전제로 하면 — 우리는
트랜스포머 신경망을 어쩌다

370
00:20:23,769 --> 00:20:27,360
발견한 것 같아요. 극도로
강력하고 아주 범용적인 것을요.

371
00:20:27,360 --> 00:20:31,080
오디오든 비디오든 텍스트든
뭐든 트랜스포머를 학습시킬 수

372
00:20:31,080 --> 00:20:35,280
있고, 그냥 패턴을 학습하는데
정말 강력하고 아주 잘 작동해요.

373
00:20:35,280 --> 00:20:38,960
저에게는 이게 거의 어떤 피질 조직
같다는 걸 시사하는 것 같아요.

374
00:20:38,960 --> 00:20:42,640
그런 것과 비슷한데, 피질도 워낙
유명하게 가소성이 매우 크거든요.

375
00:20:42,640 --> 00:20:44,931
뇌의 일부를 재배선할 수 있어요.

376
00:20:44,931 --> 00:20:49,333
시각 피질을 청각 피질에
재배선하는 다소 잔혹한 실험들이

377
00:20:49,333 --> 00:20:54,160
있었는데, 그 동물은 문제없이
학습을 했다든가 하는 것들이요.

378
00:20:54,160 --> 00:20:56,444
그래서 저는 이게 피질
조직이라고 생각해요.

379
00:20:56,444 --> 00:21:02,465
신경망 내부에서 추론과 계획을 할
때, 그러니까 사고 모델을 위한

380
00:21:02,465 --> 00:21:07,985
추론 흔적을 만들 때, 그건
전전두피질과 비슷한 것 같아요.

381
00:21:07,985 --> 00:21:11,752
그런 건 말하자면 작은 체크
표시들 같은 건데, 그래도 여전히

382
00:21:11,752 --> 00:21:15,520
탐구되지 않은 뇌 부위와
핵(nuclei)이 많다고 생각해요.

383
00:21:15,520 --> 00:21:17,913
예를 들어 우리가 모델을
강화학습(RL)으로 파인튜닝할

384
00:21:17,913 --> 00:21:20,465
때, 기저핵이 강화학습 비슷한
걸 좀 하고 있는 셈이에요.

385
00:21:20,465 --> 00:21:21,980
그런데 해마는 어디 있나요?

386
00:21:21,980 --> 00:21:23,600
그게 뭐에 해당하는지는 분명하지 않아요.

387
00:21:23,600 --> 00:21:25,037
어떤 부분들은 아마
중요하지 않을 거예요.

388
00:21:25,037 --> 00:21:27,116
아마 소뇌는 인지, 즉
사고에는 중요하지 않을 수도

389
00:21:27,116 --> 00:21:29,120
있으니, 그런 부분은
건너뛸 수 있을지도 몰라요.

390
00:21:29,120 --> 00:21:31,388
하지만 여전히, 예를 들어 편도체 같은

391
00:21:31,388 --> 00:21:33,440
게 있죠. 온갖 감정과 본능들이요.

392
00:21:33,440 --> 00:21:36,046
뇌 안에는 아마 아주 오래된
다른 핵들이 많이 있을

393
00:21:36,046 --> 00:21:38,931
텐데, 우리가 그걸 제대로
재현했다고는 생각하지 않아요.

394
00:21:38,931 --> 00:21:43,636
우리가 인간 뇌의 아날로그를 만드는
걸 추구해야 하는지는 잘 모르겠어요.

395
00:21:43,636 --> 00:21:46,961
저는 본질적으로 엔지니어에
가까운 사람이에요.

396
00:21:48,160 --> 00:21:50,207
이 질문에 답하는 또 다른 방식은, 이걸

397
00:21:50,207 --> 00:21:52,160
인턴으로 채용하진 않을 거라는 거예요.

398
00:21:52,160 --> 00:21:55,209
많은 부분이 빠져 있는데, 그건
우리가 모델과 대화할 때 다들

399
00:21:55,209 --> 00:21:58,528
직관적으로 느끼는 이런 인지적
결함들이 많이 딸려 오기 때문이에요.

400
00:21:58,528 --> 00:22:00,400
그러니까 아직 완전히
다 갖춰진 건 아니에요.

401
00:22:00,400 --> 00:22:04,480
뇌의 모든 부분이 아직 다
체크되지는 않은 걸로 볼 수 있어요.

402
00:22:04,480 --> 00:22:07,707
이건 아마 이런 문제들이
얼마나 빨리 풀릴지

403
00:22:07,707 --> 00:22:10,800
생각해보는 질문과
관련이 있을 것 같아요.

404
00:22:10,800 --> 00:22:13,977
연속 학습에 대해 가끔
사람들이 이렇게 말해요.

405
00:22:13,977 --> 00:22:16,666
"봐, 이 능력은 쉽게 복제할 수 있다.

406
00:22:16,666 --> 00:22:22,944
인컨텍스트 러닝이 사전학습의 결과로
저절로 나타난 것처럼, 모델이

407
00:22:22,944 --> 00:22:29,047
한 세션보다 긴 시간 범위에 걸쳐
정보를 기억해내도록 유인되면,

408
00:22:29,047 --> 00:22:34,976
더 긴 시간 범위에 걸친 연속
학습도 저절로 나타날 것이다."

409
00:22:34,976 --> 00:22:39,872
그러니까 그 안에 여러 세션이
들어 있는 외부 루프 RL 같은

410
00:22:39,872 --> 00:22:44,768
게 있다면, 모델이 스스로
파인튜닝하거나 외부 메모리에 뭔가를

411
00:22:44,768 --> 00:22:49,520
기록하는 이런 연속 학습이 그냥
저절로 생겨날 거라는 거죠.

412
00:22:49,520 --> 00:22:52,064
그런 게 그럴듯하다고 생각하세요?

413
00:22:52,064 --> 00:22:54,503
그게 얼마나 그럴듯한지에 대한
프라이어 자체가 저한테는 없어요.

414
00:22:54,503 --> 00:22:55,440
그게 일어날 가능성이 얼마나 될까요?

415
00:22:55,440 --> 00:22:57,454
그 얘기에 제가 완전히
공감하는지는 모르겠어요.

416
00:22:57,454 --> 00:23:00,165
이 모델들은 부팅해서 컨텍스트
윈도우에 토큰이 0개인 상태가

417
00:23:00,165 --> 00:23:03,040
되면, 늘 원래 있던 바로 그
지점에서 처음부터 다시 시작해요.

418
00:23:03,040 --> 00:23:07,837
그러니까 그런 세계관에서는 그게
어떤 모습일지 저는 잘 모르겠어요.

419
00:23:09,360 --> 00:23:12,341
인간에 좀 빗대어 보면—이게
대략 구체적이고 생각해보기에

420
00:23:12,341 --> 00:23:15,130
흥미로운 것 같아서요—저는
깨어 있는 동안 하루 동안

421
00:23:15,130 --> 00:23:18,304
일어나는 일들로 컨텍스트 윈도우를
계속 쌓아가는 느낌이에요.

422
00:23:18,304 --> 00:23:20,921
근데 잠들면 뭔가 마법
같은 일이 일어나서, 그

423
00:23:20,921 --> 00:23:23,840
컨텍스트 윈도우가 그대로
남아있지는 않는 것 같아요.

424
00:23:23,840 --> 00:23:27,840
제 뇌의 가중치로 증류되는
어떤 과정이 있는 거죠.

425
00:23:27,840 --> 00:23:29,655
이게 잠자는 동안 일어나는 일이고요.

426
00:23:29,655 --> 00:23:32,910
거대 언어 모델에는 이에
상응하는 게 없어요.

427
00:23:32,910 --> 00:23:35,472
제게는 이게 연속 학습 같은
것들이 '결여돼 있다'고

428
00:23:35,472 --> 00:23:37,945
말할 때 더 가까이 맞닿아
있는 지점인 것 같아요.

429
00:23:37,945 --> 00:23:43,809
이 모델들에는, 일어난 일을 가져다가
강박적으로 분석하고 곰곰이 생각한

430
00:23:43,809 --> 00:23:49,673
뒤, 합성 데이터 생성 과정을 거쳐
다시 가중치로 증류해 넣고, 어쩌면

431
00:23:49,673 --> 00:23:55,387
사람마다 특정한 신경망을 갖게 하는
그런 증류 단계가 사실상 없어요.

432
00:23:55,387 --> 00:23:57,325
어쩌면 그게 LoRA일 수도 있고요.

433
00:23:57,325 --> 00:24:01,200
전체 가중치 신경망은 아니에요.

434
00:24:01,200 --> 00:24:05,040
그냥 가중치 중에서 작고
희소한 일부만 바뀌는 거죠.

435
00:24:05,040 --> 00:24:07,744
그래도 저희는 아주 긴
컨텍스트를 가진 이런

436
00:24:07,744 --> 00:24:10,560
개별 존재들을 만들어내는
방법은 정말 원해요.

437
00:24:10,560 --> 00:24:12,450
컨텍스트 윈도우가 점점 굉장히, 굉장히

438
00:24:12,450 --> 00:24:14,880
길어지니까 거기에만 남아
있는 건 아니라는 거죠.

439
00:24:14,880 --> 00:24:17,680
아마 거기에 아주 정교한 희소
어텐션 같은 게 있을 거예요.

440
00:24:17,680 --> 00:24:20,706
그래도 저는 인간에게는 분명
그런 지식 일부를 가중치로

441
00:24:20,706 --> 00:24:23,228
증류하는 어떤 과정이
여전히 있다고 생각해요.

442
00:24:23,228 --> 00:24:24,296
우리는 그게 빠져 있는 거죠.

443
00:24:24,296 --> 00:24:28,933
인간도 아주 정교한 희소 어텐션
방식을 갖고 있다고 생각하는데,

444
00:24:28,933 --> 00:24:33,040
이제 그 초기 힌트가 조금씩
보이기 시작하는 것 같아요.

445
00:24:33,040 --> 00:24:37,053
DeepSeek v3.2가 막
나왔는데, 희소 어텐션을 쓴 걸

446
00:24:37,053 --> 00:24:41,538
봤어요. 이게 아주, 아주 긴 컨텍스트
윈도우를 갖는 한 방법이에요.

447
00:24:41,538 --> 00:24:44,515
그래서 우리는 진화가 고안해낸
인지적 트릭들을 아주

448
00:24:44,515 --> 00:24:47,280
다른 과정으로 다시
만들어내고 있는 것 같아요.

449
00:24:47,280 --> 00:24:51,040
하지만 인지적으로는 비슷한
아키텍처로 수렴하게 될 거예요.

450
00:24:51,040 --> 00:24:54,454
10년 후에도 여전히 트랜스포머
비슷한 형태겠지만, 어텐션은

451
00:24:54,454 --> 00:24:57,765
훨씬 더 변형되고 MLP도 더
희소해지고, 그런 식일까요?

452
00:24:57,765 --> 00:25:02,712
제가 좋아하는 사고방식은
시간에 대한 이동 불변성이에요.

453
00:25:02,712 --> 00:25:04,864
그럼 10년 전엔 우리가
어디에 있었을까요?

454
00:25:04,864 --> 00:25:05,200
2015년이요.

455
00:25:05,200 --> 00:25:07,820
2015년엔 주로 합성곱 신경망을 썼고,

456
00:25:07,820 --> 00:25:10,320
잔차 네트워크가 막 나온 시점이었어요.

457
00:25:10,320 --> 00:25:13,038
그러니까 놀랍도록 비슷하긴
한데, 그래도 꽤 다르죠.

458
00:25:13,038 --> 00:25:14,862
트랜스포머는 아직 없었어요.

459
00:25:14,862 --> 00:25:21,760
트랜스포머에 대한 이런 최신
개선들도 전부 없었고요.

460
00:25:21,760 --> 00:25:25,998
아마 이동 등변성으로 볼 때
10년 뒤에도 확신할 수 있는

461
00:25:25,998 --> 00:25:30,500
건, 여전히 순전파·역전파로
경사하강법 업데이트를 하는 거대한

462
00:25:30,500 --> 00:25:34,870
신경망을 학습시키고 있을 거라는
점이에요. 다만 형태는 조금

463
00:25:34,870 --> 00:25:39,240
다를 수 있고, 그냥 모든 게
훨씬 더 커져 있을 뿐이겠죠.

464
00:25:39,240 --> 00:25:43,980
몇 년 전에 재미 삼아 1989년까지
거슬러 올라간 적이 있어요.

465
00:25:43,980 --> 00:25:48,589
얀 르쿤의 1989년 합성곱
신경망을 재현했었거든요. 제가 아는

466
00:25:48,589 --> 00:25:52,803
한 그게 경사하강법으로 학습된
최초의 신경망이에요 — 숫자

467
00:25:52,803 --> 00:25:57,280
인식에 경사하강법으로 학습된,
말하자면 현대적인 신경망이었죠.

468
00:25:57,280 --> 00:26:00,000
그냥 이걸 어떻게 현대화할
수 있을지 궁금했어요.

469
00:26:00,000 --> 00:26:01,033
이 중 얼마만큼이 알고리즘 덕분일까요?

470
00:26:01,033 --> 00:26:01,840
얼마만큼이 데이터 덕분일까요?

471
00:26:01,840 --> 00:26:04,535
얼마만큼의 발전이 컴퓨팅과
시스템 덕분일까요?

472
00:26:04,535 --> 00:26:07,008
그냥 33년을 시간여행하는
것만으로도 아주

473
00:26:07,008 --> 00:26:09,804
빠르게 학습 결과를 절반으로
줄일 수 있었어요.

474
00:26:09,804 --> 00:26:13,518
그러니까 알고리즘으로 33년을
시간여행해서 얀 르쿤이

475
00:26:13,518 --> 00:26:18,000
1989년에 한 걸 조정하면,
오차를 절반으로 줄일 수 있었죠.

476
00:26:18,000 --> 00:26:21,621
하지만 더 개선하려면 데이터를
훨씬 더 늘려야 했고, 학습

477
00:26:21,621 --> 00:26:25,920
데이터셋을 10배로 키워야 했고,
계산 최적화도 더 추가해야 했어요.

478
00:26:25,920 --> 00:26:30,480
드롭아웃 같은 정규화 기법을 쓰면서
훨씬 더 오래 학습시켜야 했죠.

479
00:26:30,480 --> 00:26:35,120
그러니까 이 모든 게 동시에
개선돼야 하는 거예요.

480
00:26:35,120 --> 00:26:38,817
아마 데이터도 훨씬 많아지고,
하드웨어도 훨씬 좋아지고, 커널이나

481
00:26:38,817 --> 00:26:42,103
소프트웨어도 훨씬 나아지고,
알고리즘도 더 나아질 거예요.

482
00:26:42,103 --> 00:26:45,875
그 중에 어느 하나만 유독
앞서나가는 건 아닌 것 같아요.

483
00:26:45,875 --> 00:26:48,880
놀랍게도 다 비슷한 비중이더라고요.

484
00:26:48,880 --> 00:26:51,457
이런 추세가 꽤 오래 이어져 왔어요.

485
00:26:51,457 --> 00:26:54,466
그러니까 질문에
답하자면, 알고리즘적으로는

486
00:26:54,466 --> 00:26:56,821
지금과는 달라질 거라고 예상해요.

487
00:26:56,821 --> 00:26:59,102
하지만 아주 오랫동안 남아있던 것들 중

488
00:26:59,102 --> 00:27:01,600
일부는 여전히 그대로일
거라고도 생각해요.

489
00:27:01,600 --> 00:27:04,224
아마 여전히 경사하강법으로
학습되는 거대한 신경망일 거예요.

490
00:27:04,224 --> 00:27:05,040
제 예상은 그래요.

491
00:27:05,040 --> 00:27:10,045
그 모든 게 다 합쳐졌는데
오차를 겨우 절반으로

492
00:27:10,045 --> 00:27:14,473
줄인 거라니, 30년의
발전인데… 놀랍죠.

493
00:27:14,473 --> 00:27:15,423
어쩌면 절반이면 큰 거죠.

494
00:27:15,423 --> 00:27:18,000
왜냐하면 오차를 절반으로
줄인다는 건 사실…

495
00:27:18,000 --> 00:27:18,945
절반이면 큰 거예요.

496
00:27:18,945 --> 00:27:22,704
그런데 저한테 충격적이었던
건, 아키텍처, 옵티마이저,

497
00:27:22,704 --> 00:27:26,212
손실 함수까지 전부 다
개선돼야 한다는 점이었어요.

498
00:27:26,212 --> 00:27:28,480
그리고 실제로 전 영역에서
계속 개선돼 왔고요.

499
00:27:28,480 --> 00:27:31,440
그래서 그런 변화들이 앞으로도
계속 살아있을 거라고 봐요.

500
00:27:31,440 --> 00:27:31,694
네.

501
00:27:31,694 --> 00:27:35,040
저도 nanochat에 대해 아주
비슷한 질문을 드리려던 참이었어요.

502
00:27:35,040 --> 00:27:38,679
최근에 직접 코딩하셨으니,
챗봇을 만드는 과정의 모든

503
00:27:38,679 --> 00:27:42,568
단계가 아직 램(RAM)에
생생하게 남아 있으실 텐데요.

504
00:27:42,568 --> 00:27:47,052
GPT-2에서 nanochat으로
가는 데 딱 하나만

505
00:27:47,052 --> 00:27:52,000
중요했던 건 아니었다는, 비슷한
생각을 하셨는지 궁금해요.

506
00:27:52,000 --> 00:27:55,920
그 경험에서 놀라웠던 점은 뭐였나요?

507
00:27:55,920 --> 00:27:57,045
nanochat을 만들면서요?

508
00:27:57,045 --> 00:27:59,040
nanochat은 제가
공개한 저장소예요.

509
00:27:59,040 --> 00:28:01,051
어제였나, 그 전날이었나.

510
00:28:01,051 --> 00:28:03,120
기억이 잘 안 나네요.

511
00:28:03,120 --> 00:28:07,523
거기 들어간 수면 부족을
보면 알 수 있죠…

512
00:28:09,040 --> 00:28:12,376
ChatGPT 클론을 만드는
전체 파이프라인을 처음부터

513
00:28:12,376 --> 00:28:15,711
끝까지 다루는, 가장 단순한
완결된 저장소를 지향해요.

514
00:28:15,711 --> 00:28:17,927
그래서 개별 단계 하나만이 아니라 전체

515
00:28:17,927 --> 00:28:20,355
단계가 다 들어있어요,
그게 꽤 많거든요.

516
00:28:20,355 --> 00:28:24,634
예전엔 개별 단계들을 하나씩
다루면서, 그걸 알고리즘적으로

517
00:28:24,634 --> 00:28:28,779
어떻게 하는지 보여주는 간단한
코드 조각들을 공개했었죠.

518
00:28:28,779 --> 00:28:32,400
하지만 이번 건 전체
파이프라인을 다 다뤄요.

519
00:28:32,400 --> 00:28:38,200
배운 게 있었냐고 하면, 딱히
새로 배운 건 없었던 것 같아요.

520
00:28:38,200 --> 00:28:40,720
어떻게 만드는지는 이미
머릿속에 있었거든요.

521
00:28:40,720 --> 00:28:46,352
이건 그냥 그걸 기계적으로
만들고, 사람들이 배우고 유용하게

522
00:28:46,352 --> 00:28:51,131
쓸 수 있을 만큼 깔끔하게
다듬는 과정일 뿐이에요.

523
00:28:51,131 --> 00:28:53,992
이걸로 배우기에 가장
좋은 방법은 뭘까요?

524
00:28:53,992 --> 00:28:56,697
코드를 다 지우고
처음부터 다시 구현해보는

525
00:28:56,697 --> 00:28:59,520
건가요, 아니면 수정을
좀 더해보는 건가요?

526
00:28:59,520 --> 00:29:00,997
좋은 질문이네요.

527
00:29:00,997 --> 00:29:05,179
기본적으로 전체 파이프라인을 다루는
코드가 한 8,000줄 정도 돼요.

528
00:29:05,179 --> 00:29:07,040
아마 오른쪽 모니터에
띄워놓을 것 같아요.

529
00:29:07,040 --> 00:29:09,680
모니터가 두 개 있으면,
오른쪽에 띄워놓는 거죠.

530
00:29:09,680 --> 00:29:12,675
처음부터 만들고 싶다면, 정말
맨 처음부터 만들어보는 거예요.

531
00:29:12,675 --> 00:29:16,518
복사-붙여넣기는 안 되고, 참고는
되지만, 복사-붙여넣기는 안 돼요.

532
00:29:16,518 --> 00:29:18,240
아마 저라면 그렇게 할 것 같아요.

533
00:29:18,240 --> 00:29:23,128
근데 그 저장소 자체가 꽤 큰
괴물 같은 존재라고도 생각해요.

534
00:29:23,520 --> 00:29:26,518
이 코드를 짤 때는 위에서
아래로 쓰는 게 아니라, 덩어리

535
00:29:26,518 --> 00:29:29,704
단위로 시작해서 그걸 키워나가는
건데, 그 정보는 빠져있어요.

536
00:29:29,704 --> 00:29:31,440
어디서부터 시작해야 할지 모를 거예요.

537
00:29:31,440 --> 00:29:34,939
그러니까 필요한 건 최종
저장소만이 아니라, 그걸

538
00:29:34,939 --> 00:29:38,568
만드는 과정, 즉 복잡한
덩어리 키우기 과정이에요.

539
00:29:38,568 --> 00:29:40,400
그 부분은 아직 없어요.

540
00:29:40,400 --> 00:29:43,843
아마 이번 주 안에
그걸 추가하고 싶어요.

541
00:29:43,843 --> 00:29:48,312
아마 영상 같은 형태가 될 것 같아요.

542
00:29:49,200 --> 00:29:51,508
대략적으로 말하면,
그렇게 해보려고 해요.

543
00:29:51,508 --> 00:29:54,747
직접 만들어 보되, 복사·붙여넣기는
스스로 금지해야 해요.

544
00:29:54,747 --> 00:29:57,564
지식에는 거의 두
종류가 있는 것 같아요.

545
00:29:57,564 --> 00:30:00,353
겉핥기식 상위 지식만 있으면
자신이 이해하지 못하는

546
00:30:00,353 --> 00:30:03,241
부분이 있다는 사실조차
몰라요. 반면 뭔가를 처음부터

547
00:30:03,241 --> 00:30:06,229
만들면 내가 이해 못 하는
부분과 마주할 수밖에 없죠.

548
00:30:06,229 --> 00:30:09,680
그건 항상 더 깊은 이해로 이어져요.

549
00:30:09,680 --> 00:30:11,289
그게 만드는 유일한 방법이에요.

550
00:30:11,289 --> 00:30:13,760
제가 만들 수 없다면,
이해한 게 아니라는 거죠.

551
00:30:13,760 --> 00:30:16,521
그거 리처드 파인만이
한 말인 것 같아요.

552
00:30:16,521 --> 00:30:19,187
저는 이걸 항상 100%
정말 강하게 믿어왔어요.

553
00:30:19,187 --> 00:30:21,854
왜냐하면 제대로 정리되지
않은 자잘한 것들이 너무

554
00:30:21,854 --> 00:30:24,718
많아서, 사실은 그 지식을
갖고 있지 않은 거거든요.

555
00:30:24,718 --> 00:30:25,680
그냥 안다고 착각하는 거예요.

556
00:30:25,680 --> 00:30:28,960
그러니까 블로그 글도, 슬라이드도,
그런 건 하지 마세요.

557
00:30:28,960 --> 00:30:30,519
코드를 짜고, 정리하고,
돌아가게 만드세요.

558
00:30:30,519 --> 00:30:31,406
그게 유일한 길이에요.

559
00:30:31,406 --> 00:30:33,355
안 그러면 지식에 구멍이 생겨요.

560
00:30:33,355 --> 00:30:39,506
이 저장소를 만드는 데 코딩 모델이
별 도움이 안 됐다고 트윗하셨죠.

561
00:30:39,506 --> 00:30:42,555
왜 그랬는지 궁금해요.

562
00:30:43,440 --> 00:30:46,560
이 저장소를 만드는 데 한 달
조금 넘게 걸린 것 같아요.

563
00:30:46,560 --> 00:30:48,472
요즘 사람들이 코드를 다루는 방식에는

564
00:30:48,472 --> 00:30:50,480
크게 세 가지 부류가 있는 것 같아요.

565
00:30:50,480 --> 00:30:54,800
어떤 사람들은 LLM을 완전히
거부하고 그냥 처음부터 직접 짜요.

566
00:30:54,800 --> 00:30:58,160
이제는 그게 딱히 맞는
방법은 아닌 것 같아요.

567
00:30:58,160 --> 00:31:02,728
제가 있는 중간 지점은, 여전히
많은 걸 처음부터 직접 쓰긴

568
00:31:02,728 --> 00:31:06,880
하지만 요즘 나온 모델들의
자동완성을 활용하는 거예요.

569
00:31:06,880 --> 00:31:09,457
코드 조각을 조금 쓰기
시작하면 자동완성이

570
00:31:09,457 --> 00:31:11,473
되고, 그냥 탭으로 넘기면 돼요.

571
00:31:11,473 --> 00:31:14,195
대부분은 맞지만 가끔 틀리기도
해서, 그럴 땐 수정하고요.

572
00:31:14,195 --> 00:31:19,160
하지만 여전히 제가 쓰는 것의
설계자는 저 자신인 거죠.

573
00:31:19,160 --> 00:31:22,814
그다음이 바이브 코딩이에요.
"이거 좀 구현해 줘" 하고

574
00:31:22,814 --> 00:31:26,233
엔터 치면, 그다음은 모델이
알아서 하게 두는 거죠.

575
00:31:26,233 --> 00:31:27,486
그게 에이전트예요.

576
00:31:27,486 --> 00:31:30,343
에이전트는 아주 특정한
상황에서만 잘 작동하는

577
00:31:30,343 --> 00:31:33,200
것 같고, 저도 그런
특정 상황에서만 씁니다.

578
00:31:33,200 --> 00:31:35,947
하지만 이것들도 다 쓸
수 있는 도구들이라, 뭘

579
00:31:35,947 --> 00:31:39,010
잘하고 뭘 못하는지, 언제
써야 하는지 배워야 해요.

580
00:31:39,010 --> 00:31:42,782
그러니까 예를 들어 보일러플레이트
작업엔 에이전트가 꽤 잘해요.

581
00:31:42,782 --> 00:31:46,360
그냥 복사-붙여넣기 하는
보일러플레이트 코드는 정말 잘하죠.

582
00:31:46,360 --> 00:31:51,250
인터넷에서 아주 흔하게
나오는 것들은 잘하는데,

583
00:31:51,250 --> 00:31:55,200
그런 예시가 학습 데이터에 많아서예요.

584
00:31:55,200 --> 00:31:58,240
모델이 아주 잘 해내는
부류의 것들이 있는 거예요.

585
00:31:58,240 --> 00:32:03,040
nanochat은 그런 경우가 아닌
것 같아요, 꽤 독특한 저장소라서요.

586
00:32:03,040 --> 00:32:07,174
제가 구조를 짠 방식대로면 코드량
자체가 그렇게 많지 않고요.

587
00:32:07,174 --> 00:32:08,880
보일러플레이트 코드가 아니에요.

588
00:32:08,880 --> 00:32:13,200
거의 지적으로 밀도 높은 코드라, 모든
게 아주 정밀하게 배치돼야 해요.

589
00:32:13,200 --> 00:32:17,026
모델들은 인지적 결함이 정말 많아요.

590
00:32:17,026 --> 00:32:22,490
한 예로, 계속 코드를
오해하더라고요. 인터넷의 흔한

591
00:32:22,490 --> 00:32:28,708
방식들에 대한 기억이 너무
많은데, 저는 그걸 안 썼거든요.

592
00:32:28,708 --> 00:32:32,759
예를 들면—자세히는 안
들어가겠지만—모델들은 제가

593
00:32:32,759 --> 00:32:36,960
평범한 코드를 짠다고 계속
생각했는데, 아니었어요.

594
00:32:36,960 --> 00:32:39,360
예를 하나 들어볼까요?

595
00:32:39,360 --> 00:32:43,142
GPU 8개가 각각 순전파,
역전파를 한다고 해봐요.

596
00:32:43,142 --> 00:32:47,951
그래디언트를 동기화하는 방법은
PyTorch의 DDP(분산 데이터 병렬)

597
00:32:47,951 --> 00:32:52,400
컨테이너를 쓰는 건데, 역전파 중에
자동으로 통신하며 동기화해줘요.

598
00:32:52,400 --> 00:32:56,640
저는 DDP를 안 썼어요, 필요가
없어서 쓰고 싶지 않았거든요.

599
00:32:56,640 --> 00:32:59,871
그걸 버리고, 옵티마이저
step 안에 들어가는

600
00:32:59,871 --> 00:33:02,480
제 나름의 동기화 루틴을 직접 짰어요.

601
00:33:02,480 --> 00:33:05,907
모델들은 계속 저한테 DDP
컨테이너를 쓰게 하려 했어요.

602
00:33:05,907 --> 00:33:07,339
굉장히 걱정을 하더라고요.

603
00:33:07,339 --> 00:33:10,670
너무 기술적인 얘기가
되겠지만, 그 컨테이너는 필요

604
00:33:10,670 --> 00:33:14,000
없어서 안 썼고, 비슷한
걸 직접 구현해 뒀거든요.

605
00:33:14,000 --> 00:33:16,640
제가 제 걸 갖고 있다는 걸
도저히 받아들이질 못했어요.

606
00:33:16,640 --> 00:33:18,562
그걸 넘어서질 못하더라고요.

607
00:33:18,562 --> 00:33:21,146
계속 스타일을 망치려고 했어요.

608
00:33:21,146 --> 00:33:23,200
너무 지나치게 방어적이에요.

609
00:33:23,200 --> 00:33:25,029
이런 try-catch
문을 다 갖다 붙여요.

610
00:33:25,029 --> 00:33:28,069
자꾸 프로덕션 코드베이스로
만들려고 해요.

611
00:33:28,069 --> 00:33:31,373
제 코드엔 가정이 많은데,
그래도 괜찮거든요.

612
00:33:31,920 --> 00:33:34,188
이런 부가적인 것들이 다 필요 없어요.

613
00:33:34,188 --> 00:33:38,014
그래서 코드베이스만 부풀리고
복잡도만 늘리는 것 같아요.

614
00:33:38,014 --> 00:33:41,839
자꾸 오해하고, deprecated
API도 계속 써요.

615
00:33:41,839 --> 00:33:43,493
완전 엉망이 되는 거죠.

616
00:33:43,493 --> 00:33:45,756
결국 순효용이 없는 거예요.

617
00:33:45,756 --> 00:33:48,953
제가 들어가서 정리할 순
있지만, 순효용은 없어요.

618
00:33:48,953 --> 00:33:51,557
원하는 걸 영어로 타이핑해야 하는 것도

619
00:33:51,557 --> 00:33:54,160
귀찮아요, 타이핑 양이 너무 많거든요.

620
00:33:54,160 --> 00:33:58,833
원하는 코드 부분으로 가서
코드가 나올 자리에서 맨

621
00:33:58,833 --> 00:34:03,840
앞 몇 글자만 치면, 자동완성이
알아채고 코드를 줘요.

622
00:34:03,840 --> 00:34:07,040
원하는 걸 지정하기엔 정보
대역폭이 훨씬 높은 방식이에요.

623
00:34:07,040 --> 00:34:12,803
원하는 위치를 가리키고 앞부분만
조금 치면, 모델이 완성해줘요.

624
00:34:12,803 --> 00:34:18,927
그러니까 제 말은, 이 모델들이 스택의
특정 부분에서만 잘한다는 거예요.

625
00:34:18,927 --> 00:34:24,458
제가 모델을 쓴 사례 중에 잘
보여주는 예가 두 가지 있어요.

626
00:34:24,458 --> 00:34:26,560
하나는 리포트를 생성했을 때고요.

627
00:34:26,560 --> 00:34:30,240
그건 보일러플레이트에 가까워서,
일부는 바이브 코딩으로 했어요.

628
00:34:30,240 --> 00:34:34,320
미션 크리티컬한 게 아니라서
괜찮았고, 잘 작동해요.

629
00:34:34,320 --> 00:34:37,920
다른 하나는 토크나이저를
Rust로 재작성할 때였어요.

630
00:34:37,920 --> 00:34:41,120
제가 Rust는 그렇게 잘하지 못해요,
시작한 지 얼마 안 됐거든요.

631
00:34:41,120 --> 00:34:45,840
그래서 Rust 코드를 쓸 때는
바이브 코딩이 좀 들어갔어요.

632
00:34:45,840 --> 00:34:50,152
하지만 제가 완전히 이해하는 파이썬
구현이 있었고, 그걸 더 효율적인

633
00:34:50,152 --> 00:34:54,578
버전으로 만드는 거였어요. 테스트도
있어서 더 안심하고 할 수 있었죠.

634
00:34:56,240 --> 00:35:02,560
잘 모르는 언어나 패러다임에
대한 접근성을 높여주는 거죠.

635
00:35:02,560 --> 00:35:04,733
그 부분에서도 정말
도움이 되는 것 같아요.

636
00:35:04,733 --> 00:35:07,810
Rust 코드가 세상에 엄청
많아서, 모델들이 꽤 잘해요.

637
00:35:07,810 --> 00:35:11,004
저는 마침 그걸 잘 몰라서,
모델이 거기서 정말 유용해요.

638
00:35:11,004 --> 00:35:16,015
이 질문이 흥미로운 이유는,
AI가 폭발적으로 커져서

639
00:35:16,015 --> 00:35:20,854
빠르게 초지능에 도달한다는
주된 서사가 바로 AI가

640
00:35:20,854 --> 00:35:25,520
AI 엔지니어링과 연구를
자동화한다는 거라서예요.

641
00:35:25,520 --> 00:35:28,490
사람들은 이렇게 볼 거예요.
Claude Code로 처음부터

642
00:35:28,490 --> 00:35:31,640
CRUD 애플리케이션 같은 전체
앱을 만들 수 있다는 걸 보고,

643
00:35:31,640 --> 00:35:34,880
'이 능력이 OpenAI나
DeepMind 안에도 그대로 있다면,

644
00:35:34,880 --> 00:35:37,850
당신 같은 존재 천 명, 아니
백만 명이 병렬로 돌면서 작은

645
00:35:37,850 --> 00:35:41,000
아키텍처적 개선점들을 찾아낸다고
상상해 보라'고 생각하는 거죠.

646
00:35:41,000 --> 00:35:43,616
바로 그 부분에서 AI가 비대칭적으로 더

647
00:35:43,616 --> 00:35:46,113
약하다고 말씀하시는 게 꽤 흥미롭네요.

648
00:35:46,113 --> 00:35:49,494
AI 2027류의 폭발적 상황이 조만간

649
00:35:49,494 --> 00:35:53,520
일어날지 예측하는 데도
꽤 중요한 대목이고요.

650
00:35:53,520 --> 00:35:55,900
잘 짚어주셨어요. 바로 그 지점이 제

651
00:35:55,900 --> 00:35:58,400
타임라인이 좀 더 긴 이유이기도 해요.

652
00:35:58,400 --> 00:35:59,284
맞아요.

653
00:35:59,284 --> 00:36:02,109
이렇게 말할 수도 있을 것
같은데, 전에 한 번도 작성된

654
00:36:02,109 --> 00:36:05,026
적 없는 코드에는 그다지 능하지
않아요. 그런데 그게 바로

655
00:36:05,026 --> 00:36:07,760
우리가 이 모델들을 만들면서
이루려는 목표이기도 하죠.

656
00:36:07,760 --> 00:36:11,737
정말 순진한 질문일 수도 있는데,
nanochat에 추가하시는 그

657
00:36:11,737 --> 00:36:16,046
아키텍처적 개선점들, 그거 어딘가
논문에 나와 있는 거잖아요, 그렇죠?

658
00:36:16,046 --> 00:36:18,826
어쩌면 어느 저장소엔가
이미 있을 수도 있고요.

659
00:36:20,320 --> 00:36:25,415
그런데 'RoPE 임베딩을
추가해줘' 같은 식으로 말씀하시면,

660
00:36:25,415 --> 00:36:29,760
모델이 그걸 엉뚱한 방식으로
하는 게 놀랍지 않나요?

661
00:36:29,760 --> 00:36:30,330
어려운 문제예요.

662
00:36:30,330 --> 00:36:32,135
알긴 아는데, 완전히는 몰라요.

663
00:36:32,135 --> 00:36:35,859
그걸 이 저장소에, 제 스타일에,
제 코드에, 제 방식에 완전히

664
00:36:35,859 --> 00:36:39,050
통합하는 법을 모르는 거예요.
제가 하고 있는 커스텀한

665
00:36:39,050 --> 00:36:42,880
것들이나, 그게 저장소의 모든
전제들과 어떻게 맞아떨어지는지도요.

666
00:36:42,880 --> 00:36:46,323
어느 정도 지식은 있는데, 그걸 통합해서

667
00:36:46,323 --> 00:36:49,922
말이 되게 만드는
단계까지는 못 간 거죠.

668
00:36:49,922 --> 00:36:54,080
많은 부분이 계속 개선되고는 있어요.

669
00:36:54,080 --> 00:36:57,179
지금 제가 찾는 최첨단 모델은 GPT-5

670
00:36:57,179 --> 00:36:59,997
Pro인데, 정말 강력한 모델이에요.

671
00:36:59,997 --> 00:37:03,042
시간이 20분 정도 있으면 제
저장소 전체를 복사해서 붙여넣고,

672
00:37:03,042 --> 00:37:06,000
오라클인 GPT-5 Pro한테
가서 몇 가지 질문을 던져봐요.

673
00:37:06,000 --> 00:37:08,747
결과가 나쁘지 않을
때가 많고, 1년 전에

674
00:37:08,747 --> 00:37:11,135
있던 것들에 비하면 놀랍도록 좋아요.

675
00:37:11,760 --> 00:37:16,133
그래도 전반적으로 모델들은
아직 거기까지는 못 갔어요.

676
00:37:16,133 --> 00:37:20,536
업계가 너무 큰 비약을
하면서 이게 대단한

677
00:37:20,536 --> 00:37:25,705
것처럼 포장하려는 것
같은데, 사실은 안 그래요.

678
00:37:25,705 --> 00:37:26,412
슬롭이에요.

679
00:37:26,412 --> 00:37:28,126
그 사실을 받아들이지
못하는 거고, 아마 투자

680
00:37:28,126 --> 00:37:29,840
유치 같은 걸 하려고
그러는 것 같기도 해요.

681
00:37:29,840 --> 00:37:31,579
정확히 무슨 상황인지는
모르겠지만, 우리는

682
00:37:31,579 --> 00:37:33,091
지금 이런 중간 단계에 있는 거예요.

683
00:37:33,091 --> 00:37:34,279
모델들은 대단해요.

684
00:37:34,279 --> 00:37:36,069
그래도 아직 손볼 게 많이 남아 있고요.

685
00:37:36,069 --> 00:37:38,320
지금으로선 자동완성이
저한테는 최적의 지점이에요.

686
00:37:38,320 --> 00:37:42,656
하지만 어떤 종류의 코드는 가끔
LLM 에이전트한테 맡기기도 해요.

687
00:37:43,040 --> 00:37:45,790
이게 정말 흥미로운 또
다른 이유가 있어요.

688
00:37:45,790 --> 00:37:53,239
프로그래밍의 역사를 보면 컴파일러,
린팅, 더 나은 프로그래밍 언어처럼

689
00:37:53,239 --> 00:38:00,880
생산성을 높인 것들이 많았지만, 그게
폭발적인 변화로 이어지진 않았어요.

690
00:38:00,880 --> 00:38:03,917
그건 자동완성 탭이랑 정말
비슷하게 들리네요. 그리고

691
00:38:03,917 --> 00:38:06,850
이 다른 범주는 그냥
프로그래머 자체의 자동화고요.

692
00:38:06,850 --> 00:38:13,680
그걸 더 나은 컴파일러 같은 역사적
유비 쪽으로 보신다는 게 흥미롭네요.

693
00:38:13,680 --> 00:38:16,330
어쩌면 이게 또 다른 생각으로
이어지는 것 같아요.

694
00:38:16,330 --> 00:38:20,661
저는 AI가 어디서 시작하고
끝나는지 구분하기가

695
00:38:20,661 --> 00:38:25,991
어려워요. AI를 근본적으로
컴퓨팅의 연장선으로 보거든요.

696
00:38:25,991 --> 00:38:33,177
재귀적 자기 개선이나 프로그래머
속도를 높이는 흐름이 처음부터 쭉

697
00:38:33,177 --> 00:38:40,364
이어져 왔다고 봐요. 코드 에디터,
구문 강조, 데이터 타입 체크

698
00:38:40,364 --> 00:38:47,151
같은 것까지—저희가 서로를 위해
만들어온 이 모든 도구들이요.

699
00:38:47,151 --> 00:38:48,160
검색 엔진도 마찬가지고요.

700
00:38:48,160 --> 00:38:51,065
검색 엔진은 왜 AI의
일부가 아니겠어요?

701
00:38:51,065 --> 00:38:52,212
랭킹 자체가 AI잖아요.

702
00:38:52,212 --> 00:38:55,781
사실 구글도 초창기부터 스스로를
구글 검색 엔진을 만드는

703
00:38:55,781 --> 00:38:59,120
AI 회사라고 생각했어요.
그것도 완전히 타당하고요.

704
00:38:59,120 --> 00:39:01,549
저는 다른 사람들보다
이걸 훨씬 더 연속적인

705
00:39:01,549 --> 00:39:04,080
흐름으로 보는 편이라,
선을 긋기가 어려워요.

706
00:39:04,080 --> 00:39:08,573
지금은 훨씬 더 나은 자동완성을
얻고 있고, 계속 도는 이

707
00:39:08,573 --> 00:39:13,206
에이전트들도 생기고 있는 것
같은데, 가끔 탈선하기도 하죠.

708
00:39:13,520 --> 00:39:15,648
실제로 일어나는 일은, 인간이 점점 더

709
00:39:15,648 --> 00:39:18,080
저수준의 일을 조금씩
덜 하게 되는 거예요.

710
00:39:18,080 --> 00:39:20,880
컴파일러가 있으니 우리가 어셈블리
코드를 직접 짜지 않는 것처럼요.

711
00:39:20,880 --> 00:39:22,360
컴파일러가 제 C 같은 고수준 언어를

712
00:39:22,360 --> 00:39:23,840
받아서 어셈블리 코드를 대신 써주죠.

713
00:39:23,840 --> 00:39:26,268
우리는 아주, 아주 천천히
스스로를 추상화해 온 거예요.

714
00:39:26,268 --> 00:39:30,704
저는 이걸 '자율성 슬라이더'라고
부르는데요, 그 시점에 자동화할

715
00:39:30,704 --> 00:39:34,771
수 있는 것들이 점점 더 많이
자동화되고, 우리는 조금씩 덜

716
00:39:34,771 --> 00:39:39,207
하면서 그 자동화 위 추상화 계층으로
스스로를 끌어올리는 거예요.

717
00:40:53,920 --> 00:40:55,585
RL 얘기를 좀 해볼게요.

718
00:40:55,585 --> 00:40:58,651
이것에 대해 정말 흥미로운
트윗을 올리셨더라고요.

719
00:40:58,651 --> 00:41:03,600
개념적으로, 인간이 그저 환경과
상호작용하는 것만으로 풍부한 세계

720
00:41:03,600 --> 00:41:08,686
모델을 만들어내는 방식을, 그것도
에피소드 끝의 최종 보상과는 거의

721
00:41:08,686 --> 00:41:13,360
무관해 보이는 방식으로 만들어내는
걸 어떻게 이해해야 할까요?

722
00:41:13,360 --> 00:41:18,043
누군가 사업을 시작해서 10년 뒤에
성공했는지 실패했는지 알게 됐다고

723
00:41:18,043 --> 00:41:22,480
하면, 우리는 그 사람이 많은
지혜와 경험을 얻었다고 말하잖아요.

724
00:41:22,480 --> 00:41:25,068
하지만 그건 지난 10년간
있었던 모든 일 각각의

725
00:41:25,068 --> 00:41:28,039
log prob이 올라가거나
내려가서 그런 게 아니에요.

726
00:41:28,039 --> 00:41:30,904
훨씬 더 의도적이고 풍부한
무언가가 일어나고 있는 거예요.

727
00:41:30,904 --> 00:41:32,912
ML에서는 그게 어떤
비유가 될까요, 그리고 지금

728
00:41:32,912 --> 00:41:34,920
우리가 LLM으로 하는
것과는 어떻게 비교되나요?

729
00:41:34,920 --> 00:41:36,662
아마 제가 표현하자면, 앞서 말씀드렸듯이

730
00:41:36,662 --> 00:41:38,720
인간은 강화학습(RL)을
쓰지 않는 것 같아요.

731
00:41:38,720 --> 00:41:42,087
뭔가 다른 걸 하고 있는 것 같아요.

732
00:41:42,640 --> 00:41:47,371
강화학습은 보통 사람들이 생각하는
것보다 훨씬 형편없어요.

733
00:41:47,371 --> 00:41:49,507
강화학습은 정말 형편없어요.

734
00:41:49,507 --> 00:41:54,401
다만 그 이전에 있던 것들이
다 훨씬 더 나빴을 뿐이에요.

735
00:41:54,401 --> 00:41:59,600
예전엔 그냥 사람을 모방하던
거라, 온갖 문제가 있었으니까요.

736
00:41:59,600 --> 00:42:04,000
강화학습에서, 예를 들어 수학 문제를
푼다고 해보죠. 아주 단순하니까요.

737
00:42:04,000 --> 00:42:08,160
수학 문제가 주어지고, 그
답을 찾으려 하는 거예요.

738
00:42:08,160 --> 00:42:13,920
강화학습에서는 먼저 여러
가지를 병렬로 많이 시도해봐요.

739
00:42:13,920 --> 00:42:17,134
문제가 주어지면, 수백 가지
다른 시도를 해보는 거예요.

740
00:42:17,134 --> 00:42:18,640
이 시도들은 복잡할 수 있어요.

741
00:42:18,640 --> 00:42:21,105
"이걸 해볼까, 저걸 해볼까,
이건 안 됐고, 저것도

742
00:42:21,105 --> 00:42:23,740
안 됐고" 이런 식이죠.
그러다 답이 나올 수도 있고요.

743
00:42:23,740 --> 00:42:27,960
그러고 나서 책 뒤를 보고
확인하죠. "아, 정답은 이거구나."

744
00:42:27,960 --> 00:42:30,704
이거, 이거, 저거는 정답을 맞혔는데,

745
00:42:30,704 --> 00:42:33,840
나머지 97개는 틀렸다는
걸 알 수 있어요.

746
00:42:33,840 --> 00:42:38,183
강화학습이 말 그대로 하는 일은,
잘 된 것들로 가서 그 과정에서 한

747
00:42:38,183 --> 00:42:42,640
모든 것, 토큰 하나하나에 "이걸
더 해"라며 가중치를 높이는 거예요.

748
00:42:42,640 --> 00:42:45,542
문제는, 사람들은 추정량의 분산이 높다고

749
00:42:45,542 --> 00:42:48,049
말하겠지만, 사실 그냥 노이즈예요.

750
00:42:48,049 --> 00:42:48,901
노이즈라는 거죠.

751
00:42:48,901 --> 00:42:52,997
정답에 도달하기까지 만든
풀이의 작은 조각 하나하나가 다

752
00:42:52,997 --> 00:42:56,960
옳은 행동이었다고 가정하는
셈인데, 사실이 아니거든요.

753
00:42:56,960 --> 00:43:00,640
정답에 도달하기 전까지 엉뚱한
길로 샜을 수도 있는데 말이죠.

754
00:43:00,640 --> 00:43:03,228
결국 정답에 도달하기만
했다면, 그 잘못된 행동들

755
00:43:03,228 --> 00:43:06,200
하나하나까지 전부 "이걸 더
해"라고 가중치가 높아져요.

756
00:43:06,200 --> 00:43:06,986
정말 형편없어요.

757
00:43:06,986 --> 00:43:07,614
노이즈예요.

758
00:43:07,614 --> 00:43:11,036
그 많은 작업을 다
해놓고, 결국 마지막엔

759
00:43:11,036 --> 00:43:14,160
"맞았다"는 숫자 하나만 얻는 거예요.

760
00:43:14,160 --> 00:43:19,040
그걸 기준으로 그 경로 전체를
가중치 높이거나 낮추는 거고요.

761
00:43:19,040 --> 00:43:22,400
제가 즐겨 쓰는 표현으로는, 빨대로
감독 신호를 빨아들이는 것과 같아요.

762
00:43:22,400 --> 00:43:27,560
1분짜리 롤아웃이 나올 만큼 애써놓고,
최종 보상 신호에서 나오는 감독

763
00:43:27,560 --> 00:43:32,322
신호를 쥐꼬리만큼만 빨대로 빨아들이듯
뽑아내서, 그걸 전체 궤적에

764
00:43:32,322 --> 00:43:37,614
그대로 뿌리고 그 궤적 전체의 가중치를
올리거나 내리는 데 쓰는 거예요.

765
00:43:37,614 --> 00:43:38,767
그냥 멍청하고 말이 안 되는 짓이에요.

766
00:43:38,767 --> 00:43:39,920
사람이라면 절대 이렇게 안 해요.

767
00:43:39,920 --> 00:43:43,120
첫째, 사람은 롤아웃을
수백 번씩 하지 않아요.

768
00:43:43,120 --> 00:43:47,251
둘째, 사람은 답을 찾으면
꽤 복잡한 검토 과정을

769
00:43:47,251 --> 00:43:51,840
거쳐요. "음, 이 부분은
잘했고 이 부분은 별로였다,

770
00:43:51,840 --> 00:43:53,691
이건 이렇게 하는 게
낫겠다" 하고 생각하죠.

771
00:43:53,691 --> 00:43:55,080
곰곰이 따져보는 거예요.

772
00:43:55,080 --> 00:43:57,810
지금의 LLM에는 이런 게 전혀 없어요.

773
00:43:57,810 --> 00:43:59,529
그에 해당하는 게 아예 없죠.

774
00:43:59,529 --> 00:44:02,352
하지만 이걸 시도하는
논문들이 나오고 있긴 해요.

775
00:44:02,352 --> 00:44:05,280
이 분야 사람들한테는 너무
뻔히 보이는 문제니까요.

776
00:44:05,280 --> 00:44:08,440
그런데 최초의 모방 학습은
정말 놀랍고 기적 같고 대단한

777
00:44:08,440 --> 00:44:11,600
일이었어요. 사람을 모방해서
파인튜닝할 수 있다는 게요.

778
00:44:11,600 --> 00:44:12,732
그건 정말 믿기 힘든 일이었죠.

779
00:44:12,732 --> 00:44:15,573
왜냐하면 처음엔 베이스
모델밖에 없었거든요.

780
00:44:15,573 --> 00:44:17,173
베이스 모델은 자동완성이잖아요.

781
00:44:17,173 --> 00:44:20,710
그때는 저도 이게 당연하지
않았고, 배워야 했어요.

782
00:44:20,710 --> 00:44:25,042
제 생각을 뒤집은 논문은
InstructGPT였어요. 자동완성인

783
00:44:25,042 --> 00:44:29,126
사전학습 모델을 가져다가 대화처럼
보이는 텍스트로 파인튜닝만

784
00:44:29,126 --> 00:44:32,716
해주면, 모델이 아주 빠르게
적응해서 대화형이 되고,

785
00:44:32,716 --> 00:44:36,800
사전학습에서 얻은 지식은 그대로
유지된다는 걸 보여줬거든요.

786
00:44:36,800 --> 00:44:39,990
제가 놀랐던 이유는, 그런
스타일 적응이 그렇게 빨리

787
00:44:39,990 --> 00:44:42,960
될 줄 몰랐기 때문이에요.
그런 데이터로 몇 번만

788
00:44:42,960 --> 00:44:46,480
파인튜닝을 돌리면 사용자를 위한
어시스턴트가 된다는 게요.

789
00:44:46,480 --> 00:44:49,218
그게 통한다는 게 저한테는
정말 기적 같았어요.

790
00:44:49,218 --> 00:44:50,092
정말 놀라운 일이죠.

791
00:44:50,092 --> 00:44:52,240
그건 2~3년에 걸친 작업이었어요.

792
00:44:52,240 --> 00:44:53,107
그다음에 RL이 등장했죠.

793
00:44:53,107 --> 00:44:57,772
RL을 쓰면 단순 모방 학습보다
조금 더 나아갈 수 있어요.

794
00:44:57,772 --> 00:45:02,720
보상 함수를 만들어서 그 위에서
힐클라이밍을 할 수 있으니까요.

795
00:45:02,720 --> 00:45:04,991
어떤 문제는 그냥 정답이
있어서, 모방할 전문가

796
00:45:04,991 --> 00:45:07,437
궤적 없이도 그 위에서
힐클라이밍을 할 수 있어요.

797
00:45:07,437 --> 00:45:08,407
그것도 정말 대단한 일이에요.

798
00:45:08,407 --> 00:45:13,314
모델이 사람은 절대 생각해내지 못했을
법한 해법을 찾아낼 수도 있고요.

799
00:45:13,314 --> 00:45:15,125
이건 정말 놀라운 일이에요.

800
00:45:15,125 --> 00:45:17,298
그런데도 여전히 멍청하죠.

801
00:45:17,298 --> 00:45:18,566
더 많은 게 필요해요.

802
00:45:18,566 --> 00:45:21,946
어제 구글에서 나온 논문을
봤는데, 이 '반성하고

803
00:45:21,946 --> 00:45:25,200
검토한다'는 아이디어를
염두에 두고 있더라고요.

804
00:45:25,200 --> 00:45:27,447
혹시 메모리 뱅크 논문이었나요?

805
00:45:27,447 --> 00:45:28,178
잘 모르겠어요.

806
00:45:28,178 --> 00:45:30,320
이런 방향의 논문을 몇 편 봤어요.

807
00:45:30,320 --> 00:45:34,075
그래서 이 영역에서
LLM 알고리즘을 다루는

808
00:45:34,075 --> 00:45:37,360
방식에 큰 업데이트가 올 거라고 봐요.

809
00:45:37,360 --> 00:45:42,480
제 생각엔 3~5개 정도
더 필요할 것 같아요.

810
00:45:42,480 --> 00:45:45,930
표현을 정말 생생하게 잘 만드시네요.

811
00:45:45,930 --> 00:45:48,627
"빨대로 감독 신호를
빨아들이기"라는 표현이요.

812
00:45:48,627 --> 00:45:49,865
정말 탁월해요.

813
00:45:49,865 --> 00:45:55,649
그러니까 결과 기반 보상의 문제는,
이 거대한 궤적이 있는데, 그

814
00:45:55,649 --> 00:46:00,952
끝에 가서야 그 마지막 한
조각으로부터 무엇을 해야 하는지,

815
00:46:00,952 --> 00:46:06,897
세상에 대해 무엇을 배워야 하는지
그 모든 걸 배우려 한다는 거죠?

816
00:46:07,280 --> 00:46:10,722
이게 이렇게 자명한데, 왜
대안인 과정 기반 감독은 모델을

817
00:46:10,722 --> 00:46:13,842
더 유능하게 만드는 성공적인
방법이 되지 못했을까요?

818
00:46:13,842 --> 00:46:16,821
이 대안적 패러다임을 쓰지
못하게 막아온 건 뭔가요?

819
00:46:16,821 --> 00:46:18,957
과정 기반 감독이란 그저 보상 함수를

820
00:46:18,957 --> 00:46:21,200
맨 마지막에만 두지 않는다는 뜻이에요.

821
00:46:21,200 --> 00:46:22,611
10분 동안 작업한 뒤에, 잘했는지

822
00:46:22,611 --> 00:46:24,320
못했는지를 그제서야
말해주진 않는 거예요.

823
00:46:24,320 --> 00:46:28,000
매 단계마다 얼마나 잘하고
있는지를 말해주는 거죠.

824
00:46:28,000 --> 00:46:29,836
그걸 못 하고 있는 이유는, 이걸

825
00:46:29,836 --> 00:46:32,080
제대로 하는 방법이 까다롭기 때문이에요.

826
00:46:32,080 --> 00:46:33,592
부분적인 풀이는 있는데, 거기에 어떻게

827
00:46:33,592 --> 00:46:34,960
공로를 배분해야 할지 모르는 거죠.

828
00:46:34,960 --> 00:46:38,828
그래서 정답을 맞히면, 그냥 답이
일치하는지만 보면 되는 거예요.

829
00:46:38,828 --> 00:46:40,490
구현하기는 아주 간단하죠.

830
00:46:40,490 --> 00:46:43,275
과정 기반 감독을 한다면, 자동화 가능한

831
00:46:43,275 --> 00:46:46,314
방식으로 부분 공로를
어떻게 배분할 건가요?

832
00:46:46,314 --> 00:46:47,840
그 방법이 명확하지가 않아요.

833
00:46:47,840 --> 00:46:50,960
많은 연구소들이 이걸 LLM
심판으로 해보려 하고 있어요.

834
00:46:50,960 --> 00:46:52,604
LLM한테 그걸 시켜보는 거예요.

835
00:46:52,604 --> 00:46:55,303
LLM한테 프롬프트를 줘요. "이
학생의 부분 풀이를 봐봐."

836
00:46:55,303 --> 00:46:57,774
"정답이 이거라면,
얼마나 잘한 걸까?"라고

837
00:46:57,774 --> 00:46:59,730
하면서 프롬프트를 튜닝해보는 거죠.

838
00:46:59,730 --> 00:47:02,560
이게 까다로운 이유는 꽤 미묘해요.

839
00:47:02,560 --> 00:47:06,124
보상을 매기는 데 LLM을 쓸
때마다, 그 LLM은 수십억

840
00:47:06,124 --> 00:47:09,576
파라미터짜리 거대한 존재라서
속일 수 있다는 사실이에요.

841
00:47:09,576 --> 00:47:12,338
그걸 기준으로 강화학습을
하면, 거의 확실하게

842
00:47:12,338 --> 00:47:15,320
LLM 심판에 대한 적대적
예제를 찾아내게 돼요.

843
00:47:15,320 --> 00:47:16,755
그래서 이걸 너무 오래 할 수는 없어요.

844
00:47:16,755 --> 00:47:19,190
한 10스텝이나 20스텝
정도는 통할 수도

845
00:47:19,190 --> 00:47:21,836
있지만, 100이나
1,000스텝은 안 돼요.

846
00:47:21,836 --> 00:47:28,010
당연해 보이지 않을 수 있는데,
기본적으로 모델은 작은 틈을 찾아내요.

847
00:47:28,010 --> 00:47:31,840
거대한 모델의 구석구석에
있는 이런 가짜 신호들을

848
00:47:31,840 --> 00:47:34,960
찾아내서, 속일 방법을 찾아내는 거예요.

849
00:47:34,960 --> 00:47:39,022
제 머릿속에 강하게 남아 있는
예가 하나 있는데, 아마

850
00:47:39,022 --> 00:47:43,218
공개된 얘기일 텐데요, 보상을
위해 LLM 심판을 쓴다면

851
00:47:43,218 --> 00:47:47,280
학생의 풀이를 주고 잘했는지
못했는지 물어보는 거예요.

852
00:47:47,280 --> 00:47:52,368
그 보상 함수를 기준으로 강화학습을
시켰는데, 정말 잘 됐어요.

853
00:47:52,368 --> 00:47:55,520
그러다 갑자기 보상이 엄청나게 커졌어요.

854
00:47:55,520 --> 00:47:57,680
엄청난 도약이었고,
완벽한 점수가 나왔어요.

855
00:47:57,680 --> 00:48:00,037
그걸 보면서 "와, 이건
학생이 이 문제들을

856
00:48:00,037 --> 00:48:02,590
전부 완벽하게 풀었다는
뜻이잖아" 싶은 거예요.

857
00:48:02,590 --> 00:48:04,084
"수학을 완전히 정복한 거야."

858
00:48:04,084 --> 00:48:08,480
그런데 모델이 내놓는 완성 결과물을
보면, 완전히 헛소리예요.

859
00:48:08,480 --> 00:48:11,360
처음엔 멀쩡하게 시작하다가, 갑자기
"dhdhdhdh"로 바뀌어버려요.

860
00:48:11,360 --> 00:48:13,710
그냥 이런 식이에요. "아
그래, 2 더하기 3을 해보자,

861
00:48:13,710 --> 00:48:15,840
이렇게 하고 저렇게 하고,
그리고 dhdhdhdh."

862
00:48:15,840 --> 00:48:17,200
그걸 보고 있으면,
"이거 미쳤다" 싶죠.

863
00:48:17,200 --> 00:48:19,480
어떻게 보상이 1점, 그러니까
100%가 나오는 걸까요?

864
00:48:19,480 --> 00:48:23,396
LLM 심판을 들여다보니,
"dhdhdhdh"가 그 모델에 대한

865
00:48:23,396 --> 00:48:27,200
적대적 예제였고, 여기에 100%
확률을 부여하고 있더라고요.

866
00:48:27,200 --> 00:48:30,240
이게 그냥 LLM 입장에서는 훈련
분포 밖의 사례였기 때문이에요.

867
00:48:30,240 --> 00:48:31,989
훈련 중엔 한 번도 본 적이 없어서,

868
00:48:31,989 --> 00:48:34,000
순수한 일반화의 영역에
들어가 있는 거죠.

869
00:48:34,000 --> 00:48:37,130
훈련 중에 본 적이 없고,
그 순수한 일반화의 영역에서는

870
00:48:37,130 --> 00:48:40,058
이렇게 모델을 무너뜨리는
예제들을 찾아낼 수 있어요.

871
00:48:40,058 --> 00:48:44,289
사실상 LLM을 프롬프트 인젝션
모델로 훈련시키는 셈이네요.

872
00:48:44,289 --> 00:48:45,058
그 정도까지는 아니에요.

873
00:48:45,058 --> 00:48:46,800
프롬프트 인젝션이라 하기엔
너무 거창한 표현이고요.

874
00:48:46,800 --> 00:48:48,960
말하자면 적대적 예제를 찾아내는 거예요.

875
00:48:48,960 --> 00:48:52,200
말도 안 되는, 누가 봐도 틀린 답인데

876
00:48:52,200 --> 00:48:55,440
모델은 그걸 훌륭하다고 생각하는 거죠.

877
00:48:55,440 --> 00:49:00,320
이게 RL을 더 잘 작동시키는
병목이라고 보신다면, 자동화된 방식으로

878
00:49:00,320 --> 00:49:05,200
하려면 결국 LLM을 더 나은 심판으로
만들어야 한다는 말씀이시네요.

879
00:49:05,200 --> 00:49:09,438
결국 GAN 같은 방식으로 모델을
더 견고하게 훈련시켜야 하는 걸까요?

880
00:49:09,438 --> 00:49:11,920
아마 랩들은 그런 시도를
다 해보고 있을 거예요.

881
00:49:11,920 --> 00:49:13,354
당연한 얘기지만, "dhdhdhdh"가

882
00:49:13,354 --> 00:49:14,720
100% 보상을 받으면 안 되잖아요.

883
00:49:14,720 --> 00:49:17,306
그럼 "dhdhdhdh"를
LLM 심판의 학습 데이터에

884
00:49:17,306 --> 00:49:19,720
넣고, 이건 100%가
아니라 0%라고 하면 되죠.

885
00:49:19,720 --> 00:49:22,399
그렇게 할 수는 있는데,
그럴 때마다 새로운 LLM이

886
00:49:22,399 --> 00:49:24,800
나오고, 거기에도 여전히
적대적 예제가 있어요.

887
00:49:24,800 --> 00:49:27,030
적대적 예제는 무한히 존재하거든요.

888
00:49:27,030 --> 00:49:31,406
몇 번 반복하면 적대적 예제를
찾기가 점점 더 어려워지긴 하겠지만,

889
00:49:31,406 --> 00:49:36,019
이게 파라미터가 1조 개쯤 되는
물건이라 100% 확신은 못 하겠어요.

890
00:49:36,019 --> 00:49:39,975
랩들이 시도하고 있을 거라고 확신해요.

891
00:49:41,920 --> 00:49:44,040
그래도 다른 아이디어가
필요하다고 생각해요.

892
00:49:44,040 --> 00:49:44,827
흥미롭네요.

893
00:49:44,827 --> 00:49:50,392
그 다른 아이디어가 어떤
모양일지 좀 감이 오시나요?

894
00:49:50,392 --> 00:49:54,861
합성 예제를 아우르는 일종의
리뷰 솔루션 같은 건데, 그걸로

895
00:49:54,861 --> 00:49:59,601
학습하면 더 나아지고 어떤 식으로든
메타러닝을 하게 되는 거죠.

896
00:49:59,601 --> 00:50:02,396
그런 논문들이 조금씩 나오기
시작하는 걸 보고 있어요.

897
00:50:02,396 --> 00:50:04,465
아직은 초록만 읽어보는 단계인데, 이런

898
00:50:04,465 --> 00:50:06,731
논문 상당수가 그냥
아이디어 수준이라서요.

899
00:50:06,731 --> 00:50:11,415
누군가 프론티어 LLM 랩 규모에서
완전히 일반적으로 작동하게 만들어야

900
00:50:11,415 --> 00:50:15,618
하는데, 이런 논문들이 나올 때
보면 아직 좀 노이즈가 많아요.

901
00:50:15,618 --> 00:50:18,286
멋진 아이디어이긴 한데,
이게 실제로 가능하다는

902
00:50:18,286 --> 00:50:20,955
걸 설득력 있게 보여준
사람은 아직 못 봤어요.

903
00:50:20,955 --> 00:50:24,890
그렇다고 해도 LLM
랩들은 꽤 폐쇄적이니까,

904
00:50:24,890 --> 00:50:28,196
지금 뭘 하고 있는지는 아무도 모르죠.

905
00:50:28,196 --> 00:50:32,140
스스로 만들어낸 합성 예제나 합성 문제로

906
00:50:32,140 --> 00:50:36,800
학습시키는 방법은 어느
정도 그려볼 수 있어요.

907
00:50:36,800 --> 00:50:40,686
그런데 인간이 하는 또 다른
무언가가 있는 것 같은데—어쩌면

908
00:50:40,686 --> 00:50:43,983
수면이 그거고, 어쩌면
몽상이 그거일 텐데—꼭 가짜

909
00:50:43,983 --> 00:50:47,280
문제를 만들어내는 게 아니라
그냥 성찰하는 거예요.

910
00:50:47,280 --> 00:50:49,400
공상이나 수면, 아니면
그냥 성찰하는 것에

911
00:50:49,400 --> 00:50:51,520
대응하는 ML 비유가
뭔지 잘 모르겠어요.

912
00:50:51,520 --> 00:50:52,966
새로운 문제를 떠올리진 못했어요.

913
00:50:52,966 --> 00:50:56,493
당연히 가장 기초적인 비유라면
성찰한 내용들로 파인튜닝하는

914
00:50:56,493 --> 00:51:00,240
거겠지만, 실제로는 그게 그렇게
잘 작동하지 않을 것 같아요.

915
00:51:00,240 --> 00:51:05,120
이 부분의 비유가 뭔지
나름의 생각이 있으신가요?

916
00:51:05,120 --> 00:51:07,582
저는 우리가 놓치고 있는
측면이 있다고 생각해요.

917
00:51:07,582 --> 00:51:11,051
예를 들어, 책 읽기를 한번 생각해보죠.

918
00:51:11,360 --> 00:51:15,184
지금 LLM이 책을 읽는다는 건,
텍스트 시퀀스를 쭉 펼쳐놓고

919
00:51:15,184 --> 00:51:19,120
모델이 다음 토큰을 예측하면서
거기서 지식을 얻는다는 뜻이에요.

920
00:51:19,120 --> 00:51:20,458
그건 사실 인간이 하는 방식이 아니에요.

921
00:51:20,458 --> 00:51:23,413
책을 읽을 때, 저는 그
책을 제가 주의를 기울이고

922
00:51:23,413 --> 00:51:25,840
학습해야 할 설명문으로조차
느끼지 않아요.

923
00:51:25,840 --> 00:51:29,573
그 책은 제가 합성 데이터를
생성하도록, 혹은 여러분이 북클럽에

924
00:51:29,573 --> 00:51:33,200
가서 친구들과 그 얘기를 나누도록
만드는 일련의 프롬프트예요.

925
00:51:33,200 --> 00:51:37,680
그 정보를 이리저리 다뤄보는 과정에서
실제로 지식을 얻게 되는 거예요.

926
00:51:37,680 --> 00:51:39,648
LLM에는 그런 것에
대응하는 게 전혀 없어요.

927
00:51:39,648 --> 00:51:40,944
실제로 그렇게 하진 않거든요.

928
00:51:40,944 --> 00:51:44,777
사전학습 중에, 자료를
곱씹으면서 이미 아는 것과

929
00:51:44,777 --> 00:51:48,469
맞춰보고, 일정 시간
충분히 생각을 거쳐서 그게

930
00:51:48,469 --> 00:51:52,160
실제로 작동하게 만드는
단계가 있으면 좋겠어요.

931
00:51:52,160 --> 00:51:53,491
이런 것들에 대응하는
건 지금 전혀 없어요.

932
00:51:53,491 --> 00:51:54,242
이건 전부 아직 연구 대상이에요.

933
00:51:54,242 --> 00:51:56,661
이게 간단하지 않은 데는 아주 미묘한—제

934
00:51:56,661 --> 00:51:59,520
생각엔 이해하기 굉장히
어려운—이유들이 있어요.

935
00:51:59,520 --> 00:52:02,051
하나만 설명드리자면,
왜 그냥 합성 데이터를

936
00:52:02,051 --> 00:52:04,160
생성해서 학습시키면 안 되는 걸까요?

937
00:52:04,160 --> 00:52:07,616
왜냐하면 모델이 책에 대해 생각하는
모습을 합성 생성해서 보여드리면,

938
00:52:07,616 --> 00:52:10,800
그 예시를 보고는 이렇게
생각하시거든요. "이거 진짜 괜찮은데.

939
00:52:10,800 --> 00:52:11,840
왜 이걸로 학습을 못 시키지?" 하고요.

940
00:52:11,840 --> 00:52:13,379
시도해 볼 수는 있지만, 계속 그렇게

941
00:52:13,379 --> 00:52:15,072
하면 모델이 오히려 훨씬 나빠질 거예요.

942
00:52:15,072 --> 00:52:19,219
그건 모델에서 얻는 샘플들이 전부
조용히 붕괴돼 있기 때문이에요.

943
00:52:19,219 --> 00:52:22,257
조용히요—개별 예시 하나만
봐서는 전혀 티가 안

944
00:52:22,257 --> 00:52:25,413
나는데—내용에 대해 가능한
생각들의 공간 중 아주

945
00:52:25,413 --> 00:52:28,685
작은 다양체(manifold)만
차지하고 있거든요.

946
00:52:28,685 --> 00:52:31,766
LLM이 뭔가를 만들어낼 때, 그건
이른바 "붕괴된" 상태인 거예요.

947
00:52:31,766 --> 00:52:34,960
붕괴된 데이터 분포를 갖고 있는 거죠.

948
00:52:34,960 --> 00:52:36,608
이걸 확인하는 쉬운
방법은 ChatGPT에

949
00:52:36,608 --> 00:52:38,400
가서 "농담 하나
해줘"라고 물어보는 거예요.

950
00:52:38,400 --> 00:52:39,761
농담을 딱 세 개 정도밖에 몰라요.

951
00:52:39,761 --> 00:52:42,663
가능한 농담의 전체 폭을
보여주는 게 아니에요.

952
00:52:42,663 --> 00:52:44,400
농담을 딱 세 개
정도만 알고 있는 거죠.

953
00:52:44,400 --> 00:52:46,202
조용히 붕괴된 거예요.

954
00:52:46,202 --> 00:52:49,503
이 모델들에게서는 사람에게서
얻을 수 있는 만큼의

955
00:52:49,503 --> 00:52:52,560
풍부함과 다양성,
엔트로피를 얻을 수 없어요.

956
00:52:52,560 --> 00:52:55,086
사람은 훨씬 더 노이즈가 많지만, 적어도

957
00:52:55,086 --> 00:52:57,611
통계적인 의미에서는 편향돼 있지 않아요.

958
00:52:57,611 --> 00:52:59,012
사람은 조용히 붕괴되지 않았거든요.

959
00:52:59,012 --> 00:53:00,720
사람은 엄청난 양의
엔트로피를 유지하고 있어요.

960
00:53:00,720 --> 00:53:03,511
그럼 붕괴를 겪으면서도
엔트로피는 유지한 채로, 합성

961
00:53:03,511 --> 00:53:06,205
데이터 생성이 작동하게
하려면 어떻게 해야 할까요?

962
00:53:06,205 --> 00:53:07,627
그게 바로 연구 과제예요.

963
00:53:07,627 --> 00:53:11,872
제가 제대로 이해했는지
확인하자면, 붕괴가 합성 데이터

964
00:53:11,872 --> 00:53:15,835
생성과 관련 있는 이유는
이미 자기 데이터 분포에는

965
00:53:15,835 --> 00:53:20,080
없는 합성 문제나 성찰을
만들어내고 싶기 때문인 거죠?

966
00:53:20,080 --> 00:53:24,176
제 말은, 예를 들어 책의 한
챕터가 있고 LLM에게 그걸

967
00:53:24,176 --> 00:53:28,400
생각해보라고 하면, 꽤 그럴듯해
보이는 답을 준다는 거예요.

968
00:53:28,400 --> 00:53:31,920
그런데 그걸 열 번 물어보면, 전부
다 똑같다는 걸 알게 될 거예요.

969
00:53:31,920 --> 00:53:36,470
같은 양의 프롬프트 정보를
가지고 '성찰'을 계속

970
00:53:36,470 --> 00:53:41,695
확장한다고 해서, 거기서 계속
이득을 얻을 수는 없어요.

971
00:53:41,695 --> 00:53:45,955
개별 샘플 하나하나는 괜찮아
보이지만, 그 분포는 꽤 형편없어요.

972
00:53:45,955 --> 00:53:48,367
그게 너무 형편없어서,
자기 자신이 만든 걸

973
00:53:48,367 --> 00:53:50,880
너무 많이 학습시키면
실제로 붕괴가 일어나요.

974
00:53:50,880 --> 00:53:54,240
이건 아마 근본적인 해결책이
없을 수도 있다고 생각해요.

975
00:53:54,240 --> 00:53:57,194
그리고 사람도 시간이 지나면서
붕괴한다고 생각해요.

976
00:53:57,194 --> 00:54:00,000
이 비유들이 의외로 잘 들어맞아요.

977
00:54:00,000 --> 00:54:03,093
사람은 살아가는 과정에서 붕괴해요.

978
00:54:03,093 --> 00:54:06,000
그래서 아이들은 아직
과적합되지 않은 거예요.

979
00:54:06,000 --> 00:54:08,789
아이들은 여러분을 놀라게
할 만한 말을 해요. 어디서

980
00:54:08,789 --> 00:54:11,290
그런 생각이 나왔는지는
알겠는데, 사람들이 보통

981
00:54:11,290 --> 00:54:13,983
하는 말은 아니거든요, 아직
붕괴되지 않았으니까요.

982
00:54:13,983 --> 00:54:15,105
하지만 우리는 붕괴돼 있어요.

983
00:54:15,105 --> 00:54:17,377
결국 같은 생각을 계속
되풀이하게 되는 거예요.

984
00:54:17,377 --> 00:54:22,051
결국 점점 더 같은 얘기만 반복하게
되고, 학습률은 떨어지고,

985
00:54:22,051 --> 00:54:26,176
붕괴는 점점 심해지다가, 결국
모든 게 망가지는 거죠.

986
00:54:26,176 --> 00:54:29,689
꿈을 꾸는 게 이런 과적합과 붕괴를 막는

987
00:54:29,689 --> 00:54:34,160
방법이라는, 정말 흥미로운
논문 보신 적 있으세요?

988
00:54:34,160 --> 00:54:39,509
꿈이 진화적으로 적응적인 이유는,
일상 현실과는 아주 다른 이상한

989
00:54:39,509 --> 00:54:44,560
상황에 놓이게 함으로써 이런
과적합을 막기 위해서라는 거예요.

990
00:54:44,560 --> 00:54:45,849
흥미로운 생각이네요.

991
00:54:45,849 --> 00:54:49,352
머릿속에서 뭔가를 생성하고 거기에
주의를 기울일 때, 그건 자기 자신의

992
00:54:49,352 --> 00:54:52,766
샘플로 학습하는 거고, 자기 합성
데이터로 학습하는 거라고 생각해요.

993
00:54:52,766 --> 00:54:56,901
너무 오래 그렇게 하면 궤도를
벗어나서 지나치게 붕괴하게 되죠.

994
00:54:56,901 --> 00:55:01,360
삶에서는 항상 엔트로피를 찾아야 해요.

995
00:55:01,360 --> 00:55:03,240
다른 사람과 대화하는 것도 엔트로피의

996
00:55:03,240 --> 00:55:05,120
훌륭한 원천이고, 그런 것들이 있죠.

997
00:55:05,120 --> 00:55:08,563
그래서 어쩌면 뇌도 그
과정에서 엔트로피 양을

998
00:55:08,563 --> 00:55:12,420
늘리기 위한 내부 메커니즘을
만들어놨을지도 몰라요.

999
00:55:12,420 --> 00:55:14,165
흥미로운 생각이네요.

1000
00:55:14,165 --> 00:55:18,729
이건 아직 다듬어지지 않은 생각인데,
일단 던져볼 테니 반응해 주세요.

1001
00:55:18,729 --> 00:55:22,204
우리가 아는 최고의 학습자, 즉 아이들은

1002
00:55:22,204 --> 00:55:25,680
정보를 기억해내는 데는 극도로 서툴러요.

1003
00:55:25,680 --> 00:55:29,200
사실 아주 어린 시절에는
모든 걸 잊어버리잖아요.

1004
00:55:29,200 --> 00:55:31,006
특정 시점 이전에 일어난 일에 대해서는

1005
00:55:31,006 --> 00:55:32,640
그냥 기억상실증 환자나 마찬가지죠.

1006
00:55:32,640 --> 00:55:36,080
하지만 새로운 언어를 습득하고 세상으로부터
배우는 데는 굉장히 뛰어나죠.

1007
00:55:36,080 --> 00:55:38,960
어쩌면 나무보다 숲을 보는 능력
같은 게 관련 있을지도 몰라요.

1008
00:55:38,960 --> 00:55:42,822
반면에 스펙트럼의 반대쪽
끝을 보면 LLM 사전학습이

1009
00:55:42,822 --> 00:55:46,685
있는데, 이 모델들은
위키피디아 페이지의 다음 내용을

1010
00:55:46,685 --> 00:55:50,281
말 그대로 토씨 하나까지
그대로 뱉어낼 수 있죠.

1011
00:55:50,281 --> 00:55:52,894
하지만 아이처럼 추상적 개념을 정말

1012
00:55:52,894 --> 00:55:55,920
빠르게 배우는 능력은 훨씬 제한적이에요.

1013
00:55:55,920 --> 00:56:01,131
그리고 성인은 그 중간 어디쯤에
있는데, 어린 시절의 학습 유연성은

1014
00:56:01,131 --> 00:56:05,920
없지만, 아이들보다는 사실과
정보를 암기하는 게 더 수월하죠.

1015
00:56:05,920 --> 00:56:08,160
그 스펙트럼에 뭔가 흥미로운
지점이 있는 건지 잘 모르겠어요.

1016
00:56:08,160 --> 00:56:10,640
그 안에 정말 흥미로운 게
있다고 생각해요, 100%요.

1017
00:56:10,640 --> 00:56:14,036
인간은 LLM에 비해 나무보다 숲을

1018
00:56:14,036 --> 00:56:17,790
보는 요소가 훨씬 더 많다고 생각해요.

1019
00:56:17,790 --> 00:56:22,113
사실 우리는 암기를 그렇게 잘하지
못하는데, 그게 오히려 장점이죠.

1020
00:56:22,113 --> 00:56:26,273
암기를 잘 못하기 때문에,
어쩔 수 없이 더

1021
00:56:26,273 --> 00:56:30,433
일반적인 차원에서 패턴을
찾게 되는 거예요.

1022
00:56:30,433 --> 00:56:34,664
반면 LLM은 암기에
있어서는 극도로 뛰어나죠.

1023
00:56:34,664 --> 00:56:37,731
이 모든 학습 소스에서 나온
구절들을 그대로 암송해 낼 거예요.

1024
00:56:37,731 --> 00:56:41,280
완전히 무의미한 데이터를
줘볼 수도 있어요.

1025
00:56:41,280 --> 00:56:42,807
텍스트 일부를 해시 처리하거나 해서,

1026
00:56:42,807 --> 00:56:44,640
완전히 무작위인 시퀀스를
만들 수 있잖아요.

1027
00:56:44,640 --> 00:56:47,094
그걸로 한두 번만 학습을 시켜도, 갑자기

1028
00:56:47,094 --> 00:56:49,324
그 전체를 그대로 토해낼 수 있어요.

1029
00:56:49,324 --> 00:56:50,122
그걸 통째로 암기해 버리는 거죠.

1030
00:56:50,122 --> 00:56:52,760
사람은 무작위 숫자 시퀀스 하나를 읽고

1031
00:56:52,760 --> 00:56:55,146
그걸 그대로 암송할 수는 없잖아요.

1032
00:56:55,146 --> 00:56:58,124
이건 버그가 아니라 특징이에요. 일반화

1033
00:56:58,124 --> 00:57:00,960
가능한 요소만 배우도록 강제하니까요.

1034
00:57:00,960 --> 00:57:04,769
반면 LLM은 사전학습 문서에
대한 온갖 기억 때문에 주의가

1035
00:57:04,769 --> 00:57:08,693
분산되는데, 어떤 의미에서는 그게
꽤 방해가 되는 것 같아요.

1036
00:57:08,693 --> 00:57:11,186
그래서 제가 인지 코어
얘기를 할 때, 아까

1037
00:57:11,186 --> 00:57:13,680
말씀드렸듯이 그 기억을
없애고 싶은 거예요.

1038
00:57:13,680 --> 00:57:17,737
기억을 줄여서 뭔가를 찾아보게
만들고, 사고를 위한

1039
00:57:17,737 --> 00:57:21,793
알고리즘이나 실험이라는
개념, 그리고 행동에 필요한

1040
00:57:21,793 --> 00:57:25,560
이 모든 인지적 접착제만
유지하게 하고 싶어요.

1041
00:57:25,560 --> 00:57:31,578
이게 모델 붕괴를 막는
것과도 관련이 있나요?

1042
00:57:31,578 --> 00:57:34,429
생각 좀 해볼게요.

1043
00:57:34,429 --> 00:57:35,640
잘 모르겠네요.

1044
00:57:35,640 --> 00:57:37,680
거의 별개의 축인 것 같아요.

1045
00:57:37,680 --> 00:57:43,015
모델들은 암기를 너무 잘하는데,
어떻게든 그걸 없애야 해요.

1046
00:57:43,015 --> 00:57:46,480
사람은 훨씬 못하는데,
그게 오히려 좋은 거죠.

1047
00:57:46,480 --> 00:57:48,398
모델 붕괴에 대한 해법은 뭘까요?

1048
00:57:48,398 --> 00:57:52,400
시도해볼 수 있는 아주
단순한 방법들이 있어요.

1049
00:57:52,400 --> 00:57:55,760
로짓 분포를 더 넓게
만드는 것 같은 거요.

1050
00:57:55,760 --> 00:57:57,362
시도해볼 수 있는 단순한 방법이 많아요.

1051
00:57:57,362 --> 00:58:00,085
그런 단순한 접근법들의
문제는 결국 뭔가요?

1052
00:58:00,085 --> 00:58:01,572
아주 좋은 질문이네요.

1053
00:58:01,572 --> 00:58:04,899
엔트로피에 대한 정규화 같은
걸 상상해볼 수 있죠.

1054
00:58:04,899 --> 00:58:07,421
경험적으로는 잘 안 되는 것 같아요.

1055
00:58:07,421 --> 00:58:10,069
지금 당장 모델들이 붕괴된 상태니까요.

1056
00:58:10,069 --> 00:58:12,965
하지만 우리가 모델한테
원하는 작업 대부분은

1057
00:58:12,965 --> 00:58:15,981
사실 다양성을 그다지
요구하지 않는다고 봐요.

1058
00:58:15,981 --> 00:58:20,000
그게 아마 지금 벌어지고 있는
일에 대한 답일 거예요.

1059
00:58:20,000 --> 00:58:22,720
프론티어 연구소들은 모델을
유용하게 만들려고 하는 거고요.

1060
00:58:22,720 --> 00:58:26,320
출력의 다양성이라는 게
그렇게까지는... 아닌 것 같아요.

1061
00:58:26,320 --> 00:58:29,005
첫째, 다양성은 다루기도
평가하기도 훨씬 어려운데, 어쩌면

1062
00:58:29,005 --> 00:58:31,607
그게 가치의 대부분을 차지하는
부분이 아닐 수도 있고요.

1063
00:58:31,607 --> 00:58:34,160
사실 오히려 적극적으로 페널티를 받죠.

1064
00:58:34,160 --> 00:58:36,733
RL에서 지나치게
창의적이면 좋지 않아요.

1065
00:58:36,733 --> 00:58:37,061
네.

1066
00:58:37,061 --> 00:58:41,181
아니면 글쓰기를 LLM 도움
받아서 많이 한다면, 그것도 아마

1067
00:58:41,181 --> 00:58:45,544
안 좋을 거예요. 모델들이 조용히
다 똑같은 걸 내놓을 테니까요.

1068
00:58:45,544 --> 00:58:52,229
질문에 답하는 다양한 방식들을
탐색하지 않을 거예요.

1069
00:58:52,229 --> 00:58:55,182
어쩌면 이 다양성이라는 게,
그걸 필요로 하는 애플리케이션이

1070
00:58:55,182 --> 00:58:57,509
그리 많지 않아서 모델에
없는 걸 수도 있고요.

1071
00:58:57,509 --> 00:58:59,985
그런데 그게 합성 데이터 생성 시점
같은 데서는 문제가 되는 거죠.

1072
00:58:59,985 --> 00:59:02,272
그러니까 이 엔트로피가
모델에 유지되도록 두지

1073
00:59:02,272 --> 00:59:04,651
않아서 우리 스스로 발등을
찍고 있는 셈이에요.

1074
00:59:04,651 --> 00:59:06,880
아마 연구소들이 더
애써야 할 부분일 거예요.

1075
00:59:06,880 --> 00:59:09,600
이게 아주 근본적인 문제라서 풀기 쉽지

1076
00:59:09,600 --> 00:59:12,061
않을 거라고 암시하신 것 같은데요.

1077
00:59:12,061 --> 00:59:14,305
그 부분에 대한 직관은 어떤가요?

1078
00:59:14,305 --> 00:59:17,040
그게 아주 근본적인
문제인지는 잘 모르겠어요.

1079
00:59:17,040 --> 00:59:19,916
제가 그런 의도로
말했는지도 잘 모르겠고요.

1080
00:59:19,916 --> 00:59:23,688
이런 실험을 직접 해본
건 아니지만, 엔트로피를

1081
00:59:23,688 --> 00:59:26,880
더 높게 정규화할 수는 있을 것 같아요.

1082
00:59:26,880 --> 00:59:29,917
그러니까 모델이 점점 더 많은
해법을 내놓게 유도하되,

1083
00:59:29,917 --> 00:59:32,953
학습 데이터에서 너무 많이
벗어나지는 않게 하는 거죠.

1084
00:59:32,953 --> 00:59:34,480
자기만의 언어를 만들어내기
시작할 테니까요.

1085
00:59:34,480 --> 00:59:37,139
극도로 희귀한 단어들을
쓰기 시작할 거고,

1086
00:59:37,139 --> 00:59:39,914
그러면 분포에서 너무
멀리 벗어나게 되고요.

1087
00:59:39,914 --> 00:59:44,005
그러니까 분포를 통제하는 게 그냥
까다로운 문제인 것 같아요.

1088
00:59:44,005 --> 00:59:47,600
그런 의미에서는 아마
간단한 문제가 아닐 거예요.

1089
00:59:47,600 --> 00:59:55,396
그냥 추측해보라고 하면, 지능의 최적
코어는 몇 비트 정도여야 할까요?

1090
00:59:55,396 --> 00:59:59,244
폰 노이만 탐사선에 실을 그것
말이에요, 크기가 얼마나 되어야 할까요?

1091
00:59:59,244 --> 01:00:02,349
이 분야 역사를 보면 정말
흥미로운 지점이 있는데요,

1092
01:00:02,349 --> 01:00:05,775
한때는 다들 스케일링에 완전히
빠져서 '더 큰 모델, 수조

1093
01:00:05,775 --> 01:00:08,880
파라미터짜리 모델을 만들
거야' 이런 분위기였거든요.

1094
01:00:08,880 --> 01:00:15,187
그런데 모델 크기가 커졌다가
지금은 다시 작아지고 있어요.

1095
01:00:15,187 --> 01:00:17,025
최신 모델들이 오히려 더 작아졌죠.

1096
01:00:17,025 --> 01:00:20,160
그런데도 여전히 너무 많은
걸 암기하고 있다고 봐요.

1097
01:00:20,160 --> 01:00:24,141
그래서 예전에 제가 예측하길,
10억 파라미터 정도로도 아주

1098
01:00:24,141 --> 01:00:27,761
훌륭한 인지 코어를 만들 수
있을 것 같다고 했었어요.

1099
01:00:27,761 --> 01:00:31,130
20년 후에 10억 파라미터
모델과 대화한다면,

1100
01:00:31,130 --> 01:00:34,240
아주 생산적인 대화를
나눌 수 있을 거예요.

1101
01:00:34,240 --> 01:00:36,625
생각도 하고, 훨씬 더
인간에 가까울 거고요.

1102
01:00:36,625 --> 01:00:39,089
근데 사실관계를 물어보면
찾아봐야 할 수도 있는데,

1103
01:00:39,089 --> 01:00:41,289
자기가 모른다는 걸 알고
찾아봐야 한다는 것도

1104
01:00:41,289 --> 01:00:43,577
알아서, 합리적인 일들을
다 알아서 할 거예요.

1105
01:00:43,577 --> 01:00:46,203
10억 파라미터면 충분할 거라고
보신다는 게 좀 의외네요.

1106
01:00:46,203 --> 01:00:51,440
이미 10억, 20억 파라미터 정도로도
아주 똑똑한 모델들이 있잖아요.

1107
01:00:51,440 --> 01:00:53,680
음, 최신 모델들은 1조
파라미터 정도예요.

1108
01:00:53,680 --> 01:00:55,928
근데 그건 너무 많은 걸
기억하고 있어서 그런 거예요.

1109
01:00:55,928 --> 01:01:00,495
네, 근데 이 속도를 보면 10년
후에도 그렇다는 게 좀 놀랍네요…

1110
01:01:00,495 --> 01:01:02,825
gpt-oss-20b가 있잖아요.

1111
01:01:02,825 --> 01:01:05,970
그게 초기 GPT-4보다 훨씬 나은데,

1112
01:01:05,970 --> 01:01:09,414
GPT-4는 파라미터가
1조가 넘었잖아요.

1113
01:01:09,414 --> 01:01:12,209
그 추세를 보면, 10년
후에도 인지 코어가

1114
01:01:12,209 --> 01:01:15,120
여전히 10억 파라미터일
거라는 게 의외예요.

1115
01:01:15,120 --> 01:01:18,355
'아니, 수천만이나 수백만 정도일 거야'

1116
01:01:18,355 --> 01:01:21,442
이렇게 말씀 안 하시는 것도 의외고요.

1117
01:01:22,160 --> 01:01:26,000
문제는 이거예요, 학습 데이터가
인터넷인데, 이게 정말 형편없다는 거죠.

1118
01:01:26,000 --> 01:01:29,520
인터넷이 워낙 형편없어서,
개선할 여지가 엄청나게 많아요.

1119
01:01:29,520 --> 01:01:33,133
당신과 제가 인터넷 하면
월스트리트저널 같은 걸 떠올리잖아요.

1120
01:01:33,133 --> 01:01:34,386
근데 실제로는 그게 아니에요.

1121
01:01:34,386 --> 01:01:37,670
프런티어 랩에서 사전학습
데이터셋을 보다가 무작위로

1122
01:01:37,670 --> 01:01:40,720
인터넷 문서 하나를 딱
보면, 완전 쓰레기예요.

1123
01:01:40,720 --> 01:01:43,253
이게 대체 어떻게 작동하는
건지 저도 잘 모르겠어요.

1124
01:01:43,253 --> 01:01:46,511
무슨 주식 티커, 기호
같은 것들이고, 인터넷

1125
01:01:46,511 --> 01:01:50,160
구석구석에서 나온 슬롭과
쓰레기가 엄청나게 많아요.

1126
01:01:50,160 --> 01:01:53,920
월스트리트저널 기사 같은 건
아니고, 그런 건 극히 드물어요.

1127
01:01:53,920 --> 01:01:57,520
인터넷이 워낙 형편없다
보니, 그걸 압축하려면

1128
01:01:57,520 --> 01:02:00,400
정말 큰 모델을 만들어야 하는 거죠.

1129
01:02:00,400 --> 01:02:02,240
근데 그 압축 작업의 대부분은 인지적인

1130
01:02:02,240 --> 01:02:04,080
작업이 아니라 기억을 위한 작업이에요.

1131
01:02:04,080 --> 01:02:06,061
근데 우리가 진짜 원하는 건 인지적인

1132
01:02:06,061 --> 01:02:08,240
부분이고, 기억은 지워버리고 싶은 거죠.

1133
01:02:08,240 --> 01:02:12,139
제 말은, 지능적인 모델들의
도움을 받아서 사전학습 데이터셋

1134
01:02:12,139 --> 01:02:15,920
자체를 다듬어서 인지적인
요소들로만 좁혀야 한다는 거예요.

1135
01:02:15,920 --> 01:02:18,232
그러면 훨씬 작은 모델로도
충분할 것 같아요, 데이터셋이

1136
01:02:18,232 --> 01:02:20,320
훨씬 좋아져서 그걸로 바로
학습시킬 수 있으니까요.

1137
01:02:20,320 --> 01:02:22,504
근데 아마 거기서 직접
학습시키기보다는, 훨씬

1138
01:02:22,504 --> 01:02:24,688
더 나은 모델로부터
증류해내는 방식일 거예요.

1139
01:02:24,688 --> 01:02:28,560
근데 증류된 버전도 왜 여전히
10억 개나 되는 거예요?

1140
01:02:28,560 --> 01:02:30,480
증류가 정말 효과가 좋다고 느껴져서요.

1141
01:02:30,480 --> 01:02:35,520
그래서 작은 모델이 있다면, 그건
거의 확실히 증류된 거예요.

1142
01:02:35,520 --> 01:02:37,411
맞아요, 근데 10년이 지나도 증류로

1143
01:02:37,411 --> 01:02:39,680
10억 밑으로는 안
내려가는 이유가 뭘까요?

1144
01:02:39,680 --> 01:02:42,068
아, 10억보다 작아야
한다고 생각하시는 거예요?

1145
01:02:42,068 --> 01:02:43,192
그야, 당연히 그렇지 않을까요?

1146
01:02:43,192 --> 01:02:43,929
글쎄요, 모르겠네요.

1147
01:02:43,929 --> 01:02:46,725
어느 시점에는 뭔가
흥미로운 걸 하려면 적어도

1148
01:02:46,725 --> 01:02:49,520
파라미터가 10억 개는
되어야 할 것 같아요.

1149
01:02:49,520 --> 01:02:51,339
그것보다도 더 작아야
한다고 생각하시는 거예요?

1150
01:02:51,339 --> 01:02:51,593
네.

1151
01:02:51,593 --> 01:02:55,836
최근 몇 년간 추세를 보면,
그냥 손쉬운 개선들만 찾아내는

1152
01:02:55,836 --> 01:03:00,211
것만으로도 1조 개가 넘던
모델이 불과 2년 만에 100분의

1153
01:03:00,211 --> 01:03:04,587
1 수준으로 줄었는데 성능은
오히려 좋아졌잖아요. 그걸 보면

1154
01:03:04,587 --> 01:03:09,360
지능의 핵심은 훨씬, 훨씬 더 작을
수도 있겠다는 생각이 들어요.

1155
01:03:09,360 --> 01:03:11,680
파인만 식으로 말하자면, "저
밑바닥에는 아직 공간이 많다"는 거죠.

1156
01:03:11,680 --> 01:03:15,260
저는 10억 파라미터짜리 인지
코어를 얘기하는 것만으로도 이미

1157
01:03:15,260 --> 01:03:18,945
충분히 반골스럽다고 생각했는데,
그쪽이 저보다 한 수 위시네요.

1158
01:03:18,945 --> 01:03:23,360
어쩌면 조금 더 작아질
수도 있을 것 같긴 해요.

1159
01:03:23,360 --> 01:03:24,880
근데 현실적으로는, 모델이 어느 정도

1160
01:03:24,880 --> 01:03:26,400
지식은 갖고 있어야 한다고 생각해요.

1161
01:03:26,400 --> 01:03:28,382
모든 걸 다 찾아봐야 하는
건 원치 않으실 거예요,

1162
01:03:28,382 --> 01:03:30,080
그러면 머릿속에서 생각을
할 수가 없거든요.

1163
01:03:30,080 --> 01:03:32,720
매번 너무 많은 걸 찾아봐야 하는 거죠.

1164
01:03:32,720 --> 01:03:35,680
지식을 위한 기본적인
커리큘럼은 있어야 하지만,

1165
01:03:35,680 --> 01:03:38,640
난해하고 전문적인 지식까지
담을 필요는 없어요.

1166
01:03:38,640 --> 01:03:41,360
지금 우리는 인지 코어가 그럴듯하게
어떤 모습일지를 논의하고 있는 거죠.

1167
01:03:41,360 --> 01:03:44,260
별개의 질문이 하나 있는데요,
프론티어 모델의 크기가

1168
01:03:44,260 --> 01:03:46,960
시간이 지나면서 어떻게
변할 것인가 하는 거예요.

1169
01:03:46,960 --> 01:03:49,110
예측하시는 바가 있는지 궁금해요.

1170
01:03:49,110 --> 01:03:52,013
GPT-4.5 정도까지는
규모가 계속 커졌는데,

1171
01:03:52,013 --> 01:03:54,357
지금은 줄어들거나 정체되는 것 같아요.

1172
01:03:54,357 --> 01:03:56,720
여기엔 이유가 여러 가지 있을 수 있죠.

1173
01:03:56,720 --> 01:03:58,969
앞으로에 대한 예측이 있으신가요?

1174
01:03:58,969 --> 01:04:03,666
가장 큰 모델들이 더 커질까요,
작아질까요, 아니면 비슷할까요?

1175
01:04:03,666 --> 01:04:07,200
아주 확신에 찬 예측은 없어요.

1176
01:04:07,200 --> 01:04:08,887
연구소들은 그냥 실용적으로
움직이는 거예요.

1177
01:04:08,887 --> 01:04:10,960
플롭스 예산이 있고,
비용 예산이 있으니까요.

1178
01:04:10,960 --> 01:04:14,240
사전학습이 플롭스나 비용 대부분을
쏟을 곳은 아니라는 게 밝혀진 거죠.

1179
01:04:14,240 --> 01:04:16,105
그래서 모델들이 작아진 거예요.

1180
01:04:16,105 --> 01:04:19,906
조금 작아지긴 했어요, 사전학습
단계가 작아진 거죠. 하지만 강화학습,

1181
01:04:19,906 --> 01:04:23,219
미드트레이닝, 그 뒤에 이어지는
것들에서 그만큼 채워 넣어요.

1182
01:04:23,219 --> 01:04:25,975
모든 단계를 놓고 봤을
때, 가성비를 최대로

1183
01:04:25,975 --> 01:04:28,386
뽑아내는 데 실용적으로 접근하는 거죠.

1184
01:04:28,386 --> 01:04:30,640
그 추세를 예측하는 건 꽤 어려워요.

1185
01:04:30,640 --> 01:04:34,039
그래도 아직 손쉽게 딸 수
있는 열매가 많다고 봐요.

1186
01:04:34,039 --> 01:04:37,121
그게 제 기본적인 예상이에요.

1187
01:04:38,240 --> 01:04:40,279
이 부분은 제 예측 분포가 꽤 넓어요.

1188
01:04:40,279 --> 01:04:45,161
그 손쉽게 딸 수 있는
열매들이 지난 2~5년 동안

1189
01:04:45,161 --> 01:04:49,520
있었던 것들과 비슷한
종류일 거라고 보시나요?

1190
01:04:49,520 --> 01:04:52,542
nanochat과 nanoGPT를
비교했을 때 드러나는,

1191
01:04:52,542 --> 01:04:55,271
그간 만드신 아키텍처상의
미세 조정들을 보면, 그런

1192
01:04:55,271 --> 01:04:58,000
식의 변화가 앞으로도 계속될
거라고 보시는 거예요?

1193
01:04:58,000 --> 01:04:59,807
거대한 패러다임 전환은
기대하지 않으시는 거고요.

1194
01:04:59,807 --> 01:05:00,748
대체로는, 네.

1195
01:05:00,748 --> 01:05:02,427
데이터셋이 훨씬, 훨씬
더 좋아질 거라고 봐요.

1196
01:05:02,427 --> 01:05:04,766
평균적인 데이터셋들을
보면 정말 형편없거든요.

1197
01:05:04,766 --> 01:05:07,749
얼마나 엉망인지, 어떻게 이게
작동하는 건지 모를 정도예요.

1198
01:05:07,749 --> 01:05:10,859
학습 데이터셋의 평균적인
예시를 보세요. 사실관계

1199
01:05:10,859 --> 01:05:13,739
오류, 각종 오류, 말도
안 되는 내용들이죠.

1200
01:05:13,739 --> 01:05:16,995
근데 신기하게도 규모가 커지면 노이즈는

1201
01:05:16,995 --> 01:05:19,940
씻겨나가고 시그널만 좀 남더라고요.

1202
01:05:19,940 --> 01:05:21,762
데이터셋은 엄청나게 좋아질 거예요.

1203
01:05:21,762 --> 01:05:23,962
모든 게 다 나아질 거예요.

1204
01:05:23,962 --> 01:05:31,415
하드웨어도, 그걸 돌리고
최대한 뽑아내는 커널들도요.

1205
01:05:31,415 --> 01:05:34,145
엔비디아는 텐서 코어 같은
하드웨어 자체를 천천히 튜닝하고

1206
01:05:34,145 --> 01:05:36,960
있고, 이런 건 계속 일어나야
하고 앞으로도 계속될 거예요.

1207
01:05:36,960 --> 01:05:39,840
커널들도 다 좋아져서 칩을
최대한 활용하게 될 거고요.

1208
01:05:39,840 --> 01:05:44,562
알고리즘도 최적화, 아키텍처,
어떻게 학습하고 어떤 알고리즘으로

1209
01:05:44,562 --> 01:05:48,880
학습하는지 같은 모델링 요소
전반에서 아마 개선될 거예요.

1210
01:05:48,880 --> 01:05:53,135
어느 하나가 독보적으로
지배하진 않을 거라고 봐요.

1211
01:05:53,135 --> 01:05:55,616
전부 다 20%씩 더해지는 정도죠.

1212
01:05:55,616 --> 01:06:00,662
제가 봐온 바로는 대략 그런 것 같아요.

1213
01:07:13,920 --> 01:07:17,338
사람들은 완전한 AGI를 향해 얼마나

1214
01:07:17,338 --> 01:07:21,440
나아갔는지 그리는 여러
방법을 제안해왔어요.

1215
01:07:21,440 --> 01:07:24,429
어떤 선을 하나 그려낼 수
있다면, 그 선이 AGI와

1216
01:07:24,429 --> 01:07:27,522
어디서 교차하는지, x축상
언제인지 볼 수 있는 거죠.

1217
01:07:27,522 --> 01:07:29,920
어떤 사람들은 그게 교육
수준이라고 제안하기도 하고요.

1218
01:07:29,920 --> 01:07:32,174
고등학생 수준이었다가,
RL로 대학에 갔고,

1219
01:07:32,174 --> 01:07:34,240
이제 박사 학위를 받을 거라는 식으로요.

1220
01:07:34,240 --> 01:07:35,442
저는 그건 별로 안 좋아해요.

1221
01:07:35,442 --> 01:07:37,278
아니면 '호라이즌 길이'를
제안하기도 하죠.

1222
01:07:37,278 --> 01:07:41,760
1분짜리 작업을 자율적으로 해낼
수 있다, 그런 식으로요.

1223
01:07:41,760 --> 01:07:43,997
그다음엔 사람 기준 한
시간짜리, 그다음엔 사람

1224
01:07:43,997 --> 01:07:46,320
기준 일주일짜리 작업을
자율적으로 해낸다는 거죠.

1225
01:07:46,320 --> 01:07:50,592
여기서 관련된 y축을 어떻게 보세요?

1226
01:07:50,592 --> 01:07:54,408
AI가 어떻게 발전하고 있는지
우리가 어떻게 생각해야 할까요?

1227
01:07:54,408 --> 01:07:55,920
거기엔 두 가지 답이 있어요.

1228
01:07:55,920 --> 01:07:58,466
첫째, 사실 질문 자체를
통째로 거부하고 싶은 유혹이

1229
01:07:58,466 --> 01:08:01,099
거의 들어요. 저는 이걸
컴퓨팅의 연장선으로 보거든요.

1230
01:08:01,099 --> 01:08:03,792
우리가 컴퓨팅의 발전을 어떻게
그릴지 이야기한 적 있나요?

1231
01:08:03,792 --> 01:08:06,400
1970년대 이후로 컴퓨팅
발전을 어떻게 그려야 할까요?

1232
01:08:06,400 --> 01:08:07,557
그 y축은 뭘까요?

1233
01:08:07,557 --> 01:08:12,642
그런 관점에서 보면 이 질문
자체가 좀 우습기도 해요.

1234
01:08:13,440 --> 01:08:17,143
사람들이 AI, 그리고 오리지널
AGI 얘기를 할 때 —

1235
01:08:17,143 --> 01:08:20,727
OpenAI 초창기에 저희가
그걸 어떻게 이야기했냐면,

1236
01:08:20,727 --> 01:08:24,549
AGI는 경제적으로 가치 있는
어떤 작업이든 인간 수준이나

1237
01:08:24,549 --> 01:08:28,491
그 이상으로 해낼 수 있는,
찾아갈 수 있는 시스템이었어요.

1238
01:08:28,491 --> 01:08:29,790
그게 그 정의였어요.

1239
01:08:29,790 --> 01:08:32,880
그때는 그 정의에 꽤 만족했어요.

1240
01:08:32,880 --> 01:08:35,019
저는 계속 그 정의를 고수해왔는데,

1241
01:08:35,019 --> 01:08:37,383
사람들은 온갖 다른 정의를 만들어냈죠.

1242
01:08:37,383 --> 01:08:39,329
그래도 저는 그 정의가 마음에 들어요.

1243
01:08:39,329 --> 01:08:43,602
사람들이 항상 하는 첫 번째
양보는 물리적인 부분을 다

1244
01:08:43,602 --> 01:08:48,160
빼버리는 거예요, 그냥 디지털
지식 노동만 얘기하는 거죠.

1245
01:08:48,160 --> 01:08:50,743
그건 원래 정의 —
인간이 할 수 있는 어떤

1246
01:08:50,743 --> 01:08:53,110
작업이든 — 에 비하면 꽤 큰 양보예요.

1247
01:08:53,110 --> 01:08:55,243
저는 물건을 드는 것 등을
할 수 있잖아요, AI는

1248
01:08:55,243 --> 01:08:57,680
당연히 그런 건 못 하지만,
일단 그건 받아들이기로 하죠.

1249
01:08:57,680 --> 01:08:59,681
"아, 지식 노동만"이라고 말하면서

1250
01:08:59,681 --> 01:09:02,103
경제의 어느 정도
비중을 덜어내는 걸까요?

1251
01:09:02,103 --> 01:09:03,665
정확한 수치는 모르겠어요.

1252
01:09:03,665 --> 01:09:08,408
제 느낌엔, 굳이 추측하자면 대략
10%에서 20% 정도가 지식 노동,

1253
01:09:08,408 --> 01:09:12,908
그러니까 재택으로 일하며 처리할
수 있는 작업들, 그런 것 같아요.

1254
01:09:12,908 --> 01:09:16,320
그래도 정말 큰 시장이에요.

1255
01:09:16,640 --> 01:09:19,360
경제 규모가 얼마고, 그 10%나
20%는 또 얼마나 되나요?

1256
01:09:19,360 --> 01:09:26,080
미국만 봐도 여전히 수조 달러 규모의
시장 점유율이나 일거리 얘기예요.

1257
01:09:26,080 --> 01:09:28,367
그러니까 여전히 굉장히
큰 덩어리인 거죠.

1258
01:09:28,367 --> 01:09:31,853
다시 정의로 돌아가서,
제가 살펴보고 싶은 건

1259
01:09:31,853 --> 01:09:35,200
그 정의가 어느 정도까지
맞아떨어지느냐예요.

1260
01:09:35,200 --> 01:09:37,458
일자리들이 있는 걸까요, 아니면
수많은 작업들이 있는 걸까요?

1261
01:09:37,458 --> 01:09:40,400
일자리가 아니라 작업
단위로 생각해본다면요.

1262
01:09:40,400 --> 01:09:45,053
어려운 게, 사회는 일자리를
구성하는 작업들 중에 뭐가

1263
01:09:45,053 --> 01:09:49,706
자동화 가능한지에 따라 재편될
거라는 문제가 있거든요.

1264
01:09:49,706 --> 01:09:52,160
오늘날 AI로 대체
가능한 일자리는 뭘까요?

1265
01:09:52,160 --> 01:09:56,496
최근 좋은 예가 제프리 힌튼이
영상의학과 의사가 더 이상 일자리로 남지

1266
01:09:56,496 --> 01:10:00,720
않을 거라고 한 예측인데, 여러
면에서 완전히 틀린 걸로 판명 났죠.

1267
01:10:00,720 --> 01:10:03,980
컴퓨터 비전이 영상에서 인식해야
할 온갖 것들을 정말, 정말 잘

1268
01:10:03,980 --> 01:10:07,520
인식하는데도 영상의학과 의사들은
멀쩡히 잘 있고 오히려 늘고 있어요.

1269
01:10:07,520 --> 01:10:11,114
그냥 여러 측면이 얽힌
지저분하고 복잡한 일이에요,

1270
01:10:11,114 --> 01:10:14,837
환자를 상대하는 것까지 그
맥락 안에 다 포함되고요.

1271
01:10:14,837 --> 01:10:20,240
그 정의로 보면 AI가 아직 큰
흠집을 낸 것 같지는 않아요.

1272
01:10:20,240 --> 01:10:23,680
제가 눈여겨보고 싶은 일자리들
중 일부는, 다른 것보다

1273
01:10:23,680 --> 01:10:27,120
더 일찍 자동화되기 쉽게
만드는 특징들을 갖고 있어요.

1274
01:10:27,120 --> 01:10:28,778
예를 들어 콜센터 직원 얘기가 자주

1275
01:10:28,778 --> 01:10:30,960
나오는데, 저는 그게
맞는 예시라고 생각해요.

1276
01:10:30,960 --> 01:10:33,725
콜센터 직원의 업무에는
오늘날 자동화 가능한

1277
01:10:33,725 --> 01:10:36,259
것과 관련해 여러 단순화 특징이 있어요.

1278
01:10:36,259 --> 01:10:38,398
업무 자체가 꽤 단순하거든요.

1279
01:10:38,398 --> 01:10:42,320
일련의 작업들이고, 매
작업이 서로 비슷해 보여요.

1280
01:10:42,320 --> 01:10:44,775
사람과 전화 통화를
하고, 한 10분 정도

1281
01:10:44,775 --> 01:10:47,123
상호작용하는데, 실제로는 좀 더 길겠죠.

1282
01:10:47,123 --> 01:10:49,600
제 경험상으론 훨씬 더 길던데요.

1283
01:10:49,600 --> 01:10:52,222
어떤 체계 안에서 작업을
완료하고, 데이터베이스

1284
01:10:52,222 --> 01:10:54,440
항목 같은 걸 좀 바꾸고 그런 식이에요.

1285
01:10:54,440 --> 01:10:58,335
그러니까 뭔가를 계속 반복하는
거고, 그게 그 일이에요.

1286
01:10:58,335 --> 01:11:02,044
작업 하나를 완료하는 데
걸리는 시간을 따져봐야

1287
01:11:02,044 --> 01:11:05,040
하고, 그다음엔 맥락도 제거해야 해요.

1288
01:11:05,040 --> 01:11:08,880
회사의 다른 서비스 부서나 다른
고객들을 상대할 일이 없어요.

1289
01:11:08,880 --> 01:11:11,840
그냥 데이터베이스, 나, 그리고
응대하는 고객, 이렇게 셋뿐이에요.

1290
01:11:11,840 --> 01:11:15,520
더 폐쇄적이고, 더 이해하기
쉽고, 순전히 디지털이에요.

1291
01:11:15,520 --> 01:11:17,368
그래서 저라면 그런 요소들을
찾아볼 것 같아요.

1292
01:11:17,368 --> 01:11:20,004
하지만 거기서도 아직 완전
자동화를 보는 건 아니에요.

1293
01:11:20,004 --> 01:11:21,760
저는 자율성 슬라이더를
찾고 있는 거예요.

1294
01:11:21,760 --> 01:11:25,600
사람을 곧바로 대체하지는
않을 거라고 봐요.

1295
01:11:25,600 --> 01:11:29,040
업무량의 80%를 처리하는
AI를 투입하게 될 거예요.

1296
01:11:29,040 --> 01:11:32,558
나머지 20%는 사람에게
위임하고, 사람은 좀 더 정형화된

1297
01:11:32,558 --> 01:11:36,515
콜센터 업무를 하는 AI 다섯 대로
이뤄진 팀들을 감독하는 거죠.

1298
01:11:36,515 --> 01:11:41,726
저라면 아직 완벽하지 않은 이런
AI들을 관리할 수 있게 해주는

1299
01:11:41,726 --> 01:11:46,640
레이어, 그런 새 인터페이스나
새 회사를 찾아볼 것 같아요.

1300
01:11:46,640 --> 01:11:48,880
그리고 그게 경제 전반에 걸쳐
나타날 거라고 예상해요.

1301
01:11:48,880 --> 01:11:52,080
많은 직업이 콜센터
직원보다 훨씬 어려워요.

1302
01:11:52,080 --> 01:11:56,413
영상의학과 의사의 경우엔
완전히 추측일 뿐이고,

1303
01:11:56,413 --> 01:12:00,080
실제 업무 흐름이 어떤지는 전혀 몰라요.

1304
01:12:00,080 --> 01:12:04,070
하지만 적용될 만한 비유가
있다면, 웨이모가 처음

1305
01:12:04,070 --> 01:12:08,355
나왔을 때 운전석에 사람이
앉아 있었는데, 뭔가 크게

1306
01:12:08,355 --> 01:12:12,640
잘못됐을 때를 대비해 그저
지켜보라고 앉혀둔 거였죠.

1307
01:12:12,640 --> 01:12:15,440
지금도 여전히 사람들이 잘
되고 있는지 지켜보고 있어요.

1308
01:12:15,440 --> 01:12:19,120
막 배포된 로보택시에도
여전히 사람이 타고 있고요.

1309
01:12:19,120 --> 01:12:22,738
그러면 지금 우리도 비슷한 상황에
있을 수 있어요. 어떤 일의

1310
01:12:22,738 --> 01:12:26,142
99%를 자동화하면, 사람이
해야 할 마지막 1%가 오히려

1311
01:12:26,142 --> 01:12:29,760
엄청나게 중요해지거든요. 그게
나머지 전체의 병목이 되니까요.

1312
01:12:29,760 --> 01:12:34,278
영상의학과 의사처럼, 웨이모 운전석에
앉은 사람이 그 마지막 1%를

1313
01:12:34,278 --> 01:12:39,040
제공하려고 몇 년씩 특별 훈련을
받아야 하는 경우라면, 그 사람 임금은

1314
01:12:39,040 --> 01:12:43,680
엄청나게 올라야 해요. 광범위한
배치를 가로막는 유일한 병목이니까요.

1315
01:12:43,680 --> 01:12:46,447
영상의학과 의사도 비슷한
이유로 임금이 올랐다고

1316
01:12:46,447 --> 01:12:49,320
생각해요. 마지막 병목이면서
대체 불가능하다면요.

1317
01:12:49,320 --> 01:12:53,520
웨이모 운전자는 다른 사람으로
대체 가능할 수도 있고요.

1318
01:12:53,520 --> 01:12:56,752
그래서 99%에 도달할 때까지는
임금이 오르다가, 마지막

1319
01:12:56,752 --> 01:13:00,400
1%가 사라지는 순간 뚝 떨어지는
현상을 보게 될 수도 있어요.

1320
01:13:00,400 --> 01:13:03,638
영상의학과나 콜센터
직원 임금 같은 데서도

1321
01:13:03,638 --> 01:13:07,440
비슷한 일이 일어나고 있는
건 아닐지 궁금하네요.

1322
01:13:07,440 --> 01:13:09,080
흥미로운 질문이네요.

1323
01:13:09,080 --> 01:13:13,449
지금 영상의학과에서 그런 일이
일어나고 있다고는 생각하지 않아요.

1324
01:13:15,600 --> 01:13:17,474
영상의학과는 좋은
예시가 아닌 것 같아요.

1325
01:13:17,474 --> 01:13:21,635
제프리 힌튼이 왜 하필 영상의학과를
콕 집었는지 모르겠어요.

1326
01:13:21,635 --> 01:13:25,040
굉장히 지저분하고 복잡한
직종이라고 생각하거든요.

1327
01:13:25,040 --> 01:13:27,780
저는 오히려 오늘날 콜센터
직원들에게 무슨 일이 일어나고

1328
01:13:27,780 --> 01:13:30,254
있는지가 훨씬 궁금해요.
예를 들면 반복적인 업무는

1329
01:13:30,254 --> 01:13:32,640
지금도 상당히 자동화
가능할 거라고 예상하거든요.

1330
01:13:32,640 --> 01:13:35,472
제가 직접 접근할 수 있는 데이터는
아니지만, 콜센터 직원들한테

1331
01:13:35,472 --> 01:13:38,142
무슨 일이 일어나고 있는지 그
추세를 계속 지켜보고 싶어요.

1332
01:13:38,142 --> 01:13:41,894
제가 예상하는 것 중 하나는,
어쩌면 AI로 교체하더라도

1333
01:13:41,894 --> 01:13:45,647
저는 여전히 1~2년 정도는
지켜볼 거라는 거예요. 다시

1334
01:13:45,647 --> 01:13:49,520
발을 빼고 사람 일부를 재고용할
가능성이 있다고 보거든요.

1335
01:13:49,520 --> 01:13:52,826
실제로 AI를 도입한 회사들
전반에서 이미 그런 일이

1336
01:13:52,826 --> 01:13:56,588
일어나고 있다는 증거가 있는데,
이건 꽤 놀랍다고 생각해요.

1337
01:13:56,588 --> 01:13:59,551
저도 정말 놀랍다고 느낀 게 있었어요.

1338
01:13:59,551 --> 01:14:00,282
AGI 말이에요, 그렇죠?

1339
01:14:00,282 --> 01:14:02,490
모든 걸 다 할 수 있는 존재요.

1340
01:14:02,490 --> 01:14:06,705
육체노동은 빼더라도, 모든
지식노동은 할 수 있어야 하잖아요.

1341
01:14:06,705 --> 01:14:11,816
순진하게 예상했던 진행
방식은, 컨설턴트가 하는

1342
01:14:11,816 --> 01:14:16,731
작은 업무 하나를 그
업무 바구니에서 빼내고,

1343
01:14:16,731 --> 01:14:21,095
회계사가 하는 작은 업무
하나를 그 바구니에서 빼내고,

1344
01:14:21,095 --> 01:14:23,609
이런 식으로 모든 지식노동에
걸쳐 진행되는 거였어요.

1345
01:14:23,609 --> 01:14:27,152
그런데 만약 우리가 지금
패러다임으로 AGI로 가는 길 위에

1346
01:14:27,152 --> 01:14:30,480
있다고 믿는다면, 실제 진행
양상은 전혀 그렇지 않아요.

1347
01:14:30,480 --> 01:14:34,000
컨설턴트나 회계사가 엄청난 생산성
향상을 얻고 있는 것 같지는 않아요.

1348
01:14:34,000 --> 01:14:36,819
오히려 프로그래머들의 업무가 점점 더

1349
01:14:36,819 --> 01:14:39,920
깎여 나가고 있는 모습에 훨씬 가까워요.

1350
01:14:39,920 --> 01:14:45,800
이 회사들의 매출을 보면, 구글
같은 데와 비슷한 일반 챗

1351
01:14:45,800 --> 01:14:51,680
매출은 제외하고 API 매출만
봐도, 코딩이 압도적이에요.

1352
01:14:51,680 --> 01:14:55,117
그러니까 '범용적'이어야 하는,
어떤 지식노동이든 할 수 있어야

1353
01:14:55,117 --> 01:14:58,357
하는 이 존재가 사실상 압도적으로
코딩만 하고 있는 거예요.

1354
01:14:58,357 --> 01:15:02,594
AGI가 이런 식으로 쓰일
거라고 예상했던 모습은 아니죠.

1355
01:15:02,594 --> 01:15:05,303
여기 흥미로운 지점이 있어요.

1356
01:15:05,303 --> 01:15:12,400
저는 코딩이 이런 LLM들과 에이전트들에게
완벽한 첫 단추라고 생각해요.

1357
01:15:12,400 --> 01:15:17,040
왜냐하면 코딩은 원래부터 근본적으로
텍스트를 중심으로 돌아가거든요.

1358
01:15:17,040 --> 01:15:20,560
컴퓨터 터미널도 텍스트고, 모든
게 텍스트를 기반으로 하죠.

1359
01:15:20,560 --> 01:15:24,480
LLM은 인터넷 데이터로 학습되다
보니 텍스트를 좋아해요.

1360
01:15:24,480 --> 01:15:27,815
완벽한 텍스트 처리기인 데다, 이미
그런 데이터가 세상에 넘쳐나죠.

1361
01:15:27,815 --> 01:15:29,520
완벽하게 맞아떨어지는 조합인 거예요.

1362
01:15:29,520 --> 01:15:33,520
코드와 텍스트를 다루기 위한
인프라도 이미 많이 갖춰져 있고요.

1363
01:15:33,520 --> 01:15:38,389
예를 들어 Visual Studio
Code나 여러분이 쓰는 IDE가

1364
01:15:38,389 --> 01:15:42,746
코드를 보여주는데, 에이전트는
거기에 바로 연결할 수 있어요.

1365
01:15:42,746 --> 01:15:46,820
에이전트가 어떤 변경을
했다면, 코드베이스의 차이를

1366
01:15:46,820 --> 01:15:51,040
보여주는 diff라는 게
이미 다 마련돼 있는 거죠.

1367
01:15:51,040 --> 01:15:55,920
코드를 위한 인프라는 이미 상당 부분
미리 지어놓은 것과 마찬가지예요.

1368
01:15:55,920 --> 01:15:58,880
이런 걸 전혀 누리지 못하는
것들과 비교해보면 다르죠.

1369
01:15:58,880 --> 01:16:01,541
예를 들어 코딩이 아니라 슬라이드를 위한

1370
01:16:01,541 --> 01:16:03,840
자동화를 만들려는 사람들이 있어요.

1371
01:16:03,840 --> 01:16:05,327
슬라이드 만드는 회사를 하나 봤는데요.

1372
01:16:05,327 --> 01:16:06,616
그게 훨씬, 훨씬 더 어려워요.

1373
01:16:06,616 --> 01:16:09,600
훨씬 어려운 이유는 슬라이드가
텍스트가 아니기 때문이에요.

1374
01:16:09,600 --> 01:16:12,498
슬라이드는 작은 그래픽들이 공간적으로

1375
01:16:12,498 --> 01:16:15,396
배치된 거고, 시각적인 요소가 있죠.

1376
01:16:15,396 --> 01:16:18,880
슬라이드에는 이렇게 미리
마련된 인프라가 없어요.

1377
01:16:18,880 --> 01:16:21,192
예를 들어 에이전트가 슬라이드를

1378
01:16:21,192 --> 01:16:24,320
바꾼다면, 그 diff를
어떻게 보여주죠?

1379
01:16:24,320 --> 01:16:25,478
diff를 어떻게 확인하나요?

1380
01:16:25,478 --> 01:16:27,853
슬라이드용 diff를 보여주는
건 아무것도 없어요.

1381
01:16:27,853 --> 01:16:29,713
누군가 만들어야 하는 거죠.

1382
01:16:29,713 --> 01:16:33,835
이런 것들 중 일부는 지금의
AI, 그러니까 텍스트 처리기인

1383
01:16:33,835 --> 01:16:37,707
AI에 잘 맞지 않는데,
코딩은 의외로 딱 맞는 거예요.

1384
01:16:37,707 --> 01:16:41,670
그것만으로는 설명이 안 되는 것 같아요.

1385
01:16:42,160 --> 01:16:46,721
저는 개인적으로 순수하게
언어를 넣으면 언어가 나오는

1386
01:16:46,721 --> 01:16:52,069
영역—대본을 다시 쓴다거나,
대본을 바탕으로 클립을 만든다거나

1387
01:16:52,069 --> 01:16:56,788
하는 일—에서 LLM을 유용하게
쓰려고 시도해 봤어요.

1388
01:16:57,600 --> 01:17:00,720
제가 할 수 있는 걸 다 해본
건 아닐 가능성이 커요.

1389
01:17:00,720 --> 01:17:03,805
컨텍스트에 좋은 예시들을
잔뜩 넣긴 했는데, 어쩌면

1390
01:17:03,805 --> 01:17:06,560
파인튜닝 같은 걸 했어야
했는지도 모르겠어요.

1391
01:17:06,560 --> 01:17:11,784
저희 둘 다 아는 친구 앤디
마투샥은, 모델이 간격 반복 카드를

1392
01:17:11,784 --> 01:17:16,560
잘 만들게 하려고 500억
가지를 시도해봤다고 하더라고요.

1393
01:17:16,560 --> 01:17:19,843
이것도 완전히 언어를 넣으면
언어가 나오는 작업이고,

1394
01:17:19,843 --> 01:17:22,560
LLM의 주특기 한복판에
있어야 할 일이죠.

1395
01:17:22,560 --> 01:17:25,920
그는 몇 개의 예시를 주는
인컨텍스트 러닝을 시도했어요.

1396
01:17:25,920 --> 01:17:31,857
지도 파인튜닝과
검색(retrieval)도 시도했고요.

1397
01:17:31,857 --> 01:17:37,067
그런데도 자기 마음에 들게
카드를 만들게 할 수는 없었대요.

1398
01:17:37,067 --> 01:17:41,041
그래서 저는 언어를 출력하는
영역에서조차, 코딩을 제외하면 이

1399
01:17:41,041 --> 01:17:45,600
모델들에서 큰 경제적 가치를 뽑아내기가
굉장히 어렵다는 게 흥미로워요.

1400
01:17:45,600 --> 01:17:49,143
뭐가 원인인지 모르겠어요.

1401
01:17:49,143 --> 01:17:51,200
그건 말이 되네요.

1402
01:17:51,200 --> 01:17:54,508
텍스트라고 다 쉽다는 얘기는 아니에요.

1403
01:17:54,508 --> 01:17:58,720
코드는 꽤 구조화되어 있다고 생각해요.

1404
01:17:58,720 --> 01:18:04,880
텍스트는 훨씬 더 화려하고,
엔트로피가 훨씬 많다고 할까요.

1405
01:18:04,880 --> 01:18:07,277
달리 어떻게 표현해야 할지 모르겠네요.

1406
01:18:07,277 --> 01:18:11,197
게다가 코드는 어려운 일이라,
아주 단순한 지식만으로도

1407
01:18:11,197 --> 01:18:14,986
사람들이 LLM 덕분에 꽤
힘을 얻은 느낌을 받아요.

1408
01:18:14,986 --> 01:18:19,280
아주 좋은 답을 갖고 있는
건 아닌 것 같아요.

1409
01:18:19,280 --> 01:18:22,240
물론 텍스트라서 훨씬,
훨씬 쉬워지긴 하지만,

1410
01:18:22,240 --> 01:18:25,200
그렇다고 모든 텍스트가
쉽다는 뜻은 아니에요.

1411
01:18:25,200 --> 01:18:27,328
초지능은 어떻게 생각하세요?

1412
01:18:27,328 --> 01:18:31,013
평범한 인간이나 인간 회사들과는 질적으로

1413
01:18:31,013 --> 01:18:34,196
다르게 느껴질 거라고 예상하시나요?

1414
01:18:34,196 --> 01:18:38,895
저는 그걸 사회 속 자동화의
진행 과정으로 봐요.

1415
01:18:38,895 --> 01:18:42,797
컴퓨팅의 흐름을 그대로
연장해보면, 많은 것들이

1416
01:18:42,797 --> 01:18:47,600
점진적으로 자동화될 거고,
초지능은 그 연장선일 뿐이에요.

1417
01:18:47,600 --> 01:18:51,786
시간이 지날수록 점점 더 자율적인
개체들이 늘어나서 디지털 작업의 상당

1418
01:18:51,786 --> 01:18:56,080
부분을 하고, 어느 정도 지나면 물리적인
작업까지 하게 될 거라고 봐요.

1419
01:18:56,080 --> 01:19:00,560
그러니까 대략 말하자면,
저는 그냥 자동화라고 봐요.

1420
01:19:00,560 --> 01:19:02,696
하지만 자동화는 인간이 이미
할 수 있는 일들을 포함하고,

1421
01:19:02,696 --> 01:19:04,498
초지능은 인간이 할 수
없는 일들을 의미하잖아요.

1422
01:19:04,498 --> 01:19:07,729
근데 사람들이 하는 일 중 하나가
새로운 걸 발명하는 건데, 저는

1423
01:19:07,729 --> 01:19:10,960
그것도 그냥 자동화에 넣을 것
같아요, 말이 되는지 모르겠지만요.

1424
01:19:10,960 --> 01:19:15,108
그런데 좀 덜 추상적으로,
더 질적인 측면에서

1425
01:19:15,108 --> 01:19:19,588
여쭤보면, 뭔가 이런
느낌일 거라고 예상하시나요…

1426
01:19:19,588 --> 01:19:24,793
이 존재가 너무 빨리 생각하거나,
사본이 너무 많거나, 그

1427
01:19:24,793 --> 01:19:29,835
사본들이 다시 하나로 합쳐지거나,
훨씬 더 똑똑하거나 —

1428
01:19:29,835 --> 01:19:35,203
AI가 가질 수 있는 그 어떤
이점 때문이든, 그런 AI들이

1429
01:19:35,203 --> 01:19:39,920
존재하는 문명이 인간과는
질적으로 다르게 느껴질까요?

1430
01:19:39,920 --> 01:19:40,822
그럴 것 같아요.

1431
01:19:40,822 --> 01:19:44,323
근본적으로는 자동화지만,
굉장히 낯설게 느껴질 거예요.

1432
01:19:44,323 --> 01:19:46,068
정말 이상해 보일 거예요.

1433
01:19:46,068 --> 01:19:50,009
말씀하신 대로, 이 모든
걸 컴퓨터 클러스터에서

1434
01:19:50,009 --> 01:19:53,040
훨씬 더 빠르게 돌릴 수 있으니까요.

1435
01:19:53,040 --> 01:19:57,279
그런 세상이 되면 제가 불안해지기
시작하는 시나리오 중 하나가,

1436
01:19:57,279 --> 01:20:01,760
무슨 일이 일어나는지에 대한 통제력과
이해를 점점 잃어가는 거예요.

1437
01:20:01,760 --> 01:20:04,914
그게 가장 가능성 높은
결과인 것 같아요,

1438
01:20:04,914 --> 01:20:07,520
이해가 점점 사라지는 것 말이에요.

1439
01:20:07,520 --> 01:20:10,124
이런 것들을 계속 곳곳에
겹겹이 쌓아갈 거고,

1440
01:20:10,124 --> 01:20:12,520
그걸 이해하는 사람은
점점 줄어들 거예요.

1441
01:20:12,520 --> 01:20:14,812
그러다 결국 무슨 일이 일어나는지에 대한

1442
01:20:14,812 --> 01:20:17,000
통제력과 이해를 점점 잃게 될 거예요.

1443
01:20:17,000 --> 01:20:20,727
그게 이 모든 일이 흘러갈 가장
가능성 높은 결과로 보여요.

1444
01:20:20,727 --> 01:20:22,000
그 부분을 좀 더 파고들어 볼게요.

1445
01:20:22,000 --> 01:20:27,520
통제력 상실과 이해 상실이 같은
건지는 저한테는 분명하지 않아요.

1446
01:20:27,520 --> 01:20:31,899
TSMC든 인텔이든,
아무 회사나 골라도,

1447
01:20:31,899 --> 01:20:37,040
이사회는 그냥 명망 있는
80대 어르신들이잖아요.

1448
01:20:37,040 --> 01:20:42,259
이해도는 거의 없고, 어쩌면
실질적인 통제력도 없을 수 있어요.

1449
01:20:43,200 --> 01:20:45,632
더 나은 예는 미국 대통령이에요.

1450
01:20:45,632 --> 01:20:48,800
대통령은 정말 어마어마한
권력을 갖고 있잖아요.

1451
01:20:48,800 --> 01:20:51,516
지금 재임 중인 사람을 좋게
평가하려는 건 아니에요—

1452
01:20:51,516 --> 01:20:53,951
아니 어쩌면 그런 걸 수도
있는데— 아무튼 실제

1453
01:20:53,951 --> 01:20:56,480
이해 수준은 통제 수준과는
매우 다르다는 거예요.

1454
01:20:56,480 --> 01:20:58,922
그건 맞는 말인 것 같아요.

1455
01:20:58,922 --> 01:21:01,712
좋은 반박이네요.

1456
01:21:01,712 --> 01:21:05,200
저는 둘 다 잃게 될 거라고 예상해요.

1457
01:21:05,200 --> 01:21:05,741
어째서요?

1458
01:21:05,741 --> 01:21:10,160
이해를 잃는 건 당연한데,
왜 통제력까지 잃는다는 거죠?

1459
01:21:10,160 --> 01:21:16,156
지금은 이게 어떤 모습일지 저도 잘
모르는 영역까지 와 있는데, 제가

1460
01:21:16,156 --> 01:21:21,679
SF 소설을 쓴다면 모든 걸
장악하는 단일 개체가 아니라, 점점

1461
01:21:21,679 --> 01:21:27,360
더 자율성이 커지는 여러 경쟁
개체들이 등장하는 식일 것 같아요.

1462
01:21:27,360 --> 01:21:31,040
그중 일부는 폭주하고,
나머지가 그걸 막아내는 거죠.

1463
01:21:31,040 --> 01:21:37,600
우리가 위임해버린, 완전히 자율적인
활동들이 뒤섞인 도가니 같은 거예요.

1464
01:21:37,600 --> 01:21:40,357
그런 느낌일 것 같아요.

1465
01:21:40,357 --> 01:21:45,786
통제력 상실을 가져오는 건 그들이
우리보다 똑똑하다는 사실이 아니에요.

1466
01:21:45,786 --> 01:21:50,995
그들이 서로 경쟁한다는
사실, 그리고 그 경쟁에서

1467
01:21:50,995 --> 01:21:55,818
나오는 결과물이 통제력
상실로 이어지는 거죠.

1468
01:21:58,960 --> 01:22:02,778
이런 것들 상당수는
사람들의 도구일 거고,

1469
01:22:02,778 --> 01:22:06,264
사람을 대신해서 행동하는 식일 거예요.

1470
01:22:06,264 --> 01:22:10,105
그러니 그 사람들 개개인은 통제하고
있는 거겠지만, 우리가 원하는

1471
01:22:10,105 --> 01:22:13,840
결과라는 측면에서는 사회 전체로
보면 통제력 상실일 수 있어요.

1472
01:22:13,840 --> 01:22:16,752
개인들을 대신해 행동하는 개체들인데도,

1473
01:22:16,752 --> 01:22:20,080
대체로 통제 밖에 있는
것처럼 보이는 거죠.

1474
01:22:20,080 --> 01:22:22,020
이건 더 일찍 여쭤봤어야 할 질문인데요.

1475
01:22:22,020 --> 01:22:27,845
AI 엔지니어링이나 AI 리서치를 할
때, 지금은 이 모델들이 대체재라기보다는

1476
01:22:27,845 --> 01:22:32,450
컴파일러 같은 범주에 더 가깝게
느껴진다는 얘기를 했었잖아요.

1477
01:22:32,450 --> 01:22:34,722
그런데 어느 시점에
AGI가 있다면, 그건

1478
01:22:34,722 --> 01:22:36,797
당신이 하는 일을 할 수 있어야 하죠.

1479
01:22:36,797 --> 01:22:40,210
당신 복제본 100만
개를 병렬로 돌리면 AI

1480
01:22:40,210 --> 01:22:43,760
발전 속도가 엄청나게
빨라질 거라고 느끼시나요?

1481
01:22:43,760 --> 01:22:46,505
만약 그런 일이 일어난다면,
진짜 AGI를 갖게

1482
01:22:46,505 --> 01:22:49,356
됐을 때 지능 폭발이
일어날 거라고 예상하시나요?

1483
01:22:49,356 --> 01:22:52,445
오늘날의 LLM을 말하는 게 아니에요.

1484
01:22:52,445 --> 01:22:55,986
그럴 거라고 생각은 하는데,
그건 평소와 다를 바 없는

1485
01:22:55,986 --> 01:23:00,000
일이에요. 우리는 이미 수십 년째
지능 폭발 속에 있으니까요.

1486
01:23:00,000 --> 01:23:02,505
기본적으로 그건 산업의
아주 많은 측면들에

1487
01:23:02,505 --> 01:23:04,902
대한 지수적 가중합인 GDP 곡선이에요.

1488
01:23:04,902 --> 01:23:08,351
모든 것이 점진적으로 자동화되고
있고, 그건 수백 년째 그래 왔어요.

1489
01:23:08,351 --> 01:23:13,040
산업혁명도 자동화였고, 물리적 구성
요소들과 도구 제작 같은 것들이었죠.

1490
01:23:13,040 --> 01:23:16,720
컴파일러는 초기 소프트웨어
자동화였고요, 등등.

1491
01:23:16,720 --> 01:23:21,760
우리는 오랫동안 재귀적으로 자기
개선을 하며 폭발해온 거예요.

1492
01:23:21,760 --> 01:23:26,026
다르게 보자면, 생체역학
같은 걸 들여다보지 않는 한

1493
01:23:26,026 --> 01:23:30,440
지구는 꽤 지루한 곳이었고,
계속 비슷한 모습이었어요.

1494
01:23:30,440 --> 01:23:34,516
우주에서 보면 우리는 지금
폭죽이 터지는 사건 한가운데

1495
01:23:34,516 --> 01:23:38,320
있는 건데, 그걸 슬로우
모션으로 보고 있는 거죠.

1496
01:23:38,320 --> 01:23:42,800
이건 이미 아주 오랫동안 일어나고
있었다고 확실히 느껴요.

1497
01:23:42,800 --> 01:23:46,077
다시 말하지만, 저는 AI를
오랫동안 이미 일어나고

1498
01:23:46,077 --> 01:23:49,120
있던 일과 구별되는 별개의
기술로 보지 않아요.

1499
01:23:49,120 --> 01:23:52,351
이게 그 초지수적 증가 추세랑
연속선상에 있다고 보시는 거죠?

1500
01:23:52,351 --> 01:23:52,661
네.

1501
01:23:52,661 --> 01:23:55,045
그게 제게는 굉장히
흥미로웠어요. 한동안 GDP

1502
01:23:55,045 --> 01:23:57,520
데이터 안에서 AI의
흔적을 찾아보려 했었거든요.

1503
01:23:57,520 --> 01:23:59,348
GDP가 올라가야 한다고 생각했어요.

1504
01:23:59,348 --> 01:24:02,568
그런데 컴퓨터나 휴대폰처럼, 제가 정말

1505
01:24:02,568 --> 01:24:06,555
혁신적이라고 생각했던 다른
기술들을 살펴봤어요.

1506
01:24:06,555 --> 01:24:07,809
GDP에서는 그런 기술들이 안 보여요.

1507
01:24:07,809 --> 01:24:09,184
GDP는 똑같은 지수함수 그대로예요.

1508
01:24:09,184 --> 01:24:12,602
초기 아이폰조차 앱스토어도 없었고, 지금

1509
01:24:12,602 --> 01:24:16,176
아이폰이 가진 온갖
부가 기능도 없었어요.

1510
01:24:16,176 --> 01:24:18,848
그래서 아이폰이 나온
2008년을 우리는 거대한

1511
01:24:18,848 --> 01:24:21,520
지각변동으로 생각하지만,
사실은 그렇지 않아요.

1512
01:24:21,520 --> 01:24:24,466
모든 게 너무 넓게 퍼지고
너무 천천히 확산돼서, 결국

1513
01:24:24,466 --> 01:24:27,118
다 평균이 나면서 똑같은
지수함수 안에 들어가요.

1514
01:24:27,118 --> 01:24:28,720
컴퓨터도 정확히 똑같아요.

1515
01:24:28,720 --> 01:24:30,180
GDP에서 '아, 이제 우리한테 컴퓨터가

1516
01:24:30,180 --> 01:24:31,440
생겼다' 이런 식으로는 안 보여요.

1517
01:24:31,440 --> 01:24:33,760
그런 일은 일어나지 않았어요,
진행이 워낙 느리니까요.

1518
01:24:33,760 --> 01:24:35,700
AI도 똑같은 걸 보게 될 거예요.

1519
01:24:35,700 --> 01:24:36,769
그냥 자동화가 좀 더
늘어나는 것뿐이에요.

1520
01:24:36,769 --> 01:24:39,522
전에는 못 짰던 종류의
프로그램을 짤 수 있게 해주긴

1521
01:24:39,522 --> 01:24:42,560
하지만, AI도 근본적으로는
여전히 하나의 프로그램이에요.

1522
01:24:42,560 --> 01:24:46,880
새로운 종류의 컴퓨터고, 새로운
종류의 컴퓨팅 시스템이에요.

1523
01:24:46,880 --> 01:24:49,436
그런데 이런 온갖 문제들을
안고 있고, 시간이 지나며

1524
01:24:49,436 --> 01:24:52,080
확산될 거고, 결국은 똑같은
지수함수로 합산될 거예요.

1525
01:24:52,080 --> 01:24:56,400
여전히 극도로 수직에 가까워지는
지수함수를 갖게 될 거예요.

1526
01:24:56,400 --> 01:24:59,520
그런 환경에서 산다는 건
아주 낯설게 느껴질 거예요.

1527
01:24:59,520 --> 01:25:04,143
산업혁명 이전부터 지금까지의
추세를 보면, 성장률 0%에서

1528
01:25:04,143 --> 01:25:08,766
시작해서 1만 년 전엔 0.02%
성장으로, 그리고 지금은

1529
01:25:08,766 --> 01:25:13,534
2% 성장으로 이어지는 초지수적
증가가 있다는 말씀이신가요?

1530
01:25:13,534 --> 01:25:14,931
그게 초지수적 증가라는 거죠.

1531
01:25:14,931 --> 01:25:17,492
그럼 거기에 AI를
얹으면, AI가 성장률을

1532
01:25:17,492 --> 01:25:20,160
20%나 200%로
끌어올린다는 말씀이신가요?

1533
01:25:20,160 --> 01:25:27,094
아니면 지난 300년을 보면 컴퓨터,
전기화, 증기기관, 철도 등등 기술이

1534
01:25:27,094 --> 01:25:33,520
계속 이어졌지만 성장률 자체는 똑같이
2%였다는, 그런 말씀이신가요?

1535
01:25:33,520 --> 01:25:36,602
성장률 자체가 올라갈
거라는 말씀이신가요?

1536
01:25:36,602 --> 01:25:39,999
성장률도 대체로 일정하게 유지돼 왔죠?

1537
01:25:39,999 --> 01:25:41,520
그건 지난 200,
300년 동안만이에요.

1538
01:25:41,520 --> 01:25:44,320
하지만 인류 역사 전체로
보면 폭발적으로 늘었잖아요.

1539
01:25:44,320 --> 01:25:47,869
0%에서 점점 더 빨라지는
식으로 온 거예요.

1540
01:25:47,869 --> 01:25:51,120
산업혁명 폭발기에도 2%였어요.

1541
01:25:51,120 --> 01:25:53,605
한동안 GDP 곡선에서 AI를 찾아보려

1542
01:25:53,605 --> 01:25:56,564
했는데, 결국 그건
틀렸다는 확신이 들었어요.

1543
01:25:56,564 --> 01:26:01,680
재귀적 자기 개선이니 연구소 얘기니
해도, 이건 다 늘 있던 일이에요.

1544
01:26:01,680 --> 01:26:05,680
당연히 재귀적으로 자기 개선을
할 거고, 사실 계속 그래왔어요.

1545
01:26:05,680 --> 01:26:10,349
LLM 덕분에 엔지니어들이 다음
LLM을 훨씬 효율적으로 만들

1546
01:26:10,349 --> 01:26:14,880
수 있고, 더 많은 구성 요소가
자동화되고 튜닝되고 있어요.

1547
01:26:14,880 --> 01:26:19,120
모든 엔지니어가 구글 검색을 쓸
수 있다는 것도 그 일부고요.

1548
01:26:19,120 --> 01:26:23,945
다들 IDE를 쓰고,
자동완성이나 Claude

1549
01:26:23,945 --> 01:26:29,157
Code를 쓰는 것도 다
같은 가속화의 일부예요.

1550
01:26:29,157 --> 01:26:30,880
그냥 아주 매끄럽게 이어지는 거죠.

1551
01:26:30,880 --> 01:26:35,440
정리하면, 성장률 자체는
변하지 않는다는 말씀이신 거죠.

1552
01:26:35,440 --> 01:26:38,817
지능 폭발은 그저 우리를 2% 성장
궤도에 계속 머물게 해주는 걸로

1553
01:26:38,817 --> 01:26:42,560
나타난다는 거죠. 인터넷이 우리를 2%
성장 궤도에 머물게 해준 것처럼요.

1554
01:26:42,560 --> 01:26:46,968
네, 같은 패턴이
유지될 거라고 예상해요.

1555
01:26:47,920 --> 01:26:53,541
반대 주장을 한번 던져보자면,
저는 폭발한다고 봐요. 진짜

1556
01:26:53,541 --> 01:26:59,161
AGI—LLM 코딩 봇이 아니라
서버 안에서 인간을 실제로

1557
01:26:59,161 --> 01:27:04,431
대체하는 걸 말하는 건데—는
노동력 그 자체이기 때문에

1558
01:27:04,431 --> 01:27:09,876
다른 생산성 향상 기술들과는
질적으로 다르다고 생각해요.

1559
01:27:09,876 --> 01:27:13,120
우리는 노동력이 몹시 부족한
세상에 살고 있다고 생각해요.

1560
01:27:13,120 --> 01:27:15,053
어떤 스타트업 창업자한테든, 아니면 그냥

1561
01:27:15,053 --> 01:27:17,073
아무한테든 뭐가 더
필요하냐고 물어보면요.

1562
01:27:17,073 --> 01:27:18,928
정말 재능 있는 사람이
필요하다고 할 거예요.

1563
01:27:18,928 --> 01:27:22,867
그런데 수십억 명의 사람이
더 생겨서 뭔가를 발명하고,

1564
01:27:22,867 --> 01:27:26,938
스스로 조직화하고, 회사를
처음부터 끝까지 만들어낸다면,

1565
01:27:26,938 --> 01:27:30,615
그건 단일 기술 하나와는
질적으로 다르게 느껴져요.

1566
01:27:30,615 --> 01:27:34,607
지구에 사람이 100억 명
더 생기는 것과 마찬가지예요.

1567
01:27:34,607 --> 01:27:36,341
반론을 하나 드려볼게요.

1568
01:27:36,341 --> 01:27:39,923
이 문제는 어느 쪽으로든
설득될 마음이 꽤 있어요.

1569
01:27:39,923 --> 01:27:42,000
하지만 예를 들어 컴퓨팅도
노동이라는 말씀은 드리고 싶어요.

1570
01:27:42,000 --> 01:27:42,986
컴퓨팅은 원래 노동이었죠.

1571
01:27:42,986 --> 01:27:46,435
컴퓨터를 예로 들면, 디지털
정보 처리를 자동화하면서

1572
01:27:46,435 --> 01:27:50,240
사람이 필요 없어졌고, 그래서
많은 일자리가 사라졌잖아요.

1573
01:27:50,240 --> 01:27:54,002
그러니까 컴퓨터가 곧 노동력인
거고, 이미 그렇게 흘러왔어요.

1574
01:27:54,002 --> 01:27:58,270
자율주행도 예를 들면 컴퓨터가
노동을 하는 거고요.

1575
01:27:58,270 --> 01:28:00,298
그것도 이미 진행돼 온 일이에요.

1576
01:28:00,298 --> 01:28:02,800
여전히 평소와 다름없는 흐름이죠.

1577
01:28:02,800 --> 01:28:08,000
그런 걸 더 빠른 속도로
쏟아내는 기계가 있는 셈이고요.

1578
01:28:08,000 --> 01:28:11,304
역사적으로 성장 체제 자체가 바뀐 사례가

1579
01:28:11,304 --> 01:28:14,608
있잖아요, 0.2%에서 2% 성장으로요.

1580
01:28:14,608 --> 01:28:18,651
다음 자율주행차, 다음
인터넷 같은 걸 계속

1581
01:28:18,651 --> 01:28:23,200
쏟아내는 기계가 있다는
게 꽤 그럴듯해 보이는데…

1582
01:28:23,200 --> 01:28:25,290
무슨 말씀인지 알겠어요.

1583
01:28:25,290 --> 01:28:29,725
그런데 사람들은 "상자 속의 신을
갖게 됐으니 이제 뭐든 다 할 수

1584
01:28:29,725 --> 01:28:34,040
있다"고 가정하는 것 같은데,
실제로는 그런 모습이 아닐 거예요.

1585
01:28:34,040 --> 01:28:36,240
몇몇 일은 할 수 있게 될 거고요.

1586
01:28:36,240 --> 01:28:37,745
다른 일들에는 실패할 거고요.

1587
01:28:37,745 --> 01:28:41,387
사회에 점진적으로 도입돼서, 결국
똑같은 패턴으로 귀결될 거고요.

1588
01:28:41,387 --> 01:28:42,552
그게 제 예측이에요.

1589
01:28:42,552 --> 01:28:47,663
갑자기 완전히 지능적이고 유연하고
범용적인 인간이 상자 안에

1590
01:28:47,663 --> 01:28:52,619
생겨서, 그걸 사회 아무 문제에나
갖다 쓸 수 있다는 가정

1591
01:28:52,619 --> 01:28:57,266
말인데요, 그런 불연속적
변화는 없을 거라고 생각해요.

1592
01:28:57,600 --> 01:29:03,440
산업 전반에 똑같이 점진적으로 확산되는
쪽으로 귀결될 거라 생각해요.

1593
01:29:03,440 --> 01:29:09,280
이런 대화에서는 종종
오해를 낳게 되더라고요.

1594
01:29:09,280 --> 01:29:14,026
이 맥락에서 '지능'이란 단어는
쓰고 싶지 않은데요, 그러면

1595
01:29:14,026 --> 01:29:18,197
서버 한 대에 앉은 단일
초지능이 신통하게 새 기술과

1596
01:29:18,197 --> 01:29:22,800
발명을 알아내 폭발적 성장을
일으킨다는 뜻으로 들리니까요.

1597
01:29:22,800 --> 01:29:25,840
제가 20% 성장을 상상할 때
그리는 그림은 그게 아니에요.

1598
01:29:25,840 --> 01:29:30,095
제가 상상하는 건 수십억
개의 아주 똑똑한, 인간과

1599
01:29:30,095 --> 01:29:34,806
비슷한 정신들이에요. 어쩌면
그거면 충분할 수도 있고요.

1600
01:29:34,806 --> 01:29:39,668
하지만 중요한 건, 그런 정신이
수억, 수십억 개나 있고 각자 새로운

1601
01:29:39,668 --> 01:29:44,275
제품을 만들고, 스스로 경제에
어떻게 편입될지 알아낸다는 거예요.

1602
01:29:44,275 --> 01:29:46,586
숙련되고 똑똑한 이민자가 한
명 입국한다고 하면, 그 사람을

1603
01:29:46,586 --> 01:29:48,967
경제에 어떻게 편입시킬지 우리가
따로 고민할 필요는 없잖아요.

1604
01:29:48,967 --> 01:29:49,667
본인이 알아서 해내니까요.

1605
01:29:49,667 --> 01:29:52,489
회사를 차릴 수도 있고, 발명을 할 수도

1606
01:29:52,489 --> 01:29:55,440
있고, 세상의 생산성을
높일 수도 있고요.

1607
01:29:55,440 --> 01:29:58,367
지금 체제 안에서도 10~20% 경제

1608
01:29:58,367 --> 01:30:01,440
성장을 이룬 지역들의 사례가 있잖아요.

1609
01:30:01,440 --> 01:30:07,055
사람은 많고 자본은
상대적으로 적으면 홍콩이나

1610
01:30:07,055 --> 01:30:13,120
선전처럼 수십 년간 10%
넘는 성장도 가능해요.

1611
01:30:13,120 --> 01:30:18,448
이런 불연속이 있었기 때문에
자원을 활용해 따라잡기를 할 준비가

1612
01:30:18,448 --> 01:30:23,929
된 똑똑한 사람들이 많았던 거죠.
AI도 비슷할 수 있다고 봐요.

1613
01:30:24,480 --> 01:30:28,080
이해는 하지만, 여전히 어떤 불연속적
도약을 전제하고 계신 것 같아요.

1614
01:30:28,080 --> 01:30:30,113
우리가 손에 넣기를 기다리는
어떤 잠금 해제가 있다는 거죠.

1615
01:30:30,113 --> 01:30:32,991
그리고 갑자기 데이터센터 안에
천재들이 생길 거라는 거고요.

1616
01:30:32,991 --> 01:30:37,510
여전히 역사적 전례가 없고 어떤
통계로도 찾을 수 없는 불연속적 도약을

1617
01:30:37,510 --> 01:30:41,681
전제하시는 것 같고, 그런 일은
아마 일어나지 않을 거라고 봐요.

1618
01:30:41,681 --> 01:30:43,680
산업혁명이야말로 그런 도약이었잖아요.

1619
01:30:43,680 --> 01:30:46,240
0.2% 성장에서 2%
성장으로 뛰었으니까요.

1620
01:30:46,240 --> 01:30:49,440
저는 그런 도약을 또 보게
될 거라고 말씀드리는 거예요.

1621
01:30:49,440 --> 01:30:53,760
좀 의심스러워요, 한번
확인해봐야 할 것 같아요.

1622
01:30:53,760 --> 01:30:59,530
예를 들어 산업혁명 이전 기록 중에는
그리 좋지 않은 것들도 있거든요.

1623
01:30:59,920 --> 01:31:04,640
좀 의심스럽긴 한데, 확고한
의견이 있는 건 아니에요.

1624
01:31:04,640 --> 01:31:07,440
그러니까 이게 극도로 마법 같은
단일한 사건이었다는 말씀이시죠.

1625
01:31:07,440 --> 01:31:09,357
그리고 어쩌면 그것과
똑같이 극도로 마법 같은

1626
01:31:09,357 --> 01:31:11,120
또 다른 사건이 일어날
거라는 말씀이고요.

1627
01:31:11,120 --> 01:31:12,960
패러다임을 깨뜨리고, 뭐 그런 식으로요.

1628
01:31:12,960 --> 01:31:13,949
사실 저는 그렇게 생각하지 않는데요…

1629
01:31:13,949 --> 01:31:18,480
산업혁명에서 결정적인 건, 그게 마법
같은 일이 아니었다는 점이에요.

1630
01:31:18,480 --> 01:31:23,269
그냥 확대해서 보면
1770년이나 1870년에 어떤

1631
01:31:23,269 --> 01:31:28,400
결정적인 발명이 있었던 게
아니라는 걸 알 수 있어요.

1632
01:31:28,400 --> 01:31:32,272
하지만 동시에 경제를 훨씬
빠른 진보의 국면으로

1633
01:31:32,272 --> 01:31:35,400
옮겼고, 지수 성장률이 10배가 됐죠.

1634
01:31:35,400 --> 01:31:38,935
AI도 비슷할 거라고
예상해요. 결정적 발명을

1635
01:31:38,935 --> 01:31:42,470
이뤄낸 단일한 순간이
있는 게 아니라는 거죠.

1636
01:31:42,470 --> 01:31:44,136
쌓여 있던 오버행이 풀리는 거예요.

1637
01:31:44,136 --> 01:31:45,760
예를 들어 새로운
에너지원이 나오는 것처럼요.

1638
01:31:45,760 --> 01:31:48,342
어떤 잠금 해제가 있는 거죠.
이 경우엔 일종의 인지적

1639
01:31:48,342 --> 01:31:51,269
역량이고, 해야 할 인지적 작업의
오버행이 쌓여 있는 거예요.

1640
01:31:51,269 --> 01:31:52,160
맞아요.

1641
01:31:52,160 --> 01:31:54,400
그 오버행이 이 신기술이 임계점을 넘는

1642
01:31:54,400 --> 01:31:56,640
순간 채워질 거라고 기대하시는 거군요.

1643
01:31:56,640 --> 01:32:00,675
이렇게 생각해 볼 수 있을 것
같아요. 역사를 통틀어 성장의 상당

1644
01:32:00,675 --> 01:32:04,598
부분은 사람들이 아이디어를
떠올리고, 그 아이디어를 실행해 가치

1645
01:32:04,598 --> 01:32:08,745
있는 결과물을 만들어내는 사람들이
있었기 때문에 일어났다는 거예요.

1646
01:32:08,745 --> 01:32:11,706
이 기간 대부분에 인구가
폭발적으로 늘어났죠.

1647
01:32:11,706 --> 01:32:12,954
그게 성장을 이끌어온 거고요.

1648
01:32:12,954 --> 01:32:15,907
지난 50년간은 성장이
정체됐다는 주장이 있었어요.

1649
01:32:15,907 --> 01:32:18,652
선진국들의 인구도 정체됐고요.

1650
01:32:18,652 --> 01:32:23,357
인구의 지수적 성장이
산출의 초지수적 성장을

1651
01:32:23,357 --> 01:32:28,454
낳는다는 얘기로 결국
돌아가게 되는 것 같아요.

1652
01:32:28,960 --> 01:32:30,446
정말 판단하기 어려운 문제예요.

1653
01:32:30,446 --> 01:32:32,103
그 관점은 이해가 가요.

1654
01:32:32,103 --> 01:32:38,270
그런데 직관적으로 와닿지는 않아요.

1655
01:33:06,360 --> 01:33:13,193
저한테 닉 레인의 책을
추천해주셨었잖아요.

1656
01:33:40,560 --> 01:33:45,200
그 덕분에 저도 정말 흥미롭게
읽었고, 그분을 인터뷰까지 했어요.

1657
01:33:45,200 --> 01:33:49,120
지능과 진화의 역사를 어떻게 봐야
할지에 대해 여쭤보고 싶은 게 있어요.

1658
01:33:49,120 --> 01:33:53,836
지난 20년간 AI 연구를 해오시면서,
지능이 무엇이고 그걸 만들어내는

1659
01:33:53,836 --> 01:33:58,189
데 무엇이 필요한지에 대해 더
구체적인 감을 갖게 되셨을 텐데요.

1660
01:33:58,189 --> 01:34:02,982
그 결과로, 진화가 그야말로
우연히 지능을 발견해냈다는

1661
01:34:02,982 --> 01:34:06,976
게 더 놀라우신가요,
아니면 덜 놀라우신가요?

1662
01:34:06,976 --> 01:34:09,906
저도 닉 레인의 책을 정말 좋아해요.

1663
01:34:09,906 --> 01:34:13,698
여기 오는 길에도 마침 그분
팟캐스트를 듣고 있었어요.

1664
01:34:13,698 --> 01:34:18,971
지능과 그 진화라는 관점에서 보면,
이건 정말, 정말 최근 일이에요.

1665
01:34:18,971 --> 01:34:23,040
지능이 진화했다는 사실 자체가 놀라워요.

1666
01:34:23,040 --> 01:34:25,120
저 밖에 있을 온갖 세계들을
생각해보는 게 정말 흥미로워요.

1667
01:34:25,120 --> 01:34:26,164
지구 같은 행성이 천 개쯤 있다고

1668
01:34:26,164 --> 01:34:27,440
치면, 그것들이 어떤 모습일지 말이에요.

1669
01:34:27,440 --> 01:34:30,880
닉 레인이 여기 와서 가장 초기
단계에 대해 이야기했던 것 같아요.

1670
01:34:30,880 --> 01:34:33,588
대략적으로는 아주 비슷한
생명체가, 그러니까 대부분의

1671
01:34:33,588 --> 01:34:36,577
행성에 박테리아 비슷한 것들이
있을 거라고 예상하더라고요.

1672
01:34:36,577 --> 01:34:39,920
그 안에 몇 번의 단절점이 있고요.

1673
01:34:39,920 --> 01:34:45,377
지능의 진화는 직관적으로 꽤
드문 사건이어야 할 것 같아요.

1674
01:34:45,920 --> 01:34:47,684
어쩌면 그게 얼마나 오래 존재해왔는지를

1675
01:34:47,684 --> 01:34:49,280
기준으로 삼아야 할지도 모르겠어요.

1676
01:34:49,280 --> 01:34:53,006
박테리아가 20억 년 동안
있었는데 아무 일도 안

1677
01:34:53,006 --> 01:34:57,283
일어났다면, 진핵생물로 가는
건 꽤 어려운 일일 거예요.

1678
01:34:57,283 --> 01:35:01,423
박테리아가 지구 진화 역사에서
꽤 일찍 등장했으니까요.

1679
01:35:02,240 --> 01:35:03,350
동물은 얼마나 오래 존재했나요?

1680
01:35:03,350 --> 01:35:06,017
아마 몇 억 년 정도일 텐데, 뛰어다니고

1681
01:35:06,017 --> 01:35:08,320
기어다니는 다세포 동물들 말이에요.

1682
01:35:08,320 --> 01:35:11,805
그게 지구 수명의 한 10% 정도죠.

1683
01:35:11,805 --> 01:35:17,248
그 정도 시간 규모라면 그렇게
어렵지 않을 수도 있고요.

1684
01:35:18,000 --> 01:35:20,480
그래도 직관적으로는 그게
발달했다는 게 여전히 놀라워요.

1685
01:35:20,480 --> 01:35:22,705
저는 그냥 동물 같은
생명체들이 동물 같은

1686
01:35:22,705 --> 01:35:24,640
행동을 하는 걸 예상했을 것 같아요.

1687
01:35:24,640 --> 01:35:28,215
문화와 지식을 만들어내고 축적할 수 있는

1688
01:35:28,215 --> 01:35:31,627
존재가 나왔다는 게 저한테는 놀라워요.

1689
01:35:31,627 --> 01:35:35,440
흥미로운 후속 질문이 몇 개 있는데요.

1690
01:35:35,440 --> 01:35:41,920
지능의 핵심이 동물 지능이라는
서튼의 관점을 받아들인다면...

1691
01:35:41,920 --> 01:35:44,402
그가 한 말이
"다람쥐까지만 가면 AGI의

1692
01:35:44,402 --> 01:35:46,560
대부분에 도달한 것"이라는 거잖아요.

1693
01:35:46,560 --> 01:35:51,200
6억 년 전 캄브리아기 대폭발 직후에
다람쥐 수준의 지능에 도달했고요.

1694
01:35:51,200 --> 01:35:56,000
그걸 촉발한 게 6억 년 전의
산소화 사건인 것 같아요.

1695
01:35:56,000 --> 01:36:02,480
그런데 곧바로 다람쥐 지능을 만들어낼
지능 알고리즘이 있었던 거죠.

1696
01:36:02,480 --> 01:36:06,240
동물 지능이 그런 식이었다는
게 시사하는 바가 있어요.

1697
01:36:06,240 --> 01:36:09,365
환경에 산소가 생기자마자
진핵생물이 생기고,

1698
01:36:09,365 --> 01:36:11,970
그 알고리즘을 그냥 얻을 수 있었죠.

1699
01:36:11,970 --> 01:36:16,226
진화가 그렇게 빨리 우연히
발견한 걸 수도 있는데,

1700
01:36:16,226 --> 01:36:20,785
그게 결국 꽤 단순한 거라는
암시인지는 잘 모르겠어요.

1701
01:36:20,785 --> 01:36:23,200
이런 건 뭐든 판단하기가 정말 어려워요.

1702
01:36:23,200 --> 01:36:25,716
뭔가가 얼마나 오래 존재했는지,
혹은 얼마나 오래 병목에 걸려

1703
01:36:25,716 --> 01:36:28,158
있었던 것처럼 느껴지는지를 어느
정도 근거로 삼을 수 있죠.

1704
01:36:28,158 --> 01:36:32,358
닉 레인은 박테리아와 고세균의 이
뚜렷한 병목 현상을 아주 잘 설명해요.

1705
01:36:32,358 --> 01:36:34,240
20억 년 동안 아무
일도 일어나지 않았어요.

1706
01:36:34,240 --> 01:36:37,975
생화학적으로는 극도로 다양한데, 그럼에도

1707
01:36:37,975 --> 01:36:41,200
동물로 자라나는 건 하나도 없었죠.

1708
01:36:41,200 --> 01:36:42,336
20억 년이나요.

1709
01:36:42,336 --> 01:36:45,767
말씀하신 것처럼, 동물과
지능에서 정확히 그에

1710
01:36:45,767 --> 01:36:48,923
상응하는 걸 본 적이
있는지는 모르겠어요.

1711
01:36:48,923 --> 01:36:52,193
특정 지능이 개별적으로
몇 번이나 독자적으로

1712
01:36:52,193 --> 01:36:55,600
생겨났다고 보는지의
관점에서도 볼 수 있고요.

1713
01:36:55,600 --> 01:36:59,077
정말 파고들 만한 좋은 주제네요.

1714
01:36:59,077 --> 01:37:00,775
그거에 대해 한 가지 생각이 있는데요.

1715
01:37:00,775 --> 01:37:05,513
인류 지능이 있고,
또 조류 지능이 있죠.

1716
01:37:05,513 --> 01:37:09,403
까마귀 같은 새들은 정말
영리하지만, 뇌 구조

1717
01:37:09,403 --> 01:37:13,760
자체가 상당히 다르고 우리와
공통점이 별로 없어요.

1718
01:37:13,760 --> 01:37:18,880
그건 지능이 여러 번 따로 생겨났을
수도 있다는 살짝 힌트 같은 거죠.

1719
01:37:18,880 --> 01:37:22,680
그렇다면 더 자주 나타났을
거라고 예상할 텐데요.

1720
01:37:22,680 --> 01:37:26,235
예전 게스트였던
그웬(Gwern)과 칼 슐먼이

1721
01:37:26,235 --> 01:37:29,506
그것에 대해 정말
흥미로운 얘기를 했어요.

1722
01:37:29,506 --> 01:37:34,256
그들 관점은, 인간과 영장류가
가진 확장 가능한 알고리즘이

1723
01:37:34,256 --> 01:37:39,600
조류에서도 생겨났고, 어쩌면 다른
때에도 생겨났을 거라는 거예요.

1724
01:37:39,600 --> 01:37:43,954
하지만 인간은 지능이 조금씩
늘어나는 걸 보상해주는

1725
01:37:43,954 --> 01:37:48,619
진화적 니치를 찾아냈고,
동시에 그 지능 증가를 실제로

1726
01:37:48,619 --> 01:37:53,440
이뤄낼 확장 가능한 뇌
알고리즘도 가지고 있었다는 거죠.

1727
01:37:53,440 --> 01:37:57,200
예를 들어 새는 뇌가 더 커지면
그냥 하늘에서 떨어져 버려요.

1728
01:37:57,200 --> 01:38:00,015
뇌 크기에 비해서는
정말 똑똑하지만, 뇌가

1729
01:38:00,015 --> 01:38:03,320
커지는 걸 보상해주는
니치에 있는 건 아닌 거죠.

1730
01:38:03,320 --> 01:38:07,511
어쩌면 정말 똑똑한
무언가랑 비슷할 수도…

1731
01:38:08,880 --> 01:38:09,264
돌고래처럼요?

1732
01:38:09,264 --> 01:38:12,309
맞아요, 인간은 손이 있어서 도구
사용법을 배우는 게 보상이 되죠.

1733
01:38:12,309 --> 01:38:14,566
소화를 외부화할 수 있어서
뇌에 더 많은 에너지를 쓸 수

1734
01:38:14,566 --> 01:38:16,823
있고, 그게 선순환의 플라이휠을
돌리기 시작하는 거예요.

1735
01:38:16,823 --> 01:38:18,245
손으로 다룰 거리가 있다는 것도 있고요.

1736
01:38:18,245 --> 01:38:22,230
제가 돌고래였다면 더
어려웠을 것 같아요.

1737
01:38:22,230 --> 01:38:24,210
불을 어떻게 피우겠어요?

1738
01:38:24,210 --> 01:38:29,107
물속에서 할 수 있는 것들의
범위는, 그냥 화학적으로만

1739
01:38:29,107 --> 01:38:33,840
봐도 육지에서 할 수 있는
것보다 훨씬 적을 거예요.

1740
01:38:33,840 --> 01:38:37,866
이런 니치와 무엇이 보상되는지에
대한 이 관점에는 저도 동의해요.

1741
01:38:37,866 --> 01:38:39,668
그래도 여전히 기적 같다고 생각해요.

1742
01:38:39,668 --> 01:38:43,178
저라면 그냥 근육이 더 큰 동물 쪽에

1743
01:38:43,178 --> 01:38:47,040
머물러 있을 거라고 예상했을 것 같아요.

1744
01:38:47,040 --> 01:38:51,520
지능 쪽으로 뚫고 나가는 건 정말
흥미로운 돌파 지점인 것 같아요.

1745
01:38:51,520 --> 01:38:55,996
그웬 식으로 말하면, 그게
그렇게 어려웠던 이유는, 어떤

1746
01:38:55,996 --> 01:39:00,616
걸 배우는 게 너무 중요해서
정확한 회로를 DNA에 그대로

1747
01:39:00,616 --> 01:39:05,524
새겨넣는 게 오히려 아까울 정도인
상황과, 아예 배울 가치조차

1748
01:39:05,524 --> 01:39:10,000
없는 상황 사이의 경계가
굉장히 좁기 때문이라는 거예요.

1749
01:39:10,000 --> 01:39:13,337
그건 평생에 걸쳐 배우는 알고리즘을

1750
01:39:13,337 --> 01:39:17,200
만들도록 유인하는 무언가여야 하는 거죠.

1751
01:39:17,200 --> 01:39:19,691
적응력 같은 걸 유도해야 해요.

1752
01:39:19,691 --> 01:39:22,269
예측 불가능한 환경이
필요해요, 그래야 진화가

1753
01:39:22,269 --> 01:39:24,640
알고리즘을 가중치에
구워 넣지 못하니까요.

1754
01:39:24,640 --> 01:39:27,647
이런 의미에서 많은 동물들은
미리 구워져 있는 셈이에요.

1755
01:39:27,647 --> 01:39:32,577
인간은 태어난 뒤 테스트
시점에 스스로 알아내야 하고요.

1756
01:39:32,577 --> 01:39:37,046
정말 빠르게 변화하는
환경이 필요해요, 뭐가

1757
01:39:37,046 --> 01:39:41,514
잘 통할지 미리 알 수
없는 그런 환경이요.

1758
01:39:42,000 --> 01:39:45,200
그래서 테스트 시점에 알아낼
수 있는 지능을 만드는 거예요.

1759
01:39:45,200 --> 01:39:48,374
퀸틴 포프가 쓴 흥미로운
블로그 글이 있는데, 급격한

1760
01:39:48,374 --> 01:39:51,657
도약을 예상하지 않는 이유가
인간에게도 이미 그 급격한

1761
01:39:51,657 --> 01:39:55,378
도약이 있었기 때문이라는 거예요
— 60,000년 전에 우리는

1762
01:39:55,378 --> 01:39:58,771
이미 지금과 같은 인지 구조를
갖고 있었던 것 같거든요.

1763
01:39:58,771 --> 01:40:02,034
10,000년 전엔 농업
혁명, 그리고 현대죠.

1764
01:40:02,034 --> 01:40:04,560
그럼 그 50,000년 동안
무슨 일이 있었던 걸까요?

1765
01:40:04,560 --> 01:40:11,520
세대를 거쳐 지식을 축적할 수 있는
문화적 발판을 만들어야 했던 거예요.

1766
01:40:11,520 --> 01:40:16,386
이건 우리가 AI를 훈련하는 방식에서는
그냥 공짜로 딸려오는 능력이에요.

1767
01:40:16,386 --> 01:40:18,983
많은 경우 말 그대로 증류되니까요.

1768
01:40:18,983 --> 01:40:23,946
모델을 재훈련할 때 서로를 학습에 쓸
수도 있고, 같은 사전학습 코퍼스로

1769
01:40:23,946 --> 01:40:28,413
학습할 수도 있어서, 말 그대로
처음부터 시작할 필요가 없거든요.

1770
01:40:28,413 --> 01:40:32,089
인간은 이 문화적 순환 고리를
돌리기까지 오래 걸렸지만,

1771
01:40:32,089 --> 01:40:36,240
LLM 훈련 방식에서는 그냥
공짜로 딸려온다는 의미에서 그래요.

1772
01:40:36,240 --> 01:40:37,920
맞기도 하고 아니기도 해요. LLM에는

1773
01:40:37,920 --> 01:40:39,440
문화에 상응하는 게 사실 없거든요.

1774
01:40:39,440 --> 01:40:41,420
어쩌면 우리가 너무 많은
걸 줘버려서, 그걸 만들어낼

1775
01:40:41,420 --> 01:40:43,537
유인 자체를 없애고 있는
건지도 몰라요, 뭐 그런 거죠.

1776
01:40:43,537 --> 01:40:47,136
하지만 문화의 발명, 문자
기록, 서로 메모를 물려주는

1777
01:40:47,136 --> 01:40:50,975
것 — 지금 LLM에는 이에
상응하는 게 없는 것 같아요.

1778
01:40:50,975 --> 01:40:56,043
지금 LLM에는 문화가 사실상 없고,
이게 장애물 중 하나라고 생각해요.

1779
01:40:56,043 --> 01:40:59,983
LLM의 문화가 어떤 모습일지
좀 감을 잡게 해주실 수 있나요?

1780
01:40:59,983 --> 01:41:02,980
가장 단순한 경우엔, LLM이
직접 편집할 수 있는

1781
01:41:02,980 --> 01:41:05,977
거대한 스크래치패드가 있어서,
뭔가를 읽거나 작업을

1782
01:41:05,977 --> 01:41:08,653
도우면서 스스로 그걸
계속 수정해나가는 거죠.

1783
01:41:08,653 --> 01:41:10,971
왜 LLM이 다른 LLM들을
위해 책을 쓰지 못할까요?

1784
01:41:10,971 --> 01:41:12,339
그럼 정말 멋질 것 같아요.

1785
01:41:12,339 --> 01:41:15,288
왜 다른 LLM들이
이 LLM의 책을 읽고

1786
01:41:15,288 --> 01:41:18,365
영감을 받거나 충격을
받거나 하지 못할까요?

1787
01:41:18,365 --> 01:41:20,400
이런 것들에 상응하는
게 지금은 전혀 없어요.

1788
01:41:20,400 --> 01:41:20,913
흥미롭네요.

1789
01:41:20,913 --> 01:41:24,640
그런 일이 언제쯤 일어나기
시작할 거라고 보세요?

1790
01:41:24,640 --> 01:41:27,556
멀티 에이전트 시스템이나, 일종의

1791
01:41:27,556 --> 01:41:31,120
독립적인 AI 문명과 문화 같은 것도요?

1792
01:41:31,120 --> 01:41:33,840
멀티 에이전트 영역에는
강력한 아이디어가 두 가지

1793
01:41:33,840 --> 01:41:36,459
있는데, 둘 다 아직
제대로 실현되지 못했어요.

1794
01:41:36,459 --> 01:41:40,087
첫 번째는 문화예요 —
LLM들이 자기들만의

1795
01:41:40,087 --> 01:41:44,320
목적을 위해 지식 레퍼토리를
점점 늘려가는 것이죠.

1796
01:41:44,320 --> 01:41:47,520
두 번째는 셀프플레이라는 강력한
아이디어와 훨씬 더 비슷해 보여요.

1797
01:41:47,520 --> 01:41:50,359
제가 보기엔 이게 굉장히
강력한 아이디어예요.

1798
01:41:50,359 --> 01:41:56,513
진화에는 지능과 진화를 이끄는
경쟁이 많이 관여하잖아요.

1799
01:41:56,513 --> 01:41:59,946
좀 더 알고리즘적으로
보면, 알파고가 자기 자신과

1800
01:41:59,946 --> 01:42:03,760
대국을 두면서 바둑을 정말
잘하게 되는 게 그런 예죠.

1801
01:42:03,760 --> 01:42:05,771
LLM판 셀프플레이
같은 건 아직 없지만,

1802
01:42:05,771 --> 01:42:07,520
저는 그것도 결국 나올 거라고 봐요.

1803
01:42:07,520 --> 01:42:08,621
아직 아무도 만들지 않았을 뿐이에요.

1804
01:42:08,621 --> 01:42:11,154
예를 들어, 왜 한 LLM이
문제를 잔뜩 만들어내고

1805
01:42:11,154 --> 01:42:13,596
다른 LLM이 그걸 풀도록
학습하면 안 되겠어요?

1806
01:42:13,596 --> 01:42:16,306
그러면 그 LLM은
계속 더 어려운 문제를

1807
01:42:16,306 --> 01:42:19,016
내주려고 하게 되겠죠,
뭐 그런 식으로요.

1808
01:42:19,016 --> 01:42:22,160
이걸 조직하는 방법은
여러 가지가 있어요.

1809
01:42:22,160 --> 01:42:25,790
이건 하나의 연구 영역이긴
한데, 이 두 멀티 에이전트

1810
01:42:25,790 --> 01:42:29,178
개선을 설득력 있게 보여준
사례는 아직 못 봤어요.

1811
01:42:29,178 --> 01:42:32,245
지금은 대부분 단일 개별 에이전트 수준에

1812
01:42:32,245 --> 01:42:34,893
머물러 있지만, 그건 바뀔 거예요.

1813
01:42:34,893 --> 01:42:38,953
문화 영역에서는, 저는 조직들도
여기에 포함시키고 싶어요.

1814
01:42:38,953 --> 01:42:41,708
그런 것도 설득력 있게 본 적은 없어요.

1815
01:42:41,708 --> 01:42:43,615
그래서 우리가 아직 초기 단계인 거예요.

1816
01:42:43,615 --> 01:42:50,160
이런 LLM들 간의 협업을 가로막는
핵심 병목을 짚어주실 수 있나요?

1817
01:42:50,160 --> 01:42:54,521
이렇게 말할 수 있을 것
같은데, 이런 비유들 중 일부는

1818
01:42:54,521 --> 01:42:58,600
원래 안 맞아야 하는데
어쩐지 놀랍게도 맞아떨어져요.

1819
01:42:58,600 --> 01:43:03,379
더 작은, 그러니까 더 멍청한
모델들 상당수는 놀랍게도

1820
01:43:03,379 --> 01:43:07,520
유치원생이나 초등학생,
고등학생을 닮아 있어요.

1821
01:43:07,520 --> 01:43:09,887
그런데 어쩐지 우리는 아직,
이 애들이 진짜로 일을

1822
01:43:09,887 --> 01:43:12,000
넘겨받을 만큼 '졸업'하지는
못한 것 같아요.

1823
01:43:12,000 --> 01:43:14,520
제 Claude Code나 Codex도

1824
01:43:14,520 --> 01:43:17,040
여전히 이런 초등학생 같은 느낌이에요.

1825
01:43:17,040 --> 01:43:20,483
박사 과정 퀴즈를 풀 수
있다는 건 알지만, 인지적으로는

1826
01:43:20,483 --> 01:43:23,259
여전히 유치원생이나
초등학생 같은 느낌이에요.

1827
01:43:23,259 --> 01:43:26,712
이 애들은 아직 어린애들이라서
문화를 만들 순 없다고 봐요.

1828
01:43:26,712 --> 01:43:28,552
서번트 같은 아이들이에요.

1829
01:43:28,552 --> 01:43:33,200
이 모든 걸 완벽하게 기억하죠.

1830
01:43:33,200 --> 01:43:36,720
정말 그럴듯해 보이는 온갖
슬롭을 설득력 있게 만들어내요.

1831
01:43:36,720 --> 01:43:40,293
그래도 자기가 뭘 하는지 진짜
아는 것도 아니고, 우리가 계속

1832
01:43:40,293 --> 01:43:43,760
채워야 할 자잘한 체크박스
전반에 대한 인지는 없다고 봐요.

1833
01:43:43,760 --> 01:43:50,160
2017년부터 2022년까지 테슬라에서
자율주행을 이끄셨다고 하셨죠.

1834
01:43:50,160 --> 01:43:54,579
그리고 멋진 데모에서 지금은 수천 대가

1835
01:43:54,579 --> 01:43:59,840
실제로 자율주행하는
데까지 직접 지켜보셨고요.

1836
01:43:59,840 --> 01:44:01,280
왜 그게 10년이나 걸렸을까요?

1837
01:44:01,280 --> 01:44:03,920
그 기간 동안 무슨 일이 있었나요?

1838
01:44:03,920 --> 01:44:08,504
하나 바로 반박하자면,
이건 제가 곧 얘기할

1839
01:44:08,504 --> 01:44:13,280
여러 면에서 아직 끝난
것과는 거리가 멀어요.

1840
01:44:13,280 --> 01:44:16,535
자율주행은 정말 흥미로운
주제인데, 거기에 5년을

1841
01:44:16,535 --> 01:44:19,548
쏟아서 제 직관의 상당
부분이 거기서 나와요.

1842
01:44:19,548 --> 01:44:25,636
자율주행 첫 데모는 1980년대까지
거슬러 올라가는 역사가 있어요.

1843
01:44:25,636 --> 01:44:28,160
1986년 CMU에서 한
데모를 볼 수 있는데,

1844
01:44:28,160 --> 01:44:31,470
도로 위를 스스로 달리는 트럭이 있죠.

1845
01:44:31,470 --> 01:44:32,436
시간을 빨리 감아 보면요.

1846
01:44:32,436 --> 01:44:37,074
제가 테슬라에 합류할 즈음, 웨이모의
아주 초창기 데모를 봤어요.

1847
01:44:37,074 --> 01:44:41,318
2014년쯤이었나,
완벽한 주행을 보여줬어요.

1848
01:44:41,318 --> 01:44:46,240
그러니까 10년 전에 완벽한
웨이모 주행을 본 거죠.

1849
01:44:46,240 --> 01:44:50,640
거기서 일하는 친구가 있어서
팔로알토 이곳저곳을 태워다 줬죠.

1850
01:44:50,640 --> 01:44:54,800
거의 다 됐다고 생각했는데,
그러고도 오랜 시간이 걸렸어요.

1851
01:44:54,800 --> 01:44:59,860
어떤 작업이나 일들은
데모와 제품의 간극이

1852
01:44:59,860 --> 01:45:04,919
아주 커요. 데모는
쉬운데 제품은 어렵죠.

1853
01:45:04,919 --> 01:45:11,760
자율주행처럼 실패 비용이 너무
큰 경우에 특히 그래요.

1854
01:45:11,760 --> 01:45:15,020
많은 산업이나 일들은 그런
속성이 없을 수도 있지만,

1855
01:45:15,020 --> 01:45:17,943
그 속성이 있으면 확실히
개발 기간이 늘어나요.

1856
01:45:17,943 --> 01:45:22,200
예를 들어 소프트웨어 엔지니어링에는
그런 속성이 분명 있다고 봐요.

1857
01:45:22,200 --> 01:45:24,560
바이브 코딩 상당수에는 그게 없지만요.

1858
01:45:24,560 --> 01:45:28,434
하지만 실제 프로덕션급 코드를
짠다면 그 속성이 있어야 해요.

1859
01:45:28,434 --> 01:45:32,080
자칫하면 실수 하나가 보안
취약점 같은 걸로 이어지니까요.

1860
01:45:32,080 --> 01:45:38,665
수백만, 수억 명의 개인 사회보장번호
같은 정보가 유출될 수도 있고요.

1861
01:45:38,665 --> 01:45:43,905
그러니까 소프트웨어에서도
자율주행에서처럼 조심해야 해요.

1862
01:45:43,905 --> 01:45:48,079
자율주행에서는 뭔가 잘못되면
다칠 수도 있잖아요.

1863
01:45:48,079 --> 01:45:50,429
더 나쁜 결과도 있고요.

1864
01:45:50,429 --> 01:45:55,868
하지만 소프트웨어에서는 얼마나 끔찍해질
수 있는지가 거의 무한대예요.

1865
01:45:55,868 --> 01:45:59,920
이 둘이 그런 속성을
공유한다고 생각해요.

1866
01:45:59,920 --> 01:46:02,400
시간이 오래 걸리는
이유이자 이걸 이해하는

1867
01:46:02,400 --> 01:46:04,880
방식은, 이게 '9의
행진'이라는 거예요.

1868
01:46:04,880 --> 01:46:07,688
9 하나하나에 들어가는 노력은 일정해요.

1869
01:46:07,688 --> 01:46:10,320
9 하나하나에 드는
노력의 양은 똑같아요.

1870
01:46:10,320 --> 01:46:13,297
데모를 봤는데 뭔가가 90%의 확률로

1871
01:46:13,297 --> 01:46:16,720
작동한다면, 그건 그냥
9 하나인 거예요.

1872
01:46:16,720 --> 01:46:18,880
그다음엔 9 둘, 9 셋,
9 넷, 9 다섯이 필요해요.

1873
01:46:18,880 --> 01:46:21,093
제가 테슬라에 한 5년
정도 있는 동안, 아마

1874
01:46:21,093 --> 01:46:23,040
9 둘이나 9 셋 정도를 거쳤을 거예요.

1875
01:46:23,040 --> 01:46:25,600
정확히는 모르겠지만, 여러 개의
9를 거치는 반복이었어요.

1876
01:46:25,600 --> 01:46:27,477
아직 가야 할 9가 더 남아 있어요.

1877
01:46:27,477 --> 01:46:30,965
그래서 이런 일들이 이렇게
오래 걸리는 거예요.

1878
01:46:31,520 --> 01:46:33,200
뭔가가 데모에 불과했던 순간을 지켜본 건

1879
01:46:33,200 --> 01:46:34,956
저한테 확실히 큰
영향을 준 경험이었어요.

1880
01:46:34,956 --> 01:46:36,709
저는 데모에 정말 감흥이 없어요.

1881
01:46:36,709 --> 01:46:42,319
뭐가 됐든 데모를 볼 때마다,
저는 전혀 감흥이 없어요.

1882
01:46:43,440 --> 01:46:45,920
누군가 보여주기용으로 급조한
데모라면, 더 심하죠.

1883
01:46:45,920 --> 01:46:47,600
직접 상호작용해볼 수
있다면, 조금 낫고요.

1884
01:46:47,600 --> 01:46:48,808
하지만 그래도 끝난 게 아니에요.

1885
01:46:48,808 --> 01:46:49,903
실제 제품이 필요해요.

1886
01:46:49,903 --> 01:46:52,606
현실과 부딪히면서 온갖
난관에 부딪힐 거고,

1887
01:46:52,606 --> 01:46:55,647
패치해야 할 온갖 구석의
행동들이 드러날 거예요.

1888
01:46:55,647 --> 01:46:57,702
이런 일들이 실제로 펼쳐지는
걸 보게 될 거예요.

1889
01:46:57,702 --> 01:46:58,907
그게 바로 9의 행진이에요.

1890
01:46:58,907 --> 01:47:00,111
9 하나하나가 일정해요.

1891
01:47:00,111 --> 01:47:01,316
데모들은 고무적이에요.

1892
01:47:01,316 --> 01:47:04,431
하지만 여전히 해야 할
일이 어마어마하게 많죠.

1893
01:47:04,431 --> 01:47:08,071
바이브 코딩을 하는 게
아니라면, 이건 안전이 정말

1894
01:47:08,071 --> 01:47:11,840
중요한 영역이에요. 바이브
코딩이야 즐겁고 좋지만요.

1895
01:47:11,840 --> 01:47:16,000
그런 관점에서도 이게 제 타임라인
전망을 뒷받침해준 거예요.

1896
01:47:16,000 --> 01:47:19,238
소프트웨어에 필요한
안전 보증이 자율주행과

1897
01:47:19,238 --> 01:47:22,617
크게 다르지 않다는
말씀, 정말 흥미롭네요.

1898
01:47:22,617 --> 01:47:26,587
사람들이 흔히 하는 말은,
자율주행이 그렇게 오래 걸린

1899
01:47:26,587 --> 01:47:30,160
이유가 실패 비용이 워낙
크기 때문이라는 거예요.

1900
01:47:30,160 --> 01:47:34,320
사람은 평균적으로 40만 마일,
혹은 7년에 한 번 실수를 하죠.

1901
01:47:34,320 --> 01:47:37,971
만약 최소 7년 동안은
실수하지 않는 코딩 에이전트를

1902
01:47:37,971 --> 01:47:41,371
내놓아야 한다면, 배포하기가
훨씬 어려울 거예요.

1903
01:47:41,371 --> 01:47:44,549
하지만 말씀하신 요점은,
7년에 한 번 정도 중요한

1904
01:47:44,549 --> 01:47:47,840
시스템을 망가뜨리는 치명적인
코딩 실수를 한다면...

1905
01:47:47,840 --> 01:47:48,898
그건 아주 쉽게 일어날 수 있죠.

1906
01:47:48,898 --> 01:47:52,670
사실 실제 시간(wall clock
time) 기준으로는 7년보다

1907
01:47:52,670 --> 01:47:56,023
훨씬 짧을 거예요, 계속 그런
코드를 쏟아내고 있으니까요.

1908
01:47:57,280 --> 01:47:58,875
토큰 수 기준으로는 7년일 거예요.

1909
01:47:58,875 --> 01:48:00,080
그런데 실제 시간 기준으로는...

1910
01:48:00,080 --> 01:48:01,784
어떤 면에서는 훨씬 더 어려운 문제예요.

1911
01:48:01,784 --> 01:48:04,741
자율주행은 사람들이 하는 수천
가지 일 중 하나일 뿐이잖아요.

1912
01:48:04,741 --> 01:48:07,120
말하자면 거의 하나의
버티컬에 가까운 것 같아요.

1913
01:48:07,120 --> 01:48:10,112
반면 범용 소프트웨어 엔지니어링
얘기를 하면, 그건 훨씬 더...

1914
01:48:10,112 --> 01:48:11,840
다뤄야 할 표면적이 더 넓죠.

1915
01:48:11,840 --> 01:48:18,027
그 비유에 대해 사람들이 제기하는
또 다른 반론은, 자율주행에서

1916
01:48:18,027 --> 01:48:23,329
시간의 상당 부분을 차지한
게 바로 강건한 기본 지각을

1917
01:48:23,329 --> 01:48:29,339
갖추고 표현을 구축하고, 약간
분포를 벗어난 걸 봐도 일반화할

1918
01:48:29,339 --> 01:48:34,642
수 있는 상식을 가진 모델을
만드는 문제였다는 거예요.

1919
01:48:34,642 --> 01:48:36,619
누군가 도로에서 이런 식으로 손을 흔들고

1920
01:48:36,619 --> 01:48:38,686
있다면, 그걸 따로
학습시킬 필요가 없죠.

1921
01:48:38,686 --> 01:48:42,590
그런 상황에 어떻게 반응해야 할지
어느 정도는 알고 있을 테니까요.

1922
01:48:42,590 --> 01:48:46,190
이런 건 오늘날 LLM이나
VLM에서 공짜로 얻는 것들이라,

1923
01:48:46,190 --> 01:48:49,680
이런 아주 기본적인 표현 문제들은
따로 풀 필요가 없어요.

1924
01:48:49,680 --> 01:48:52,748
그러니 이제 AI를 여러
도메인에 배포하는 건, 지금

1925
01:48:52,748 --> 01:48:55,815
모델로 자율주행차를 다른
도시에 배포하는 것과 비슷할

1926
01:48:55,815 --> 01:48:59,200
거예요. 어렵긴 해도 10년씩
걸리는 일은 아니라는 거죠.

1927
01:48:59,200 --> 01:49:01,182
그 말에 100%
동의하는지는 잘 모르겠어요.

1928
01:49:01,182 --> 01:49:03,840
우리가 정말 얼마나 공짜로
얻고 있는 건지 모르겠어요.

1929
01:49:03,840 --> 01:49:07,680
우리가 뭘 얻고 있는지에 대한
이해에는 아직 빈틈이 많아요.

1930
01:49:07,680 --> 01:49:11,232
확실히 하나의 개체 안에서 더
일반화 가능한 지능을 얻고 있죠.

1931
01:49:11,232 --> 01:49:14,480
반면 자율주행은 아주 특수
목적의 과제라서 필요한 게...

1932
01:49:14,480 --> 01:49:17,687
어떤 면에선 특수 목적 과제를
만드는 게 오히려 더 어려울

1933
01:49:17,687 --> 01:49:20,794
수도 있어요. 대규모로 하는
더 일반적인 작업에서 저절로

1934
01:49:20,794 --> 01:49:23,701
따라 나오는 게 아니니까요.
무슨 말인지 아시겠어요?

1935
01:49:24,240 --> 01:49:29,116
하지만 그 비유가 완전히
와닿진 않아요. LLM은 여전히

1936
01:49:29,116 --> 01:49:33,520
꽤 오류가 많고 아직 채워야
할 빈틈도 많으니까요.

1937
01:49:33,520 --> 01:49:36,278
어떤 의미에서는 마법 같은 일반화를 그냥

1938
01:49:36,278 --> 01:49:39,036
곧바로 얻고 있는 건 아니라고 생각해요.

1939
01:49:39,036 --> 01:49:43,713
다시 돌아가고 싶은 다른
측면은, 자율주행차가

1940
01:49:43,713 --> 01:49:47,455
아직 완성과는 거리가 멀다는 거예요.

1941
01:49:47,455 --> 01:49:51,360
배포 규모는 꽤 미미해요.

1942
01:49:51,360 --> 01:49:53,024
웨이모 같은 곳도 차량
대수가 아주 적어요.

1943
01:49:53,024 --> 01:49:56,440
대략 말하자면, 경제성이 없기
때문에 그렇게 하는 거예요.

1944
01:49:56,440 --> 01:50:00,320
그들은 미래에 사는
무언가를 만든 거예요.

1945
01:50:00,320 --> 01:50:05,214
미래를 앞당겨 오긴 했지만,
비경제적으로 만들 수밖에 없었어요.

1946
01:50:05,840 --> 01:50:09,409
차량 운영·유지에 드는
한계비용뿐 아니라 전체

1947
01:50:09,409 --> 01:50:13,120
시스템의 자본적 지출까지,
온갖 비용이 들어요.

1948
01:50:13,120 --> 01:50:17,608
그걸 경제적으로 만드는 건 여전히
그들에게 힘겨운 싸움이 될 거예요.

1949
01:50:17,920 --> 01:50:21,661
그리고 이 차들을 보면 아무도
운전을 안 하는 것 같지만,

1950
01:50:21,661 --> 01:50:25,635
사실 좀 눈속임이라고 생각해요.
아주 정교한 원격 조작 센터가

1951
01:50:25,635 --> 01:50:29,493
있어서 사람들이 이 차들과 어느
정도 상호작용하고 있거든요.

1952
01:50:29,493 --> 01:50:31,810
정확한 범위는 저도 몰라요. 하지만

1953
01:50:31,810 --> 01:50:34,615
사람이 생각보다 더
많이 개입되어 있어요.

1954
01:50:34,615 --> 01:50:38,425
저 어딘가에서 하늘 위로부터
신호를 보내는 사람들이 있는 거죠.

1955
01:50:38,425 --> 01:50:41,321
그 사람들이 운전에 완전히
관여하는지는 모르겠어요.

1956
01:50:41,321 --> 01:50:44,183
어떤 때는 그렇고, 어쨌든 분명히
관여하고 있고 사람이 있어요.

1957
01:50:44,183 --> 01:50:46,422
어떤 의미에서는 사람을 없앤 게 아니라,

1958
01:50:46,422 --> 01:50:48,560
안 보이는 곳으로 옮겨놓은 것뿐이에요.

1959
01:50:48,560 --> 01:50:50,633
말씀하신 것처럼, 환경마다 옮겨가는 데는

1960
01:50:50,633 --> 01:50:52,800
여전히 작업이 좀
필요할 거라고 생각해요.

1961
01:50:52,800 --> 01:50:55,680
자율주행을 현실로 만드는 데는
여전히 난제가 남아 있어요.

1962
01:50:55,680 --> 01:50:58,659
하지만 정말 원격 조작이
아니라면, 이미 현실처럼

1963
01:50:58,659 --> 01:51:01,528
느껴지는 문턱은 확실히
넘었다는 데는 동의해요.

1964
01:51:01,528 --> 01:51:05,056
예를 들어 웨이모는 도시의 모든
지역을 다 갈 수는 없어요.

1965
01:51:05,056 --> 01:51:09,632
제 추측으로는 신호가 잘 안
잡히는 지역들일 것 같아요.

1966
01:51:09,632 --> 01:51:13,015
아무튼 그 스택에 대해서는
제가 아는 게 전혀 없어요.

1967
01:51:13,015 --> 01:51:14,811
저도 그냥 대충 지어내는 말이에요.

1968
01:51:14,811 --> 01:51:17,920
테슬라에서 5년간
자율주행을 이끄셨잖아요.

1969
01:51:17,920 --> 01:51:21,120
죄송한데, 웨이모의 세부
사항은 전혀 몰라요.

1970
01:51:21,120 --> 01:51:24,346
그나저나 저는 웨이모를 정말
좋아하고 항상 타거든요.

1971
01:51:24,880 --> 01:51:28,181
그냥 사람들이 그 진전에
대해 가끔 좀 너무 순진하게

1972
01:51:28,181 --> 01:51:31,254
생각하는 것 같아요, 아직
할 일이 산더미거든요.

1973
01:51:31,254 --> 01:51:33,907
제 생각엔 테슬라가 훨씬 더 확장 가능한

1974
01:51:33,907 --> 01:51:36,681
접근을 택했고, 팀도
정말 잘하고 있어요.

1975
01:51:36,681 --> 01:51:38,800
이게 어떻게 흘러갈지에 대해서는 제가

1976
01:51:38,800 --> 01:51:40,920
공개적으로 예측해 둔 게 있긴 해요.

1977
01:51:40,920 --> 01:51:42,715
웨이모는 일찍 출발했는데, 센서를 그만큼

1978
01:51:42,715 --> 01:51:44,266
많이 욱여넣을 수 있기 때문이에요.

1979
01:51:44,266 --> 01:51:46,455
하지만 테슬라가 더 확장
가능한 전략을 취하고 있다고

1980
01:51:46,455 --> 01:51:48,720
생각하고, 앞으로는 그쪽
모습에 훨씬 가까워질 거예요.

1981
01:51:48,720 --> 01:51:51,539
그러니 이건 아직 결과가
나오지 않았고, 지켜봐야 해요.

1982
01:51:51,539 --> 01:51:56,030
근데 자율주행이 10년 걸렸다는
식으로 말하고 싶진 않아요,

1983
01:51:56,030 --> 01:51:59,840
아직 끝난 게 아니니까요,
무슨 말인지 아시겠지만.

1984
01:51:59,840 --> 01:52:02,231
왜냐하면 첫째, 시작점은
10년 전이 아니라

1985
01:52:02,231 --> 01:52:05,120
1980년이고, 둘째, 아직
끝이 온 게 아니거든요.

1986
01:52:05,120 --> 01:52:08,120
끝이 아직 가까워지지 않은
이유는, 자율주행이라고 할 때

1987
01:52:08,120 --> 01:52:11,024
제 머릿속엔 보통 대규모
자율주행을 뜻하기 때문이에요.

1988
01:52:11,024 --> 01:52:15,136
사람들이 운전면허를 안 따도
되는 수준 말이죠. 이 비유가

1989
01:52:15,136 --> 01:52:19,120
다를 수 있는 다른 두 가지
지점을 좀 짚어보고 싶어요.

1990
01:52:19,120 --> 01:52:22,802
제가 이 부분이 특히 궁금한
이유는, AI가 얼마나

1991
01:52:22,802 --> 01:52:26,220
빨리 배포되고 초기에
얼마나 가치 있는지가 지금

1992
01:52:26,220 --> 01:52:29,902
세상에서 가장 중요한 질문일
수도 있기 때문이에요.

1993
01:52:29,902 --> 01:52:33,208
2030년이 어떤 모습일지
모델링하려 한다면, 바로

1994
01:52:33,208 --> 01:52:36,160
이 질문을 어느 정도는
이해하고 있어야 해요.

1995
01:52:36,160 --> 01:52:38,877
또 하나 생각해볼 수 있는 건, 첫째로

1996
01:52:38,877 --> 01:52:42,240
자율주행에는 지연시간
요구조건이 있다는 거예요.

1997
01:52:42,240 --> 01:52:46,890
실제 모델이 뭔지는 전혀 모르지만,
아마 수천만 개 파라미터 정도일 거라고

1998
01:52:46,890 --> 01:52:51,200
짐작하는데, 이건 LLM으로 하는
지식노동에는 필요한 제약이 아니죠.

1999
01:52:51,200 --> 01:52:54,416
컴퓨터 사용 같은 데서는
그럴 수도 있겠지만요.

2000
01:52:54,416 --> 01:52:57,132
근데 다른 큰 요인은, 어쩌면 더 중요한

2001
01:52:57,132 --> 01:52:59,725
건 이 자본지출(capex) 문제예요.

2002
01:52:59,725 --> 01:53:05,577
네, 모델 한 카피를 더 서빙하는
데 추가 비용이 들긴 하지만,

2003
01:53:05,577 --> 01:53:11,094
세션당 운영비(opex)는 꽤
낮고, 추론 스케일링이 어떻게

2004
01:53:11,094 --> 01:53:17,280
되느냐에 따라 AI 비용을 학습
과정 자체에 상각시킬 수도 있어요.

2005
01:53:17,280 --> 01:53:20,343
하지만 모델 인스턴스
하나를 더 서빙하려고 차를

2006
01:53:20,343 --> 01:53:23,760
통째로 새로 만드는 것에
비할 바는 확실히 아니에요.

2007
01:53:23,760 --> 01:53:28,560
그러니 더 폭넓게 배포하는
경제성이 훨씬 유리한 거죠.

2008
01:53:28,560 --> 01:53:29,468
그 말이 맞는 것 같아요.

2009
01:53:29,468 --> 01:53:32,629
비트의 영역에만 머문다면,
비트는 물리적 세계를

2010
01:53:32,629 --> 01:53:35,912
건드리는 그 어떤 것보다도
백만 배는 더 쉬워요.

2011
01:53:35,912 --> 01:53:37,454
그 점은 확실히 인정합니다.

2012
01:53:37,454 --> 01:53:40,230
비트는 완전히 바뀔 수 있고, 아주 빠른

2013
01:53:40,230 --> 01:53:42,880
속도로 임의로 재배열할 수 있으니까요.

2014
01:53:42,880 --> 01:53:48,556
그럼 업계 같은 데서도 훨씬
빠른 적응을 기대하시겠네요.

2015
01:53:48,556 --> 01:53:50,320
첫 번째가 뭐였죠?

2016
01:53:50,320 --> 01:53:53,520
지연 시간 요구사항이 모델 크기에
미치는 영향, 그거 말씀이신가요?

2017
01:53:53,520 --> 01:53:54,602
대략 맞는 것 같아요.

2018
01:53:54,602 --> 01:53:58,368
그리고 지식노동을 대규모로
다룬다면, 현실적으로 어느

2019
01:53:58,368 --> 01:54:02,264
정도 지연 시간 요구사항이
생길 거라고 봐요. 왜냐하면

2020
01:54:02,264 --> 01:54:06,160
엄청난 양의 컴퓨트를 만들어서
그걸 서빙해야 하니까요.

2021
01:54:06,160 --> 01:54:11,532
마지막으로 아주 간단히 얘기하고 싶은
부분은 그 밖의 나머지 전부예요.

2022
01:54:13,280 --> 01:54:14,976
사회는 그것을 어떻게 생각할까요?

2023
01:54:14,976 --> 01:54:16,672
법적으로는 어떤 파장이 있을까요?

2024
01:54:16,672 --> 01:54:18,183
법적으로는 어떻게 돌아가고 있을까요?

2025
01:54:18,183 --> 01:54:20,689
보험 쪽으로는 어떻게 돌아가고 있을까요?

2026
01:54:20,689 --> 01:54:25,040
그 층위와 측면들은 어떤 게 있을까요?

2027
01:54:25,040 --> 01:54:28,800
사람들이 웨이모 위에 콘을 올려놓는
것, 그에 해당하는 건 뭘까요?

2028
01:54:28,800 --> 01:54:31,800
그 모든 것에 대응하는
것들이 생길 거예요.

2029
01:54:31,800 --> 01:54:33,936
그래서 자율주행이 여러 가지를 빌려올

2030
01:54:33,936 --> 01:54:36,178
수 있는 아주 좋은 비유인 것 같아요.

2031
01:54:36,178 --> 01:54:38,000
차에서 콘에 해당하는 건 뭘까요?

2032
01:54:38,000 --> 01:54:41,467
숨어 있는 원격 조작 인력에 해당하는

2033
01:54:41,467 --> 01:54:45,280
건 뭘까요, 그리고 그 모든 측면들도요.

2034
01:54:45,280 --> 01:54:49,502
이게 지금의 AI 인프라 구축에
어떤 의미를 갖는지 의견이

2035
01:54:49,502 --> 01:54:54,119
있으신가요? 1~2년 안에 전
세계 가용 컴퓨트를 10배로, 이

2036
01:54:54,119 --> 01:54:58,605
10년이 끝날 때쯤엔 100배
넘게 늘리는 그 구축 말이에요.

2037
01:54:58,605 --> 01:55:02,355
AI 활용도가 일부 사람들이 순진하게
예측하는 것보다 낮다면, 그건

2038
01:55:02,355 --> 01:55:06,511
우리가 컴퓨트를 과잉 구축하고 있다는
뜻일까요, 아니면 별개의 질문일까요?

2039
01:55:06,511 --> 01:55:08,560
철도 때 있었던 일과 좀 비슷하게요.

2040
01:55:08,560 --> 01:55:09,659
죄송한데, 뭐라고요?

2041
01:55:09,659 --> 01:55:10,880
철도였나요, 아니면?

2042
01:55:10,880 --> 01:55:11,794
네, 맞아요.

2043
01:55:11,794 --> 01:55:12,186
네.

2044
01:55:12,186 --> 01:55:14,080
역사적 선례가 있죠.

2045
01:55:14,080 --> 01:55:16,280
아니면 통신 산업 쪽이었나요?

2046
01:55:16,280 --> 01:55:20,599
10년 뒤에나 온 인터넷을
미리 깔아놓으면서,

2047
01:55:20,599 --> 01:55:25,436
90년대 후반 통신 산업에
거품 전체를 만들어냈죠.

2048
01:55:28,000 --> 01:55:30,963
제가 지금 되게 비관적으로
들린다는 거 알아요.

2049
01:55:30,963 --> 01:55:32,474
사실 저는 낙관적이에요.

2050
01:55:32,474 --> 01:55:33,669
이게 잘될 거라고 생각해요.

2051
01:55:33,669 --> 01:55:34,691
다룰 수 있는 문제라고 봐요.

2052
01:55:34,691 --> 01:55:38,270
제가 비관적으로 들리는 건,
그냥 트위터 타임라인에

2053
01:55:38,270 --> 01:55:41,848
들어가면 말이 안 되는
것들이 보여서 그런 거예요.

2054
01:55:42,560 --> 01:55:45,098
그게 존재하는 데는 이유가 많아요.

2055
01:55:45,098 --> 01:55:47,360
솔직히 그중 상당 부분은
그냥 투자 유치 때문이에요.

2056
01:55:47,360 --> 01:55:48,945
그냥 인센티브 구조 문제죠.

2057
01:55:48,945 --> 01:55:50,480
상당 부분은 투자 유치
때문일 수도 있고요.

2058
01:55:50,480 --> 01:55:54,064
상당 부분은 그냥
관심(attention)이에요.

2059
01:55:54,064 --> 01:55:57,913
인터넷에서 관심을 돈으로
바꾸는 것, 그런 것들이요.

2060
01:55:57,913 --> 01:56:02,990
그런 일이 많이 일어나고 있고, 저는
그냥 거기에 반응하는 것뿐이에요.

2061
01:56:02,990 --> 01:56:05,920
하지만 전반적으로 저는 여전히
기술에 대해 매우 낙관적이에요.

2062
01:56:05,920 --> 01:56:08,015
우리는 이 모든 걸 헤쳐나갈 거예요.

2063
01:56:08,015 --> 01:56:09,920
정말 빠른 진전이 있었죠.

2064
01:56:09,920 --> 01:56:12,293
과잉 구축(overbuilding)이
있는지는 잘 모르겠어요.

2065
01:56:12,293 --> 01:56:14,901
제가 이해하기로는,
지금 지어지고 있는 걸

2066
01:56:14,901 --> 01:56:17,622
우리가 다 흡수할 수
있을 거라고 생각해요.

2067
01:56:17,622 --> 01:56:19,711
예를 들어 Claude
Code나 OpenAI

2068
01:56:19,711 --> 01:56:22,302
Codex 같은 것들도 1년
전엔 존재하지도 않았잖아요.

2069
01:56:22,302 --> 01:56:24,339
맞죠?

2070
01:56:24,960 --> 01:56:27,623
이건 존재하지 않았던
기적 같은 기술이에요.

2071
01:56:27,623 --> 01:56:30,645
ChatGPT에서 이미 보이는 수요처럼,

2072
01:56:30,645 --> 01:56:33,254
앞으로 엄청난 수요가 있을 거예요.

2073
01:56:33,254 --> 01:56:37,435
그러니까 과잉 구축이
있는지는 잘 모르겠어요.

2074
01:56:37,920 --> 01:56:40,220
저는 그냥 사람들이
계속 잘못 말하는 아주

2075
01:56:40,220 --> 01:56:42,320
빠른 타임라인들에 반응하는 것뿐이에요.

2076
01:56:42,320 --> 01:56:46,122
제가 AI 분야에서 15년을
지내오면서, 아주 평판 좋은

2077
01:56:46,122 --> 01:56:49,925
분들도 이 부분을 계속 틀리는
걸 정말 여러 번 봤어요.

2078
01:56:49,925 --> 01:56:54,990
제대로 캘리브레이션됐으면
하는 문제고, 이런 질문

2079
01:56:54,990 --> 01:56:59,680
중 일부는 지정학적 파장
같은 것도 있잖아요.

2080
01:56:59,680 --> 01:57:04,080
그런 영역에서 사람들이
실수하지 않았으면 해요.

2081
01:57:04,080 --> 01:57:06,262
기술이 실제로 뭘 할 수 있고 뭘 못

2082
01:57:06,262 --> 01:57:08,880
하는지, 현실에 발붙이고
있었으면 좋겠어요.

2083
01:57:08,880 --> 01:57:12,231
교육과 유레카 랩스 얘기를 해보죠.

2084
01:57:12,231 --> 01:57:15,359
하실 수 있는 일 중
하나는 또 다른 AI

2085
01:57:15,359 --> 01:57:18,758
랩을 세워서 그 문제들을
풀어보는 걸 텐데요.

2086
01:57:18,758 --> 01:57:24,075
지금 뭘 하고 계신지 궁금하고, 왜
AI 연구 자체는 아닌지도 궁금해요.

2087
01:57:24,075 --> 01:57:28,883
이렇게 표현할 수 있을 것
같은데, AI 랩들이 하는

2088
01:57:28,883 --> 01:57:33,360
일에는 어느 정도 결정론적인
면이 있다고 느껴요.

2089
01:57:33,360 --> 01:57:37,800
제가 거기서 도움이 될
수는 있겠지만, 저만이 할

2090
01:57:37,800 --> 01:57:42,240
수 있는 방식으로 개선할
수 있을지는 모르겠어요.

2091
01:57:42,240 --> 01:57:46,003
개인적으로 가장 두려운 건,
이런 일들이 인류를 배제한

2092
01:57:46,003 --> 01:57:49,640
채 진행되고 그로 인해
인류가 힘을 잃는 상황이에요.

2093
01:57:49,640 --> 01:57:53,347
저는 우리가, 혹은 AI가
완전히 자율적으로 지을 다이슨

2094
01:57:53,347 --> 01:57:57,771
스피어들뿐 아니라, 인간에게 무슨
일이 일어날지에도 관심이 있어요.

2095
01:57:57,771 --> 01:58:00,480
미래에 인간이 잘 살았으면 좋겠어요.

2096
01:58:00,480 --> 01:58:04,078
최전선 랩에서 점진적으로
개선하는 것보다, 그 지점에서

2097
01:58:04,078 --> 01:58:07,677
제가 훨씬 더 고유하게 가치를
더할 수 있다고 느껴요.

2098
01:58:07,677 --> 01:58:12,238
제가 가장 두려워하는 건 월-E나
이디오크러시 같은 영화 속

2099
01:58:12,238 --> 01:58:16,800
모습이에요, 인류가 이런 일에서
밀려나 곁다리가 되는 거죠.

2100
01:58:16,800 --> 01:58:21,120
이 미래에서 인간이 훨씬,
훨씬 더 나아졌으면 좋겠어요.

2101
01:58:21,120 --> 01:58:26,000
제게는 이걸 이룰 수 있는
길이 바로 교육이에요.

2102
01:58:26,000 --> 01:58:28,215
그럼 거기서 뭘 작업하고 계신가요?

2103
01:58:28,215 --> 01:58:32,779
가장 쉽게 설명하자면, 저희는 스타플릿
아카데미를 만들려고 하고 있어요.

2104
01:58:32,779 --> 01:58:34,800
스타트렉을 보셨는지 모르겠네요.

2105
01:58:34,800 --> 01:58:35,794
안 봤어요.

2106
01:58:35,794 --> 01:58:40,711
스타플릿 아카데미는 최첨단
기술을 다루는 엘리트 기관이에요,

2107
01:58:40,711 --> 01:58:45,927
우주선을 만들고 생도들을 그
우주선 조종사로 졸업시키는 곳이죠.

2108
01:58:45,927 --> 01:58:51,299
그러니까 저는 기술 지식을
위한 엘리트 기관, 아주

2109
01:58:51,299 --> 01:58:56,480
최신이면서도 최고 수준인
학교를 상상하는 거예요.

2110
01:58:56,480 --> 01:59:02,841
여쭤보고 싶은 질문들 중 하나는,
기술적이거나 과학적인 내용을

2111
01:59:02,841 --> 01:59:08,640
잘 가르치는 법인데요, 그
방면의 세계적인 대가시니까요.

2112
01:59:08,640 --> 01:59:12,551
이미 유튜브에 올리신 콘텐츠는
어떻게 생각하시는지,

2113
01:59:12,551 --> 01:59:16,880
유레카의 경우는 다르다면
어떻게 다른지 둘 다 궁금해요.

2114
01:59:16,880 --> 01:59:21,032
유레카 랩스와 관련해서, 교육에서
정말 흥미로운 점 하나는, AI가

2115
01:59:21,032 --> 01:59:24,960
옆에 있으면 교육이 꽤 근본적으로
바뀔 거라 생각한다는 거예요.

2116
01:59:24,960 --> 01:59:28,024
그건 어느 정도는 새로
짜고 바꿔야 하는 거죠.

2117
01:59:28,024 --> 01:59:30,400
그래도 아직은 꽤 초기
단계인 것 같아요.

2118
01:59:30,400 --> 01:59:33,440
많은 사람들이 뻔한
것들부터 시도해볼 거예요.

2119
01:59:33,440 --> 01:59:35,631
LLM을 두고 질문을 던지는 식으로요.

2120
01:59:35,631 --> 01:59:39,500
지금 프롬프팅으로 할 법한
기본적인 걸 다 해보는 거죠.

2121
01:59:39,500 --> 01:59:42,255
도움은 되지만, 제겐 여전히
좀 슬롭처럼 느껴져요.

2122
01:59:42,255 --> 01:59:47,582
제대로 하고 싶은데, 제가 원하는
수준의 능력은 아직 없는 것 같아요.

2123
01:59:47,582 --> 01:59:51,360
제가 원하는 건 진짜 튜터 경험이에요.

2124
01:59:51,360 --> 01:59:54,181
제 머릿속에 떠오르는
대표적인 예가, 최근에

2125
01:59:54,181 --> 01:59:57,120
한국어를 배웠거든요,
그러니까 언어 학습이요.

2126
01:59:57,120 --> 02:00:00,320
인터넷으로 혼자 한국어를
공부하던 시기가 있었어요.

2127
02:00:00,320 --> 02:00:04,121
한국에서 여러 사람들과 함께
소규모 반에서 한국어를

2128
02:00:04,121 --> 02:00:07,244
배우던 시기도 있었는데,
정말 재밌었어요.

2129
02:00:07,244 --> 02:00:09,947
선생님 한 분에 한국어를
배우는 사람이 10명쯤 있었죠.

2130
02:00:09,947 --> 02:00:13,600
그러다 일대일 튜터로 바꿨어요.

2131
02:00:13,600 --> 02:00:17,570
제가 흥미로웠던 건, 정말
좋은 튜터를 만났었는데, 그

2132
02:00:17,570 --> 02:00:21,540
튜터가 저를 위해 무엇을
해줬는지 곰곰이 생각해보니 그

2133
02:00:21,540 --> 02:00:25,246
경험이 얼마나 대단했는지,
그리고 제가 결국 만들고

2134
02:00:25,246 --> 02:00:29,216
싶은 것의 기준이 얼마나
높은지 알게 됐다는 점이에요.

2135
02:00:29,216 --> 02:00:32,488
아주 짧은 대화만으로
그분은 제가 학생으로서 어느

2136
02:00:32,488 --> 02:00:35,760
수준인지, 뭘 알고 뭘
모르는지 바로 파악했어요.

2137
02:00:35,760 --> 02:00:38,224
제 월드 모델을 파악하려고 정확히 어떤

2138
02:00:38,224 --> 02:00:41,040
질문들을 던져야 하는지
짚어낼 수 있었어요.

2139
02:00:41,040 --> 02:00:44,320
지금 어떤 LLM도 그걸 100%
해주지 못해요, 근처에도 못 가요.

2140
02:00:44,320 --> 02:00:46,933
하지만 좋은 튜터라면 그걸 해내죠.

2141
02:00:46,933 --> 02:00:49,866
일단 파악하고 나면,
그분은 제 현재 능력의 딱

2142
02:00:49,866 --> 02:00:52,800
그 좁은 구간에 필요한
걸 정말 잘 채워줬어요.

2143
02:00:52,800 --> 02:00:54,909
저는 항상 적절한 수준으로
도전받아야 해요.

2144
02:00:54,909 --> 02:00:58,494
너무 어렵거나 너무 쉬운
걸 마주하면 안 되는데,

2145
02:00:58,494 --> 02:01:01,680
튜터는 딱 맞는 걸 주는
데 정말 능숙해요.

2146
02:01:01,680 --> 02:01:04,761
제가 학습의 유일한
제약이라는 느낌이 들었어요.

2147
02:01:04,761 --> 02:01:07,419
저는 항상 완벽한 정보를 제공받았어요.

2148
02:01:07,419 --> 02:01:08,560
제가 유일한 제약이에요.

2149
02:01:08,560 --> 02:01:11,120
존재하는 유일한 장애물이 저
자신이라는 게 오히려 기분 좋았어요.

2150
02:01:11,120 --> 02:01:14,218
지식을 못 찾거나 설명이
부실해서가 아니에요.

2151
02:01:14,218 --> 02:01:16,821
그냥 제 암기력 같은 게 문제인 거죠.

2152
02:01:16,821 --> 02:01:18,640
이게 바로 제가 사람들에게
해주고 싶은 거예요.

2153
02:01:18,640 --> 02:01:20,027
그걸 어떻게 자동화하나요?

2154
02:01:20,027 --> 02:01:21,093
아주 좋은 질문이네요.

2155
02:01:21,093 --> 02:01:23,888
지금 수준의 역량으로는 안 되죠.

2156
02:01:23,888 --> 02:01:29,428
그래서 지금이 이런 AI 튜터를
만들 때는 아니라고 봐요.

2157
02:01:29,428 --> 02:01:34,664
저는 여전히 유용한 제품이라고
생각하고, 많은 사람들이 만들

2158
02:01:34,664 --> 02:01:39,900
거예요. 하지만 기준이 워낙
높아서 아직 그 역량은 없어요.

2159
02:01:40,400 --> 02:01:45,440
지금도 ChatGPT는 정말
훌륭한 교육용 제품이라고 생각해요.

2160
02:01:45,440 --> 02:01:48,640
하지만 저한테는 그 기준이 얼마나
높은지 보는 게 정말 흥미로웠어요.

2161
02:01:48,640 --> 02:01:53,040
그분과 함께 있을 때, 거의 '이건
도저히 못 만들겠다' 싶었어요.

2162
02:01:53,040 --> 02:01:54,155
그래도 지금 만들고 계시잖아요, 그렇죠?

2163
02:01:54,155 --> 02:01:56,534
정말 좋은 과외 선생님을
겪어본 사람이라면

2164
02:01:56,534 --> 02:01:58,914
다들 '이걸 어떻게
만들려고?'라고 하죠.

2165
02:01:58,914 --> 02:02:01,366
저는 그 역량이 나오길 기다리고 있어요.

2166
02:02:01,366 --> 02:02:06,747
컴퓨터 비전 쪽으로 AI
컨설팅을 좀 했었어요.

2167
02:02:06,747 --> 02:02:11,306
많은 경우, 제가 회사에 준 가치는
'AI를 쓰지 말라'는 조언이었어요.

2168
02:02:11,306 --> 02:02:13,254
제가 AI 전문가였는데, 회사가 문제를

2169
02:02:13,254 --> 02:02:15,572
설명하면 저는 'AI
쓰지 마세요'라고 했죠.

2170
02:02:15,572 --> 02:02:16,793
이게 제가 준 부가가치였어요.

2171
02:02:16,793 --> 02:02:20,217
지금 교육 분야도 비슷한
것 같아요. 제가 생각하는

2172
02:02:20,217 --> 02:02:24,008
그림을 실현할 때는 아직
아니지만, 언젠가는 올 거예요.

2173
02:02:24,008 --> 02:02:27,104
지금은 좀 더 평범해
보이는 걸 만들고 있어요.

2174
02:02:27,104 --> 02:02:30,320
물리적 요소와 디지털
요소가 섞인 그런 것들이요.

2175
02:02:30,320 --> 02:02:35,040
하지만 미래에 이게 어떤
모습이어야 할지는 분명해요.

2176
02:02:35,040 --> 02:02:40,554
말씀해 주실 수 있는 선에서, 올해나
내년에 나오길 바라는 건 뭔가요?

2177
02:02:40,554 --> 02:02:42,667
첫 강좌를 만들고 있어요.

2178
02:02:42,667 --> 02:02:46,244
정말, 정말 좋은 강좌를
만들고 싶어요. AI를 배우려면

2179
02:02:46,244 --> 02:02:49,591
당연히 여기로 와야 하는,
최첨단 목적지 같은 거요.

2180
02:02:49,591 --> 02:02:51,936
제가 잘 아는 분야이기도 하니, 제대로

2181
02:02:51,936 --> 02:02:54,281
잘해내기에 정말 좋은 첫 제품인 거죠.

2182
02:02:54,281 --> 02:02:55,654
그래서 그걸 만들고 있어요.

2183
02:02:55,654 --> 02:02:58,850
잠깐 언급하신
nanochat은, 제가 만들고

2184
02:02:58,850 --> 02:03:02,173
있는 강좌 LLM101n의
캡스톤 프로젝트예요.

2185
02:03:02,480 --> 02:03:03,551
그게 정말 큰 비중을 차지하는 부분이죠.

2186
02:03:03,551 --> 02:03:07,603
하지만 이제 중간 단계들을
많이 만들어야 하고, 소규모

2187
02:03:07,603 --> 02:03:11,520
조교(TA) 팀도 꾸려서
강좌 전체를 구축해야 해요.

2188
02:03:11,520 --> 02:03:16,480
한 가지 더 말씀드리면,
사람들이 교육을 생각할 때 흔히

2189
02:03:16,480 --> 02:03:21,760
지식을 전파하는 좀 더 부드러운
측면을 떠올리는 것 같아요.

2190
02:03:21,760 --> 02:03:24,556
저는 훨씬 더 단단하고 기술적인
걸 염두에 두고 있어요.

2191
02:03:24,556 --> 02:03:27,479
제게 교육이란 지식으로 가는 램프를

2192
02:03:27,479 --> 02:03:30,864
만드는, 아주 어려운 기술적 과정이에요.

2193
02:03:30,864 --> 02:03:35,518
제 생각엔 nanochat도 지식으로
가는 램프예요, 아주 단순하니까요.

2194
02:03:35,518 --> 02:03:38,000
완전히 단순화된 풀스택 결과물이거든요.

2195
02:03:38,000 --> 02:03:43,379
이 결과물을 누군가에게 주고 살펴보게
하면, 정말 많은 걸 배우게 돼요.

2196
02:03:43,760 --> 02:03:48,080
제가 말하는 '초당 유레카', 그러니까
초당 이해량이 아주 높은 거죠.

2197
02:03:48,080 --> 02:03:50,611
제가 원하는 게 바로
그거예요, 높은 초당 유레카.

2198
02:03:50,611 --> 02:03:53,247
그러니까 제게 이건, 이런
지식으로 가는 램프를

2199
02:03:53,247 --> 02:03:55,578
어떻게 만들 것인가
하는 기술적 문제예요.

2200
02:03:55,578 --> 02:03:59,413
그래서 저는 유레카 랩스가
프론티어 연구소들이나 거기서

2201
02:03:59,413 --> 02:04:03,120
진행되는 작업들과 그리
다르지 않다고 거의 생각해요.

2202
02:04:03,120 --> 02:04:07,869
사람들이 절대 막히지 않도록,
항상 너무 어렵지도 너무

2203
02:04:07,869 --> 02:04:11,984
쉽지도 않게, 딱 맞는
진도의 자료를 갖도록 이

2204
02:04:11,984 --> 02:04:16,575
램프를 아주 효율적으로
만드는 법을 알아내고 싶어요.

2205
02:04:16,575 --> 02:04:22,189
단기적으로 보면, 튜터가 이해도를
짚어주는 대신 스스로를 충분히 자각해서

2206
02:04:22,189 --> 02:04:27,241
스스로 짚어낼 수 있다면, 절대
막히지 않을 거라는 말씀이시군요.

2207
02:04:27,241 --> 02:04:30,390
조교와 이야기하는 것, LLM과
대화하는 것, 참조 구현을

2208
02:04:30,390 --> 02:04:33,440
살펴보는 것, 그 사이에서
정답을 찾아낼 수 있는 거죠.

2209
02:04:33,440 --> 02:04:38,880
자동화나 AI가 그렇게 큰
부분은 아닌 것 같네요.

2210
02:04:38,880 --> 02:04:44,018
지금까지는요, 여기서 큰
알파는 AI를 설명해내는 능력이

2211
02:04:44,018 --> 02:04:48,825
강좌의 소스 자료에 그대로
체화되어 있다는 점이에요.

2212
02:04:48,825 --> 02:04:51,360
그게 본질적으로 이 강좌의 정체예요.

2213
02:04:51,360 --> 02:04:55,920
업계에 어떤 능력이 존재하는지에
항상 맞춰서 보정해야 해요.

2214
02:04:55,920 --> 02:04:58,560
많은 사람들이 그냥 ChatGPT
같은 데 물어보는 쪽을

2215
02:04:58,560 --> 02:05:01,370
택할 텐데요. 하지만 지금
당장, 예를 들어 ChatGPT에

2216
02:05:01,370 --> 02:05:03,840
가서 'AI 가르쳐줘'라고
해 봤자, 어림도 없어요.

2217
02:05:03,840 --> 02:05:06,084
그냥 슬롭을 내놓을 거예요.

2218
02:05:06,084 --> 02:05:09,120
지금 AI는 절대 nanochat을
작성해내지 못해요.

2219
02:05:09,120 --> 02:05:13,520
하지만 nanochat은 정말
유용한 중간 지점이에요.

2220
02:05:13,520 --> 02:05:15,824
이 모든 자료를 만드는
데 AI와 협업하고

2221
02:05:15,824 --> 02:05:18,529
있으니, AI는 여전히
근본적으로 아주 유용해요.

2222
02:05:18,529 --> 02:05:23,316
예전에 스탠퍼드에서 CS231n을
만들었는데, 스탠퍼드 최초의

2223
02:05:23,316 --> 02:05:27,680
딥러닝 강좌였던 것 같고,
그게 굉장히 인기를 끌었어요.

2224
02:05:27,680 --> 02:05:29,905
그때 231n을 만들던 것과 지금

2225
02:05:29,905 --> 02:05:33,120
LLM101n을 만드는
건 차이가 꽤 뚜렷해요.

2226
02:05:33,120 --> 02:05:35,770
지금 존재하는 LLM들 덕분에
정말 힘을 얻는 느낌이지만,

2227
02:05:35,770 --> 02:05:37,840
저는 여전히 그 과정에
깊이 관여하고 있어요.

2228
02:05:37,840 --> 02:05:40,960
LLM들이 자료 만드는 걸
도와줘서 훨씬 빨리 진행돼요.

2229
02:05:40,960 --> 02:05:44,132
지루한 작업들을 많이 대신해주고
해서 강좌 개발이 훨씬

2230
02:05:44,132 --> 02:05:47,199
빨라진 느낌이에요. LLM이
곳곳에 녹아 있긴 한데,

2231
02:05:47,199 --> 02:05:50,160
아직 콘텐츠를 창의적으로
만들어낼 수준은 아니에요.

2232
02:05:50,160 --> 02:05:51,926
그건 아직 제가 직접
해야 하는 부분이에요.

2233
02:05:51,926 --> 02:05:55,316
까다로운 건 항상 지금 존재하는 것에
스스로를 맞춰 조정하는 일이에요.

2234
02:05:55,316 --> 02:05:59,893
몇 년 후 유레카 랩스를 통해
무엇을 쓸 수 있을지 상상해보면,

2235
02:05:59,893 --> 02:06:04,994
가장 큰 병목은 각 분야마다 자기
이해를 이런 '지식으로 가는 램프'로

2236
02:06:04,994 --> 02:06:09,440
바꿔낼 수 있는 카파시 같은
사람을 찾는 일이 될 것 같아요.

2237
02:06:09,440 --> 02:06:11,319
시간이 지나면서 바뀔 거예요.

2238
02:06:11,319 --> 02:06:16,465
지금 당장은 AI와, 그리고
아마 팀원들과 손발을 맞춰

2239
02:06:16,465 --> 02:06:21,440
최첨단 강좌를 만들 교수진을
채용하는 방식일 거예요.

2240
02:06:21,440 --> 02:06:24,835
시간이 지나면 조교 중 일부는
AI가 대신할 수도 있겠죠.

2241
02:06:24,835 --> 02:06:29,752
강좌 자료를 전부 넣어두면, 학생들이
좀 더 기초적인 질문 같은 걸

2242
02:06:29,752 --> 02:06:34,668
할 때 아주 훌륭한 자동화된 조교
역할을 해줄 수 있을 것 같아요.

2243
02:06:34,668 --> 02:06:37,915
하지만 강좌 전체 설계와,
그게 잘 맞아떨어지는지

2244
02:06:37,915 --> 02:06:40,320
확인하는 건 교수진이 필요할 거예요.

2245
02:06:40,320 --> 02:06:42,783
그러니까 이게 어떻게 진화해갈지
단계적인 흐름이 보여요.

2246
02:06:42,783 --> 02:06:45,349
어쩌면 미래 어느 시점엔 제가
그다지 쓸모 있지 않게 되고,

2247
02:06:45,349 --> 02:06:47,760
AI가 설계 대부분을 저보다
훨씬 잘 해낼 수도 있어요.

2248
02:06:47,760 --> 02:06:50,880
하지만 그게 실현되려면 아직
시간이 좀 걸릴 거라고 생각해요.

2249
02:06:50,880 --> 02:06:56,448
다른 분야 전문가들이 강좌를 만들어
기여하는 걸 그리시는 건가요,

2250
02:06:56,448 --> 02:07:02,016
아니면 어떻게 가르치고 싶은지에
대한 본인의 이해를 바탕으로 직접

2251
02:07:02,016 --> 02:07:07,120
콘텐츠를 설계하는 게 이 비전에
꽤 핵심적이라고 느끼시나요?

2252
02:07:07,120 --> 02:07:09,520
살 칸은 칸 아카데미의 모든
영상을 직접 내레이션하잖아요.

2253
02:07:09,520 --> 02:07:11,285
그런 걸 상상하시는 건가요?

2254
02:07:11,285 --> 02:07:13,350
아니요, 저는 교수진을 채용할 거예요.

2255
02:07:13,350 --> 02:07:15,513
제가 전문가가 아닌 분야들도 있으니까요.

2256
02:07:15,513 --> 02:07:21,298
결국 그게 학생에게 최첨단 경험을
제공할 수 있는 유일한 방법이에요.

2257
02:07:21,298 --> 02:07:23,933
교수진을 채용하긴 하겠지만, 저 자신은

2258
02:07:23,933 --> 02:07:27,069
당분간 AI 쪽에 계속
남아 있을 것 같아요.

2259
02:07:27,069 --> 02:07:30,555
지금 이 시점의 능력치를
감안하면, 사람들이 예상하는

2260
02:07:30,555 --> 02:07:33,680
것보다 좀 더 전통적인
방식을 생각하고 있어요.

2261
02:07:33,680 --> 02:07:37,820
스타플릿 아카데미를 만든다고 할
때, 저는 아마 물리적인 기관을

2262
02:07:37,820 --> 02:07:41,723
상상하고 있고, 그 아래 단계로는
디지털 서비스를 생각해요.

2263
02:07:41,723 --> 02:07:45,863
디지털 쪽은 누군가 직접 풀타임으로
와서 처음부터 끝까지 자료를

2264
02:07:45,863 --> 02:07:50,003
함께 짚어가며 확실히 이해시키는,
그런 최첨단 경험은 아니에요.

2265
02:07:50,003 --> 02:07:51,579
그게 물리적 오프라인 프로그램이에요.

2266
02:07:51,579 --> 02:07:53,730
디지털 오퍼링은 인터넷에
있는 여러 자료들,

2267
02:07:53,730 --> 02:07:55,702
그리고 아마 LLM 어시스턴트 정도예요.

2268
02:07:55,702 --> 02:07:58,877
그 한 단계 아래 티어는
좀 더 눈속임에 가깝지만,

2269
02:07:58,877 --> 02:08:01,485
적어도 80억 명
모두가 접근할 순 있죠.

2270
02:08:01,485 --> 02:08:09,047
지금 있는 도구들로 대학이란 걸
원점에서 다시 발명하면서, 자료에

2271
02:08:09,047 --> 02:08:16,818
진짜 몰입할 동기와 관심이 있는
사람들만 걸러내고 계신 것 같아요.

2272
02:08:18,080 --> 02:08:21,360
교육뿐 아니라 재교육도 정말
많이 필요해질 거예요.

2273
02:08:21,360 --> 02:08:24,510
그 부분에서 저도 도움이 되고 싶어요,

2274
02:08:24,510 --> 02:08:27,360
일자리들이 꽤 많이 바뀔 테니까요.

2275
02:08:27,360 --> 02:08:29,840
예를 들어 요즘 많은 사람들이 특히
AI 쪽으로 역량을 키우려 하잖아요.

2276
02:08:29,840 --> 02:08:33,857
그런 점에서 정말 가르칠 만한
좋은 강좌라고 생각해요.

2277
02:08:34,960 --> 02:08:38,040
동기 부여 측면에서, AGI
이전엔 동기 문제가 아주

2278
02:08:38,040 --> 02:08:41,120
간단하게 풀려요. 사람들이
돈을 벌고 싶어 하니까요.

2279
02:08:41,120 --> 02:08:44,260
이게 오늘날 이 업계에서
돈을 버는 방법이니까요.

2280
02:08:44,260 --> 02:08:48,520
AGI 이후는 훨씬 더
흥미로울 수 있어요. 모든 게

2281
02:08:48,520 --> 02:08:53,661
자동화돼서 아무도 할 일이 없다면,
대체 누가 학교에 가겠어요?

2282
02:08:53,661 --> 02:08:58,719
저는 종종 이렇게 말해요, AGI
이전 교육은 '유용'하다고요.

2283
02:08:58,719 --> 02:09:01,269
AGI 이후 교육은
'재미'있는 거라고요.

2284
02:09:01,269 --> 02:09:06,560
비슷하게, 요즘 사람들은
헬스장에 가잖아요.

2285
02:09:06,560 --> 02:09:09,165
무거운 물건을 옮기는
데 이제 사람 힘은 필요

2286
02:09:09,165 --> 02:09:11,457
없어요. 기계가 그 일을 대신해주니까요.

2287
02:09:11,457 --> 02:09:12,400
그런데도 사람들은 여전히 헬스장에 가요.

2288
02:09:12,400 --> 02:09:13,666
왜 헬스장에 갈까요?

2289
02:09:13,666 --> 02:09:20,411
재밌고, 건강에도 좋고, 식스팩
있으면 멋있어 보이니까요.

2290
02:09:20,411 --> 02:09:29,744
인류에게는 아주 깊은 심리적, 진화적
의미에서 그게 매력적인 거예요.

2291
02:09:30,320 --> 02:09:31,999
교육도 똑같은 방식으로 흘러갈 거예요.

2292
02:09:31,999 --> 02:09:35,219
헬스장에 가듯이 학교에 가게 되는 거죠.

2293
02:09:36,000 --> 02:09:40,082
지금은 배우는 게 어려워서 그렇게
많은 사람이 배우진 않아요.

2294
02:09:40,082 --> 02:09:41,461
자료 앞에서 자꾸 튕겨 나가버리니까요.

2295
02:09:41,461 --> 02:09:46,000
어떤 사람들은 그 장벽을 넘어서지만,
대부분에겐 어려운 일이죠.

2296
02:09:46,000 --> 02:09:47,914
이건 풀어야 할 기술적인 문제예요.

2297
02:09:47,914 --> 02:09:52,109
제가 한국어를 배울 때 튜터가 해줬던
걸 해내는 것도 기술적 문제고요.

2298
02:09:52,109 --> 02:09:54,641
다룰 수 있고 만들 수 있는
문제라서, 누군가는 만들어야 해요.

2299
02:09:54,641 --> 02:09:57,726
뭘 배우든 쉽고 하고 싶은
일이 되게 만들 거예요.

2300
02:09:57,726 --> 02:10:00,480
너무 쉬워서 사람들이
재미로 하게 될 거고요.

2301
02:10:00,480 --> 02:10:03,483
어떤 지식이든 그런
튜터가 있다면 뭘 배우든

2302
02:10:03,483 --> 02:10:06,736
훨씬 쉬워질 거고, 사람들이
그렇게 할 거예요.

2303
02:10:06,736 --> 02:10:10,354
헬스장에 가는 것과 같은
이유로 그렇게 할 거예요.

2304
02:10:10,354 --> 02:10:14,160
그건 좀 다른 것 같은데요…

2305
02:10:14,160 --> 02:10:21,280
그러니까 AGI 이후엔 이걸 오락이나
자기계발로 쓰신다는 거네요.

2306
02:10:21,280 --> 02:10:24,353
그런데 이 교육이 인류가
AI를 통제하는 것과도

2307
02:10:24,353 --> 02:10:27,308
관련 있다는 비전도 갖고
계신 것 같았거든요.

2308
02:10:27,308 --> 02:10:28,692
그건 다른 얘기 같은데요.

2309
02:10:28,692 --> 02:10:30,159
어떤 사람들에게는 오락이고, 다른

2310
02:10:30,159 --> 02:10:31,952
사람들에게는 힘을 실어주는 거란 건가요?

2311
02:10:31,952 --> 02:10:32,800
그 부분은 어떻게 생각하세요?

2312
02:10:32,800 --> 02:10:41,440
결국엔 좀 승산 없는 게임이라고
봐요, 무슨 말인지 아시겠지만요.

2313
02:10:41,440 --> 02:10:42,829
장기적으로는 그래요.

2314
02:10:42,829 --> 02:10:45,219
장기적으로 보면요, 업계
대부분이 생각하는 것보다

2315
02:10:45,219 --> 02:10:47,520
훨씬 긴 장기로 봤을 때
승산 없는 게임이에요.

2316
02:10:47,520 --> 02:10:50,339
사람들이 정말 멀리까지 갈
수 있다고 봐요. 한 사람이

2317
02:10:50,339 --> 02:10:53,440
얼마나 멀리 갈 수 있는지는
아직 극히 일부밖에 못 봤고요.

2318
02:10:53,440 --> 02:10:55,926
그건 그냥 사람들이 너무
쉽거나 너무 어려운

2319
02:10:55,926 --> 02:10:58,102
자료에 부딪혀 튕겨 나가기 때문이에요.

2320
02:10:59,280 --> 02:11:01,160
사람들은 훨씬 더 멀리까지
갈 수 있게 될 거예요.

2321
02:11:01,160 --> 02:11:03,638
누구나 5개 국어를 하게 될
거예요, 안 될 이유가 없잖아요?

2322
02:11:03,638 --> 02:11:05,298
너무 쉬우니까요.

2323
02:11:05,298 --> 02:11:09,680
누구나 학부 기초 커리큘럼
같은 걸 다 알게 될 거고요.

2324
02:11:09,680 --> 02:11:14,080
이제 그 비전이 이해가
되네요, 정말 흥미로운데요.

2325
02:11:14,080 --> 02:11:16,569
헬스장 문화에 완벽한 비유가 있어요.

2326
02:11:16,569 --> 02:11:19,755
100년 전에는 그렇게 근육질인
사람이 아무도 없었을 것 같아요.

2327
02:11:19,755 --> 02:11:22,841
누구도 그냥 저절로 벤치프레스로 플레이트

2328
02:11:22,841 --> 02:11:26,067
두 장, 세 장을 들
수는 없었을 거예요.

2329
02:11:26,067 --> 02:11:30,099
그런데 지금은 헬스장에서 체계적으로
훈련하고 웨이트를 드는 것, 혹은

2330
02:11:30,099 --> 02:11:34,342
체계적으로 훈련해서 마라톤을 뛸 수
있게 되는 것 같은 개념 덕분에 아주

2331
02:11:34,342 --> 02:11:38,480
흔해졌어요. 이건 대부분의 인간이
저절로 갖고 있지 않은 능력이거든요.

2332
02:11:38,480 --> 02:11:42,445
학습에 대해서도 여러 다른
영역에서 비슷한 걸 상상하시는

2333
02:11:42,445 --> 02:11:45,770
거네요. 훨씬 더 강도
높고, 깊고, 빠르게요.

2334
02:11:45,770 --> 02:11:46,317
맞아요.

2335
02:11:46,317 --> 02:11:49,487
저는 인간 본성이 변치 않는다는 데 어느

2336
02:11:49,487 --> 02:11:52,368
정도 암묵적으로 걸고 있는 셈이에요.

2337
02:11:52,368 --> 02:11:57,878
이런 걸 하는 게 바람직하게
여겨질 거고, 수천

2338
02:11:57,878 --> 02:12:03,600
년간 그래왔듯 사람들이
우러러볼 거라고 생각해요.

2339
02:12:03,600 --> 02:12:05,175
이건 앞으로도 계속 그럴 거예요.

2340
02:12:05,175 --> 02:12:07,360
역사적으로 그걸 뒷받침하는
증거가 좀 있어요.

2341
02:12:07,360 --> 02:12:12,069
예를 들어 귀족들이나 고대 그리스
같은 걸 보면, 어떤 의미에서

2342
02:12:12,069 --> 02:12:17,585
'포스트 AGI'적인 작은 국지적
환경이 있을 때마다 사람들은 신체적으로든

2343
02:12:17,585 --> 02:12:22,160
인지적으로든 나름의 방식으로
번영하는 데 많은 시간을 썼어요.

2344
02:12:22,160 --> 02:12:24,893
저는 그 전망에 대해서는
꽤 괜찮다고 느껴요.

2345
02:12:24,893 --> 02:12:29,554
만약 이게 틀렸고 제가 잘못
짚어서 월-E나 이디오크러시 같은

2346
02:12:29,554 --> 02:12:33,941
미래로 간다면, 다이슨 스피어가
있어도 전 신경 안 써요.

2347
02:12:33,941 --> 02:12:35,915
그건 끔찍한 결말이에요.

2348
02:12:35,915 --> 02:12:39,124
저는 인류에 대해
정말로 마음을 쓰거든요.

2349
02:12:39,124 --> 02:12:43,401
모두가 어떤 의미에서는
초인적이어야만 하는 거죠.

2350
02:12:43,401 --> 02:12:45,147
그래도 그게 우리로 하여금 뭔가를 할

2351
02:12:45,147 --> 02:12:46,980
수 있게 해주는 건 아닌 세상인 거죠…

2352
02:12:46,980 --> 02:12:49,140
그거 딱 그 컬처 세계관
같은 거잖아요, 그렇죠?

2353
02:12:49,140 --> 02:12:54,188
자기 자신의 노동이나
사고만으로는 기술의 궤적을

2354
02:12:54,188 --> 02:13:00,400
근본적으로 바꾸거나 의사결정에
영향을 줄 수 없는 거예요.

2355
02:13:00,400 --> 02:13:04,848
AI가 승인을 구하러 오니
의사결정에 영향을 줄 수는

2356
02:13:04,848 --> 02:13:08,989
있겠지만, 그건 제가
뭔가를 발명했거나 새 설계를

2357
02:13:08,989 --> 02:13:13,130
내놔서 미래에 진짜 영향을
미치는 것과는 다르죠.

2358
02:13:13,130 --> 02:13:13,584
그럴 수도 있죠.

2359
02:13:13,584 --> 02:13:17,406
저는 과도기가 있을 거라고
생각해요. 많은 걸 이해하고

2360
02:13:17,406 --> 02:13:21,227
있다면 루프 안에 남아서
발전을 이끌 수 있는 시기요.

2361
02:13:21,227 --> 02:13:25,040
장기적으로는 그마저도
아마 사라질 거예요.

2362
02:13:25,040 --> 02:13:26,653
심지어 하나의 스포츠가 될 수도 있어요.

2363
02:13:26,653 --> 02:13:30,709
지금도 이 방향으로 극단까지
가는 파워리프터들이 있잖아요.

2364
02:13:30,709 --> 02:13:33,520
인지의 시대에서
파워리프팅이란 건 뭘까요?

2365
02:13:33,520 --> 02:13:38,258
아마 뭔가를 아는 것 자체로 올림픽을
만들려는 사람들일지도 몰라요.

2366
02:13:39,600 --> 02:13:43,600
완벽한 AI 튜터가 있다면 정말
멀리까지 갈 수 있을지도 몰라요.

2367
02:13:43,600 --> 02:13:47,682
오늘날의 천재들도 인간
정신이 할 수 있는

2368
02:13:47,682 --> 02:13:52,120
것의 겉만 간신히 긁고
있다는 느낌이 들어요.

2369
02:13:52,120 --> 02:13:53,703
저는 이 비전이 정말 마음에 들어요.

2370
02:13:53,703 --> 02:14:00,064
저도 당신 제품과 가장 잘 맞는
사용자인 것 같아요. 제 일이

2371
02:14:00,064 --> 02:14:06,425
매주 다른 분야를 배워야 하는
일이다 보니, 정말 설레거든요.

2372
02:14:06,425 --> 02:14:09,278
그 점은 저도 비슷해요.

2373
02:14:09,278 --> 02:14:13,489
예를 들어 많은 사람들은 학교를
싫어하고 얼른 벗어나고 싶어 하잖아요.

2374
02:14:13,489 --> 02:14:14,678
저는 학교를 정말 좋아했어요.

2375
02:14:14,678 --> 02:14:15,936
뭔가를 배우는 것
자체를 정말 좋아했고요.

2376
02:14:15,936 --> 02:14:16,800
학교에 계속 남아 있고 싶었어요.

2377
02:14:16,800 --> 02:14:21,919
박사까지 쭉 남아 있었는데, 더는
못 있게 해서 결국 업계로 갔어요.

2378
02:14:21,919 --> 02:14:26,172
대략 말하면, 배우는 것 자체가
좋기도 하지만, 배움이 일종의

2379
02:14:26,172 --> 02:14:30,676
힘이 되고 유용하고 생산적인 사람이
되게 해준다는 점도 좋아해요.

2380
02:14:30,676 --> 02:14:34,720
아까 미묘한 얘기를 하나 하셨는데,
그걸 좀 풀어서 짚어보고 싶어요.

2381
02:14:34,720 --> 02:14:39,622
지금까지 나온 온라인
강좌들만으로는, 왜 아직

2382
02:14:39,622 --> 02:14:44,720
모든 사람이 모든 걸 알게
만들지 못한 걸까요?

2383
02:14:44,720 --> 02:14:48,336
명확한 진입 램프가 없다 보니 동기부여

2384
02:14:48,336 --> 02:14:52,640
부담이 너무 크고, 너무
쉽게 막혀버리거든요.

2385
02:14:52,640 --> 02:14:57,518
대신 정말 훌륭한 인간 과외
선생님 같은 게 있다면, 동기

2386
02:14:57,518 --> 02:15:02,092
부여 측면에서 완전히 다른
차원의 돌파구가 될 거예요.

2387
02:15:02,092 --> 02:15:02,753
그런 것 같아요.

2388
02:15:02,753 --> 02:15:04,779
학습 자료에서 튕겨져
나오면 기분이 안 좋잖아요.

2389
02:15:04,779 --> 02:15:05,533
기분이 안 좋죠.

2390
02:15:05,533 --> 02:15:10,532
시간을 쏟았는데 결과가 안
나오면 부정적 보상을 받게 되고,

2391
02:15:10,532 --> 02:15:15,532
아니면 너무 쉽거나 너무 어려워서
완전히 지루해지기도 하죠.

2392
02:15:16,160 --> 02:15:18,613
제대로 하면, 배우는
건 기분 좋은 일이에요.

2393
02:15:18,613 --> 02:15:21,920
거기 도달하는 건 기술적인 문제예요.

2394
02:15:21,920 --> 02:15:24,520
한동안은 AI와 인간의
협업일 거고, 어느

2395
02:15:24,520 --> 02:15:27,120
시점엔 아마 AI
단독이 될 수도 있고요.

2396
02:15:27,120 --> 02:15:30,032
잘 가르치는 것에 대해
몇 가지 여쭤봐도 될까요?

2397
02:15:30,032 --> 02:15:35,131
만약 당신이 관심 있는 다른
분야의 교육자에게, 당신이

2398
02:15:35,131 --> 02:15:40,400
만든 것 같은 유튜브 튜토리얼을
만들라고 조언해준다면요.

2399
02:15:40,400 --> 02:15:44,124
누군가에게 코드를 짜보게 해서
기술적 이해도를 테스트할

2400
02:15:44,124 --> 02:15:47,600
수 없는 분야를 얘기하면
특히 흥미로울 것 같아요.

2401
02:15:47,600 --> 02:15:50,369
어떤 조언을 해주시겠어요?

2402
02:15:50,369 --> 02:15:52,802
꽤 광범위한 주제네요.

2403
02:15:52,802 --> 02:15:56,924
제가 반쯤 무의식적으로 하는 팁과 요령이

2404
02:15:56,924 --> 02:16:00,483
한 10~20개는 있을 것 같아요.

2405
02:16:00,483 --> 02:16:04,349
그런데 이런 건 상당 부분 제
물리학 배경에서 나온 거예요.

2406
02:16:04,349 --> 02:16:06,080
저는 물리학을 정말, 정말 좋아했어요.

2407
02:16:06,080 --> 02:16:11,777
왜 모두가 어릴 때 물리학을 배워야
하는지에 대해 할 말이 많은데요,

2408
02:16:11,777 --> 02:16:17,474
초기 교육은 나중에 업계에서 쓸
지식이나 기억을 쌓는 게 아니거든요.

2409
02:16:17,474 --> 02:16:18,960
그보다는 뇌를 부팅시키는 일에 가까워요.

2410
02:16:18,960 --> 02:16:22,616
물리학이 유독 뇌를 가장 잘
부팅시키는 이유는, 물리학을 하면서

2411
02:16:22,616 --> 02:16:26,480
뇌 안에서 하게 되는 어떤 작업들이
나중에 정말 값지기 때문이에요.

2412
02:16:26,480 --> 02:16:30,108
모델과 추상화를 세우고,
시스템 대부분을 설명하는

2413
02:16:30,108 --> 02:16:33,737
1차 근사가 있지만 그
뒤에 있을 수도 없을 수도

2414
02:16:33,737 --> 02:16:37,231
있는 2차, 3차, 4차
항이 있다는 발상이요.

2415
02:16:37,231 --> 02:16:40,155
아주 잡음이 많은 시스템을
관찰하고 있지만, 그 안에

2416
02:16:40,155 --> 02:16:43,280
추상화해낼 수 있는 근본적인
주파수들이 있다는 발상이요.

2417
02:16:43,280 --> 02:16:47,069
물리학자가 수업에 들어와서
"구형 소를 가정하라"고

2418
02:16:47,069 --> 02:16:50,858
하면 다들 웃지만, 사실
그게 정말 명석한 거예요.

2419
02:16:50,858 --> 02:16:54,757
업계 전반에 아주 잘
일반화되는 명석한 사고인데,

2420
02:16:54,757 --> 02:16:58,800
소를 여러 면에서 구로
근사할 수 있기 때문이에요.

2421
02:16:58,800 --> 02:17:01,638
예를 들어 정말 좋은 책이 있는데,
《Scale》이라는 책이에요.

2422
02:17:01,638 --> 02:17:04,240
생물학에 대해 이야기하는
물리학자가 쓴 책이에요.

2423
02:17:04,240 --> 02:17:06,560
이것도 제가 추천하고
싶은 책 중 하나예요.

2424
02:17:06,560 --> 02:17:08,775
정말 흥미로운 근사들을
많이 얻을 수 있고,

2425
02:17:08,775 --> 02:17:11,359
동물들의 스케일링 법칙도
그래프로 그릴 수 있어요.

2426
02:17:11,359 --> 02:17:14,024
심장 박동수 같은 걸 보면, 그게

2427
02:17:14,024 --> 02:17:17,281
동물의 크기 같은 것과 딱 맞아떨어져요.

2428
02:17:17,281 --> 02:17:20,419
동물을 하나의 부피로
이야기할 수 있어요.

2429
02:17:20,880 --> 02:17:24,283
그 열 발산에 대해서도 이야기할
수 있는데, 열 발산은

2430
02:17:24,283 --> 02:17:27,800
표면적에 비례해 늘어나고,
표면적은 제곱으로 커지거든요.

2431
02:17:27,800 --> 02:17:31,228
그런데 열 생성량은 세제곱으로 늘어나요.

2432
02:17:31,228 --> 02:17:33,786
그래서 물리학자들은 세상의
문제를 풀어내는 데 필요한

2433
02:17:33,786 --> 02:17:36,080
인지적 도구를 다 갖추고
있다는 생각이 들어요.

2434
02:17:36,080 --> 02:17:38,709
그런 훈련 덕분에 저는 항상 모든 것의

2435
02:17:38,709 --> 02:17:41,338
1차 항이나 2차 항을 찾으려고 해요.

2436
02:17:41,338 --> 02:17:44,093
어떤 시스템이나 대상을
관찰할 때, 제 머릿속에는

2437
02:17:44,093 --> 02:17:46,440
뒤엉킨 아이디어와
지식의 그물망이 있어요.

2438
02:17:46,440 --> 02:17:49,350
그중에서 정말 중요한 게
뭔지 찾으려고 하는 거죠.

2439
02:17:49,350 --> 02:17:50,868
1차 성분이 뭘까요?

2440
02:17:50,868 --> 02:17:51,866
어떻게 하면 단순화할 수 있을까요?

2441
02:17:51,866 --> 02:17:54,948
그걸 보여주는, 실제로 작동하는
가장 단순한 형태를 어떻게

2442
02:17:54,948 --> 02:17:58,319
만들고, 그다음에 나머지 항들을
덧붙일 수 있을까 하는 거예요.

2443
02:17:58,319 --> 02:18:00,774
제 레포 중에 이걸 잘
보여준다고 생각하는 예가

2444
02:18:00,774 --> 02:18:03,040
하나 있는데,
micrograd라는 거예요.

2445
02:18:03,040 --> 02:18:05,122
이거 알고 계신지 모르겠는데요.

2446
02:18:05,122 --> 02:18:08,457
micrograd는 역전파를
보여주는 100줄짜리 코드예요.

2447
02:18:08,457 --> 02:18:12,972
덧셈, 곱셈 같은 단순한 연산들로
신경망을 만들 수 있어요.

2448
02:18:12,972 --> 02:18:14,461
신경망의 레고 블록인 셈이죠.

2449
02:18:14,461 --> 02:18:16,739
연산 그래프를 쌓아 올려서 정방향 패스와

2450
02:18:16,739 --> 02:18:19,120
역방향 패스로 그래디언트를
구하는 거예요.

2451
02:18:19,120 --> 02:18:21,760
이게 모든 신경망 학습의 핵심이에요.

2452
02:18:21,760 --> 02:18:24,267
micrograd는 꽤
이해하기 쉬운 100줄짜리

2453
02:18:24,267 --> 02:18:26,959
파이썬 코드인데, 임의의
신경망에 대해 정방향·역방향

2454
02:18:26,959 --> 02:18:29,280
계산을 할 수 있어요.
다만 효율적이진 않죠.

2455
02:18:29,280 --> 02:18:31,645
그러니까 micrograd,
이 100줄의 파이썬 코드가

2456
02:18:31,645 --> 02:18:34,010
신경망이 어떻게 학습되는지
이해하는 데 필요한 전부예요.

2457
02:18:34,010 --> 02:18:36,029
나머지는 그냥 다 효율성의 문제고요.

2458
02:18:36,029 --> 02:18:37,767
나머지는 전부 효율성이에요.

2459
02:18:37,767 --> 02:18:39,779
효율성을 얻으려면
엄청난 작업이 들어가요.

2460
02:18:39,779 --> 02:18:42,494
텐서를 만들고, 배치하고,
스트라이드를 정하고, 커널이 메모리

2461
02:18:42,494 --> 02:18:45,209
이동을 제대로 오케스트레이션하도록
해야 하고, 그런 것들이요.

2462
02:18:45,209 --> 02:18:47,120
대략 말하면, 그건 다
그냥 효율성 문제예요.

2463
02:18:47,120 --> 02:18:50,239
하지만 신경망 학습의 핵심적인 지적
요소는 micrograd예요.

2464
02:18:50,239 --> 02:18:50,880
100줄짜리거든요.

2465
02:18:50,880 --> 02:18:52,280
쉽게 이해할 수 있어요.

2466
02:18:52,280 --> 02:18:55,180
체인룰을 재귀적으로 적용해서
그래디언트를 구하는 건데,

2467
02:18:55,180 --> 02:18:58,080
그걸로 임의의 미분 가능한
함수를 최적화할 수 있어요.

2468
02:18:58,080 --> 02:19:02,349
그래서 저는 이런 작은
핵심 요소들을 찾아내서

2469
02:19:02,349 --> 02:19:06,960
발견하고, 접시에 담아내듯
보여주는 걸 좋아해요.

2470
02:19:06,960 --> 02:19:13,348
교육이 지적으로 가장 흥미로운 일인
것 같아요. 뒤엉킨 이해를 놓고,

2471
02:19:13,348 --> 02:19:19,400
모든 게 바로 앞의 것에만 의존하는
램프를 만들어내려는 거니까요.

2472
02:19:19,400 --> 02:19:22,437
이렇게 지식을 풀어내는
게 인지적 과제로서

2473
02:19:22,437 --> 02:19:24,946
정말 지적으로 흥미로운 것 같아요.

2474
02:19:24,946 --> 02:19:27,712
개인적으로 이 일을 정말
좋아하는데, 뭔가를 특정한

2475
02:19:27,712 --> 02:19:30,280
방식으로 배치하는 데 그냥
매료돼 있는 거예요.

2476
02:19:30,280 --> 02:19:31,200
그게 저한테 도움이 되는 것 같아요.

2477
02:19:31,200 --> 02:19:35,439
그리고 그게 학습 경험을 훨씬
더 동기부여되게 만들어요.

2478
02:19:35,439 --> 02:19:39,068
카파시 님의 트랜스포머 강의는
바이그램에서 시작하죠. 말

2479
02:19:39,068 --> 02:19:42,814
그대로 룩업 테이블이에요.
"지금 이 단어가 있으면, 혹은

2480
02:19:42,814 --> 02:19:46,560
이전 단어가 있으면, 다음
단어는 이거다" 하는 식으로요.

2481
02:19:46,560 --> 02:19:47,850
말 그대로 그냥 룩업 테이블인 거예요.

2482
02:19:47,850 --> 02:19:48,960
그게 핵심이에요, 맞아요.

2483
02:19:48,960 --> 02:19:53,600
룩업 테이블로 시작해서 트랜스포머로
가는 건 정말 영리한 방식이에요.

2484
02:19:53,600 --> 02:19:54,649
각 요소마다 다 이유가 있는 거죠.

2485
02:19:54,649 --> 02:19:55,656
왜 그걸 추가하는 걸까요?

2486
02:19:55,656 --> 02:19:57,040
왜 그다음 걸 추가하는 걸까요?

2487
02:19:57,040 --> 02:20:00,415
어텐션 공식이야 그냥 외울
수도 있겠지만, 각 요소가 왜

2488
02:20:00,415 --> 02:20:03,790
필요한지, 어떤 문제를 푸는
건지 이해하는 게 중요해요.

2489
02:20:03,790 --> 02:20:07,359
해법을 보여주기 전에 먼저 고통을
보여주는 거죠, 정말 영리하지 않나요?

2490
02:20:07,359 --> 02:20:10,039
학생을 그 과정 그대로
따라가게 해주고 싶은 거예요.

2491
02:20:10,039 --> 02:20:15,611
그걸 재미있고 몰입감 있게
만드는 자잘한 요소들도 많아요.

2492
02:20:15,611 --> 02:20:17,600
항상 학생에게 먼저 물어보는 거죠.

2493
02:20:17,600 --> 02:20:19,916
이런 자잘한 것들이 중요한데, 훌륭한

2494
02:20:19,916 --> 02:20:22,348
교육자들 중 많은 분들이 이렇게 해요.

2495
02:20:22,348 --> 02:20:23,855
이건 어떻게 풀 것 같아요?

2496
02:20:23,855 --> 02:20:27,100
당신이 스스로 추측해보기 전에는
해법을 먼저 보여주지 않을 거예요.

2497
02:20:27,100 --> 02:20:28,607
그건 낭비니까요.

2498
02:20:28,607 --> 02:20:33,621
그건 좀… 욕은 안 하고
싶지만, 스스로 생각해볼 기회도

2499
02:20:33,621 --> 02:20:38,149
주지 않고 해법부터 보여주는
건 몰상식한 짓이에요.

2500
02:20:38,149 --> 02:20:45,423
스스로 생각해보면 행동 공간이
뭔지, 목표가 뭔지, 그리고 왜

2501
02:20:45,423 --> 02:20:52,482
그 행동만이 그 목표를 만족하는지
더 잘 이해하게 되니까요.

2502
02:20:53,439 --> 02:20:56,097
직접 시도해볼 기회를
가지면, 나중에 제가

2503
02:20:56,097 --> 02:20:58,640
해법을 알려줄 때 그 진가를 알게 되죠.

2504
02:20:58,640 --> 02:21:02,880
새로운 사실 하나가 더해질 때마다
얻는 지식의 양을 최대화하는 거예요.

2505
02:21:02,880 --> 02:21:07,882
왜 보통 자기 분야의 진짜 전문가들이 막

2506
02:21:07,882 --> 02:21:13,566
시작하는 사람에게 설명하는
데는 서툰 걸까요?

2507
02:21:13,566 --> 02:21:16,399
지식의 저주, 그리고 전문성의 저주죠.

2508
02:21:16,399 --> 02:21:21,040
이건 실제로 있는 현상이고, 저도
안 그러려고 애써도 겪는 일이에요.

2509
02:21:21,040 --> 02:21:23,578
어떤 것들을 당연하게
여기게 돼서, 이제 막

2510
02:21:23,578 --> 02:21:26,117
시작하는 사람 입장이
되어보질 못하는 거죠.

2511
02:21:26,117 --> 02:21:28,381
이건 아주 흔한 일이고
저한테도 일어나요.

2512
02:21:28,381 --> 02:21:30,185
정말 도움이 되는 게 하나 있어요.

2513
02:21:30,185 --> 02:21:33,851
예를 들어 최근에 누가
생물학 논문을 보여주려고

2514
02:21:33,851 --> 02:21:38,080
했는데, 저는 바로 형편없는
질문들이 쏟아져 나왔어요.

2515
02:21:38,080 --> 02:21:41,195
제가 한 건, 논문을
컨텍스트 윈도우에 넣고

2516
02:21:41,195 --> 02:21:43,920
ChatGPT로 질문을 던진 거였어요.

2517
02:21:43,920 --> 02:21:45,906
간단한 것들은 그럭저럭 풀어내더라고요.

2518
02:21:45,906 --> 02:21:49,141
그다음 그 대화를 그 논문을 쓴 사람,

2519
02:21:49,141 --> 02:21:52,068
그 작업을 한 사람에게 공유했어요.

2520
02:21:52,068 --> 02:21:55,602
제가 한 멍청한 질문들을
그들이 보면, 앞으로

2521
02:21:55,602 --> 02:21:59,136
더 잘 설명하는 데
도움이 될 것 같았거든요.

2522
02:22:00,160 --> 02:22:04,343
제 자료에 대해서도, 사람들이 제가
만든 것에 관해 ChatGPT와

2523
02:22:04,343 --> 02:22:07,622
나눈 멍청한 대화들을
공유해주면 정말 좋겠어요. 처음

2524
02:22:07,622 --> 02:22:11,353
시작하는 사람의 입장에 다시
서보는 데 큰 도움이 되거든요.

2525
02:22:11,353 --> 02:22:16,240
놀라울 정도로 잘 통하는
또 다른 요령이 있어요.

2526
02:22:16,240 --> 02:22:23,041
누군가 논문이나 블로그 글, 공지문을
쓴다고 하면, 점심을 먹으면서

2527
02:22:23,041 --> 02:22:29,658
설명해주듯 그대로 말로 풀어낸
서술이 예외 없이 훨씬 더 이해하기

2528
02:22:29,658 --> 02:22:36,275
쉬울 뿐 아니라 실제로 더 정확하고
과학적이기까지 해요. 사람들은

2529
02:22:36,275 --> 02:22:43,260
뭔가를 설명할 때 최대한 추상적이고
전문 용어로 가득 채운 뒤, 핵심

2530
02:22:43,260 --> 02:22:50,061
아이디어를 말하기 전에 네 문단씩
헛기침부터 하는 편향이 있거든요.

2531
02:22:50,061 --> 02:22:53,786
그런데 사람과 일대일로 소통할 때는 그냥

2532
02:22:53,786 --> 02:22:57,680
핵심을 바로 말하게
만드는 뭔가가 있어요.

2533
02:22:57,680 --> 02:22:58,564
그냥 핵심만 말하게 되는 거죠.

2534
02:22:58,564 --> 02:23:00,640
그 트윗을 봤는데, 정말
좋다고 생각했어요.

2535
02:23:00,640 --> 02:23:03,012
여러 사람한테 공유했었죠.

2536
02:23:03,012 --> 02:23:06,160
이런 걸 정말 여러 번 느꼈어요.

2537
02:23:06,160 --> 02:23:11,040
가장 대표적인 예로, 박사과정
때 연구하던 시절이 기억나요.

2538
02:23:11,040 --> 02:23:15,359
누군가의 논문을 읽고, 그게 뭘
하는 건지 이해하려고 애쓰죠.

2539
02:23:15,359 --> 02:23:17,819
그러다 나중에 학회에서 그
사람을 만나 맥주를 마시면서

2540
02:23:17,819 --> 02:23:20,362
물어보는 거예요. "그래서
이 논문, 뭘 하신 거예요?"

2541
02:23:20,362 --> 02:23:21,571
"이 논문이 뭐에 관한 건가요?"

2542
02:23:21,571 --> 02:23:24,194
그러면 그 논문의 본질을
완벽하게 담아낸 세 문장

2543
02:23:24,194 --> 02:23:26,720
정도로 말해줘서, 아이디어가
확 와닿는 거예요.

2544
02:23:26,720 --> 02:23:28,646
논문을 읽을 필요도 없었던 거죠.

2545
02:23:28,646 --> 02:23:31,399
맥주 한잔 놓고 테이블에
앉아 있을 때만, "아 그

2546
02:23:31,399 --> 02:23:34,250
논문은 그냥 이 아이디어랑
저 아이디어를 가져다가 이

2547
02:23:34,250 --> 02:23:37,200
실험을 해보고 저것도 해본
거예요"라고 말해주는 거죠.

2548
02:23:37,200 --> 02:23:40,800
대화체로 완벽하게 풀어내는
나름의 방식이 있는 거예요.

2549
02:23:40,800 --> 02:23:43,767
그게 왜 초록이 아닌 거죠?

2550
02:23:43,767 --> 02:23:44,687
바로 그거예요.

2551
02:23:44,687 --> 02:23:48,001
이건 아이디어를 설명하려는
사람이 어떻게 하면 더 잘

2552
02:23:48,001 --> 02:23:51,200
정리할 수 있는가 하는
관점에서 드리는 말씀이고요.

2553
02:23:51,200 --> 02:23:55,283
카파시 같은 사람이 아이디어를
설명해주지 않는 상황이라면,

2554
02:23:55,283 --> 02:23:58,984
학생 입장에서 다른 학생들에게
해주실 조언은 뭔가요?

2555
02:23:58,984 --> 02:24:04,859
누군가의 논문을 읽거나 책을
읽을 때, 본인이 전문가가 아닌

2556
02:24:04,859 --> 02:24:10,555
분야에서 관심 있는 내용을
배우려면 어떤 전략을 쓰시나요?

2557
02:24:10,555 --> 02:24:15,650
솔직히 저만의 특별한 팁이나
요령이 있는지는 모르겠어요.

2558
02:24:15,650 --> 02:24:18,615
고통스러운 과정이에요.

2559
02:24:18,615 --> 02:24:24,424
항상 꽤 도움이 됐던 것
하나는—이것에 대해 짧게 트윗을

2560
02:24:24,424 --> 02:24:30,607
올린 적이 있는데—필요할 때
배우는 게 꽤 괜찮다는 거예요.

2561
02:24:30,607 --> 02:24:31,680
깊이 파고드는 학습 말이에요.

2562
02:24:31,680 --> 02:24:35,320
필요할 때 깊이 파고드는 학습—어떤
프로젝트를 완수해서 보상을 얻으려는

2563
02:24:35,320 --> 02:24:38,959
학습—과 그냥 "자, 무슨무슨 101을
하고, 필요할 만한 건 다 여기

2564
02:24:38,959 --> 02:24:42,319
있어" 하는 폭넓은 학습 사이를
어느 정도 오가야 한다고 느껴요.

2565
02:24:42,319 --> 02:24:44,642
그게 학교 교육의 많은
부분이죠—"믿어봐,

2566
02:24:44,642 --> 02:24:47,368
나중에 필요할 거야" 하는
식의 폭넓은 학습이요.

2567
02:24:47,368 --> 02:24:48,525
네, 믿을게요.

2568
02:24:48,525 --> 02:24:50,960
필요할 것 같으니까 배워둘게요.

2569
02:24:50,960 --> 02:24:53,214
하지만 저는 뭔가를 함으로써 보상을 얻는

2570
02:24:53,214 --> 02:24:55,878
학습, 필요할 때 배우는
학습을 정말 좋아해요.

2571
02:24:55,878 --> 02:24:59,458
정말 큰 도움이 됐다고
느낀 또 다른 것은요.

2572
02:24:59,840 --> 02:25:03,328
이건 교육이 좀 더 이타적인
측면인데, 사람들에게

2573
02:25:03,328 --> 02:25:07,333
설명하는 건 뭔가를 더 깊이
배우는 아름다운 방법이에요.

2574
02:25:07,333 --> 02:25:09,040
저한테는 이런 일이 항상 일어나요.

2575
02:25:09,040 --> 02:25:12,348
다른 사람들도 아마 그럴
텐데, 뭔가를 제대로 이해하지

2576
02:25:12,348 --> 02:25:15,105
못하면 설명할 수 없다는
걸 깨닫게 되거든요.

2577
02:25:15,105 --> 02:25:18,886
설명하려다가 "어, 나 이거
이해 못 했네" 싶은 거죠.

2578
02:25:18,886 --> 02:25:21,280
그걸 인정하는 게 정말 짜증나요.

2579
02:25:21,280 --> 02:25:23,476
다시 돌아가서 제대로
이해했는지 확인할 수 있어요.

2580
02:25:23,476 --> 02:25:25,359
그게 이해의 빈틈들을 채워줘요.

2581
02:25:25,359 --> 02:25:28,479
그 빈틈들을 인정하고 메우도록 만들어요.

2582
02:25:28,479 --> 02:25:30,671
저는 다시 설명하는 걸 좋아하고, 다른

2583
02:25:30,671 --> 02:25:33,280
사람들도 그걸 더 많이
해야 한다고 생각해요.

2584
02:25:33,280 --> 02:25:35,701
그건 지식을 직접 다루게
만들고, 설명할 때

2585
02:25:35,701 --> 02:25:38,223
자기가 무슨 말을 하는지
제대로 알게 해줘요.

2586
02:25:38,223 --> 02:25:40,060
마무리하기에 정말 좋은 이야기네요.

2587
02:25:40,060 --> 02:25:41,483
안드레이, 정말 좋았어요.

2588
02:25:41,483 --> 02:25:43,592
감사합니다.