1
00:00:00,080 --> 00:00:05,466
지금부터 나눌 대화는 인공지능의
최신 현황 전반에 관한 것입니다.

2
00:00:05,466 --> 00:00:10,852
지난 한 해 동안 있었던 흥미진진한
기술적 돌파구와 발전, 그리고

3
00:00:10,852 --> 00:00:16,089
다가오는 한 해에 일어날 법한
흥미로운 일들까지 함께 다룹니다.

4
00:00:16,089 --> 00:00:21,590
때로는 상당히 전문적인 내용까지
다루지만, 눈높이를 낮추지 않으면서도

5
00:00:21,590 --> 00:00:27,090
이 분야 밖에 계신 분들도 충분히
따라오실 수 있도록 신경 썼습니다.

6
00:00:27,090 --> 00:00:31,402
제가 AI 커뮤니티에서 가장
좋아하는 두 분, 세바스찬

7
00:00:31,402 --> 00:00:34,995
라시카와 네이선 램버트와
이런 에피소드를 함께

8
00:00:34,995 --> 00:00:38,876
할 수 있다는 건 저에게
큰 영광이자 기쁨입니다.

9
00:00:38,876 --> 00:00:42,148
두 분 모두 널리 존경받는
머신러닝 연구자이자

10
00:00:42,148 --> 00:00:46,075
엔지니어이면서, 동시에 뛰어난
커뮤니케이터이자 교육자,

11
00:00:46,075 --> 00:00:49,740
작가, 그리고 X에서도
활발히 활동하는 분들입니다.

12
00:00:49,740 --> 00:00:53,232
세바스찬은 초보자와 전문가 모두에게

13
00:00:53,232 --> 00:00:57,092
적극 추천하는 책 두 권의 저자입니다.

14
00:00:57,092 --> 00:01:01,201
먼저 『밑바닥부터 만드는
대규모 언어 모델』,

15
00:01:01,201 --> 00:01:05,310
그리고 『밑바닥부터
만드는 추론 모델』입니다.

16
00:01:05,310 --> 00:01:10,677
머신러닝의 세계에서는 무언가를
배우고 이해하는 가장 좋은 방법이

17
00:01:10,677 --> 00:01:15,890
직접 밑바닥부터 만들어보는
것이라고, 저는 진심으로 믿습니다.

18
00:01:15,890 --> 00:01:21,136
네이선은 앨런 AI 연구소, 즉
Ai2의 포스트트레이닝 리드이자,

19
00:01:21,136 --> 00:01:26,820
RLHF(인간 피드백 기반 강화학습)를
다룬 정본 격 책의 저자입니다.

20
00:01:26,820 --> 00:01:30,100
두 분 다 X 계정도, 서브스택도
훌륭하게 운영하고 있습니다.

21
00:01:30,100 --> 00:01:34,060
세바스찬은 유튜브에 강의가 있고,
네이선은 팟캐스트를 진행합니다.

22
00:01:34,060 --> 00:01:38,281
여러분 모두 이 모든 걸
꼭 팔로우하시길 바랍니다.

23
00:01:38,281 --> 00:01:40,358
여기는 렉스 프리드먼 팟캐스트입니다.

24
00:01:40,358 --> 00:01:43,657
이 프로그램을 응원하고
싶으시다면 설명란의 스폰서들을

25
00:01:43,657 --> 00:01:46,729
확인해 주세요. 그곳에서
저에게 연락하거나 질문,

26
00:01:46,729 --> 00:01:49,914
피드백을 남길 수 있는
링크도 찾으실 수 있습니다.

27
00:01:49,914 --> 00:01:57,220
자, 그럼 여러분, 세바스찬 라시카와
네이선 램버트를 소개합니다.

28
00:01:57,220 --> 00:02:00,685
이 모든 걸 바라볼 때
유용한 렌즈 하나를 꼽자면,

29
00:02:00,685 --> 00:02:03,655
저는 이른바 '딥시크
모먼트'라고 생각해요.

30
00:02:03,655 --> 00:02:08,874
이건 대략 1년 전인 2025년
1월에 있었던 일인데요, 오픈

31
00:02:08,874 --> 00:02:13,939
웨이트 중국 기업 딥시크가
DeepSeek R1을 내놓으면서

32
00:02:13,939 --> 00:02:18,544
훨씬 적은 연산량으로, 훨씬
저렴하게 거의 최신 수준의

33
00:02:18,544 --> 00:02:23,456
성능을 냈다고 알려지며 다들
놀랐다고 해도 될 것 같아요.

34
00:02:23,456 --> 00:02:27,090
그리고 그때부터 지금까지
연구 차원에서도, 제품

35
00:02:27,090 --> 00:02:30,864
차원에서도 AI 경쟁이
정말 미쳐 돌아가고 있죠.

36
00:02:30,864 --> 00:02:34,862
그냥 계속 가속되고만 있어요.
오늘 이 얘기를 다 나눠보고

37
00:02:34,862 --> 00:02:38,860
싶은데, 가능하다면 좀 자극적인
질문부터 시작해볼까 해요.

38
00:02:38,860 --> 00:02:41,306
국제적으로 봤을 때 지금
누가 이기고 있다고 보세요?

39
00:02:41,306 --> 00:02:46,700
중국 쪽 기업들일까요,
아니면 미국 쪽 기업들일까요?

40
00:02:46,700 --> 00:02:50,630
세바스찬, 네이선,
두 분 다 반갑습니다.

41
00:02:50,630 --> 00:02:54,133
세바스찬, 그래서 지금 누가
이기고 있다고 보세요?

42
00:02:54,133 --> 00:02:57,260
'이긴다'는 표현 자체가
사실 굉장히 폭넓죠.

43
00:02:57,260 --> 00:03:00,622
방금 딥시크 모먼트를
말씀하셨는데요, 오픈 웨이트 모델로

44
00:03:00,622 --> 00:03:03,659
작업하는 사람들의 마음만큼은
딥시크가 이기고 있다고

45
00:03:03,659 --> 00:03:06,913
봐요. 자기네 모델을 오픈
모델로 공유하고 있으니까요.

46
00:03:06,913 --> 00:03:10,199
'이긴다'는 것도, 제 생각엔 여러
시간 척도로 나눠 볼 수 있어요.

47
00:03:10,199 --> 00:03:13,477
오늘 기준, 내년 기준, 10년
뒤 기준이 다 있으니까요.

48
00:03:13,477 --> 00:03:19,583
확실히 하나 아는 건, 2026년인
지금 다른 회사는 접근

49
00:03:19,583 --> 00:03:26,070
못 하는 기술을 혼자만 갖고 있는
회사는 없을 거라는 거예요.

50
00:03:26,070 --> 00:03:32,120
그건 주로 연구자들이 직장과
연구실을 자주 옮기기 때문이에요.

51
00:03:32,120 --> 00:03:32,888
다들 돌고 도는 거죠.

52
00:03:32,888 --> 00:03:37,421
기술 접근성 면에서 뚜렷한
승자는 없을 거라고 봐요.

53
00:03:37,421 --> 00:03:40,286
다만 차별화 요인은 분명히 있을 거라고

54
00:03:40,286 --> 00:03:43,560
생각해요. 바로 예산과
하드웨어 제약이에요.

55
00:03:43,560 --> 00:03:48,116
아이디어 자체가 독점적인
게 아니라, 그걸

56
00:03:48,116 --> 00:03:52,672
구현하는 데 필요한
자원이 관건일 거예요.

57
00:03:52,672 --> 00:03:56,685
지금으로서는 승자독식
시나리오는 안 보여요.

58
00:03:56,685 --> 00:03:57,976
그렇게는 안 보이네요.

59
00:03:57,976 --> 00:04:02,084
지금으로선요. - 그럼 네이선은
어떻게 생각하세요? - 연구소마다

60
00:04:02,084 --> 00:04:06,191
서로 다른 데 힘을 쏟고 있는 게
보이는데요, 지금 이걸 녹화하는

61
00:04:06,191 --> 00:04:09,842
시점을 짚어보자면, 앤스로픽의
Claude Opus 4.5

62
00:04:09,842 --> 00:04:13,950
모델을 둘러싼 하이프가 정말 말도
안 되게 컸어요. 그게 좀...

63
00:04:13,950 --> 00:04:17,517
그러니까 저도 지난 몇
주 동안 그걸로 이것저것

64
00:04:17,517 --> 00:04:21,495
만들어봤는데, 하이프가 거의
밈처럼 느껴질 정도예요.

65
00:04:21,495 --> 00:04:26,592
그런데 좀 재밌는 게, 이게
되게 자연발생적이거든요. 몇 달

66
00:04:26,592 --> 00:04:31,843
전으로 돌아가서 출시 노트들을
보면, 구글의 Gemini 3가

67
00:04:31,843 --> 00:04:37,249
나왔을 때 마케팅도 그렇고 '와'
하는 임팩트가 엄청 컸었어요.

68
00:04:37,249 --> 00:04:40,483
그런데 11월 말에 Claude
Opus 4.5가 나오면서 하이프가

69
00:04:40,483 --> 00:04:43,717
계속 커지고 있는데, 사실 Gemini
3가 먼저 나왔던 거잖아요.

70
00:04:43,717 --> 00:04:47,306
그런데 막상 사람들이 그 얘기는
별로 안 하는 것 같아요.

71
00:04:47,306 --> 00:04:50,671
나왔을 때는 다들 '이제
Gemini가 AI에서 구글의

72
00:04:50,671 --> 00:04:53,923
구조적 우위를 되찾을
순간이다'라고 했었는데 말이죠.

73
00:04:53,923 --> 00:04:56,500
Gemini 3는 정말 훌륭한
모델이고, 저도 여전히 쓰고 있어요.

74
00:04:56,500 --> 00:05:00,038
그냥 차별화가 좀 덜한 느낌이에요.

75
00:05:00,038 --> 00:05:03,070
그리고 세바스찬 말씀에
동의해요. 아이디어 자체는 꽤

76
00:05:03,070 --> 00:05:06,102
유동적이라는 그 말씀이요.
근데 문화적으로 앤스로픽은

77
00:05:06,102 --> 00:05:08,926
코드에 크게 베팅한 걸로
유명하잖아요, 그게 바로

78
00:05:08,926 --> 00:05:12,376
Claude Code인데, 지금
그게 잘 통하고 있는 거죠.

79
00:05:12,376 --> 00:05:16,258
그래서 제 생각엔, 아이디어가 꽤
자유롭게 흘러다닌다고 해도 결국

80
00:05:16,258 --> 00:05:20,248
많은 부분이 사람의 노력과 조직
문화에서 병목이 걸리는 것 같아요.

81
00:05:20,248 --> 00:05:24,130
앤스로픽은 적어도 겉보기엔 가장
덜 혼란스러운 조직으로 보이고요.

82
00:05:24,130 --> 00:05:27,553
그걸 한동안 계속 유지할 수 있다면,
그게 좀 유리한 지점이겠죠.

83
00:05:27,553 --> 00:05:30,907
근데 반대편을 보면, 중국
쪽에는 딥시크 말고도 훨씬

84
00:05:30,907 --> 00:05:34,493
더 많은 연구소에서 나오는
심상치 않은 기술들이 많아요.

85
00:05:34,493 --> 00:05:37,400
그러니까 딥시크가 중국
내에서 하나의 흐름을 일으킨

86
00:05:37,400 --> 00:05:40,203
건데요, 미국에서
ChatGPT가 모든 게 챗봇을

87
00:05:40,203 --> 00:05:43,213
갖게 만드는 흐름을 일으킨
것과 좀 비슷하다고 봐요.

88
00:05:43,213 --> 00:05:47,651
지금은 중국의 수많은 테크 기업들이
아주 강력한 프론티어급 오픈

89
00:05:47,651 --> 00:05:51,961
웨이트 모델들을 내놓고 있어서,
딥시크가 중국 최고의 오픈모델

90
00:05:51,961 --> 00:05:56,145
제작사라는 왕관을 좀 뺏기고
있다고 말할 수 있을 정도예요.

91
00:05:56,145 --> 00:06:00,203
Z.ai의 GLM 모델들,
MiniMax의 모델들, 문샷의

92
00:06:00,203 --> 00:06:04,767
Kimi 같은 것들이 특히 최근
몇 달 사이에 더 빛을 발했고요.

93
00:06:04,767 --> 00:06:08,943
새로 나온 딥시크 모델들도 여전히
아주 강력하긴 한데, 그건 좀...

94
00:06:08,943 --> 00:06:12,899
나중에 돌아보면 2025년에 딥시크가
등장해서 훨씬 더 많은 중국

95
00:06:12,899 --> 00:06:16,856
기업들이 이런 굉장한 모델들을
내놓으며 새로운 방식의 운영을 하게

96
00:06:16,856 --> 00:06:20,592
된, 하나의 큰 서사적 전환점으로
보일 수도 있을 것 같아요.

97
00:06:20,592 --> 00:06:23,436
그래서 이 중국 기업들이
내놓는 모델들은 다 오픈

98
00:06:23,436 --> 00:06:26,280
웨이트인데, 미국 기업들이
하고 있는 이 비즈니스

99
00:06:26,280 --> 00:06:29,230
모델의 흐름에 따라서는 그게
위협받을 수도 있어요.

100
00:06:29,230 --> 00:06:32,803
근데 지금은 미국에서 많은 사람들이
AI 소프트웨어에 돈을 내고

101
00:06:32,803 --> 00:06:36,274
있잖아요. 그런데 역사적으로
중국이나 다른 지역에서는 사람들이

102
00:06:36,274 --> 00:06:39,744
소프트웨어에 돈을 잘 안 내왔거든요.
- 그러니까 딥시크 같은

103
00:06:39,744 --> 00:06:43,113
모델들이 오픈 웨이트라는 이유로
사람들한테 사랑받는 거네요.

104
00:06:43,113 --> 00:06:46,310
중국 기업들이 오픈 웨이트
모델을 계속 내놓는 게 앞으로

105
00:06:46,310 --> 00:06:49,403
얼마나 갈 거라고 보세요?
- 몇 년은 갈 것 같아요.

106
00:06:49,403 --> 00:06:53,186
제 생각엔 미국에서도 이걸 위한 뚜렷한
비즈니스 모델은 없는 것 같아요.

107
00:06:53,186 --> 00:06:55,563
제가 오픈모델에 대해
한동안 글을 써왔는데,

108
00:06:55,563 --> 00:06:57,643
이 중국 기업들이 그걸 알아차린 거죠.

109
00:06:57,643 --> 00:06:59,132
그래서 그쪽에서 저한테
연락이 오기도 해요.

110
00:06:59,132 --> 00:07:02,781
그리고 이 사람들도 똑똑해서
같은 제약을 알고 있어요—미국의

111
00:07:02,781 --> 00:07:05,878
주요 빅테크나 다른 IT
기업들 상당수가 보안 우려

112
00:07:05,878 --> 00:07:09,306
때문에 중국 기업 API
구독에는 돈을 안 낸다는 거죠.

113
00:07:09,306 --> 00:07:13,187
이건 테크 업계에서 오래된
습관인데, 그래서 이 기업들 사람들은

114
00:07:13,187 --> 00:07:16,736
오픈 웨이트 모델을 미국의
거대하고 계속 커지는 AI 지출

115
00:07:16,736 --> 00:07:20,617
시장에 영향력을 미치고 그 일부를
차지할 수단으로 보는 거예요.

116
00:07:20,617 --> 00:07:24,392
그리고 이 부분에 대해 되게
현실적이고, 실제로 잘 먹히고 있어요.

117
00:07:24,392 --> 00:07:27,992
제 생각엔 정부도 이게 기술
채택 측면에서 국제적으로

118
00:07:27,992 --> 00:07:31,219
상당한 영향력을 쌓고
있다는 걸 알게 될 거고,

119
00:07:31,219 --> 00:07:34,447
그래서 이걸 계속 밀고
갈 유인이 많을 거예요.

120
00:07:34,447 --> 00:07:37,517
하지만 이런 모델을 만들고
연구하는 데는 비용이 엄청

121
00:07:37,517 --> 00:07:40,376
들어서, 어느 시점엔
통합이 일어날 거라고 봐요.

122
00:07:40,376 --> 00:07:44,218
다만 그게 2026년 이야기는
아닐 거예요, 2026년 내내

123
00:07:44,218 --> 00:07:47,943
2025년보다 오픈모델을 만드는
곳이 더 많아질 테니까요.

124
00:07:47,943 --> 00:07:50,108
그리고 그 주목할 만한 곳들
상당수가 중국일 거예요.

125
00:07:50,108 --> 00:07:51,900
- 뭔가 말씀하시려던
것 같은데요? - 네.

126
00:07:51,900 --> 00:07:54,992
딥시크가 왕좌를 잃었다는
얘기를 하셨잖아요.

127
00:07:54,992 --> 00:07:58,612
어느 정도는 그렇다고 봐요,
하지만 이것도 생각해봐야 하는

128
00:07:58,612 --> 00:08:02,346
게, 그래도 딥시크가 여전히
살짝 앞서 있다고 저는 봅니다.

129
00:08:02,346 --> 00:08:05,267
그리고 다른 모델들은—딥시크가
나빠진 게 아니라, 그냥

130
00:08:05,267 --> 00:08:08,286
다른 곳들이 딥시크의 아이디어를
갖다 쓰고 있는 거예요.

131
00:08:08,286 --> 00:08:10,019
예를 들어 Kimi를 언급하셨는데—같은

132
00:08:10,019 --> 00:08:11,752
아키텍처로 그걸 학습시키고 있는 거죠.

133
00:08:11,752 --> 00:08:14,938
그리고 다시, 이런 엎치락뒤치락
앞서기가 있어서 어느 시점엔

134
00:08:14,938 --> 00:08:17,834
더 최근 모델을 가진 쪽이
조금 더 나을 수도 있어요.

135
00:08:17,834 --> 00:08:22,534
그리고 이게 결국 뚜렷한 승자는 없을
거라는 얘기로 돌아온다고 생각해요.

136
00:08:22,534 --> 00:08:26,262
그냥 이런 식일 거예요—한쪽이
뭔가를 내놓으면 다른 쪽이 치고

137
00:08:26,262 --> 00:08:30,428
들어오고, 가장 최근 모델이 아마
항상 최고 모델일 거예요. - 네.

138
00:08:30,428 --> 00:08:33,437
그리고 중국 기업들도 서로 다른 유인을
갖고 있다는 걸 보게 될 거예요.

139
00:08:33,437 --> 00:08:36,598
그러니까, 딥시크는 굉장히
비밀스러운 편인데, 반면

140
00:08:36,598 --> 00:08:39,985
MiniMax나 Z.ai 같은
스타트업들은 좀 다르죠.

141
00:08:39,985 --> 00:08:43,955
이 두 곳은 말 그대로 IPO
서류를 제출했고, 서구권에서

142
00:08:43,955 --> 00:08:47,428
마인드셰어를 얻으려고
아웃리치도 많이 하고 있어요.

143
00:08:47,428 --> 00:08:50,738
그래서 이런 유인들이 모델 개발
방식을 바꿀지는 잘 모르겠어요,

144
00:08:50,738 --> 00:08:54,143
딥시크는 하이플라이어 캐피털이라는
헤지펀드가 만든 걸로 유명한데,

145
00:08:54,143 --> 00:08:57,453
그쪽에서 이 모델들을 정확히
어디에 쓰는지, 또 이 부분을 신경

146
00:08:57,453 --> 00:09:01,047
쓰는지조차 정확히는 모르니까요. -
소통 면에서는 비밀스럽지만, 자기

147
00:09:01,047 --> 00:09:04,546
모델이 어떻게 작동하는지 설명하는
기술 보고서 면에서는 안 그래요.

148
00:09:04,546 --> 00:09:06,028
그 부분에서는 여전히 오픈되어 있어요.

149
00:09:06,028 --> 00:09:11,215
그리고 이것도 짚어야 하는데,
Claude Opus

150
00:09:11,215 --> 00:09:16,957
4.5 하이프를 보면, 뭔가가
X 반향실에서 인기를 끄는

151
00:09:16,957 --> 00:09:22,514
것과 실제로 그 모델을 쓰는
사람 수는 다른 층위예요.

152
00:09:22,514 --> 00:09:26,639
제 생각엔 ChatGPT랑
Gemini는 그냥 일상 문제를

153
00:09:26,639 --> 00:09:30,376
해결하고 싶은 폭넓은
사용자층에 초점을 맞추고 있다고

154
00:09:30,376 --> 00:09:34,372
봐도 될 것 같고, 그 사용자층
규모가 어마어마하거든요.

155
00:09:34,372 --> 00:09:38,752
그래서 코딩에 대한 하이프가 실제
사용을 대표하는 건 아닐 수도

156
00:09:38,752 --> 00:09:43,257
있어요. - 제 생각엔 사용 패턴
상당수도, 말씀하신 것처럼 이름

157
00:09:43,257 --> 00:09:47,387
인지도나 브랜드 같은 것도
있지만, 거의 근육 기억에 가까운

158
00:09:47,387 --> 00:09:51,767
것도 있는 것 같아요, ChatGPT가
오래전부터 있었으니까요.

159
00:09:51,767 --> 00:09:54,660
사람들이 그냥 쓰는 데 익숙해진
거죠, 거의 플라이휠 같은

160
00:09:54,660 --> 00:09:57,372
거예요 — 다른 사용자들한테
추천하고, 그런 식으로요.

161
00:09:57,372 --> 00:10:00,839
흥미로운 점 하나는 LLM의
커스터마이징이에요.

162
00:10:00,839 --> 00:10:04,180
예를 들어 ChatGPT에는
메모리 기능이 있잖아요?

163
00:10:04,180 --> 00:10:07,502
그래서 구독을 하나 해서 개인적인
용도로 쓸 수는 있는데,

164
00:10:07,502 --> 00:10:10,512
그걸 회사에서도 똑같이 쓰고
싶을지는 잘 모르겠어요.

165
00:10:10,512 --> 00:10:12,543
사생활과 업무 사이의 경계니까요.

166
00:10:12,543 --> 00:10:14,531
회사에 다니고 있다면
그걸 허용 안 할 수도

167
00:10:14,531 --> 00:10:16,270
있고, 본인이 원치 않을 수도 있고요.

168
00:10:16,270 --> 00:10:18,516
그래서 그것도 흥미로운 지점인 것 같아요

169
00:10:18,516 --> 00:10:20,967
— 구독을 여러 개 가질
수도 있다는 거요.

170
00:10:20,967 --> 00:10:22,272
하나는 그냥 코드가 깔끔하게
유지되는 쪽인 거고요.

171
00:10:22,272 --> 00:10:26,972
거기엔 개인 사진이나 취미 프로젝트
같은 게 전혀 없는 거죠.

172
00:10:26,972 --> 00:10:28,244
그냥 업무용인 거예요.

173
00:10:28,244 --> 00:10:30,172
그리고 다른 하나는 개인용이고요.

174
00:10:30,172 --> 00:10:32,853
그래서 그것도 서로 다른
두 가지 용도가 있는

175
00:10:32,853 --> 00:10:35,963
거고, 꼭 하나만 있어야
하는 건 아니라고 생각해요.

176
00:10:35,963 --> 00:10:39,801
미래에도 여러 개를 쓰는 방향일
거라고 생각해요. - 2025년엔

177
00:10:39,801 --> 00:10:43,426
어떤 모델이 이겼고, 26년엔
어떤 모델이 이길 것 같으세요?

178
00:10:43,426 --> 00:10:47,050
- 소비자용 챗봇이라는 맥락에서
보면, 결국 질문은 이거예요:

179
00:10:47,050 --> 00:10:50,462
ChatGPT 대신 Gemini에
베팅할 의향이 있으세요?

180
00:10:50,462 --> 00:10:54,592
제 직감으로는 그게 좀 위험한
베팅처럼 느껴져요, 오픈AI가 계속

181
00:10:54,592 --> 00:10:58,492
선두주자였고 테크 업계에서 그
지위엔 이점이 워낙 많으니까요.

182
00:10:58,492 --> 00:11:02,539
제 생각엔 2025년을 보면
모멘텀은 Gemini 쪽에

183
00:11:02,539 --> 00:11:06,991
있었던 것 같아요, 다만 워낙
낮은 지점에서 시작한 거였죠.

184
00:11:06,991 --> 00:11:13,112
Bard라든가 그 초창기 시도들은
이제 다 안녕인 거고요.

185
00:11:13,112 --> 00:11:17,032
그 조직적 혼란을 뚫고 여기까지
온 건 정말 대단한 거예요.

186
00:11:17,032 --> 00:11:21,520
그런데 오픈AI에 반대로
베팅하기도 어려운 게, 항상

187
00:11:21,520 --> 00:11:26,007
혼란스러워 보이는데도 결국
일을 잘 마무리해내거든요.

188
00:11:26,007 --> 00:11:30,037
저는 개인적으로 GPT-5에 대해
평가가 많이 갈리는데요, 그래도

189
00:11:30,037 --> 00:11:34,066
헤드라인급 기능이 모델 라우터였다는
점에서 비용은 엄청나게 아꼈을

190
00:11:34,066 --> 00:11:38,432
거예요 — 대부분 요청에 예전만큼
GPU 비용을 쓰지 않게 됐으니까요.

191
00:11:38,432 --> 00:11:43,073
그래서 제가 개인적으로 좋아하는
모델의 요소들과, 실제로

192
00:11:43,073 --> 00:11:47,714
일반 대중에게 차별점이 될
요소들을 분리해서 보기가 정말

193
00:11:47,714 --> 00:11:51,906
어려운 것 같아요. -
2026년은 어떻게 보세요?

194
00:11:51,906 --> 00:11:54,634
누가 이길까요? - 위험한 얘기긴
하지만 한번 말씀드려볼게요.

195
00:11:54,634 --> 00:11:55,785
제 생각엔 Gemini가 ChatGPT를

196
00:11:55,785 --> 00:11:56,832
상대로 계속 치고 올라갈 것 같아요.

197
00:11:56,832 --> 00:12:00,828
구글의 규모를 생각하면요 — 둘
다 워낙 극단적인 규모로 돌아가고

198
00:12:00,828 --> 00:12:05,047
있는데, 구글은 연구와 제품을 좀
더 잘 분리할 수 있는 능력이 있는

199
00:12:05,047 --> 00:12:09,043
것 같아요. 반면 오픈AI는 운영
면에서 혼란스럽다는 얘기가 워낙

200
00:12:09,043 --> 00:12:13,151
많이 들리고, 임팩트 큰 것만
쫓아가는 스타트업 문화가 강하잖아요.

201
00:12:13,151 --> 00:12:16,472
그리고 소프트웨어랑 엔터프라이즈
쪽에서는, 앤스로픽이 계속 성공할

202
00:12:16,472 --> 00:12:19,792
것 같아요. 이 부분은 계속 그렇게
셋업이 잘 되어 있었으니까요.

203
00:12:19,792 --> 00:12:24,107
그리고 당연히 구글 클라우드도 여러
제품을 갖고 있지만, Gemini라는

204
00:12:24,107 --> 00:12:27,452
브랜드 이름을 키워가는 것도
그들에게 중요한 것 같아요.

205
00:12:27,452 --> 00:12:32,293
구글 클라우드는 앞으로도 잘하겠지만,
생태계 안에서는 좀 더 설명하기

206
00:12:32,293 --> 00:12:36,751
복잡한 부분이에요. 모델 제공사
쪽이 아니라 애저나 AWS 같은

207
00:12:36,751 --> 00:12:41,082
회사들과 경쟁하는 거니까요. -
그럼 인프라 쪽에서는 TPU가

208
00:12:41,082 --> 00:12:45,541
이점이 된다고 보시는 거예요?
- 거의 엔비디아 칩 마진이 말도

209
00:12:45,541 --> 00:12:50,127
안 되게 높아서 그런 건데, 구글은
위에서 아래까지 자기네 스택에

210
00:12:50,127 --> 00:12:54,840
맞춰 전부 자체 개발할 수 있으니까
이 마진을 안 물어도 되거든요.

211
00:12:54,840 --> 00:12:57,806
그리고 데이터센터 구축에서도
먼저 앞서 나갔고요.

212
00:12:57,806 --> 00:13:01,358
그러니까 리드타임도 길고
고비용에 마진까지 빡빡한 이런

213
00:13:01,358 --> 00:13:05,620
것들에서, 구글은 그냥 역사적으로
좀 유리한 위치에 있는 거예요.

214
00:13:05,620 --> 00:13:09,636
그리고 만약 새로운 패러다임이
나온다면, 오픈AI 쪽에서 나올

215
00:13:09,636 --> 00:13:13,651
가능성이 가장 커요. 그쪽 연구
조직이 새로운 연구 아이디어나

216
00:13:13,651 --> 00:13:17,076
제품을 실제로 성사시키는
능력을 계속 보여줬으니까요.

217
00:13:17,076 --> 00:13:20,797
Deep Research,
Sora, o1 추론 모델처럼

218
00:13:20,797 --> 00:13:24,279
판을 새로 정의한 것들이
다 오픈AI에서 나왔거든요.

219
00:13:24,279 --> 00:13:27,400
그게 조직으로서 최고의
강점 중 하나일 거예요.

220
00:13:27,400 --> 00:13:31,879
그러니까 거기에 반대로 걸기는 좀
어렵죠. 근데 제 생각엔 올해 상당

221
00:13:31,879 --> 00:13:36,593
부분은 스케일과, 모델에서 손쉬운
성과라 할 만한 걸 최적화하는 데 쓰일

222
00:13:36,593 --> 00:13:41,308
것 같아요. - 그리고 지능과 속도
사이에는 분명히 트레이드오프가 있죠.

223
00:13:41,308 --> 00:13:46,277
이게 바로 GPT-5가
뒤에서 풀려고 했던 문제죠.

224
00:13:46,277 --> 00:13:49,726
그러니까, 일반 대중이 진짜
원하는 게 지능일지 속도일지

225
00:13:49,726 --> 00:13:53,175
하는 거예요. - 저는 그렇게
다양한 선택지가, 그러니까

226
00:13:53,175 --> 00:13:56,290
토글로 고를 수 있는 옵션이
있는 게 좋다고 봐요.

227
00:13:56,290 --> 00:14:00,091
그러니까 제 개인적인 사용 패턴을
보면, 뭔가 찾아볼 때는 대부분

228
00:14:00,091 --> 00:14:04,103
ChatGPT한테 빠르게 질문해서
원하는 정보를 얼른 얻는 식이에요.

229
00:14:04,103 --> 00:14:07,460
일상적인 작업 대부분엔
빠른 모델을 써요.

230
00:14:07,460 --> 00:14:10,645
요즘은 auto 모드가 꽤 괜찮은
것 같아요. thinking인지

231
00:14:10,645 --> 00:14:13,388
non-thinking인지
따로 지정할 필요가 없거든요.

232
00:14:13,388 --> 00:14:16,120
그래도 가끔은 pro 모드를
쓰고 싶을 때도 있고요.

233
00:14:16,120 --> 00:14:20,152
제가 자주 하는 건, 글을 써
놓으면 그걸 ChatGPT에

234
00:14:20,152 --> 00:14:23,176
넣고 "이거 진짜 꼼꼼하게
한번 확인해 줘.

235
00:14:23,176 --> 00:14:24,852
제 참고 문헌이 다 맞는지,

236
00:14:24,852 --> 00:14:26,471
제 생각이 다 맞는지,

237
00:14:26,471 --> 00:14:30,543
포맷 실수는 없는지, 그림 번호가
틀리진 않았는지" 물어보는 편이에요.

238
00:14:30,543 --> 00:14:31,897
뭐 그런 식으로요.

239
00:14:31,897 --> 00:14:33,827
그리고 그게 당장 필요한 것도 아니고요.

240
00:14:33,827 --> 00:14:36,240
제 할 일을 끝내고 아마
저녁도 먹고, 그동안

241
00:14:36,240 --> 00:14:38,845
돌아가게 놔뒀다가 나중에
돌아와서 확인하는 거죠.

242
00:14:38,845 --> 00:14:42,274
이럴 때 이런 옵션이 있다는
게 중요한 것 같아요.

243
00:14:42,274 --> 00:14:45,755
질문 하나 할 때마다 30분,
아니 10분이라도 기다려야

244
00:14:45,755 --> 00:14:48,900
한다면 저는 미쳐버릴 거예요.
- 그게 딱 저예요.

245
00:14:48,900 --> 00:14:51,021
저는 지금 여기 앉아서,
라우터랑 non-thinking

246
00:14:51,021 --> 00:14:52,800
모델을 쓰신다는 사실에
정신이 나갈 지경이에요.

247
00:14:52,800 --> 00:14:55,679
"그걸 대체 어떻게
견뎌요?" 싶은 거죠.

248
00:14:55,679 --> 00:14:57,535
그게 딱 제 반응이에요.

249
00:14:57,535 --> 00:15:01,440
저는 한동안 ChatGPT를
엄청 많이 썼거든요.

250
00:15:01,440 --> 00:15:03,853
저는 GPT-5 non-thinking은
한 번도 써본 적이 없어요.

251
00:15:03,853 --> 00:15:08,591
말투도 그렇고, 오류가 날
가능성도 더 높다고 느껴요.

252
00:15:08,591 --> 00:15:12,656
이건 어느 정도는 오픈AI가 o3를
내놓았을 때부터 이어진 건데요,

253
00:15:12,656 --> 00:15:17,160
o3가 이렇게 딥서치를 해서 여러
출처를 찾아 통합해준 첫 모델이었거든요.

254
00:15:17,160 --> 00:15:18,982
그때부터 그게 습관이 됐어요.

255
00:15:18,982 --> 00:15:24,274
그래서 논문이든 제가 찾은 코드
레퍼런스든, 업무용 정보 검색을

256
00:15:24,274 --> 00:15:29,112
할 때는 GPT-5.2
Thinking이나 Pro만 써요.

257
00:15:29,112 --> 00:15:33,596
그리고 보통 Pro 쿼리를 다섯
개 정도 동시에 돌려요, 각각

258
00:15:33,596 --> 00:15:37,684
특정 논문 하나를 찾거나 수식
피드백을 구하는 식으로요.

259
00:15:37,684 --> 00:15:42,168
— 재밌는 예가 하나 있는데요,
이 팟캐스트 녹화 전에 여행을

260
00:15:42,168 --> 00:15:46,257
가야 해서 최대한 빨리 답이
필요했던 적이 있어요. 집에

261
00:15:46,257 --> 00:15:50,477
로컬 GPU가 있었는데 긴 RL
실험을 돌리고 싶었거든요.

262
00:15:50,477 --> 00:15:53,107
그리고 보통 집을 비울
땐 콘센트를 다 뽑아두는

263
00:15:53,107 --> 00:15:56,141
편이에요, 집에 없을 때 뭐가
꽂혀 있으면 모르니까요.

264
00:15:56,141 --> 00:15:57,941
근데 실수로 GPU를 뽑아버린 거예요.

265
00:15:57,941 --> 00:16:01,580
아내는 이미 차에 타 있었는데,
'아, 이런' 싶더라고요.

266
00:16:01,580 --> 00:16:05,189
그래서 제 여러 실험이랑 평가를 돌리는

267
00:16:05,189 --> 00:16:09,313
Bash 스크립트가
최대한 빨리 필요했어요.

268
00:16:09,313 --> 00:16:13,009
Bash 인터페이스나 터미널
쓰는 법이야 알긴 아는데,

269
00:16:13,009 --> 00:16:16,829
그 순간엔 그냥 10초 안에
명령어만 딱 주면 됐거든요.

270
00:16:16,829 --> 00:16:20,279
— 진짜 웃긴 상황인데요,
그래서 뭘 쓰셨어요? —

271
00:16:20,279 --> 00:16:24,098
그때는 가장 빠른
non-thinking 모델을 썼어요.

272
00:16:24,098 --> 00:16:28,871
그게 여러 스크립트를 이어붙이는
Bash 명령어를 줬는데,

273
00:16:28,871 --> 00:16:33,942
그 안에 로그 파일로 보내는
tee 같은 것도 들어 있었어요.

274
00:16:33,942 --> 00:16:36,998
머리로 생각하면 저도 알아낼 수
있었겠지만, 그때는 그냥 급했어요.

275
00:16:36,998 --> 00:16:39,641
— 그나저나 이게 대표적인
사례인지는 모르겠는데요, 아내는

276
00:16:39,641 --> 00:16:42,449
차에서 기다리고 있죠, 뛰어가야
하고, GPU도 뽑아놨고...

277
00:16:42,449 --> 00:16:43,931
Bash 스크립트도 만들어야 하고요.

278
00:16:43,931 --> 00:16:45,977
완전 영화 같네요, 무슨
미션 임파서블처럼요.

279
00:16:45,977 --> 00:16:47,777
— 그럴 때는 제가 Gemini를 써요.

280
00:16:47,777 --> 00:16:51,669
그래서 정보 찾는 일에는
thinking을 쓰고, 빠르게 처리할

281
00:16:51,669 --> 00:16:55,561
일이나 가끔 구글링해도 될 만한
건 Gemini를 써요. 설명을

282
00:16:55,561 --> 00:16:59,231
잘해주고, 배경지식도 탄탄하다는
믿음이 있고, 간단하거든요.

283
00:16:59,231 --> 00:17:02,983
그리고 Gemini 앱도 많이
좋아졌고요— 그런 일엔 딱이에요.

284
00:17:02,983 --> 00:17:05,263
그리고 코드나 철학적인 대화 같은 건

285
00:17:05,263 --> 00:17:07,543
Claude Opus 4.5를 써요.

286
00:17:07,543 --> 00:17:09,555
이것도 항상 extended
thinking으로요.

287
00:17:09,555 --> 00:17:12,445
extended thinking이랑
인퍼런스 스케일링은 그냥

288
00:17:12,445 --> 00:17:15,073
모델을 아주 조금 더 똑똑하게
만드는 방법일 뿐이에요.

289
00:17:15,073 --> 00:17:17,964
그리고 발전 속도가 이렇게
빠를 땐 저는 항상 그쪽으로

290
00:17:17,964 --> 00:17:21,241
기우는 편이에요, 언제 새로운
활용 사례가 열릴지 모르니까요.

291
00:17:21,241 --> 00:17:26,192
그리고 실시간 정보나, 분명 봤던 건
기억나는데 다시 찾아야 하고 거기에

292
00:17:26,192 --> 00:17:30,772
꽂혀버린 AI 트위터 글 같은 걸
파낼 때는 가끔 Grok을 써요.

293
00:17:30,772 --> 00:17:34,116
근데 Grok 4가 나왔을
때, 그러니까 프로 버전격인

294
00:17:34,116 --> 00:17:37,572
Grok 4 SuperGrok
Heavy가 진짜 괜찮았고

295
00:17:37,572 --> 00:17:40,581
저도 꽤 인상 깊었는데,
그러다가 그냥 습관적으로

296
00:17:40,581 --> 00:17:44,037
ChatGPT 앱을 열다
보니까 어느새 잊게 되더라고요.

297
00:17:44,037 --> 00:17:46,578
그래서 이것저것 많이 써요. — 네.

298
00:17:46,578 --> 00:17:50,665
저는 사실 디버깅할 때는
Grok 4 Heavy를 써요.

299
00:17:50,665 --> 00:17:53,199
다른 모델들이 못 푸는 진짜 어려운

300
00:17:53,199 --> 00:17:56,134
디버깅에는, 그게 최고인 것 같더라고요.

301
00:17:56,134 --> 00:17:58,880
그런데... 재미있네요, ChatGPT가

302
00:17:58,880 --> 00:18:01,126
최고의 인터페이스라고 하셨잖아요.

303
00:18:01,126 --> 00:18:04,456
저도 같은 이유인데, 어쩌면
그냥 관성일 수도 있지만,

304
00:18:04,456 --> 00:18:07,342
저한테는 Gemini가
더 나은 인터페이스예요.

305
00:18:07,342 --> 00:18:09,758
제 생각엔 건초더미 속 바늘 찾기를

306
00:18:09,758 --> 00:18:12,429
그쪽이 제일 잘해서 반했던 것 같아요.

307
00:18:12,429 --> 00:18:16,447
컨텍스트가 아주 많이 들어간
걸 넣고 아주 구체적인

308
00:18:16,447 --> 00:18:20,321
정보를 찾아서 하나도
놓치지 않고 다 추적해야 할

309
00:18:20,321 --> 00:18:24,339
때는, 적어도 제 경험상
Gemini가 최고였어요.

310
00:18:24,339 --> 00:18:28,536
그러니까 웃긴 게, 이 모델들
중 하나가 어느 날 특정

311
00:18:28,536 --> 00:18:32,452
기능 하나, 그 특정 질의,
그 프롬프트에서 마음을

312
00:18:32,452 --> 00:18:36,789
사로잡으면 '아, 이 모델이
더 낫네' 싶어지는 거예요.

313
00:18:36,789 --> 00:18:39,137
그러다 그 모델이 뭔가 진짜 멍청한 짓을

314
00:18:39,137 --> 00:18:41,592
하기 전까지는 한동안
그것만 쓰게 되고요.

315
00:18:41,592 --> 00:18:43,286
일종의 문턱 효과 같은 게 있어요.

316
00:18:43,286 --> 00:18:45,665
뭔가 똑똑한 모습을 보여주면
반했다가, 또 멍청한

317
00:18:45,665 --> 00:18:47,780
짓을 하면 이렇게 되는
거죠. '아, 됐어,

318
00:18:47,780 --> 00:18:49,743
Claude나 ChatGPT로
한번 바꿔볼까.' 싶은 거고요.

319
00:18:49,743 --> 00:18:53,473
뭐 그런 식으로요. - 바로
그거예요. 문제가 생기거나

320
00:18:53,473 --> 00:18:57,452
뭔가 고장 날 때까지 쓰다가,
그때 LLM을 바꾸는 거죠.

321
00:18:57,452 --> 00:19:01,359
제 생각엔, 저희가 즐겨 쓰는
텍스트 에디터든 운영체제든

322
00:19:01,359 --> 00:19:04,762
브라우저든 뭘 쓰든 다
똑같은 원리인 것 같아요.

323
00:19:04,762 --> 00:19:06,513
그러니까, 선택지가
많잖아요. Safari,

324
00:19:06,513 --> 00:19:08,045
Firefox, Chrome 이렇게요.

325
00:19:08,045 --> 00:19:11,133
다 비교적 비슷한데,
그래도 예외적인 상황이나

326
00:19:11,133 --> 00:19:14,344
원하는 확장 기능이 있으면
그때 갈아타게 되죠.

327
00:19:14,344 --> 00:19:18,160
근데 서로 다른 브라우저에
똑같은 걸 입력해서

328
00:19:18,160 --> 00:19:21,212
비교해 보는 사람은 없을 것 같아요.

329
00:19:21,212 --> 00:19:23,464
뭔가 고장 났을 때만
그렇게 해보는 거죠.

330
00:19:23,464 --> 00:19:24,956
아, 그거 좋은 지적이네요.

331
00:19:24,956 --> 00:19:28,223
고장 날 때까지 쓰다가 그다음에 다른
선택지를 찾아보는 거죠. - 롱

332
00:19:28,223 --> 00:19:31,835
컨텍스트 얘기가 나와서 말인데, 저도
Gemini 유저였는데, GPT-5.2

333
00:19:31,835 --> 00:19:35,016
출시 블로그에 롱 컨텍스트 점수가
말도 안 되게 높게 나왔더라고요.

334
00:19:35,016 --> 00:19:37,213
사람들 반응이 다 '어,
이 사람들 무슨 알고리즘적인

335
00:19:37,213 --> 00:19:39,182
변화라도 찾아낸 거
아니야?' 이런 식이었어요.

336
00:19:39,182 --> 00:19:42,912
이번 마이너 모델 업데이트에서
30%였던 게 70%로 뛰었더라고요.

337
00:19:42,912 --> 00:19:46,117
이런 걸 다 따라가는
게 정말 힘든데, 지금은

338
00:19:46,117 --> 00:19:50,091
GPT-5.2의 롱 컨텍스트를
좀 더 좋게 보게 됐어요.

339
00:19:50,091 --> 00:19:54,818
그러니까 결국 '이걸 실제로 어떻게
테스트해 보지?' 싶은 거죠.

340
00:19:54,818 --> 00:19:58,899
끝이 없는 싸움이에요. -
그런데 흥미롭네요, 저희 셋 다

341
00:19:58,899 --> 00:20:03,236
사용 경험 얘기에서는 중국 모델을
하나도 언급 안 했다는 게.

342
00:20:03,236 --> 00:20:04,507
이게 뭘 말해주는 걸까요?

343
00:20:04,507 --> 00:20:08,153
중국 모델이 그만큼 좋지
않다는 뜻일까요, 아니면 저희가

344
00:20:08,153 --> 00:20:11,799
그냥 너무 편향돼서 미국
중심적인 걸까요? - 제 생각엔

345
00:20:11,799 --> 00:20:15,563
지금은 모델 자체와 플랫폼
사이에 괴리가 있는 것 같아요.

346
00:20:15,563 --> 00:20:20,458
오픈 모델들은 아직 플랫폼보다는
오픈 웨이트로 더 알려져 있어요.

347
00:20:20,458 --> 00:20:25,624
많은 회사들이 오픈 모델 인퍼런스를
아주 낮은 비용에 팔아줄 거고요.

348
00:20:25,624 --> 00:20:29,563
OpenRouter를 쓰면 여러
모델을 한꺼번에 살펴보기가 쉽죠.

349
00:20:29,563 --> 00:20:31,883
퍼플렉시티에서 딥시크를
돌려볼 수도 있고요.

350
00:20:31,883 --> 00:20:34,171
이렇게 앉아 얘기하다 보면,
'우리도 결국 오픈AI

351
00:20:34,171 --> 00:20:36,214
GPT-5 Pro를 계속
쓰고 있네' 싶어요.

352
00:20:36,214 --> 00:20:38,383
저희 다들 지능이
조금이라도 더 나아진다면

353
00:20:38,383 --> 00:20:40,269
기꺼이 돈을 낼 의향이 있는 거고요.

354
00:20:40,269 --> 00:20:45,181
미국산 모델들이 결과물
자체는 지금 더 낫고요.

355
00:20:45,181 --> 00:20:48,004
제 생각엔 관건은, 그
우위가 올해뿐 아니라

356
00:20:48,004 --> 00:20:51,063
앞으로 몇 년간도 계속
유지될 것이냐는 거예요.

357
00:20:51,063 --> 00:20:55,144
더 나은 한, 저는
계속 돈을 낼 거예요.

358
00:20:55,144 --> 00:20:59,027
중국 모델들이 서빙되는
방식을 보면—이게 수출 규제

359
00:20:59,027 --> 00:21:03,742
때문이라고 볼 수도 있는데—레플리카당
GPU를 더 적게 쓴다는

360
00:21:03,742 --> 00:21:08,041
분석도 있어요. 그래서 더
느리고 오류 양상도 다르고요.

361
00:21:08,041 --> 00:21:10,651
사용자 입장에서 속도랑
지능이 유리한 쪽이 있다면,

362
00:21:10,651 --> 00:21:12,982
미국에서는 많은 사용자가
그쪽으로 갈 거예요.

363
00:21:12,982 --> 00:21:17,463
그리고 제 생각엔 그게 중국 기업들이
다른 방식으로 경쟁하게 만들

364
00:21:17,463 --> 00:21:21,819
것 같아요—무료로 풀거나 비용을
확 낮추거나, 아니면 상품 구성

365
00:21:21,819 --> 00:21:26,424
면에서 창의성을 발휘하거나요. 그건
생태계 전체에도 좋은 일이고요.

366
00:21:26,424 --> 00:21:28,384
근데 단순하게 말하면,
지금은 미국 모델들이

367
00:21:28,384 --> 00:21:30,344
더 낫고, 그래서 저희도
그걸 쓰는 거예요.

368
00:21:30,344 --> 00:21:33,523
다른 오픈 모델들도 써봤는데, '재밌긴

369
00:21:33,523 --> 00:21:37,004
한데, 다시는 안 쓰게
되네' 싶더라고요.

370
00:21:37,004 --> 00:21:40,749
그러고 보니 저희가 프로그래밍
얘기는 별로 안 했네요.

371
00:21:40,749 --> 00:21:45,180
그것도 많은 사람들이 아주
중요하게 여기는 사용 사례고요.

372
00:21:45,180 --> 00:21:49,999
저는 커서랑 Claude Code를
거의 반반씩 써요, 왜냐하면—

373
00:21:49,999 --> 00:21:54,043
완전히 다른 경험이고,
둘 다 유용하거든요.

374
00:21:54,043 --> 00:21:55,130
여러분은 어떻게—

375
00:21:55,130 --> 00:21:57,693
프로그래밍을 꽤 하시니까,
어떤 걸 쓰세요?

376
00:21:57,693 --> 00:22:00,029
요즘 분위기는 어떤가요?
저는 VS Code용

377
00:22:00,029 --> 00:22:01,991
Codeium 플러그인을 쓰고 있어요.

378
00:22:01,991 --> 00:22:03,629
아시다시피, 그게 아주 편하거든요.

379
00:22:03,629 --> 00:22:05,481
그냥 플러그인 같은 건데, 리포지토리에

380
00:22:05,481 --> 00:22:07,156
접근할 수 있는 챗 인터페이스예요.

381
00:22:07,156 --> 00:22:10,269
Claude Code는 좀 다르다고
알고 있는데, 제 생각엔요.

382
00:22:10,269 --> 00:22:11,451
좀 더 에이전틱한 편이죠.

383
00:22:11,451 --> 00:22:12,438
더 많은 걸 건드리고요.

384
00:22:12,438 --> 00:22:13,879
그게 프로젝트 전체를
알아서 다 해주는 거죠.

385
00:22:13,879 --> 00:22:16,583
아직 그게 완전히 편하지는
않아요. 아마 제가 좀

386
00:22:16,583 --> 00:22:19,387
통제하고 싶어 하는 성격이라
그런 걸 텐데, 그래도

387
00:22:19,387 --> 00:22:21,891
무슨 일이 일어나는지는
조금 보고 싶더라고요.

388
00:22:21,891 --> 00:22:24,994
그리고 Codeium은 지금
저한테는, 도와주긴 하지만

389
00:22:24,994 --> 00:22:28,511
완전히 넘겨받지는 않는, 어느
정도 그런 지점이에요. - 저는

390
00:22:28,511 --> 00:22:31,510
Claude Code를 쓰는
이유 중 하나가, 영어로

391
00:22:31,510 --> 00:22:35,027
프로그래밍하는 스킬을 기르기
위해서라는 것도 말씀드려야겠어요.

392
00:22:35,027 --> 00:22:37,744
그러니까, 경험 자체가
근본적으로 다르거든요.

393
00:22:37,744 --> 00:22:38,417
그러니까...

394
00:22:38,417 --> 00:22:43,091
코드가 만들어지는 과정을
세세하게 관리하면서 diff를

395
00:22:43,091 --> 00:22:47,921
들여다보고 고치고 바꿔나가는
것과는 다른 거죠 — 커서를

396
00:22:47,921 --> 00:22:52,283
IDE로 쓰신다면 거기서
그렇게 하실 수 있잖아요.

397
00:22:52,283 --> 00:22:58,311
진행하면서 코드를 읽고 깊이
이해하는 것과, 그냥 이 설계 공간

398
00:22:58,311 --> 00:23:04,511
안에서 생각하면서 매크로 수준에서
방향만 잡아주는 건 다르거든요.

399
00:23:04,511 --> 00:23:10,884
저는 이게 프로그래밍 과정을 바라보는
또 다른 방식이라고 생각해요.

400
00:23:10,884 --> 00:23:14,389
그리고 Claude Code가
어쩐지 Claude Opus

401
00:23:14,389 --> 00:23:17,785
4.5를 더 잘 활용하는 것
같다는 말씀도 드려야겠네요.

402
00:23:17,785 --> 00:23:20,743
- 사람들이 나란히 비교해
보기 좋을 것 같아요.

403
00:23:20,743 --> 00:23:23,626
Claude Code도
열어놓고, 커서도 열어놓고, VS

404
00:23:23,626 --> 00:23:26,230
Code도 열어놓고, 셋
다 같은 모델을 선택해서—

405
00:23:26,230 --> 00:23:29,020
...질문을 던져볼 수 있는데,
이게 꽤 흥미롭거든요.

406
00:23:29,020 --> 00:23:31,804
그 영역에서는 Claude
Code가 훨씬 낫더라고요.

407
00:23:31,804 --> 00:23:35,787
정말 놀랍네요. - 자,
두 분 모두 여러 방면에서

408
00:23:35,787 --> 00:23:39,060
진짜라는 것도
말씀드려야겠어요. 연구자이자

409
00:23:39,060 --> 00:23:43,043
프로그래머이자 교육자이고,
X도 열심히 하시니까요.

410
00:23:43,043 --> 00:23:45,405
책 쪽에서도 그렇고요.

411
00:23:45,405 --> 00:23:48,430
그래서 네이선은 조만간,
그랬으면 좋겠는데, RLHF

412
00:23:48,430 --> 00:23:51,559
책이 나올 예정이에요. -
지금 예약 주문이 가능하고,

413
00:23:51,559 --> 00:23:54,271
디지털 프리프린트는 전체가
이미 공개돼 있어요.

414
00:23:54,271 --> 00:23:57,778
그냥 실물 책을 위해서 더 예쁘고
정리되게 다듬고 있는 거예요. 사실

415
00:23:57,778 --> 00:24:01,284
그게 제가 이 일을 하는 큰 이유이기도
한데, 우리 삶의 많은 부분이

416
00:24:01,284 --> 00:24:04,975
디지털인 요즘 실물 형태로 훌륭하다고
생각하는 걸 만드는 게 재밌거든요.

417
00:24:04,975 --> 00:24:08,389
- 말씀드리자면, 여기서 퍼플렉시티로
찾아봤는데, 세바스찬 라시카는

418
00:24:08,389 --> 00:24:11,619
여러 영향력 있는 책으로 알려진
머신러닝 연구자이자 저자입니다.

419
00:24:11,619 --> 00:24:14,949
제가 언급하고 싶었던 책이
몇 권 있는데요 — 제가

420
00:24:14,949 --> 00:24:18,280
정말 추천하는 책인 『밑바닥부터
만드는 대규모 언어

421
00:24:18,280 --> 00:24:21,967
모델』과, 신간인 『밑바닥부터
만드는 추론 모델』이에요.

422
00:24:21,967 --> 00:24:24,113
그래서 그 부분이 정말 기대돼요.

423
00:24:24,113 --> 00:24:27,044
밑바닥부터 뭔가를 만들어보는
건 가장 강력한 학습 방법 중

424
00:24:27,044 --> 00:24:30,524
하나거든요. - 솔직히 LLM을
밑바닥부터 만드는 건 정말 재밌어요.

425
00:24:30,524 --> 00:24:31,654
배울 것도 정말 많고요.

426
00:24:31,654 --> 00:24:34,067
그리고 말씀하신 것처럼,
뭔가가 실제로 어떻게 작동하는지

427
00:24:34,067 --> 00:24:36,246
배우는 덴 아마 이게 최고의
방법일 거예요. 그림을

428
00:24:36,246 --> 00:24:38,503
볼 수도 있지만, 그림에는
오류가 있을 수 있잖아요.

429
00:24:38,503 --> 00:24:43,124
개념이나 설명을 볼 수도 있지만,
그건 오해할 수도 있고요.

430
00:24:43,124 --> 00:24:48,483
하지만 코드가 있고 그 코드가
돌아간다면, 맞다는 걸 알 수 있어요.

431
00:24:48,483 --> 00:24:50,260
그러니까, 오해의 여지가 없는 거죠.

432
00:24:50,260 --> 00:24:50,924
정확하니까요.

433
00:24:50,924 --> 00:24:52,346
안 그러면 애초에 안 돌아갈 테니까요.

434
00:24:52,346 --> 00:24:54,543
그리고 저는 그게 코딩의
아름다움이라고 생각해요.

435
00:24:54,543 --> 00:24:56,065
거짓말을 하지 않죠.

436
00:24:56,065 --> 00:24:58,159
기본적으로 수학이잖아요.

437
00:24:58,159 --> 00:25:00,351
그래서 수학이라 해도, 책에 있는 실수는

438
00:25:00,351 --> 00:25:02,344
전혀 눈치채지 못할 수 있다고 봐요.

439
00:25:02,344 --> 00:25:04,320
책을 읽을 때는 그
수학을 직접 계산해보는

440
00:25:04,320 --> 00:25:06,124
게 아니니까, 검증할 방법이 없거든요.

441
00:25:06,124 --> 00:25:09,220
반면 코드는 좋은 게, 직접
검증할 수 있다는 거예요. - 네,

442
00:25:09,220 --> 00:25:12,404
『밑바닥부터 만드는 대규모 언어
모델』 책 얘기는 저도 동의해요.

443
00:25:12,404 --> 00:25:14,420
다른 건 다 꺼두고, 인터넷이고 뭐고 다

444
00:25:14,420 --> 00:25:16,803
차단한 채 책에만 집중할
수 있어서 좋더라고요.

445
00:25:16,803 --> 00:25:22,064
그런데 저는 역사책도
여러 권 읽었거든요.

446
00:25:22,064 --> 00:25:24,772
그게 왠지 덜 외롭더라고요.

447
00:25:24,772 --> 00:25:26,092
훨씬 더 재밌어요.

448
00:25:26,092 --> 00:25:28,921
예를 들면 프로그래밍
쪽에서는, LLM이랑

449
00:25:28,921 --> 00:25:31,872
같이 코딩하는 게 진짜로
더 재밌다고 봐요.

450
00:25:31,872 --> 00:25:36,112
그리고 LLM이랑 같이 책을 읽는
것도 진짜로 더 재밌다고 생각해요.

451
00:25:36,112 --> 00:25:37,388
그런데 맞는 말씀이에요.

452
00:25:37,388 --> 00:25:40,052
그 산만함은 최소화해야죠.

453
00:25:40,052 --> 00:25:43,897
그러니까 LLM은
기본적으로 경험을 풍부하게

454
00:25:43,897 --> 00:25:48,222
하고, 맥락을 좀 더해주는
용도로 쓰시는 거네요.

455
00:25:48,222 --> 00:25:51,985
저는 그냥 LLM을 쓸
때 아하 모먼트가 나오는

456
00:25:51,985 --> 00:25:55,313
빈도가 정말 높더라고요.
- 100%예요.

457
00:25:55,313 --> 00:25:57,079
그리고 제 말도 좀 정정하고 싶은데,

458
00:25:57,079 --> 00:25:58,934
LLM을 쓰지 말라는 얘기는 아니에요.

459
00:25:58,934 --> 00:26:01,420
여러 번에 나눠서 회독하시라고
제안드리는 거예요.

460
00:26:01,420 --> 00:26:05,490
그러니까, 1회독은 그냥 오프라인으로
집중 모드로 읽고, 그다음에…

461
00:26:05,490 --> 00:26:12,111
저도 메모는 하는데, 바로바로 찾아보고
싶은 충동은 좀 참으려고 해요.

462
00:26:12,111 --> 00:26:13,353
그다음에 2회독을 하는 거예요.

463
00:26:13,353 --> 00:26:15,756
이렇게 하는 게 더 체계적이거든요.

464
00:26:15,756 --> 00:26:18,953
어떤 건 챕터 안에서 바로
답이 나오기도 하고, 어떤

465
00:26:18,953 --> 00:26:22,371
건 그냥 곱씹으면서 생각해보는
게 도움이 되기도 하고요.

466
00:26:22,371 --> 00:26:24,252
물론 사람마다 선호는 다르고요.

467
00:26:24,252 --> 00:26:26,661
책 읽을 때 LLM 쓰는
거, 저는 적극 추천해요.

468
00:26:26,661 --> 00:26:29,560
저한테는 그게 처음이 아니라 2회독 때

469
00:26:29,560 --> 00:26:32,458
하는 거예요. - 제 추천은 반대예요.

470
00:26:32,458 --> 00:26:36,327
저는 처음에 LLM을 써서,
제가 지금 발을 들이는 이

471
00:26:36,327 --> 00:26:40,583
세계가 어떤 곳인지 전체 맥락부터
쭉 펼쳐보는 걸 좋아해요.

472
00:26:40,583 --> 00:26:45,328
근데 LLM에서 빠져나와 X나
블로그 쪽으로 넘어가는 건

473
00:26:45,328 --> 00:26:50,074
피하려고 해요. 그러다 보면
끝없는 토끼굴에 빠지거든요.

474
00:26:50,074 --> 00:26:51,919
누군가의 의견을 읽게 되는 거죠.

475
00:26:51,919 --> 00:26:55,931
특정 주제를 놓고 격한
논쟁이 붙어 있으면, 어느새

476
00:26:55,931 --> 00:26:59,799
인터넷이며 레딧이며 그런
데 들어가 있게 되고요.

477
00:26:59,799 --> 00:27:04,134
근데 이게 왜 중요한지, 큰 그림이
되는 아이디어가 뭔지를 순전히

478
00:27:04,134 --> 00:27:08,468
LLM이 짚어주게 하면... 책도
가끔은 그걸 잘 해주는데, 항상

479
00:27:08,468 --> 00:27:12,923
그런 건 아니거든요. - 그래서
제가 ChatGPT 앱을 좋아해요.

480
00:27:12,923 --> 00:27:17,258
AI한테 컴퓨터 안에 자기 자리를
마련해줘서 거기 집중할 수 있게

481
00:27:17,258 --> 00:27:21,833
해주거든요, 제 어수선한 인터넷 탭들
중 하나로 묻히는 게 아니라요.

482
00:27:21,833 --> 00:27:25,903
그리고 Claude Code는 그걸
즐거운 경험으로 만드는 걸 참

483
00:27:25,903 --> 00:27:30,200
잘한다고 봐요. 내 AI가 그걸 통해
세상 밖으로 나가는 인터페이스가

484
00:27:30,200 --> 00:27:33,931
된다는 게, 제품 디자인으로서
되게 매력적으로 느껴지거든요.

485
00:27:33,931 --> 00:27:36,962
Claude Code랑
Codex 사이엔 뭔가 딱 집어

486
00:27:36,962 --> 00:27:39,993
말하기 힘든 차이가 있어요.
그냥 따뜻하고 몰입감 있게

487
00:27:39,993 --> 00:27:43,023
느껴진달까요. Codex도
오픈AI답게 실력은 못지않을

488
00:27:43,023 --> 00:27:45,953
때가 많은데, 어딘가 좀
다듬어지지 않은 느낌이에요.

489
00:27:45,953 --> 00:27:49,904
반면 Claude Code는
처음부터 뭔가를 만드는 걸 재미있게

490
00:27:49,904 --> 00:27:53,403
만들어줘요. 뭔가는 만들어낼
거라고 그냥 믿게 되거든요.

491
00:27:53,403 --> 00:27:57,512
당연히 이건 웹사이트나
툴링을 새로 손보는 작업엔

492
00:27:57,512 --> 00:28:01,926
좋고, 저도 그런 용도로
쓰거나 데이터 분석에 써요.

493
00:28:01,926 --> 00:28:05,037
제 블로그에서는 허깅페이스를 스크래핑해서
모든 데이터셋이랑 모델의 다운로드

494
00:28:05,037 --> 00:28:07,921
수치를 시간별로 계속 쌓아두고 있어요.
그래서 그 데이터가 있거든요.

495
00:28:07,921 --> 00:28:09,791
그런데 Claude가
그냥 "네, 그 데이터

496
00:28:09,791 --> 00:28:11,505
활용했어요, 문제없어요" 이러는 거예요.

497
00:28:11,505 --> 00:28:13,872
저는 속으로 '저거 하려면
며칠은 걸렸을 텐데' 싶었죠.

498
00:28:13,872 --> 00:28:15,832
그러고 나서 저는 상황 판단은
할 수 있으니까, '아,

499
00:28:15,832 --> 00:28:17,792
이 추세들 딱 봐도 말이
되네' 하고 알아채는 거고요.

500
00:28:17,792 --> 00:28:18,862
확인이야 할 수 있으니까요.

501
00:28:18,862 --> 00:28:22,511
근데 그게 참 훌륭한 인터페이스인
게, 중간에서 대신 해주는

502
00:28:22,511 --> 00:28:26,381
존재가 있으니까 여러 웹 프로젝트를
유지보수하려면 해야 했을 그

503
00:28:26,381 --> 00:28:30,141
지긋지긋한 로우레벨 작업을 안
해도 되거든요. - 자, 그럼.

504
00:28:30,141 --> 00:28:34,222
방금 클로즈드 웨이트 모델들
얘기를 한참 했잖아요.

505
00:28:34,222 --> 00:28:36,816
이제 오픈 쪽 얘기를 해볼까요.

506
00:28:36,816 --> 00:28:39,962
오픈 LLM 모델 지형이
어떤지 얘기해 주세요.

507
00:28:39,962 --> 00:28:41,314
어떤 게 흥미로운가요?

508
00:28:41,314 --> 00:28:43,194
어떤 게 눈에 띄고, 왜 그런가요?

509
00:28:43,194 --> 00:28:46,842
DeepSeek R1은 이미
얘기했죠. - 저희끼리 머릿속에서

510
00:28:46,842 --> 00:28:50,596
바로 몇 개나 댈 수 있는지
볼까요? - 네, 노트 안 보고요.

511
00:28:50,596 --> 00:28:53,922
- 딥시크, Kimi,
MiniMax, Z.ai, 문샷.

512
00:28:53,922 --> 00:28:58,954
저희 지금 중국 것만 대고 있네요.
- 미스트랄 AI도 넣고,

513
00:28:58,954 --> 00:29:04,727
Gemma도... gpt-oss도요,
오픈AI의 오픈 웨이트 모델이요.

514
00:29:04,727 --> 00:29:08,958
아 참, 엔비디아도 되게 괜찮은
거 냈죠, Nemotron 3.

515
00:29:08,958 --> 00:29:11,661
특히 연말에 나온 게 많아요.

516
00:29:11,661 --> 00:29:13,187
Qwen이 아마 그거였을
텐데— - 아, 맞다.

517
00:29:13,187 --> 00:29:15,492
저도 딱 그 이름,
Qwen이 먼저 떠올랐어요.

518
00:29:15,492 --> 00:29:18,360
중국 모델도 최소 10개, 서구
모델도 최소 10개는 댈 수 있을걸요.

519
00:29:18,360 --> 00:29:23,882
제 생각엔 오픈AI가 GPT-2
이후로 처음 오픈모델을 낸 거였어요.

520
00:29:23,882 --> 00:29:26,812
오픈AI의 오픈모델 출시에
대해 글을 쓰고 있었는데,

521
00:29:26,812 --> 00:29:29,945
사람들이 'GPT-2도 잊지
말라'고 하시더라고요. 그게

522
00:29:29,945 --> 00:29:32,774
진짜 웃겼던 게, 그때랑은
완전히 다른 시대잖아요.

523
00:29:32,774 --> 00:29:36,529
그런데 gpt-oss-120b는
사실 꽤 강력한 모델이고,

524
00:29:36,529 --> 00:29:39,698
다른 모델들이 잘 못 하는
것들을 해내기도 해요.

525
00:29:39,698 --> 00:29:43,408
좀 이기적으로 말하자면,
완전히 오픈된 모델을 가진

526
00:29:43,408 --> 00:29:46,720
미국·유럽의 서구 회사들을
좀 홍보해 볼게요.

527
00:29:46,720 --> 00:29:49,070
저는 앨런 AI 연구소(Ai2)에서
일하는데, 거기서

528
00:29:49,070 --> 00:29:51,906
OLMo를 만들어 왔어요. 데이터랑
코드까지 공개하는 모델이죠.

529
00:29:51,906 --> 00:29:54,788
그리고 이제는 다른 사람들도
이 모델들을 학습할 수

530
00:29:54,788 --> 00:29:58,082
있도록 전부 공개하려는 곳들
사이에 진짜 경쟁이 붙었어요.

531
00:29:58,082 --> 00:30:01,387
Institute for
Foundation Models,

532
00:30:01,387 --> 00:30:05,106
그러니까 LLM360도 있는데,
여러 종류의 K2 모델을 내놨죠.

533
00:30:05,106 --> 00:30:08,352
Apertus는 스위스
연구 컨소시엄이고요.

534
00:30:08,352 --> 00:30:12,095
허깅페이스에는 SmolLM이
있는데, 인기가 아주 많아요.

535
00:30:12,095 --> 00:30:15,308
그리고 엔비디아의 Nemotron
3도 데이터를 공개하기 시작했고요.

536
00:30:15,308 --> 00:30:18,996
그리고 스탠퍼드의 Marin
커뮤니티 프로젝트도 있는데, 누구나

537
00:30:18,996 --> 00:30:23,104
GitHub 이슈를 열어서 새
아이디어를 구현하고 그걸 안정된 언어모델

538
00:30:23,104 --> 00:30:26,792
스택에서 돌려볼 수 있게 하는
파이프라인을 만들어가는 곳이에요.

539
00:30:26,792 --> 00:30:29,391
이 분야가... 2024년엔
그 목록이 훨씬

540
00:30:29,391 --> 00:30:32,640
짧았어요. 그때는 거의 Ai2
하나뿐이었던 것 같고요.

541
00:30:32,640 --> 00:30:36,398
그래서 더 많은 사람이 참여해서
언어모델을 이해하게 되는 건

542
00:30:36,398 --> 00:30:40,269
정말 좋은 일인데, 이건 중국
쪽엔 딱히 대응되는 게 없어요.

543
00:30:40,269 --> 00:30:44,339
말 나온 김에 말씀드리면, 중국
오픈 언어모델들은 대체로 훨씬

544
00:30:44,339 --> 00:30:48,410
크고, 그래서 MoE로서 최고
성능도 더 높아요. 반면 저희가

545
00:30:48,410 --> 00:30:52,360
정말 좋아하는 모델들, 그러니까
Gemma나 Nemotron

546
00:30:52,360 --> 00:30:56,430
같은 건 미국 쪽에서 나온 좀
더 작은 모델인 경우가 많았죠.

547
00:30:56,430 --> 00:30:59,902
근데 이게 미국이랑 유럽에서
바뀌기 시작하고 있어요.

548
00:30:59,902 --> 00:31:02,807
12월에 Mistral
Large 3가 나왔는데,

549
00:31:02,807 --> 00:31:06,142
딥시크 아키텍처랑 아주 비슷한
거대 MoE 모델이었어요.

550
00:31:06,142 --> 00:31:10,855
그리고 RCAI라는 스타트업도
있고, Nemotron이랑

551
00:31:10,855 --> 00:31:15,721
엔비디아 둘 다 1천억 파라미터보다
훨씬 큰 MoE 모델을

552
00:31:15,721 --> 00:31:20,738
예고했어요. 이번 2026년
1분기쯤 4천억 파라미터대로요.

553
00:31:20,738 --> 00:31:24,842
그래서 이런 균형이 올해는 좀
바뀔 것 같아요, 사람들이 중국

554
00:31:24,842 --> 00:31:28,946
모델이랑 미국 오픈모델을 각각
어디에 쓰는지 하는 측면에서요.

555
00:31:28,946 --> 00:31:32,930
저도 개인적으로 정말 기대되는
지점이고요. 그나저나, 이렇게

556
00:31:32,930 --> 00:31:36,672
많은 이름을 다 대실 수
있다는 것부터 정말 대단하네요.

557
00:31:36,672 --> 00:31:39,734
근데 Llama 얘기는 진짜
안 하신 거예요? - 아니요.

558
00:31:39,734 --> 00:31:42,318
- 왠지 그럴 것
같더라니... - 안됐네요. -

559
00:31:42,318 --> 00:31:45,284
일부러 뺀 건 아니었어요.
- Llama도 참 안됐네요.

560
00:31:45,284 --> 00:31:45,761
네.

561
00:31:45,761 --> 00:31:48,190
그럼 특별히 눈에 띄는
모델들 좀 말씀해 주시겠어요?

562
00:31:48,190 --> 00:31:52,171
Qwen 3는 확실히 눈에 띈다고
하셨죠. 저라면 이렇게 말씀드릴 것

563
00:31:52,171 --> 00:31:56,047
같아요, 올해는 거의 딥시크 V3랑
R1으로 시작된 한 해였다고요.

564
00:31:56,047 --> 00:31:59,144
그리고 반대쪽 끝에는, 12월에 나온
DeepSeek-V3.2가 있고요.

565
00:31:59,144 --> 00:32:02,322
제가 그 모델들에서 좋아하는
점은, 항상 다른 데는

566
00:32:02,322 --> 00:32:05,387
없는 흥미로운 아키텍처
변형이 들어있다는 거예요.

567
00:32:05,387 --> 00:32:09,873
하지만 그 외에 익숙하면서도 성능이
정말 좋은 걸 원한다면, Qwen

568
00:32:09,873 --> 00:32:13,886
3, 그리고 네이선이 말했듯이
gpt-oss-120b도 있죠.

569
00:32:13,886 --> 00:32:17,589
그리고 제가 흥미롭다고 생각하는
건, 이 모델이 도구 사용을 염두에

570
00:32:17,589 --> 00:32:21,293
두고 제대로 학습된 최초의 퍼블릭,
그러니까 오픈 웨이트 모델이라는

571
00:32:21,293 --> 00:32:24,896
점이에요. 저는 이게 정말 일종의
패러다임 전환이라고 생각하는데,

572
00:32:24,896 --> 00:32:28,099
생태계가 아직 그걸 받아들일
준비가 안 되어 있었던 거죠.

573
00:32:28,099 --> 00:32:30,516
여기서 도구 사용이라는
건, LLM이 웹 검색을

574
00:32:30,516 --> 00:32:33,304
하거나 파이썬 인터프리터를
호출할 수 있다는 뜻이에요.

575
00:32:33,304 --> 00:32:35,272
그리고 저는 이게 정말
돋보이는 지점이라고

576
00:32:35,272 --> 00:32:37,241
생각해요. 엄청난 걸
열어주는 요소니까요.

577
00:32:37,241 --> 00:32:40,432
왜냐하면 LLM에 대해
가장 흔히 나오는 불만 중

578
00:32:40,432 --> 00:32:43,624
하나가, 예를 들면
할루시네이션이잖아요, 그렇죠?

579
00:32:43,624 --> 00:32:47,257
그래서 제 생각엔, 할루시네이션을
해결하는 가장 좋은 방법 중

580
00:32:47,257 --> 00:32:51,104
하나는 정보를 항상 기억해내려
하거나 지어내려 하지 않는 거예요.

581
00:32:51,104 --> 00:32:54,524
수학이라면, 계산기 앱이나
파이썬을 쓰면 되지 않을까요?

582
00:32:54,524 --> 00:32:58,632
제가 LLM한테 '1998년 축구
월드컵 우승국이 어디야?'라고

583
00:32:58,632 --> 00:33:02,975
물으면, 그냥 기억해내려 하는 대신
검색을 하러 갈 수 있는 거죠.

584
00:33:02,975 --> 00:33:06,024
제 생각엔 대부분은 아직
구글 검색인 것 같아요.

585
00:33:06,024 --> 00:33:08,873
그래서 ChatGPT와
gpt-oss-120b라면, 구글에

586
00:33:08,873 --> 00:33:11,544
툴 콜을 해서 아마 FIFA
웹사이트를 찾아낼 거예요.

587
00:33:11,544 --> 00:33:13,141
찾아보니까, 아, 프랑스였네요.

588
00:33:13,141 --> 00:33:15,244
그렇게 하면 그냥 기억에만 의존하는 대신

589
00:33:15,244 --> 00:33:17,538
그 정보를 안정적으로
얻을 수 있는 거예요.

590
00:33:17,538 --> 00:33:20,931
그래서 저는 이게 엄청난 걸 열어주는
요소라고 생각하는데, 지금은

591
00:33:20,931 --> 00:33:24,795
오픈소스, 오픈 웨이트 생태계에서 아직
제대로 활용되지 못하고 있는 거죠.

592
00:33:24,795 --> 00:33:27,187
많은 사람들이 툴 콜 모드를 안 쓰는데,

593
00:33:27,187 --> 00:33:29,796
제 생각엔 우선은 신뢰의
문제인 것 같아요.

594
00:33:29,796 --> 00:33:32,096
제 컴퓨터에서 이걸 돌리고
싶지는 않잖아요, 도구에 접근

595
00:33:32,096 --> 00:33:34,544
권한이 있으면 하드 드라이브를
지워버릴 수도 있고 하니까요.

596
00:33:34,544 --> 00:33:37,134
그래서 아마 그걸
컨테이너화하고 싶어지는 거죠.

597
00:33:37,134 --> 00:33:41,468
하지만 저는 앞으로 몇 년 동안
이런 능력을 갖추는 게 정말

598
00:33:41,468 --> 00:33:45,801
중요한 단계라고 봐요. - 자,
몇 가지만 짚고 넘어갈게요.

599
00:33:45,801 --> 00:33:49,250
우선, 도구 사용이 무슨
뜻인지 정의해주셔서 감사해요.

600
00:33:49,250 --> 00:33:51,675
저희가 얘기하는 개념들에
대해서 전반적으로

601
00:33:51,675 --> 00:33:53,573
그렇게 하는 게 좋은 것 같아요.

602
00:33:53,573 --> 00:33:57,484
MoE처럼 이미 어느 정도
자리 잡은 개념이라도 말이죠.

603
00:33:57,484 --> 00:34:00,606
'그게 전문가 혼합, 즉
MoE를 뜻한다'라고 말해줘야

604
00:34:00,606 --> 00:34:03,729
하고, 그게 실제로 뭘
의미하는지, 어떻게 활용되는지,

605
00:34:03,729 --> 00:34:06,955
어떤 변형들이 있는지 사람들한테
감을 잡아줘야 하잖아요.

606
00:34:06,955 --> 00:34:11,500
그래서 오픈 모델이 이렇게 폭발적으로
늘어난다는 게 무슨 의미일까요?

607
00:34:11,500 --> 00:34:14,315
어떻게 보세요? - 오픈
모델을 공개한다면,

608
00:34:14,315 --> 00:34:17,364
사람들이 그걸 써주길
바라는 게 가장 우선이죠.

609
00:34:17,364 --> 00:34:20,682
그리고 그다음으로 투명성이나
신뢰 같은 게 따라오는 거고요.

610
00:34:20,682 --> 00:34:24,597
제 생각엔 중국을 보면, 가장 큰
이유는 전 세계 사람들이 이 모델들을

611
00:34:24,597 --> 00:34:28,412
써주길 바라는 거고, 그리고 많은
사람들은 그러지 않을 거라고 봐요.

612
00:34:28,412 --> 00:34:31,105
미국 밖을 보면 소프트웨어에는
돈을 안 내려는 사람들이 많지만,

613
00:34:31,105 --> 00:34:34,029
모델을 올려서 돌릴 수 있는 컴퓨팅
자원은 갖고 있는 경우가 많아요.

614
00:34:34,029 --> 00:34:37,540
클라우드로 보내고 싶지 않은
데이터도 있을 수 있다고 봐요.

615
00:34:37,540 --> 00:34:41,460
그러니까 가장 중요한 건,
모델에 접근하지 않으면 AI를,

616
00:34:41,460 --> 00:34:44,768
여러분의 AI를 쓸 수
없었을 사람들이 그걸 쓰게

617
00:34:44,768 --> 00:34:48,442
만드는 거예요. - 짚고
넘어가자면, 우리가 지금 중국

618
00:34:48,442 --> 00:34:51,995
모델들이랑 오픈 웨이트 모델
얘기를 하고 있었잖아요.

619
00:34:51,995 --> 00:34:55,139
이런 모델들은 대개
로컬에서 돌아가거든요.

620
00:34:55,139 --> 00:34:59,986
그러니까 데이터를 중국이나,
실리콘밸리든 어디든 그 모델을 만든

621
00:34:59,986 --> 00:35:04,971
쪽으로 보내는 게 아니에요. -
미국의 많은 스타트업들이 중국에서

622
00:35:04,971 --> 00:35:09,679
나온 이 모델들을 호스팅해서
판매하는 걸로 돈을 벌고 있어요.

623
00:35:09,679 --> 00:35:12,440
이걸 '토큰 판매'라고 부르는데, 누군가

624
00:35:12,440 --> 00:35:15,704
모델을 호출해서 어떤
작업을 시키는 걸 말해요.

625
00:35:15,704 --> 00:35:18,612
제 생각엔 또 다른 이유는 오픈AI
같은 미국 기업들 때문이에요.

626
00:35:18,612 --> 00:35:20,415
이 회사들은 GPU가 너무 부족하거든요.

627
00:35:20,415 --> 00:35:22,274
GPU 한계치까지 다 쓰고 있어요.

628
00:35:22,274 --> 00:35:26,203
뭘 출시할 때마다 늘 "우리 GPU가
힘들어요"라는 얘기를 해요.

629
00:35:26,203 --> 00:35:28,957
그리고 gpt-oss-120b
출시 세션 중이었나,

630
00:35:28,957 --> 00:35:31,416
샘 올트먼이 이렇게 말한
적이 있어요. "이걸

631
00:35:31,416 --> 00:35:34,072
공개하는 건 여러분의
GPU를 쓸 수 있어서예요.

632
00:35:34,072 --> 00:35:38,057
우리 GPU를 안 써도 되고,
그러면서도 오픈AI는 여전히 배포 효과를

633
00:35:38,057 --> 00:35:41,736
얻을 수 있으니까요." 이것도 꽤
현실적인 이야기인 게, 오픈AI

634
00:35:41,736 --> 00:35:45,517
입장에선 비용이 전혀 안 들거든요.
- 그리고 사용자 쪽에서 보면,

635
00:35:45,517 --> 00:35:49,604
ChatGPT를 쓰듯이 그냥 로컬에서
모델을 쓰는 사람들도 있다고 봐요.

636
00:35:49,604 --> 00:35:52,497
근데 기업 입장에서도 이런 모델들이
있다는 건 엄청난 기회라고

637
00:35:52,497 --> 00:35:55,389
봐요. 커스터마이징도 할 수
있고, 직접 학습시킬 수도 있고,

638
00:35:55,389 --> 00:35:58,282
포스트트레이닝을 추가하거나 데이터를
더 넣을 수도 있으니까요.

639
00:35:58,282 --> 00:36:00,355
예를 들면 법률이나 의료 모델처럼,

640
00:36:00,355 --> 00:36:02,647
원하는 분야에 특화시킬 수 있는 거죠.

641
00:36:02,647 --> 00:36:06,822
그리고 아까 Llama
얘기하셨는데, 중국 오픈 웨이트

642
00:36:06,822 --> 00:36:11,137
모델들의 매력은 라이선스가
훨씬 더 친화적이라는 거예요.

643
00:36:11,137 --> 00:36:14,239
그냥 제한 없는 오픈소스
라이선스인 것 같아요.

644
00:36:14,239 --> 00:36:18,057
Llama나 Gemma 같은
걸 쓰면 조건이 좀 붙거든요.

645
00:36:18,057 --> 00:36:21,088
사용자 수에 상한선이 있는 것 같아요.

646
00:36:21,088 --> 00:36:24,829
그리고 몇백만 명인지 정확히는
모르겠지만, 그 이상

647
00:36:24,829 --> 00:36:28,704
넘어가면 메타 같은 곳에
재무 상황을 보고해야 해요.

648
00:36:28,704 --> 00:36:32,461
무료 모델이긴 해도
조건이 붙어 있는 거고,

649
00:36:32,461 --> 00:36:36,531
사람들은 조건 없는 걸
더 좋아하는 것 같아요.

650
00:36:36,531 --> 00:36:40,153
그래서 성능 말고도, 중국 오픈
웨이트 모델들이 이렇게 인기

651
00:36:40,153 --> 00:36:43,884
있는 이유 중 하나가 이거라고
봐요. 그냥 쓸 수 있으니까요.

652
00:36:43,884 --> 00:36:46,580
그런 의미에서 딱히 함정이
없는 거죠. - 그 부분에서는

653
00:36:46,580 --> 00:36:49,275
생태계가 나아지긴 했는데,
대부분 이런 새로운 제공자들이

654
00:36:49,275 --> 00:36:51,797
이렇게 오픈된 라이선스를
내놓은 데 따라온 결과예요.

655
00:36:51,797 --> 00:36:53,844
아까 퍼플렉시티 켜서 "Kimi
K2 Thinking,

656
00:36:53,844 --> 00:36:55,481
미국에서 호스팅"이라고
하신 거 재밌었어요.

657
00:36:55,481 --> 00:36:56,811
그게 딱 정확히...

658
00:36:56,811 --> 00:36:59,466
이런 건 처음 봤는데, 지금
우리가 얘기하던, 사람들이

659
00:36:59,466 --> 00:37:01,944
이 부분에 민감하다는 걸
정확히 보여주는 예시예요.

660
00:37:01,944 --> 00:37:03,654
그런데 Kimi K2 Thinking이랑

661
00:37:03,654 --> 00:37:05,519
Kimi K2는 아주
인기 있는 모델이에요.

662
00:37:05,519 --> 00:37:07,748
사람들 말로는 그게 창작
글쓰기도 아주 좋고,

663
00:37:07,748 --> 00:37:09,976
소프트웨어 쪽 작업도
꽤 잘한다고 하더라고요.

664
00:37:09,976 --> 00:37:14,492
결국 사람들이 좋아하는 건 이런
모델마다의 자잘한 특징들이더라고요.

665
00:37:14,492 --> 00:37:18,885
- 이 모델들이 그동안 탐구해온
것 중에 특별히 흥미롭다고 느끼신

666
00:37:18,885 --> 00:37:23,523
아이디어가 있을까요? - 아마 시간
순서대로 가보면 좋을 것 같네요.

667
00:37:23,523 --> 00:37:25,297
음, 당연히 딥시크가 있었죠.

668
00:37:25,297 --> 00:37:27,384
2025년만 놓고
보면, 2025년 1월에

669
00:37:27,384 --> 00:37:29,290
나온 DeepSeek R1이 있었고요.

670
00:37:29,290 --> 00:37:31,946
그런데 이건 사실 그 전
해인 2024년 12월에

671
00:37:31,946 --> 00:37:34,701
나온 DeepSeek V3를
기반으로 한 거였어요.

672
00:37:34,701 --> 00:37:37,752
아키텍처 쪽에서는 여러 가지가 있었죠.

673
00:37:37,752 --> 00:37:39,137
흥미로운 건...

674
00:37:39,137 --> 00:37:42,429
저도 밑바닥부터 만드는 코딩
프로젝트에서 하는 게 바로 그거거든요.

675
00:37:42,429 --> 00:37:45,040
GPT-2에서 시작해서, 거기에 이것저것

676
00:37:45,040 --> 00:37:47,650
덧붙여가면 다른 모델로 만들 수 있어요.

677
00:37:47,650 --> 00:37:51,007
그러니까 결국 다 어느
정도 같은 계보인 셈이죠.

678
00:37:51,007 --> 00:37:53,740
둘 사이가 아주 가까운 관계예요.

679
00:37:53,740 --> 00:37:57,801
근데 딱 떠오르는 걸로 보면,
딥시크에서 독특했던 건 MoE였어요.

680
00:37:57,801 --> 00:38:00,840
그렇다고 딥시크가 MoE를
발명했다는 건 아니고요 —

681
00:38:00,840 --> 00:38:04,298
MoE가 뭘 뜻하는지는 나중에
좀 더 얘기해볼 텐데 — 일단

682
00:38:04,298 --> 00:38:07,547
자세히 들어가기 전에 목록부터
먼저 나열해보자는 거예요.

683
00:38:07,547 --> 00:38:12,451
MoE도 있었고, 거기에
어텐션 메커니즘을 살짝 비튼

684
00:38:12,451 --> 00:38:17,187
멀티헤드 잠재 어텐션(MLA)도
있었는데, 이게 이

685
00:38:17,187 --> 00:38:22,091
오픈 웨이트 모델들 사이의
주된 차별점이었다고 봐요.

686
00:38:22,091 --> 00:38:26,081
인퍼런스나 KV 캐시 크기를 놓고
이런저런 조정을 해보려는 거였는데...

687
00:38:26,081 --> 00:38:30,330
KV 캐시가 뭔지는 잠시 후에
정의해볼 텐데, 아무튼 롱 컨텍스트를

688
00:38:30,330 --> 00:38:34,579
좀 더 경제적으로 쓸 수 있도록
KV 캐시 크기를 줄이려는 거예요.

689
00:38:34,579 --> 00:38:36,254
그럼 우리가 할 수 있는
조정에는 어떤 게 있을까요?

690
00:38:36,254 --> 00:38:38,701
그리고 대부분은 어텐션
메커니즘에 초점을 맞췄어요.

691
00:38:38,701 --> 00:38:41,991
딥시크에는 MLA가 있고요.

692
00:38:41,991 --> 00:38:43,361
그룹 쿼리 어텐션(GQA)도 있는데,

693
00:38:43,361 --> 00:38:44,799
이건 지금도 아주 널리 쓰이고 있어요.

694
00:38:44,799 --> 00:38:46,412
이건 이 모델들 중 어디서
발명한 게 아니에요.

695
00:38:46,412 --> 00:38:47,763
몇 년 전으로 거슬러 올라가는 거예요.

696
00:38:47,763 --> 00:38:50,132
그래도 그게 또 다른
선택지가 되는 거죠.

697
00:38:50,132 --> 00:38:52,237
슬라이딩 윈도 어텐션도
있는데, 제 기억이

698
00:38:52,237 --> 00:38:54,433
맞다면 OLMo 3가
그걸 쓰는 것 같아요.

699
00:38:54,433 --> 00:38:58,323
그러니까 이런 여러 조정들이
모델들을 서로 다르게 만드는 거죠.

700
00:38:58,323 --> 00:39:01,036
그것 말고는, 제가
예전에 글 하나에서 그

701
00:39:01,036 --> 00:39:03,749
모델들을 전부 모아
비교해본 적이 있어요.

702
00:39:03,749 --> 00:39:05,773
놀라울 정도로 서로 비슷해요.

703
00:39:05,773 --> 00:39:08,684
그냥 가운데에 트랜스포머 블록을 몇 번

704
00:39:08,684 --> 00:39:11,595
반복하느냐 하는 숫자만 다른 정도예요.

705
00:39:11,595 --> 00:39:14,716
그리고, 뭐, 사람들이 조정하는
자잘한 손잡이들 정도고요.

706
00:39:14,716 --> 00:39:17,928
근데 정말 좋은 건 이게 어떻게
하든 다 작동한다는 거예요.

707
00:39:17,928 --> 00:39:19,262
이것저것 바꿔볼 수 있어요.

708
00:39:19,262 --> 00:39:23,121
정규화 층 위치를 옮겨서 성능을
좀 끌어올릴 수도 있고요.

709
00:39:23,121 --> 00:39:26,483
그리고 OLMo는 어블레이션
실험을 늘 정말 잘하는데요,

710
00:39:26,483 --> 00:39:30,170
뭔가를 옮기면 모델에 실제로 어떤
영향이 있는지 보여주거든요.

711
00:39:30,170 --> 00:39:32,359
어블레이션 실험 — 그게 더
좋아지는지 나빠지는지 보는 거죠?

712
00:39:32,359 --> 00:39:34,373
근데 트랜스포머를 구현하는
방법이, 말하자면, 정말

713
00:39:34,373 --> 00:39:36,388
많아요 — 그러면서도 다
작동하게 만들 수 있고요.

714
00:39:36,388 --> 00:39:39,489
지금도 널리 쓰이는 큰 아이디어들은
전문가 혼합(MoE),

715
00:39:39,489 --> 00:39:41,911
멀티헤드 잠재
어텐션(MLA), 슬라이딩 윈도

716
00:39:41,911 --> 00:39:44,527
어텐션, 그룹 쿼리
어텐션(GQA) 같은 거예요.

717
00:39:44,527 --> 00:39:48,284
그리고 연말쯤에는, 인퍼런스에서
토큰을 예측할 때 어텐션

718
00:39:48,284 --> 00:39:52,648
메커니즘이 선형적으로 스케일링되게
만드는 쪽에 초점이 맞춰졌어요.

719
00:39:52,648 --> 00:39:55,534
그래서 예를 들면
Qwen2-VL이 있었는데,

720
00:39:55,534 --> 00:39:57,843
여기에 게이티드 델타넷을 추가했어요.

721
00:39:57,843 --> 00:40:00,525
이건 상태공간 모델(SSM)에서
어느 정도 영감을 받은

722
00:40:00,525 --> 00:40:03,208
건데요, 고정된 상태를 계속
갱신해 나가는 방식이에요.

723
00:40:03,208 --> 00:40:06,720
근데 이게 기본적으로 어텐션을
더 저렴하게 만들거나, 어텐션

724
00:40:06,720 --> 00:40:10,233
자체를 더 싼 연산으로 대체하는
거예요. - 여기서 잠깐 한

725
00:40:10,233 --> 00:40:13,745
발 물러나서 트랜스포머 아키텍처
전반을 얘기해보는 것도 좋을

726
00:40:13,745 --> 00:40:17,470
것 같아요. - 네, 그럼
GPT-2 아키텍처부터 시작해볼까요.

727
00:40:17,470 --> 00:40:19,618
「Attention Is All You

728
00:40:19,618 --> 00:40:21,971
Need」 논문에서
나온 트랜스포머입니다.

729
00:40:21,971 --> 00:40:25,301
「Attention Is All
You Need」 논문에는 인코더와

730
00:40:25,301 --> 00:40:28,720
디코더, 이렇게 두 부분으로 이루어진
트랜스포머 아키텍처가 나옵니다.

731
00:40:28,720 --> 00:40:32,660
그리고 GPT는 그중 디코더
부분에만 집중했습니다.

732
00:40:32,660 --> 00:40:35,292
이건 기본적으로 여전히 신경망이고, 그

733
00:40:35,292 --> 00:40:38,049
안에 이 어텐션 메커니즘이 들어있습니다.

734
00:40:38,049 --> 00:40:40,993
그리고 토큰을 한 번에
하나씩 예측합니다.

735
00:40:40,993 --> 00:40:42,896
임베딩 층을 통과시킵니다.

736
00:40:42,896 --> 00:40:44,277
트랜스포머 블록이 있습니다.

737
00:40:44,277 --> 00:40:48,095
트랜스포머 블록에는 어텐션
모듈과 완전연결 층이 있습니다.

738
00:40:48,095 --> 00:40:50,396
그리고 그 사이사이에
정규화 층도 좀 있습니다.

739
00:40:50,396 --> 00:40:51,880
하지만 이건 기본적으로 이 어텐션

740
00:40:51,880 --> 00:40:53,694
메커니즘이 들어간 신경망 층들인 겁니다.

741
00:40:53,694 --> 00:40:55,954
그래서 GPT-2에서
gpt-oss-120b로

742
00:40:55,954 --> 00:40:58,575
넘어오면, 예를 들어 전문가
혼합(Mixture of

743
00:40:58,575 --> 00:41:01,016
Experts, MoE)
레이어라는 게 있습니다.

744
00:41:01,016 --> 00:41:02,939
이게 gpt-oss-120b가
발명한 건 아니에요.

745
00:41:02,939 --> 00:41:04,192
나온 지 몇 년 된 겁니다.

746
00:41:04,192 --> 00:41:08,764
근데 본질적으로는 포워드
패스마다 연산을 더 쓰지

747
00:41:08,764 --> 00:41:13,336
않으면서 모델을 더 크게
만드는 변형 기법입니다.

748
00:41:13,336 --> 00:41:16,809
그래서 완전연결 층(fully
connected layer)이라는

749
00:41:16,809 --> 00:41:19,703
게 있는데, 혹시 청취자분들이
다층 퍼셉트론(MLP)에

750
00:41:19,703 --> 00:41:22,694
익숙하시다면, 트랜스포머 안에
있는 미니 다층 퍼셉트론,

751
00:41:22,694 --> 00:41:25,492
그러니까 완전연결 신경망
층이라고 생각하시면 됩니다.

752
00:41:25,492 --> 00:41:27,787
그리고 이게 완전연결이다 보니
연산 비용이 굉장히 큽니다.

753
00:41:27,787 --> 00:41:30,085
입력이 1,000개,
출력이 1,000개라고

754
00:41:30,085 --> 00:41:32,287
하면 연결이 100만
개나 되는 셈이에요.

755
00:41:32,287 --> 00:41:35,353
그래서 트랜스포머 안에서
비용이 굉장히 큰 부분입니다.

756
00:41:35,353 --> 00:41:37,757
그래서 아이디어는 이걸 좀 여러 개의

757
00:41:37,757 --> 00:41:40,402
피드포워드 네트워크로 확장하자는 거예요.

758
00:41:40,402 --> 00:41:43,576
그러니까 하나 대신, 예를 들어
256개를 둔다고 해보죠.

759
00:41:43,576 --> 00:41:46,154
근데 그러면 훨씬 비쌀
것 같잖아요, 256개나

760
00:41:46,154 --> 00:41:49,229
있으니까요. 근데 그걸 전부
동시에 쓰는 건 아니거든요.

761
00:41:49,229 --> 00:41:52,735
그래서 이제 라우터가 있어서
'이 입력 토큰을 보면 이

762
00:41:52,735 --> 00:41:56,709
완전연결 네트워크를 쓰는 게
유용하겠다'라고 정해주는 겁니다.

763
00:41:56,709 --> 00:41:59,018
그리고 이 맥락에서 그걸
전문가(expert)라고 부르는 거고요.

764
00:41:59,018 --> 00:42:01,852
그러니까 MoE는 전문가를
여러 개 둔다는 뜻입니다.

765
00:42:01,852 --> 00:42:04,825
그리고 입력이 무엇이냐에
따라서 다른 전문가를 쓰게

766
00:42:04,825 --> 00:42:08,010
되는데요, 예를 들어 수학
비중이 큰 입력이면, 영어를

767
00:42:08,010 --> 00:42:11,514
스페인어로 번역하는 입력과는
다른 전문가를 쓰게 되는 거죠.

768
00:42:11,514 --> 00:42:13,381
아마 다른 전문가들을
참고하게 될 거예요.

769
00:42:13,381 --> 00:42:16,136
근데 이게 딱 '이건 수학
전용, 이건 스페인어 전용

770
00:42:16,136 --> 00:42:19,272
전문가다'라고 잘라 말할 수
있을 만큼 명확하지는 않습니다.

771
00:42:19,272 --> 00:42:20,622
좀 더 애매한 편이에요.

772
00:42:20,622 --> 00:42:24,188
근데 핵심 아이디어는
네트워크에 지식을 더 많이 채워

773
00:42:24,188 --> 00:42:27,632
넣되, 그 지식을 항상 다
쓰지는 않는다는 겁니다.

774
00:42:27,632 --> 00:42:29,786
그러면 너무 낭비니까요.

775
00:42:29,786 --> 00:42:33,127
그래서 토큰을 생성하는 동안 좀
더 선별적으로 고르는 거예요.

776
00:42:33,127 --> 00:42:36,963
어떤 토큰이 어떤 전문가한테 갈지
정해주는 라우터가 있는 거고요.

777
00:42:36,963 --> 00:42:38,471
이게 복잡성을 더 키웁니다.

778
00:42:38,471 --> 00:42:39,734
학습시키기도 더 어렵고요.

779
00:42:39,734 --> 00:42:41,354
collapse(붕괴) 같은 것도

780
00:42:41,354 --> 00:42:43,335
그렇고, 잘못될 수 있는 부분이 많아요.

781
00:42:43,335 --> 00:42:44,663
그래서 제 생각엔, 그게
OLMo 3가 아직도

782
00:42:44,663 --> 00:42:46,044
덴스(dense)를 쓰는
이유인 것 같은데...

783
00:42:46,044 --> 00:42:48,422
OLMo 모델 중에는 전문가
혼합(MoE)을 쓰는 것도

784
00:42:48,422 --> 00:42:51,038
있지만, 덴스(dense)
모델도 있는데, 덴스라는 건...

785
00:42:51,038 --> 00:42:52,616
이것도 사실 용어(jargon)예요.

786
00:42:52,616 --> 00:42:55,629
덴스(조밀, dense)와 스파스(희소,
sparse)의 구분이 있어요.

787
00:42:55,629 --> 00:42:58,402
전문가 혼합(MoE)은
스파스로 분류돼요. 전문가가

788
00:42:58,402 --> 00:43:00,977
아무리 많아도 그중 일부만
활성화되기 때문이죠.

789
00:43:00,977 --> 00:43:02,058
그래서 그걸 스파스라고 부르는 거예요.

790
00:43:02,058 --> 00:43:05,343
그리고 덴스는 그 반대인데,
완전연결 층이 하나뿐이고

791
00:43:05,343 --> 00:43:08,401
그게 항상 쓰이는 거예요.
그럼 여기서 KV 캐시

792
00:43:08,401 --> 00:43:11,232
얘기를 좀 해보기에도
좋은 지점인 것 같네요.

793
00:43:11,232 --> 00:43:17,157
근데 사실 그 전에, 좀 더 크게
봐서 근본적으로, GPT-2부터

794
00:43:17,157 --> 00:43:22,259
지금까지 새로운 아이디어가
실제로 몇 개나 구현됐을까요?

795
00:43:22,259 --> 00:43:24,828
그러니까 이 아키텍처들이 실제로 얼마나

796
00:43:24,828 --> 00:43:27,398
다른 걸까요? MoE를 예로 들어보죠.

797
00:43:27,398 --> 00:43:30,050
gpt-oss-120b의
어텐션 메커니즘이라면,

798
00:43:30,050 --> 00:43:32,192
그룹 쿼리 어텐션(GQA)이 되겠네요.

799
00:43:32,192 --> 00:43:35,519
그러니까 멀티헤드 어텐션에서 그룹 쿼리
어텐션으로 살짝 손질한 정도예요.

800
00:43:35,519 --> 00:43:36,746
그것도 마찬가지고요...

801
00:43:36,746 --> 00:43:40,305
LayerNorm을
RMSNorm으로 바꾼 걸로 아는데,

802
00:43:40,305 --> 00:43:43,520
그냥 정규화 방식이 다른
거지 큰 변화는 아니에요.

803
00:43:43,520 --> 00:43:44,943
그냥 소소한 손질이죠.

804
00:43:44,943 --> 00:43:48,440
비선형 활성화 함수도—
딥러닝에 익숙하신 분들이면

805
00:43:48,440 --> 00:43:52,714
아시겠지만, 시그모이드를
ReLU로 바꾸는 정도의 변화예요.

806
00:43:52,714 --> 00:43:55,009
네트워크를 근본적으로
바꾸는 건 아니에요.

807
00:43:55,009 --> 00:43:57,117
그냥 자잘한 손질이에요.

808
00:43:57,117 --> 00:43:59,484
제 생각엔 그 정도가 다인 것 같아요.

809
00:43:59,484 --> 00:44:01,844
본질적으로 그렇게까지 다르진 않아요.

810
00:44:01,844 --> 00:44:04,583
여전히 같은 아키텍처예요.

811
00:44:04,583 --> 00:44:08,435
그러니까 이런 변화들만 더하면
하나에서 다른 쪽으로 넘어갈 수

812
00:44:08,435 --> 00:44:12,514
있는 거예요. 본질적으로는 여전히
같은 아키텍처인 거죠. 맞아요.

813
00:44:12,514 --> 00:44:14,736
예를 들어, 아까 제
책 얘기를 하셨었잖아요.

814
00:44:14,736 --> 00:44:18,278
책에 나오는 건 GPT-2
모델인데, 간단하고 아주 작아서

815
00:44:18,278 --> 00:44:21,598
그래요. 파라미터가 약 1억
2,400만 개 정도고요.

816
00:44:21,598 --> 00:44:23,858
근데 보너스 자료에는 OLMo를
밑바닥부터 만드는 것도

817
00:44:23,858 --> 00:44:26,117
있고, Gemini 3를
밑바닥부터 만드는 것도 있고,

818
00:44:26,117 --> 00:44:28,452
그 밖에 다른 종류의 밑바닥부터
만드는 모델들도 있어요.

819
00:44:28,452 --> 00:44:31,727
그리고 항상 제 GPT-2 모델에서
시작해서 그냥 손을 보는— 아니,

820
00:44:31,727 --> 00:44:34,830
다른 구성 요소들을 더해가면서
하나에서 다른 쪽으로 가는 거예요.

821
00:44:34,830 --> 00:44:37,848
그러니까 어떻게 보면 일종의
계보 같은 거죠. 사람들을

822
00:44:37,848 --> 00:44:40,363
위해 그 직관을 좀
만들어 주실 수 있을까요?

823
00:44:40,363 --> 00:44:43,682
왜냐하면 좀 멀리서 보면, AI 업계에서

824
00:44:43,682 --> 00:44:46,700
정말 빠른 발전이 일어나고 있잖아요.

825
00:44:46,700 --> 00:44:51,240
그런데 동시에, 근본적으로
아키텍처 자체는 바뀌지 않았고요.

826
00:44:51,240 --> 00:44:58,140
그럼 그 발전의 소용돌이, 격변은
대체 어디서 일어나고 있는 걸까요?

827
00:44:58,140 --> 00:45:01,995
이득은 다 어디서 나오는
걸까요? - 음, 네트워크를

828
00:45:01,995 --> 00:45:05,452
개발하거나 학습시키는 데는
여러 단계가 있어요.

829
00:45:05,452 --> 00:45:06,929
먼저 사전학습이 있고요.

830
00:45:06,929 --> 00:45:09,986
예전 GPT-2 시절에는 그냥
사전학습 하나뿐이었는데,

831
00:45:09,986 --> 00:45:13,492
지금은 사전학습, 미드트레이닝(중간
학습), 포스트트레이닝이 다 있어요.

832
00:45:13,492 --> 00:45:18,019
제 생각엔 지금은 포스트트레이닝에
초점이 맞춰진 단계인 것 같아요.

833
00:45:18,019 --> 00:45:20,873
그래도 사전학습은 더 좋은, 더 고품질의

834
00:45:20,873 --> 00:45:24,247
데이터로 스케일을 키우면
여전히 이점이 있고요.

835
00:45:24,247 --> 00:45:28,754
하지만 GPT-2에는 없던
능력들이 새로 열렸어요. 예를

836
00:45:28,754 --> 00:45:32,971
들어 ChatGPT는 사실상
GPT-3 모델이거든요.

837
00:45:32,971 --> 00:45:36,460
그리고 GPT-3는 아키텍처
면에서는 GPT-2와 똑같아요.

838
00:45:36,460 --> 00:45:39,638
새로웠던 건 지도
파인튜닝(SFT)과 RLHF(인간

839
00:45:39,638 --> 00:45:42,248
피드백 기반 강화학습)를
추가한 거였어요.

840
00:45:42,248 --> 00:45:44,612
그러니까 아키텍처보다는
알고리즘 쪽에 더 가까운

841
00:45:44,612 --> 00:45:47,066
거죠. - 저는 시스템
쪽도 많이 바뀐다고 봐요.

842
00:45:47,066 --> 00:45:49,868
엔비디아 발표를 들어보면 '이제 FP8도

843
00:45:49,868 --> 00:45:53,180
되고, FP4도 됩니다'
같은 얘기를 하잖아요.

844
00:45:53,180 --> 00:45:55,824
실제로 일어나는 일은, 이런
연구소들이 더 많은 연산을

845
00:45:55,824 --> 00:45:58,643
하나의 모델에 어떻게 밀어
넣을지 알아내는 거예요. 그러면

846
00:45:58,643 --> 00:46:01,463
더 빠르게 학습시키고 더 많은
데이터를 넣을 수 있거든요.

847
00:46:01,463 --> 00:46:05,327
그렇게 하면 더 나은 설정도
더 빨리 찾아낼 수 있고요.

848
00:46:05,327 --> 00:46:09,315
그래서 대규모 학습을 할 때 보는 지표가

849
00:46:09,315 --> 00:46:12,759
사실상 GPU당 초당 토큰 수예요.

850
00:46:12,759 --> 00:46:16,578
FP8 학습을 켜면 1만에서
1만 3천으로 올라가는데,

851
00:46:16,578 --> 00:46:20,524
이건 모델 파라미터당 메모리를
더 적게 쓴다는 뜻이에요.

852
00:46:20,524 --> 00:46:24,498
정보를 덜 저장하니까 통신도
줄고, 학습도 더 빨라지고요.

853
00:46:24,498 --> 00:46:30,468
그러니까 이런 시스템적인
요소들이 데이터와 알고리즘

854
00:46:30,468 --> 00:46:35,799
실험을 훨씬 빠르게
만들어주는 밑바탕인 거죠.

855
00:46:35,799 --> 00:46:39,493
계속 반복되는 루프라 말로 설명하긴
어려운데, 아키텍처만 보면

856
00:46:39,493 --> 00:46:43,079
완전히 똑같은데도 이 모델들을
학습시키는 코드베이스는 완전히

857
00:46:43,079 --> 00:46:46,338
다르거든요. - 그러니까
아마... GPU야 다르지만,

858
00:46:46,338 --> 00:46:51,336
gpt-oss-20b를 그 시절 GPT-2보다
실제 소요 시간(wall-clock)

859
00:46:51,336 --> 00:46:54,813
기준으로 훨씬 빨리 학습시킬
수 있을 거예요. - 그렇죠.

860
00:46:54,813 --> 00:46:58,620
방금 말씀하신 것처럼, 예를
들어 전문가 혼합(MoE)에는

861
00:46:58,620 --> 00:47:01,357
처리량을 늘려주는
FP4 최적화가 있었죠.

862
00:47:01,357 --> 00:47:04,632
근데 제 생각엔, 속도
면에서는 맞는 말이지만

863
00:47:04,632 --> 00:47:07,907
그게 모델에 새로운
능력을 주는 건 아니에요.

864
00:47:07,907 --> 00:47:12,121
그냥 '모델 성능 저하
없이 연산을 얼마나

865
00:47:12,121 --> 00:47:16,151
거칠게 만들 수 있느냐'의 문제인 거죠.

866
00:47:16,151 --> 00:47:20,537
근데 제 생각엔... 트랜스포머의
대안들도 속속 나오고 있긴 해요.

867
00:47:20,537 --> 00:47:23,509
텍스트 디퓨전 모델,
완전히 다른 패러다임이죠.

868
00:47:23,509 --> 00:47:24,673
그리고 또 있는데요...

869
00:47:24,673 --> 00:47:28,009
그러니까, 텍스트 디퓨전
모델이 트랜스포머 아키텍처를

870
00:47:28,009 --> 00:47:31,115
쓸 수는 있지만, 자기회귀
트랜스포머는 아니에요.

871
00:47:31,115 --> 00:47:32,940
그리고 Mamba 모델도 있고요.

872
00:47:32,940 --> 00:47:34,670
그건 상태공간 모델(SSM)이에요.

873
00:47:34,670 --> 00:47:38,525
하지만 다들 트레이드오프가
있어서, 아직 자기회귀

874
00:47:38,525 --> 00:47:42,666
트랜스포머를 최첨단 모델
자리에서 밀어낸 건 없어요.

875
00:47:42,666 --> 00:47:47,897
최첨단을 노린다면 여전히 그쪽으로
가겠지만, 이제는 좀 더 저렴한

876
00:47:47,897 --> 00:47:52,693
쪽에 대안들이 있어요 — 어느
정도 타협을 하는 대안들이죠.

877
00:47:52,693 --> 00:47:55,008
이제 아키텍처가 하나만
있는 게 아니에요.

878
00:47:55,008 --> 00:47:57,386
작은 것들이 계속 나오고 있죠.

879
00:47:57,386 --> 00:48:02,248
하지만 최첨단이라고 하면 사실상 여전히
트랜스포머 아키텍처예요, 자기회귀

880
00:48:02,248 --> 00:48:07,110
방식이고, 본질적으로 GPT-2에서
파생된 거고요. - 제 생각엔 여기서

881
00:48:07,110 --> 00:48:11,607
큰 질문은, 사전학습 뒤에 있는
아키텍처 얘기를 꽤 많이 했잖아요.

882
00:48:11,607 --> 00:48:14,969
사전학습, 포스트트레이닝,
인퍼런스, 컨텍스트 크기, 데이터,

883
00:48:14,969 --> 00:48:18,430
합성 데이터 전반에 걸쳐 스케일링
법칙이 여전히 강하게 유지되고

884
00:48:18,430 --> 00:48:21,496
있을까요? - 저는 먼저
스케일링 법칙의 기술적 정의부터

885
00:48:21,496 --> 00:48:24,759
시작하고 싶은데요, 이게 이
모든 걸 관통하는 이야기거든요.

886
00:48:24,759 --> 00:48:27,350
스케일링 법칙은... 사이의
멱법칙 관계인데요...

887
00:48:27,350 --> 00:48:30,935
x축은 여러분이 스케일링하는
대상, 그러니까 연산량과 데이터의

888
00:48:30,935 --> 00:48:34,520
조합 정도로 생각하시면 되는데
이 둘은 어느 정도 비슷하고요,

889
00:48:34,520 --> 00:48:38,000
y축은 다음 토큰에 대한 홀드아웃
예측 정확도 같은 거예요.

890
00:48:38,000 --> 00:48:40,748
저희가 모델이 자기회귀적이라는
얘기를 했었잖아요.

891
00:48:40,748 --> 00:48:44,169
모델이 본 적 없는 텍스트
묶음을 따로 떼어두면,

892
00:48:44,169 --> 00:48:47,717
학습하면서 그게 얼마나
정확해지는지를 보는 거예요.

893
00:48:47,717 --> 00:48:50,849
그리고 스케일링 법칙이라는
개념은, 사람들이 그게

894
00:48:50,849 --> 00:48:54,446
굉장히 예측 가능한 관계라는
걸 알아내면서 나온 거고요.

895
00:48:54,446 --> 00:48:57,710
그리고 제 생각엔 그 기술적
용어는 지금도 계속 쓰이고

896
00:48:57,710 --> 00:49:01,082
있고, 그다음 질문은 사용자가
거기서 뭘 얻느냐는 거죠.

897
00:49:01,082 --> 00:49:04,227
그런데 스케일링에는 더 여러
종류가 있는데, 오픈AI의

898
00:49:04,227 --> 00:49:07,057
o1이 인퍼런스 스케일링을
도입한 걸로 유명하죠.

899
00:49:07,057 --> 00:49:10,636
그리고 덜 알려지긴 했지만,
강화학습 훈련도 스케일링할

900
00:49:10,636 --> 00:49:14,215
수 있어서 x축은 로그
스케일이고 y축 성능은 선형으로

901
00:49:14,215 --> 00:49:17,197
늘어나는 모습을 보여준
것도 있다고 생각해요.

902
00:49:17,197 --> 00:49:20,485
그래서 지금은 이 세 축이 있는
셈인데요, 전통적인 스케일링

903
00:49:20,485 --> 00:49:24,172
법칙은 사전학습을 두고 하는 얘기로,
모델이 얼마나 크고 데이터셋이

904
00:49:24,172 --> 00:49:27,460
얼마나 큰지에 관한 거고요.
그다음은 강화학습 스케일링인데,

905
00:49:27,460 --> 00:49:30,848
이 시행착오 학습을 얼마나 오래
할 수 있는지에 관한 거예요.

906
00:49:30,848 --> 00:49:34,053
이건 이따 더 자세히 정의할 거고요,
그다음이 인퍼런스 연산량인데, 이건

907
00:49:34,053 --> 00:49:37,177
그냥 모델이 특정 문제에 대해 토큰을
더 많이 생성하도록 두는 거예요.

908
00:49:37,177 --> 00:49:41,043
그래서 저는 어느 정도 긍정적으로
보는데요, 셋 다 실제로 여전히 작동은

909
00:49:41,043 --> 00:49:44,910
하고 있어요. 다만 손쉬운 성과는
대부분 이미 가져간 상태고, 특히 작년

910
00:49:44,910 --> 00:49:48,873
한 해 동안 검증 가능한 보상 기반
강화학습, 그러니까 RLVR과 인퍼런스

911
00:49:48,873 --> 00:49:52,546
스케일링에서 그랬죠. 예전에는 첫
토큰이 바로 나왔는데, 이 인퍼런스

912
00:49:52,546 --> 00:49:56,026
스케일링 때문에 요즘 모델을 쓸
때 느낌이 이렇게나 다른 거예요.

913
00:49:56,026 --> 00:50:00,036
그런데 이제는 몇 초, 몇 분,
심지어 몇 시간씩 사라졌다가,

914
00:50:00,036 --> 00:50:03,811
답의 첫 단어를 내놓기 전에
이 숨겨진 생각들을 생성해요.

915
00:50:03,811 --> 00:50:07,607
그리고 이게 다 이 인퍼런스
스케일링 얘기인데, 모델의 능력이

916
00:50:07,607 --> 00:50:11,068
바뀌는 방식에 있어서 정말
멋진 계단 함수 같은 거예요.

917
00:50:11,068 --> 00:50:14,280
그게 어느 정도 이 도구
사용이라는 걸 가능하게 했고, 아까

918
00:50:14,280 --> 00:50:17,491
얘기했던 훨씬 나아진 소프트웨어
엔지니어링도 가능하게 했죠.

919
00:50:17,491 --> 00:50:21,059
그리고 저희가 '가능해졌다'라고
말할 때, 이건 거의 전적으로

920
00:50:21,059 --> 00:50:24,731
이 RLVR, 그러니까 검증
가능한 보상 기반 강화학습 트레이닝

921
00:50:24,731 --> 00:50:28,089
덕분에 모델들이 이런 스킬을
아주 쉽게 익히게 된 거예요.

922
00:50:28,089 --> 00:50:31,192
그러니까 모델들이 그렇게 배우게
해준 거죠. 그래서 모델이

923
00:50:31,192 --> 00:50:34,294
토큰을 많이 생성하는 추론
과정을 보면, 자주 이런 식으로

924
00:50:34,294 --> 00:50:37,688
동작해요. 도구 하나를 써보고,
거기서 뭐가 돌아오는지 보고요.

925
00:50:37,688 --> 00:50:39,773
다른 API를 써보고,
뭐가 돌아오는지 보고,

926
00:50:39,773 --> 00:50:41,608
그걸로 문제가 풀리는지 확인하는 거예요.

927
00:50:41,608 --> 00:50:45,008
그래서 모델들은 트레이닝을 시키면
이런 걸 아주 빨리 배우게 돼요.

928
00:50:45,008 --> 00:50:48,742
그리고 결국 이게 일종의 일반적인
기반이 되는 거예요. 모델이

929
00:50:48,742 --> 00:50:52,586
여러분의 레포에서 CLI 명령어를
아주 능숙하게 쓰고, Git도

930
00:50:52,586 --> 00:50:56,320
대신 처리해주고, 파일을 옮기고
정리하고, 정보를 더 찾으려고

931
00:50:56,320 --> 00:51:00,164
검색까지 하는 거죠. 1년 전에
저희가 이 자리에 앉아 있었다면

932
00:51:00,164 --> 00:51:03,568
모델이 이런 걸 할 거라고는
정말 생각 못 했을 거예요.

933
00:51:03,568 --> 00:51:07,015
그러니까 이게 그냥 올해
일어난 일인데, AI를

934
00:51:07,015 --> 00:51:10,594
쓰는 방식에 대한 생각
자체를 완전히 바꿔놨어요.

935
00:51:10,594 --> 00:51:14,173
일종의 진화고, 정말 많은
가치를 열어주는 거죠.

936
00:51:14,173 --> 00:51:18,047
근데 그게, 그러니까—

937
00:51:18,047 --> 00:51:20,904
근데 이제, 이런 걸 계속 열어줄 다음

938
00:51:20,904 --> 00:51:23,488
방향이 뭐가 될지는 잘 모르겠어요.

939
00:51:23,488 --> 00:51:27,182
제 생각엔... 지속 학습
얘기는 나중에 하겠지만, AI의

940
00:51:27,182 --> 00:51:30,877
특정 영역들에는 화제가 정말
많이 몰려 있어요. 근데 다음

941
00:51:30,877 --> 00:51:34,340
도약이 언제 올지는 아무도
몰라요. - 방금 되게 많은

942
00:51:34,340 --> 00:51:38,150
얘기를 하셨네요, 그것도 짧은
시간에 꽤 묵직한 얘기들을요.

943
00:51:38,150 --> 00:51:40,768
그 얘기들을 좀 풀어서
짚어보면 좋을 것 같아요.

944
00:51:40,768 --> 00:51:42,367
말씀하신 걸 보면 사실상 모든 형태의

945
00:51:42,367 --> 00:51:44,046
스케일링에 다 긍정적이신 것 같은데요.

946
00:51:44,046 --> 00:51:47,166
그럼 아예 처음부터 시작해볼까요?

947
00:51:47,166 --> 00:51:51,278
사전학습 얘기인데요,
사전학습 스케일링에서 손쉬운

948
00:51:51,278 --> 00:51:55,695
성과는 이미 다 걷어간
상태라는 뜻으로 봐야 할까요?

949
00:51:55,695 --> 00:51:59,576
사전학습이 정체기에 들어선 걸까요,
아니면 사전학습에 대해서도

950
00:51:59,576 --> 00:52:03,800
여전히 긍정적이신가요? - 사전학습은
비용이 정말 많이 비싸졌어요.

951
00:52:03,800 --> 00:52:07,528
제 생각엔 사전학습을
스케일업한다는 건 결국 사용자들에게

952
00:52:07,528 --> 00:52:10,655
아주 큰 모델을 서빙하게
된다는 뜻이기도 해요.

953
00:52:10,655 --> 00:52:14,569
그러니까 제 생각엔, GPT-4나
그 비슷한 모델들이 최대 크기였을 때

954
00:52:14,569 --> 00:52:18,482
1조 파라미터 정도였다는 게 어느
정도 정설처럼 자리 잡은 것 같아요.

955
00:52:18,482 --> 00:52:20,849
트레이닝이 더 효율적이 되면서 실제로는

956
00:52:20,849 --> 00:52:23,442
모델들이 오히려
작아졌다는 소문도 많아요.

957
00:52:23,442 --> 00:52:25,845
모델을 더 작게 만들고
싶어 하는 이유는, 그러면

958
00:52:25,845 --> 00:52:28,248
서빙 비용이 그만큼 비례해서
줄어들기 때문이에요.

959
00:52:28,248 --> 00:52:31,082
이 모델들은, 트레이닝
비용 자체는 수억 명의

960
00:52:31,082 --> 00:52:34,483
사용자에게 서빙하는 비용에
비하면 정말 낮은 편이에요.

961
00:52:34,483 --> 00:52:37,205
제 생각엔 딥시크의 그
유명한 수치, 클라우드 시장가

962
00:52:37,205 --> 00:52:40,208
기준으로 사전학습에 약 500만
달러 들었다는 게 있었죠.

963
00:52:40,208 --> 00:52:43,628
OLMo 3에서는 논문 2.4절에,
엔지니어링 이슈나 여러

964
00:52:43,628 --> 00:52:47,048
시드 실험까지 포함해서 트레이닝용
GPU 클러스터를 얼마나

965
00:52:47,048 --> 00:52:50,362
오래 붙잡고 있었는지를 저희가
자세히 적어놨는데요, 모델

966
00:52:50,362 --> 00:52:53,461
하나 트레이닝하면서 생기는
온갖 골치 아픈 문제들 다

967
00:52:53,461 --> 00:52:56,988
감당하면서 클러스터 대여에 약
200만 달러 정도 들었어요.

968
00:52:56,988 --> 00:53:00,818
그러니까 이 모델들은— 많은
사람들이 100만에서 1천만 달러

969
00:53:00,818 --> 00:53:05,212
정도면 모델 하나를 트레이닝할 수
있어요. 근데 수백만 명의 사용자에게

970
00:53:05,212 --> 00:53:09,155
지속적으로 서빙하는 비용은 정말
수십억 달러 규모의 컴퓨트예요.

971
00:53:09,155 --> 00:53:11,624
제 생각엔, GPU 1천
개를 빌리면 하루에

972
00:53:11,624 --> 00:53:14,195
10만 달러 정도 낸다고
보면 될 것 같아요.

973
00:53:14,195 --> 00:53:16,887
그런데 이런 회사들은 GPU를
수백만 개까지도 보유할 수 있어요.

974
00:53:16,887 --> 00:53:18,366
이런 것들을 그냥 놀리는 데만도 비용이

975
00:53:18,366 --> 00:53:19,775
얼마나 드는지 한번 보면 알 거예요.

976
00:53:19,775 --> 00:53:22,287
그러니까 그게 어느 정도
큰 문제인 거고, 그다음

977
00:53:22,287 --> 00:53:24,985
문제는 스케일링이 실제로
더 나은 모델을 만들어준다고

978
00:53:24,985 --> 00:53:27,590
해도, 그게 재정적으로
가치가 있을까 하는 거예요.

979
00:53:27,590 --> 00:53:30,744
저는 AI가 더 매력적인 과제들을
풀어내면서 서서히 그걸 밀어내게

980
00:53:30,744 --> 00:53:33,723
될 거라고 봐요, 예를 들면
Claude Opus 4.5 같은

981
00:53:33,723 --> 00:53:37,053
모델이 Claude Code로 여러
일을 그냥 되게 만드는 것처럼요.

982
00:53:37,053 --> 00:53:40,093
제— 제가 7월에 ATOM
프로젝트라는 걸 시작했는데요,

983
00:53:40,093 --> 00:53:43,526
American Truly Open
Models의 줄임말이고요,

984
00:53:43,526 --> 00:53:46,566
그게 정말 순수하게 바이브
코딩으로 만든 웹사이트였어요,

985
00:53:46,566 --> 00:53:49,704
그리고 제 일 중 하나가 그래프
같은 걸 만드는 거거든요.

986
00:53:49,704 --> 00:53:52,334
그런데 최근 몇 주 사이에
다시 손보러 돌아왔는데,

987
00:53:52,334 --> 00:53:55,434
Claude Opus 4.5랑
당시 다른 모델을 비교해보니까

988
00:53:55,434 --> 00:53:58,909
6월이랑 7월에 만들면서 있었던
문제들을 싹 다 해결해버리더라고요,

989
00:53:58,909 --> 00:54:01,351
아마 더 큰 모델이라서
그런 것 같기도 하고요.

990
00:54:01,351 --> 00:54:05,658
여기엔 여러 요인이 작용하지만,
그래도 발전은 계속되고 있어요. -

991
00:54:05,658 --> 00:54:09,966
결국 말씀하신 건 스케일링 법칙의
y축에 있는 미묘한 지점이네요 —

992
00:54:09,966 --> 00:54:14,157
벤치마크상의 수치와 실제로 체감되는
지능은 다를 수 있다는 거죠.

993
00:54:14,157 --> 00:54:17,854
그래도 사전학습에 대한
직관으로 봤을 때,

994
00:54:17,854 --> 00:54:21,711
연산량 규모를 키우면
모델이 더 좋아질까요?

995
00:54:21,711 --> 00:54:25,614
재정적으로 타당한지가 아니라
그냥 법칙 자체의 관점에서,

996
00:54:25,614 --> 00:54:28,887
모델이 더 똑똑해질 거라고
생각하세요? - 네.

997
00:54:28,887 --> 00:54:30,425
그리고 제 생각엔...

998
00:54:30,425 --> 00:54:34,246
이런 말이 가끔 AI 기업
리더십한테서 나오면 거의 환멸처럼

999
00:54:34,246 --> 00:54:38,184
들리기도 하는데요, '연산량이
13자릿수나 늘어나는 동안 계속

1000
00:54:38,184 --> 00:54:42,005
들어맞았는데, 대체 왜 이제
와서 끝나겠어?'라는 식이에요.

1001
00:54:42,005 --> 00:54:44,899
그래서 근본적으로는 멈출
가능성이 꽤 낮다고 봐요, 다만

1002
00:54:44,899 --> 00:54:47,700
결국에는 연산량이 커지면서
따라오는 온갖 문제들 때문에

1003
00:54:47,700 --> 00:54:50,408
더 큰 규모를 아예 테스트할
수조차 없게 될 뿐이죠.

1004
00:54:50,408 --> 00:54:55,320
2026년이 아주 큰 블랙웰
연산 클러스터, 그러니까

1005
00:54:55,320 --> 00:54:59,215
하이퍼스케일러들의
기가와트급 시설이 가동을

1006
00:54:59,215 --> 00:55:03,788
시작하는 해라는 얘기가
많이 나오고 있다고 봐요.

1007
00:55:03,788 --> 00:55:07,841
이게 다 2022년이랑
2023년에 체결되고

1008
00:55:07,841 --> 00:55:11,388
추진된 전력·데이터센터 계약들이거든요.

1009
00:55:11,388 --> 00:55:13,385
그러니까 ChatGPT 나오기
전이거나 나온 직후쯤이죠.

1010
00:55:13,385 --> 00:55:15,764
모델을 학습시킬 이 더
큰 클러스터들을 짓는

1011
00:55:15,764 --> 00:55:18,142
데 2~3년이라는 준비
기간이 걸린 거예요.

1012
00:55:18,142 --> 00:55:22,260
물론 그보다 더 많은 데이터센터를
짓는 데 대한 관심도 엄청나고요.

1013
00:55:22,260 --> 00:55:23,867
그래서 사람들이 말하는 핵심이 바로

1014
00:55:23,867 --> 00:55:25,896
이거예요. 이 새
클러스터들이 온다는 거죠.

1015
00:55:25,896 --> 00:55:28,715
랩들은 학습에 쓸 연산량을
더 많이 확보하게 될 거고요.

1016
00:55:28,715 --> 00:55:31,864
이걸 활용은 하겠지만,
당연한 결과는 아니에요.

1017
00:55:31,864 --> 00:55:35,676
저는 그동안 워낙 많은 발전을
봐와서 그럴 거라고 기대하고,

1018
00:55:35,676 --> 00:55:39,256
조금 더 큰 모델들도 나올
거라고 기대하고, 그리고...

1019
00:55:39,256 --> 00:55:40,852
제 생각엔, 더 정확히는 올해 2천

1020
00:55:40,852 --> 00:55:42,616
달러짜리 구독 상품이 나올 것 같아요.

1021
00:55:42,616 --> 00:55:44,032
이미 200달러짜리 구독은 봤잖아요.

1022
00:55:44,032 --> 00:55:47,973
그게 또 10배가 될 수도
있고, 이런 것들이 앞으로 나올

1023
00:55:47,973 --> 00:55:51,668
수 있는 일들인데, 이게 다
아주 조금 더 최첨단인 걸

1024
00:55:51,668 --> 00:55:55,609
제공하는 더 큰 모델에서 파생되는
거거든요. - 그나저나,

1025
00:55:55,609 --> 00:55:59,180
보도에 따르면 xAI가
26년 초에 1기가와트 규모에

1026
00:55:59,180 --> 00:56:03,491
도달하고, 연말까지는 2기가와트
전체에 도달할 거라고 하던데요.

1027
00:56:03,491 --> 00:56:09,156
스케일링 법칙이라는 맥락에서 그걸
어떻게 활용할 거라고 보세요?

1028
00:56:09,156 --> 00:56:10,835
그중 상당 부분이 인퍼런스일까요?

1029
00:56:10,835 --> 00:56:15,412
그중 상당 부분이 학습일까요?
- 결국 다 해당된다고 봐야죠.

1030
00:56:15,412 --> 00:56:18,018
제 생각엔, 모델을
학습시킬 때 내리는 모든

1031
00:56:18,018 --> 00:56:20,732
결정이 결국 사전학습으로
귀결되는 것 같아요.

1032
00:56:20,732 --> 00:56:23,501
그러니까 모델에서 RL을
스케일링하려고 해도, 그걸

1033
00:56:23,501 --> 00:56:26,073
가능하게 하는 아키텍처를
먼저 정해야 하거든요.

1034
00:56:26,073 --> 00:56:28,730
아까 다른 아키텍처들,
그러니까 여러 종류의

1035
00:56:28,730 --> 00:56:31,276
어텐션이나 MoE 모델
얘기를 했었잖아요.

1036
00:56:31,276 --> 00:56:36,041
MoE 모델은 스파스한 특성
덕분에 생성이 훨씬 효율적인데,

1037
00:56:36,041 --> 00:56:40,950
이게 포스트트레이닝에서 큰 비중을
차지해요. 그래서 이 연산을

1038
00:56:40,950 --> 00:56:45,715
실제로 스케일업하려면 아키텍처가
미리 준비돼 있어야 하고요.

1039
00:56:45,715 --> 00:56:49,117
그래도 저는 여전히 대부분의
연산이 사전학습에 들어간다고 봐요.

1040
00:56:49,117 --> 00:56:50,957
모델을 더 좋게 만들 여지가 아직

1041
00:56:50,957 --> 00:56:53,307
있으니까, 계속 다시
손보고 싶어지거든요.

1042
00:56:53,307 --> 00:56:55,487
가능한 한 최고의 베이스
모델을 원하는 거죠.

1043
00:56:55,487 --> 00:57:00,762
그리고 몇 년 뒤엔 그게 포화돼서
RL 연산 시간만 계속 늘어날

1044
00:57:00,762 --> 00:57:06,036
거예요. - 사전학습은 끝났다고
하면서 반대하는 분들도 있나요?

1045
00:57:06,036 --> 00:57:09,568
인퍼런스 스케일링, 포스트트레이닝
스케일링, 컨텍스트 스케일링,

1046
00:57:09,568 --> 00:57:12,999
지속 학습, 데이터 스케일링,
합성 데이터, 그런 게 전부라는

1047
00:57:12,999 --> 00:57:16,330
거죠? - 다들 그렇게 느끼고
그렇게 말하긴 하는데, 실제로

1048
00:57:16,330 --> 00:57:19,761
일어나는 일은 그게 아니라고
봐요. - 그냥 '이건 끝났다'는

1049
00:57:19,761 --> 00:57:23,495
일반적인 분위기인 거죠- - 흥분되는
지점이 다른 데 있는 거고요.

1050
00:57:23,495 --> 00:57:26,098
그러니까 손쉬운 성과는...
RL에서는 다른 데 있는 거고요.

1051
00:57:26,098 --> 00:57:28,796
예를 들어, 저희는 11월에
모델을 출시했는데...

1052
00:57:28,796 --> 00:57:30,223
어느 회사나 마감일이 있잖아요.

1053
00:57:30,223 --> 00:57:33,793
저희 마감일은 11월 20일이었는데,
그걸 위해 5일 동안

1054
00:57:33,793 --> 00:57:37,362
런을 돌렸어요. 2024년
기준으로 보면 300억 파라미터

1055
00:57:37,362 --> 00:57:40,486
모델 포스트트레이닝에 5일이면
꽤 긴 시간이거든요.

1056
00:57:40,486 --> 00:57:41,534
큰 모델은 아니에요.

1057
00:57:41,534 --> 00:57:46,337
그리고 12월에 또 한 번 출시가
있었는데, 그때는 RL을 3주

1058
00:57:46,337 --> 00:57:50,865
반 더 돌렸더니 모델이 눈에
띄게 좋아져서 그걸 출시했어요.

1059
00:57:50,865 --> 00:57:54,015
그리고 그만큼 많은 걸
그해의 정점이 될 무언가에

1060
00:57:54,015 --> 00:57:56,699
쏟아붓는 거죠- ...일
년을 통틀어서요.

1061
00:57:56,699 --> 00:57:59,183
그러니까 이게- - 이유는
이런 건데요- - 모델을

1062
00:57:59,183 --> 00:58:01,756
학습시킬 때 이런 종류의
결정들이 있는데, 그냥...

1063
00:58:01,756 --> 00:58:03,901
무한정 그대로 둘 수는 없거든요.

1064
00:58:03,901 --> 00:58:07,954
연구자들이 만들어내는 개선
사항들을 계속 반영해야 하니까요.

1065
00:58:07,954 --> 00:58:11,077
그래서 사전학습을 다시 하고
포스트트레이닝을 한 달

1066
00:58:11,077 --> 00:58:14,312
정도 하다가도, 결국엔
사용자들에게 내놔야 하잖아요.

1067
00:58:14,312 --> 00:58:16,028
안전성 테스트도 해야 하고요.

1068
00:58:16,028 --> 00:58:16,934
그러니까 그냥...

1069
00:58:16,934 --> 00:58:21,632
모델을 업데이트하는 이 주기를 계속
강화하는 요인들이 많다고 봐요.

1070
00:58:21,632 --> 00:58:22,543
여러 가지가 개선되니까요.

1071
00:58:22,543 --> 00:58:25,051
더 안정적으로, 더 빠르게 할 수 있게

1072
00:58:25,051 --> 00:58:27,558
해주는 새 컴퓨트 클러스터도 생기고요.

1073
00:58:27,558 --> 00:58:31,430
블랙웰이 롤아웃 이슈가 있다는 얘기
많이 들으실 텐데, Ai2에서는

1074
00:58:31,430 --> 00:58:35,721
저희가 사전학습하는 모델 대부분이
GPU 1,000~2,000개 규모예요.

1075
00:58:35,721 --> 00:58:38,529
그런데 GPU 1만 개나
10만 개 규모로 사전학습하면

1076
00:58:38,529 --> 00:58:40,776
완전히 다른 종류의
장애를 만나게 되거든요.

1077
00:58:40,776 --> 00:58:44,154
GPU가 이상한 방식으로 고장
나요. GPU 10만 개짜리

1078
00:58:44,154 --> 00:58:47,955
런이면 그중 하나는 다운돼 있다고
거의 확신할 수 있을 정도고요.

1079
00:58:47,955 --> 00:58:51,736
학습 코드가 그런 이중화를 처리해야
하는데, 이건 완전히 다른 문제예요.

1080
00:58:51,736 --> 00:58:56,669
반면 저희가 하는 일, 그러니까
클러스터에서 포스트트레이닝을 만져보는

1081
00:58:56,669 --> 00:59:01,212
것이나 ML을 배우는 사람들이
이 최대 규모 모델을 학습시키려고

1082
00:59:01,212 --> 00:59:05,756
씨름하는 건… 대규모 분산 스케일의
문제라서 완전히 다르거든요.

1083
00:59:05,756 --> 00:59:10,898
그런데 이건 그것과는 좀 다른
얘기인데요 — 특히 사전학습에서

1084
00:59:10,898 --> 00:59:15,435
스케일링 법칙을 성립시키려면,
이건 시스템 문제거든요.

1085
00:59:15,435 --> 00:59:17,344
이 GPU들이 전부
한꺼번에 필요하다는 거죠.

1086
00:59:17,344 --> 00:59:20,912
RL로 넘어가면 오히려
이기종 컴퓨트에 잘

1087
00:59:20,912 --> 00:59:24,480
맞아요. 모델 사본이
여러 개 있으니까요.

1088
00:59:24,480 --> 00:59:27,725
언어모델 강화학습을 간단히 설명해보자면,

1089
00:59:27,725 --> 00:59:31,561
하시는 일은 GPU를 두
세트로 나누는 거예요.

1090
00:59:31,561 --> 00:59:34,895
하나는 액터라고 부르고, 다른
하나는 러너라고 부르는 거죠.

1091
00:59:34,895 --> 00:59:38,676
러너 쪽에서 실제 강화학습
업데이트가 일어나요.

1092
00:59:38,676 --> 00:59:42,336
전통적으로 이건 정책
경사 알고리즘이거든요.

1093
00:59:42,336 --> 00:59:44,881
Proximal Policy
Optimization, 즉

1094
00:59:44,881 --> 00:59:47,015
PPO와 Group
Relative Policy

1095
00:59:47,015 --> 00:59:50,216
Optimization, 즉 GRPO가
가장 널리 쓰이는 두 부류예요.

1096
00:59:50,216 --> 00:59:54,190
반대쪽에는 액터들이 있는데,
이 액터들이 컴플리션을

1097
00:59:54,190 --> 00:59:57,596
생성하고, 이 컴플리션들을
채점하는 거예요.

1098
00:59:57,596 --> 01:00:00,625
강화학습은 결국 보상을
최적화하는 일이거든요.

1099
01:00:00,625 --> 01:00:05,356
실제로는 전 세계 여러 곳에 다양한
액터를 두고 서로 다른 유형의

1100
01:00:05,356 --> 01:00:09,823
문제를 풀게 할 수 있고, 그걸
다시 이 고도로 연결된 컴퓨트

1101
01:00:09,823 --> 01:00:14,948
클러스터로 보내서 실제 학습, 그러니까
그래디언트 계산을 하는 거예요.

1102
01:00:14,948 --> 01:00:19,103
효율적인 학습을 위해 다양한
종류의 병렬화를 하고 모델을

1103
01:00:19,103 --> 01:00:22,856
분산시키려면, 촘촘하게
연결된 네트워크가 필요해요.

1104
01:00:22,856 --> 01:00:25,601
학습이든 서빙이든, 유형마다 스케일링을

1105
01:00:25,601 --> 01:00:28,216
위해 고려해야 할 게 다 있는 거죠.

1106
01:00:28,216 --> 01:00:31,937
사전학습이랑 RL 얘기 했잖아요.
그다음 인퍼런스 스케일링은요 — 한

1107
01:00:31,937 --> 01:00:35,756
시간 동안 생각하는 모델을 1억
명한테 서빙하려면 어떻게 해야 하나요?

1108
01:00:35,756 --> 01:00:39,243
그건 저도 잘 모르겠는데,
어려운 문제라는 건 알아요.

1109
01:00:39,243 --> 01:00:42,798
사람들한테 이런 지능을 주려면 이런
시스템 문제들이 다 있는 거고,

1110
01:00:42,798 --> 01:00:46,352
그러려면 컴퓨트가 더 많이 필요하고
더 안정적인 컴퓨트도 필요해요.

1111
01:00:46,352 --> 01:00:49,907
— 그러니까 이 모든 종류의
스케일링에 다 긍정적이시라는 얘기네요.

1112
01:00:49,907 --> 01:00:54,089
인퍼런스도, 추론도, 심지어
사전학습까지 다요? — 네,

1113
01:00:54,089 --> 01:00:58,136
이게 꽤 복잡한 문제이긴
한데, 기본적으로 두 가지가…

1114
01:00:58,136 --> 01:01:00,669
이득을 낼 수 있는 조절 지점은 학습이랑

1115
01:01:00,669 --> 01:01:02,972
인퍼런스 스케일링, 이 두 가지고요.

1116
01:01:02,972 --> 01:01:08,079
가령 컴퓨트 자원이 무한하다면,
이걸 전부 다 하고 싶으실 거예요.

1117
01:01:08,079 --> 01:01:11,373
그러니까 학습이 있고 인퍼런스
스케일링이 있는데, 학습은 일종의 위계

1118
01:01:11,373 --> 01:01:14,407
구조예요. 사전학습, 미드트레이닝,
포스트트레이닝이 있는 거죠.

1119
01:01:14,407 --> 01:01:17,458
모델 크기를 바꾸거나 학습
데이터를 늘려서 더 큰

1120
01:01:17,458 --> 01:01:20,621
모델을 학습시키면, 모델
안에 지식이 더 많아지죠.

1121
01:01:20,621 --> 01:01:23,816
그러면 이를테면 더 나은 베이스
모델을 갖게 되는 거예요.

1122
01:01:23,816 --> 01:01:26,285
예전에는, 아니 지금도
그렇지만, 이걸 파운데이션

1123
01:01:26,285 --> 01:01:28,296
모델이라고 부르는데, 이게 열어주는 게…

1124
01:01:28,296 --> 01:01:32,267
근데 사전학습 중이나 사전학습이
끝난 뒤에는, 말하자면,

1125
01:01:32,267 --> 01:01:36,495
모델이 가장 복잡한 과제까지
풀 수 있게 되는 건 아니에요.

1126
01:01:36,495 --> 01:01:39,517
여전히 미드트레이닝이라든가,
예를 들어 RL을 쓰는

1127
01:01:39,517 --> 01:01:42,646
포스트트레이닝처럼 다른
'열어주는' 단계들이 있어서,

1128
01:01:42,646 --> 01:01:45,884
사전학습에서 지식으로 갖고
있던 능력을 풀어주는 거죠.

1129
01:01:45,884 --> 01:01:49,636
그리고 제 생각엔, 물론
사전학습을 더 하면 나중에

1130
01:01:49,636 --> 01:01:53,389
열어줄 수 있는 더 나은
베이스 모델을 얻긴 해요.

1131
01:01:53,389 --> 01:01:55,695
그런데 네이선이 말했듯이, 그게
그냥 너무 비싸지는 거예요.

1132
01:01:55,695 --> 01:01:58,794
우리한테 무한한 연산 자원이
있는 게 아니니까, 그 연산을

1133
01:01:58,794 --> 01:02:01,603
모델을 더 크게 만드는 데
쓸지 결정해야 하는 거죠.

1134
01:02:01,603 --> 01:02:02,979
일종의 트레이드오프예요.

1135
01:02:02,979 --> 01:02:05,610
이상적인 세상이라면 다 하고 싶겠죠.

1136
01:02:05,610 --> 01:02:08,448
그런 의미에서 스케일링은
여전히 꽤 살아있다고 봐요.

1137
01:02:08,448 --> 01:02:10,740
여전히 더 나은 모델을 얻긴
하겠지만, Claude Opus

1138
01:02:10,740 --> 01:02:12,824
4.5에서 봤듯이 그냥 그럴
만한 가치가 없는 거예요.

1139
01:02:12,824 --> 01:02:17,377
지금 시점엔 다른 기법들로
더 많은 성능을 끌어낼

1140
01:02:17,377 --> 01:02:21,930
수 있으니까요, 특히
인퍼런스 스케일링을 보면요.

1141
01:02:21,930 --> 01:02:25,140
그게 올해 o1에서 나온
가장 큰 성과 중 하나예요.

1142
01:02:25,140 --> 01:02:28,461
더 작은 모델을 Claude
Opus 4.5처럼 더 큰

1143
01:02:28,461 --> 01:02:31,671
모델을 사전학습시키는 것보다
더 멀리 끌고 갔거든요.

1144
01:02:31,671 --> 01:02:34,702
그래서 사전학습 스케일링이
죽었다고는 말 안 하겠어요. 그냥

1145
01:02:34,702 --> 01:02:37,550
지금은 스케일링할 더 매력적인
다른 방법들이 있는 거죠.

1146
01:02:37,550 --> 01:02:42,375
하지만 어느 시점에는 여전히 사전학습에서도
진전을 만들고 싶어질 거예요.

1147
01:02:42,375 --> 01:02:47,088
또 고려할 점은 그 돈을
어디에 쓰고 싶은가예요.

1148
01:02:47,088 --> 01:02:50,411
사전학습에 더 쓴다면, 그건
일종의 고정비용이에요.

1149
01:02:50,411 --> 01:02:54,093
모델을 학습시키고 나면, 그
능력은 영원히 남아 있는 거죠.

1150
01:02:54,093 --> 01:02:56,124
언제든 쓸 수 있고요.

1151
01:02:56,124 --> 01:02:59,290
인퍼런스 스케일링은 학습 중에
돈을 쓰는 게 아니라 나중에

1152
01:02:59,290 --> 01:03:02,456
쿼리마다 돈을 쓰는 거고,
이것도 결국 일종의 수학이에요.

1153
01:03:02,456 --> 01:03:04,449
제 모델을 반년 만에
교체한다면, 그 모델이

1154
01:03:04,449 --> 01:03:06,442
시장에 얼마나 오래 남아
있을까 하는 거죠.

1155
01:03:06,442 --> 01:03:09,647
어쩌면 500만 달러,
1000만 달러, 1억 달러를

1156
01:03:09,647 --> 01:03:12,741
들여서 더 오래 학습시킬
가치가 없을 수도 있어요.

1157
01:03:12,741 --> 01:03:15,297
그냥 인퍼런스 스케일링을 더 해서 거기서

1158
01:03:15,297 --> 01:03:17,504
성능을 얻는 게 나을 수도 있고요.

1159
01:03:17,504 --> 01:03:20,094
사용자 쿼리 쪽으로 따지면 한
200만 달러 정도 들지도 모르고요.

1160
01:03:20,094 --> 01:03:23,531
결국 사용자가 몇 명이냐를 계산하는
문제가 되는 거죠. 그리고 저는

1161
01:03:23,531 --> 01:03:27,153
그 지점이 바로 ChatGPT가
흥미로운 위치에 있는 부분이라고 봐요.

1162
01:03:27,153 --> 01:03:29,956
제 생각엔 오픈AI는 사용자가 워낙
많다 보니 좀 더 저렴하게 가야 하는

1163
01:03:29,956 --> 01:03:32,619
지점이 있고, 그래서 좀 더 작은
그 GPT-5 모델이 있는 거예요.

1164
01:03:32,619 --> 01:03:34,596
다른 회사들은 그러니까...

1165
01:03:34,596 --> 01:03:38,615
예를 들어 고객들이 다른
트레이드오프를 갖고 있다면요...

1166
01:03:38,615 --> 01:03:43,537
예를 들어 수학 올림피아드나 이런
수학 문제들에서도 ChatGPT 쪽에

1167
01:03:43,537 --> 01:03:48,333
자체 모델이 있었는데, 제가 꽤
확신하기로는 그냥 조금 더 파인튜닝된

1168
01:03:48,333 --> 01:03:53,002
모델일 뿐이고, 대부분은 특정
작업에서 최고 성능을 내려고 인퍼런스

1169
01:03:53,002 --> 01:03:57,798
스케일링을 쓴 거였어요. 그런데 그걸
항상 필요로 하는 건 아니었죠.

1170
01:03:57,798 --> 01:04:02,658
아무튼 짧게 말하면, 저는 사전학습,
미드트레이닝, 포스트트레이닝,

1171
01:04:02,658 --> 01:04:06,862
인퍼런스 스케일링 이 모든 게
여전히 다 필요하다고 봐요.

1172
01:04:06,862 --> 01:04:10,513
그냥 지금, 올해 기준으로 가장
가성비 좋은 적절한 비율을 찾는

1173
01:04:10,513 --> 01:04:14,582
문제일 뿐이에요. - 이쯤에서
사전학습, 미드트레이닝, 포스트트레이닝을

1174
01:04:14,582 --> 01:04:18,337
정의해보면 좋을 것 같네요. -
그러니까 사전학습은 고전적인 학습

1175
01:04:18,337 --> 01:04:21,884
방식이죠. 한 번에 토큰 하나씩
다음 토큰을 예측하는 거예요.

1176
01:04:21,884 --> 01:04:23,491
거대한 데이터 말뭉치가 있는 거고요.

1177
01:04:23,491 --> 01:04:25,583
그리고 네이선도 OLMo
3 덕분에 그쪽에

1178
01:04:25,583 --> 01:04:27,765
아마 아주 흥미로운
인사이트가 있을 거예요.

1179
01:04:27,765 --> 01:04:30,726
논문의 상당 부분이 적절한 데이터
믹스에 초점을 맞추고 있거든요.

1180
01:04:30,726 --> 01:04:34,262
그러니까 사전학습은 본질적으로
그냥, 아시다시피, 크로스

1181
01:04:34,262 --> 01:04:37,684
엔트로피 손실을 학습하는
거예요. 인터넷 데이터, 책,

1182
01:04:37,684 --> 01:04:41,334
논문 등 방대한 말뭉치로 다음
토큰 예측을 학습하는 거죠.

1183
01:04:41,334 --> 01:04:43,846
몇 년 사이에 조금 바뀌었는데요, 예전엔

1184
01:04:43,846 --> 01:04:46,814
사람들이 구할 수 있는
건 다 던져 넣었거든요.

1185
01:04:46,814 --> 01:04:48,651
지금은 그냥 원본 데이터만
쓰는 게 아니에요.

1186
01:04:48,651 --> 01:04:54,300
어떤 내용을 다시 표현한
합성 데이터도 들어가죠.

1187
01:04:54,300 --> 01:04:56,410
그러니까 합성 데이터가 꼭 순수하게

1188
01:04:56,410 --> 01:04:58,743
AI가 만든 데이터라는 뜻은 아니에요.

1189
01:04:58,743 --> 01:05:05,129
어떤 글, 예를 들어 위키백과 글을
가져다가 Q&A 형식으로 다시

1190
01:05:05,129 --> 01:05:12,224
쓰거나 요약하고, 표현을 바꿔서 더
나은 데이터로 만드는 것도 포함돼요.

1191
01:05:12,224 --> 01:05:15,358
저는 이걸 사람한테도 비슷하게
적용해서 생각하거든요.

1192
01:05:15,358 --> 01:05:19,129
예를 들어 누가 책을 읽는
것과, 지저분한—기분 나쁘게 듣진

1193
01:05:19,129 --> 01:05:23,243
마시고—레딧 게시물 같은 걸 읽는
걸 비교하면, 저는 배우는 게—

1194
01:05:23,243 --> 01:05:27,014
- 세바스찬, 이거 갖고 레딧에
글 하나 올라오겠는데요. -

1195
01:05:27,014 --> 01:05:31,014
어떤 레딧 데이터는 정말 귀하게
여겨지고 학습에 아주 훌륭해요.

1196
01:05:31,014 --> 01:05:32,952
그냥 필터링만 하면 되는 거죠. -

1197
01:05:32,952 --> 01:05:35,196
그리고 제가 말하려던 게 바로 그거예요.

1198
01:05:35,196 --> 01:05:39,382
제 생각엔, 누가 그걸 가져다가
좀 더 간결하고 구조화된

1199
01:05:39,382 --> 01:05:43,163
방식으로 다시 쓴다면, 그게
LLM을 더 빨리 목표

1200
01:05:43,163 --> 01:05:46,944
지점에 도달하게 해주는 더
고품질 데이터라고 봐요.

1201
01:05:46,944 --> 01:05:52,152
결국 같은 LLM이 나오긴 하는데,
학습은 더 빨라져요. 문법이랑

1202
01:05:52,152 --> 01:05:57,360
구두점이 맞으면 처음부터 올바른
방식을 배우는 거니까요. 지저분한

1203
01:05:57,360 --> 01:06:02,424
소스에서 정보를 얻고 나중에 그걸
고치는 법을 배우는 것보다요.

1204
01:06:02,424 --> 01:06:06,476
그래서 저는 그게 사전학습이
진화해온 방식이고,

1205
01:06:06,476 --> 01:06:09,904
스케일링이 여전히 통하는 이유라고 봐요.

1206
01:06:09,904 --> 01:06:13,834
단순히 데이터 양의 문제가
아니라, 그 데이터를 더 낫게

1207
01:06:13,834 --> 01:06:17,637
만드는 요령의 문제이기도 한
거죠, 어떤 의미에서는요.

1208
01:06:17,637 --> 01:06:19,279
그리고 미드트레이닝은요...

1209
01:06:19,279 --> 01:06:21,784
그러니까, 원래는 그냥
사전학습이라고 불렀던 거예요.

1210
01:06:21,784 --> 01:06:23,919
제 생각엔 사전학습이랑 포스트트레이닝은
있는데 중간에 아무것도

1211
01:06:23,919 --> 01:06:26,242
없으면 어색하니까 미드트레이닝이라고
부르게 된 것 같아요, 그렇죠?

1212
01:06:26,242 --> 01:06:27,037
이름이 좀 이상하게 들리긴 하죠.

1213
01:06:27,037 --> 01:06:29,534
사전학습이랑 포스트트레이닝은 있는데,
그럼 진짜 트레이닝은 뭐예요?

1214
01:06:29,534 --> 01:06:33,003
그래서 미드트레이닝은 보통 사전학습이랑

1215
01:06:33,003 --> 01:06:36,141
비슷한데, 조금 더 특화돼 있어요.

1216
01:06:36,141 --> 01:06:39,552
알고리즘 자체는 같은데, 예를 들면

1217
01:06:39,552 --> 01:06:43,322
롱 컨텍스트 문서에 집중하는 식이에요.

1218
01:06:43,322 --> 01:06:46,237
사전학습 때 그렇게 안 하는 이유는, 롱

1219
01:06:46,237 --> 01:06:49,549
컨텍스트 문서가 그렇게
많지 않기 때문이에요.

1220
01:06:49,549 --> 01:06:51,007
그래서 따로 단계를 두는 거예요.

1221
01:06:51,007 --> 01:06:54,124
그리고 LLM의 문제 중 하나는
여전히 이게 신경망이라는 점이에요.

1222
01:06:54,124 --> 01:06:56,411
파국적 망각 문제가 있거든요.

1223
01:06:56,411 --> 01:06:59,002
그러니까 뭔가를 가르치면,
다른 걸 잊어버리는 거죠.

1224
01:06:59,002 --> 01:06:59,836
그래서 원하는 건...

1225
01:06:59,836 --> 01:07:03,304
그러니까 100% 잊어버리는 건
아니지만, '공짜 점심은 없다'는 거죠.

1226
01:07:03,304 --> 01:07:04,857
사람도 마찬가지예요.

1227
01:07:04,857 --> 01:07:08,356
10년 전에 배운 수학을
물어보시면, 저도 다시 찾아봐야 할

1228
01:07:08,356 --> 01:07:12,173
거예요. - 네이선도 그러던데,
콘텐츠를 너무 많이 소비하다 보니

1229
01:07:12,173 --> 01:07:15,777
파국적 망각 문제가 생긴다고요.
- 맞아요, 저도 AI에 대해

1230
01:07:15,777 --> 01:07:19,382
너무 많이 배우려다 보니, 사전학습
병렬화를 공부하고 있었는데

1231
01:07:19,382 --> 01:07:23,416
'뭔가 잊어버렸는데 그게 뭔지도
모르겠다' 싶더라고요. - LLM을

1232
01:07:23,416 --> 01:07:27,340
의인화하고 싶지는 않지만, 인간이
학습하는 방식이랑 똑같은 거죠.

1233
01:07:27,340 --> 01:07:32,049
그러니까 양이 항상 좋은 건
아니에요, 선별을 해야 하니까요.

1234
01:07:32,049 --> 01:07:36,368
미드트레이닝이라는 게, 결국 막바지에
양질의 콘텐츠를 선별하는 거거든요.

1235
01:07:36,368 --> 01:07:39,288
그래서 LLM이 마지막으로 보는
게 양질의 데이터인 거죠.

1236
01:07:39,288 --> 01:07:43,357
그리고 포스트트레이닝에는 파인튜닝
전반 — 지도 파인튜닝(SFT),

1237
01:07:43,357 --> 01:07:47,756
DPO(직접 선호 최적화), RLVR(검증
가능한 보상 기반 강화학습),

1238
01:07:47,756 --> 01:07:51,385
RLHF(인간 피드백 기반
강화학습) 같은 게 다 들어가요.

1239
01:07:51,385 --> 01:07:52,755
그러니까 다듬는 단계들인 거죠.

1240
01:07:52,755 --> 01:07:54,971
그리고 흥미로운 게,
이것도 결국 비용 문제예요.

1241
01:07:54,971 --> 01:07:57,419
지금은 사전학습에 돈을
정말 많이 쓰잖아요.

1242
01:07:57,419 --> 01:07:58,837
RL에는 좀 덜 쓰고요.

1243
01:07:58,837 --> 01:08:02,157
RL로는 사실 지식을
가르치는 게 아니에요.

1244
01:08:02,157 --> 01:08:05,780
오히려 지식을 풀어내는 것에 가깝죠
— 사전학습에서 얻은 지식으로

1245
01:08:05,780 --> 01:08:09,000
문제를 어떻게 풀지 배우는,
일종의 스킬 학습에 가까워요.

1246
01:08:09,000 --> 01:08:11,431
사실 올해, 아니 작년이죠, 2025년에

1247
01:08:11,431 --> 01:08:14,303
사전학습용 RL을 다룬
논문이 세 편 나왔어요.

1248
01:08:14,303 --> 01:08:17,056
근데 실제 프로덕션에서 그렇게
하는 사람은 없는 것 같아요.

1249
01:08:17,056 --> 01:08:19,809
- 아직은 장난감 수준 예시죠.
- 장난감 예시죠, 그렇죠?

1250
01:08:19,809 --> 01:08:23,229
그런데 일반화해서 말하면,
RL 포스트트레이닝은 스킬을

1251
01:08:23,229 --> 01:08:26,421
푸는 쪽에 가깝고, 사전학습은
지식을 흡수하는 쪽에

1252
01:08:26,421 --> 01:08:29,727
가깝습니다. - 도움이 될
만한 게 몇 가지 있어요.

1253
01:08:29,727 --> 01:08:34,638
많은 사람들이 합성 데이터가 모델
학습에는 안 좋다고 생각하죠.

1254
01:08:34,638 --> 01:08:37,479
아까 딥시크가 거의...
라고 말씀하셨는데,

1255
01:08:37,479 --> 01:08:40,152
OCR, 그러니까 광학
문자 인식 말이에요.

1256
01:08:40,152 --> 01:08:41,439
많은 랩들이 그걸 했어요.

1257
01:08:41,439 --> 01:08:44,939
Ai2도 하나 있었고,
메타는 여러 개 있었죠.

1258
01:08:44,939 --> 01:08:49,610
이 랩들이 저마다 이런 걸 갖고
있는 이유는, 웹에 텍스트로 쉽게

1259
01:08:49,610 --> 01:08:54,799
인코딩되지 않은 형식의 PDF나 디지털
문서가 엄청나게 많기 때문이에요.

1260
01:08:54,799 --> 01:08:57,854
그래서 이런 olmOCR나
DeepSeek OCR,

1261
01:08:57,854 --> 01:09:00,799
아니면 저희가 olmOCR이라고
부르던 걸 써서,

1262
01:09:00,799 --> 01:09:04,399
사전학습용 후보 데이터를 수조
토큰 단위로 뽑아내는 거예요.

1263
01:09:04,399 --> 01:09:08,000
사전학습 데이터셋 크기는
조 단위 토큰으로 재죠.

1264
01:09:08,000 --> 01:09:11,626
연구자들이 만드는 좀 더 작은 모델들은

1265
01:09:11,626 --> 01:09:15,425
5조~10조 토큰 정도인 경우가 많아요.

1266
01:09:15,425 --> 01:09:18,349
음, Qwen은 문서상
50조 토큰까지 간다고 하고,

1267
01:09:18,349 --> 01:09:21,373
폐쇄형 랩들은 100조 토큰까지
간다는 소문도 있어요.

1268
01:09:21,373 --> 01:09:25,291
이 잠재적인 데이터를 넣는
과정은요, 깔때기가 굉장히 커서

1269
01:09:25,291 --> 01:09:29,209
실제로 학습에 쓰는 데이터는
이 중 작은 비율일 뿐이에요.

1270
01:09:29,209 --> 01:09:31,628
이런 문자 인식 데이터는 랩 안에서

1271
01:09:31,628 --> 01:09:34,428
사전학습용 합성 데이터로 분류될 거예요.

1272
01:09:34,428 --> 01:09:38,130
그리고 요즘 ChatGPT가 훌륭한
답변을 내놓는다는 것도 있잖아요,

1273
01:09:38,130 --> 01:09:41,734
그 최고의 답변들로 학습시킬 수
있는데 그것도 합성 데이터인 거죠.

1274
01:09:41,734 --> 01:09:45,546
초기 ChatGPT에는 환각 데이터가
많았는데, 그때와는 많이 다르죠.

1275
01:09:45,546 --> 01:09:49,064
그 무렵에 사람들이 합성 데이터에
대한 인식이 굳어진 거고요. -

1276
01:09:49,064 --> 01:09:52,681
흥미로운 질문 하나는요, 제 기억이
맞다면 OLMo 3가 다른 오픈

1277
01:09:52,681 --> 01:09:56,688
웨이트 모델들, 어쩌면 OLMo 2보다도
적은 데이터로 학습됐다는 거예요.

1278
01:09:56,688 --> 01:09:59,529
그런데도 성능은 더 좋아졌는데,
데이터가 어떻게 도움이 됐는지

1279
01:09:59,529 --> 01:10:02,620
보여주는 한 예시일 수도 있어요.
- 거의 데이터 품질 덕분이에요.

1280
01:10:02,620 --> 01:10:05,309
제 생각엔 컴퓨트가 더 있었다면
더 오래 학습시켰을 거예요.

1281
01:10:05,309 --> 01:10:08,952
결국엔 저희가 하고
싶어할 일이라고 봅니다.

1282
01:10:08,952 --> 01:10:12,613
그리고 특히 큰 모델일수록
컴퓨트가 더 필요한데,

1283
01:10:12,613 --> 01:10:15,596
아까 파라미터랑 지식 얘기를 했었잖아요.

1284
01:10:15,596 --> 01:10:18,944
본질적으로는 비율의 문제인데,
큰 모델일수록 데이터에서

1285
01:10:18,944 --> 01:10:22,180
더 많이 흡수하고, 그만큼
더 큰 이득을 얻는 거죠.

1286
01:10:22,180 --> 01:10:26,169
머릿속에 로그 그래프를 떠올려보면,
토큰 수를 쭉 재봤을 때 작은

1287
01:10:26,169 --> 01:10:30,269
모델은 더 일찍 정체되고 큰 모델은
더 많은 토큰이 필요한 거예요.

1288
01:10:30,269 --> 01:10:34,040
그런데 저희 Ai2는 지금
그렇게 큰 모델을 학습시키고 있진

1289
01:10:34,040 --> 01:10:37,697
않아서, 최대한 품질 좋은
데이터를 확보하는 게 자연스러운

1290
01:10:37,697 --> 01:10:42,040
출발점이에요. - 데이터 품질이라는
주제로 더 하실 말씀이 있을까요?

1291
01:10:42,040 --> 01:10:45,091
아직 거기 손쉬운 성과가 남아
있나요, 품질을 더 개선할 여지가

1292
01:10:45,091 --> 01:10:47,881
있을까요? - 그건 손잡이를
계속 돌리듯 개선하는 일이죠.

1293
01:10:47,881 --> 01:10:51,046
역사적으로 오픈 진영에서는 '이게
정본이다' 싶은 최고의 사전학습

1294
01:10:51,046 --> 01:10:54,035
데이터셋이 있었는데, 누가 가장
최근 것, 혹은 가장 잘 만든

1295
01:10:54,035 --> 01:10:57,024
최근 결과물을 가졌느냐에 따라
그 자리가 계속 옮겨 다녔어요.

1296
01:10:57,024 --> 01:10:59,254
예를 들어 Ai2의 Dolma가
첫 OLMo 때 굉장히

1297
01:10:59,254 --> 01:11:01,335
일찍 나왔고, 허깅페이스는
FineWeb을 내놨죠.

1298
01:11:01,335 --> 01:11:04,004
그리고 DCLM이라는
프로젝트도 있는데, 이건

1299
01:11:04,004 --> 01:11:07,420
그러니까... 언어모델용
데이터컴프(DCLM)의 약자예요.

1300
01:11:07,420 --> 01:11:10,092
원래 다른 머신러닝
프로젝트용으로 데이터컴프(Data

1301
01:11:10,092 --> 01:11:13,225
Comp)가 있었는데, 거기서
나온 데이터셋이 꽤 탄탄했어요.

1302
01:11:13,225 --> 01:11:15,930
그리고 요즘 인터넷 자체가
꽤 폐쇄적으로 변하고

1303
01:11:15,930 --> 01:11:19,051
있어서, Common Crawl
같은 걸 쓰는 거예요.

1304
01:11:19,051 --> 01:11:21,756
수백조 토큰 규모인데,
이걸 필터링하는 거고요.

1305
01:11:21,756 --> 01:11:25,361
이 데이터셋을 어떻게
솎아내서 가장 고품질이면서

1306
01:11:25,361 --> 01:11:28,967
우리 과제에 맞는 데이터로
만들지 판단하는 게,

1307
01:11:28,967 --> 01:11:32,988
분류기를 학습시키는 일종의
과학적인 작업처럼 보여요.

1308
01:11:32,988 --> 01:11:37,126
예전에는 언어모델이 지식이나 대화
능력 위주로 테스트받았는데,

1309
01:11:37,126 --> 01:11:40,778
이제는 수학이랑 코드도 잘해야
한다는 기대를 받거든요.

1310
01:11:40,778 --> 01:11:44,080
추론 모델을 학습시키려면 데이터셋
전체를 다시 배합해야 해요.

1311
01:11:44,080 --> 01:11:48,314
여기엔 정말 훌륭한 과학적 방법들이
많은데요, 거대한 데이터셋에서

1312
01:11:48,314 --> 01:11:51,960
GitHub, Stack
Exchange, Reddit,

1313
01:11:51,960 --> 01:11:56,312
위키피디아 같은 여러 소스별로 아주
작은 샘플을 뽑아낼 수 있어요.

1314
01:11:56,312 --> 01:11:59,203
이렇게 작게 뽑아낸 다음,
각 배합(mix)마다 작은

1315
01:11:59,203 --> 01:12:02,394
모델을 학습시켜서 우리 평가
지표로 성능을 측정하는 거죠.

1316
01:12:02,394 --> 01:12:04,246
그러고 나서 기본적인
선형회귀만 돌려도 '자,

1317
01:12:04,246 --> 01:12:06,097
이게 최적의 데이터셋이야'
하는 답이 나와요.

1318
01:12:06,097 --> 01:12:09,015
근데 평가 지표가 바뀌면,
데이터셋도 크게 바뀌어요.

1319
01:12:09,015 --> 01:12:11,827
그래서 OLMo 3의 상당
부분은 추론 능력, 그러니까

1320
01:12:11,827 --> 01:12:14,358
수학이랑 코드를 더 잘하기
위한 새로운 소스였고,

1321
01:12:14,358 --> 01:12:17,077
이걸 가지고 배합 과정을
거치면 답이 나오는 거예요.

1322
01:12:17,077 --> 01:12:20,748
제 생각엔 올해 여러 랩에서 이런
일이 있었던 것 같아요. 코딩

1323
01:12:20,748 --> 01:12:24,420
환경이든 웹 내비게이션이든 새롭게
뜨는 게 생기면, 새 데이터를

1324
01:12:24,420 --> 01:12:28,301
들여와서 사전학습 전체를 바꿔야
포스트트레이닝이 더 잘 먹히거든요.

1325
01:12:28,301 --> 01:12:32,861
그러니까 이게 자기네 모델에서
뭘 중요하게 여기는지 끊임없이

1326
01:12:32,861 --> 01:12:37,421
진화시키고 다시 정하는 과정인
거죠. - 혹시 뜻밖에 품질이

1327
01:12:37,421 --> 01:12:41,843
유독 좋았던 데이터 소스에 얽힌
재미있는 일화가 있을까요?

1328
01:12:41,843 --> 01:12:44,712
Reddit이 가끔 소스가 될 수 있다고

1329
01:12:44,712 --> 01:12:47,972
하셨잖아요. -
Reddit이 꽤 유용했어요.

1330
01:12:47,972 --> 01:12:52,588
PDF는 확실히 그중 하나인 것
같아요. - 아, 특히 arXiv

1331
01:12:52,588 --> 01:12:57,204
쪽이요. - 네, Ai2가 시맨틱
스칼라를 오랫동안 운영해왔는데,

1332
01:12:57,204 --> 01:13:01,820
구글 스칼라의 경쟁자라고 할 수
있을 정도로 기능이 훨씬 많아요.

1333
01:13:01,820 --> 01:13:06,615
이걸 하려고 Ai2가 특정 출판사의
폐쇄된 담장 안에 갇혀 있지

1334
01:13:06,615 --> 01:13:11,821
않은, 공개적으로 접근 가능한 논문
PDF를 많이 찾아서 긁어왔어요.

1335
01:13:11,821 --> 01:13:13,648
그러니까 진짜 오픈된 과학
논문 PDF인 거죠.

1336
01:13:13,648 --> 01:13:17,924
이걸 다 모아서 처리하면 거기서
가치를 뽑아낼 수 있어요.

1337
01:13:17,924 --> 01:13:21,422
그리고 제 생각엔 이런
종류의 작업을 프론티어

1338
01:13:21,422 --> 01:13:24,500
랩들은 훨씬 더 일찍 해놨던 것 같아요.

1339
01:13:24,500 --> 01:13:27,671
어떤 게 모델을 어떻게
바꾸는지 이해하는 꽤 숙련된

1340
01:13:27,671 --> 01:13:30,841
연구자가 있어야 하고, 그
사람이 데이터를 가져와서

1341
01:13:30,841 --> 01:13:33,559
정제하는 건데, 노동이
정말 많이 들어가요.

1342
01:13:33,559 --> 01:13:35,968
프론티어 랩들이 연구자 수를 늘릴 때,

1343
01:13:35,968 --> 01:13:38,263
그중 상당수가 데이터 쪽에 투입돼요.

1344
01:13:38,263 --> 01:13:41,702
프론티어 랩에 들어가서
임팩트를 내고 싶다면, 가장

1345
01:13:41,702 --> 01:13:45,263
좋은 방법은 그냥 더 나은
새 데이터를 찾는 거예요.

1346
01:13:45,263 --> 01:13:49,203
반면 o1을 어떻게 만들어낼지
같은, 화려하고 근사한 알고리즘

1347
01:13:49,203 --> 01:13:52,680
쪽 작업이야말로 과학자한테는
제일 섹시한 생각이잖아요.

1348
01:13:52,680 --> 01:13:54,798
"아, 나는 RL 스케일링 하는
법을 알아냈어" 뭐 이런 식이죠.

1349
01:13:54,798 --> 01:13:57,863
그렇게 해낸 그룹도 있긴 한데,
사실 기여의 대부분은— 데이터셋

1350
01:13:57,863 --> 01:14:00,665
쪽이에요— "데이터를 더 좋게
만들겠다"라거나, "우리 팀

1351
01:14:00,665 --> 01:14:03,817
전체가 실험을 5% 더 빠르게 돌릴
수 있게 인프라를 개선하겠다"

1352
01:14:03,817 --> 01:14:06,882
같은 거죠. 동시에, 훈련 데이터가
정확히 뭔지는 법적인 이유로

1353
01:14:06,882 --> 01:14:09,684
가장 철저하게 지켜지는 비밀
중 하나이기도 한 것 같아요.

1354
01:14:09,684 --> 01:14:12,228
그래서 훈련 데이터가 본질적으로 뭐였는지

1355
01:14:12,228 --> 01:14:15,003
숨기는 데도 상당한
작업이 들어간다고 봐요.

1356
01:14:15,003 --> 01:14:18,876
법적인 이유 때문에 출처를 드러내지
않도록 모델을 훈련시키는 식이죠.

1357
01:14:18,876 --> 01:14:22,749
하나 더 짚자면, 어떤 사람들은
라이선스된 데이터만 가지고 훈련시키려

1358
01:14:22,749 --> 01:14:26,724
하는데, 반면 Common Crawl은
인터넷 전체를 긁어온 거잖아요.

1359
01:14:26,724 --> 01:14:30,888
그러니까 제가 여러 웹사이트를
운영한다고 치면, 그걸로 언어모델을

1360
01:14:30,888 --> 01:14:35,746
훈련시키는 거야 상관없지만, 그걸
명시적으로 라이선싱하는 건 아니라는 거죠.

1361
01:14:35,746 --> 01:14:39,419
그래서 Common Crawl은
대부분 라이선스가 없는 거고, 이건

1362
01:14:39,419 --> 01:14:42,893
데이터를 어떻게 쓸지에 대한
동의가 실제로는 없었다는 뜻이에요.

1363
01:14:42,893 --> 01:14:46,773
명시적으로 라이선스된 데이터로만
언어모델을 훈련시킨다는 또 다른 아이디어도

1364
01:14:46,773 --> 01:14:50,368
있는데, 그러면 일종의 계약 관계가
성립하는 거고요. Apertus가

1365
01:14:50,368 --> 01:14:53,964
저작권 쪽 문제였는지 라이선스 쪽
문제였는지는 저도 확실치 않은데요.

1366
01:14:53,964 --> 01:14:59,530
제가 아는 건 EU 규정 준수
때문에 그렇게 했다는 거예요,

1367
01:14:59,530 --> 01:15:04,758
자기네 모델이 그 검증 항목
중 하나에 맞도록 하려고요.

1368
01:15:04,758 --> 01:15:09,480
그 얘기가 나온 김에,
라이선싱에도 구분이 있어요.

1369
01:15:09,480 --> 01:15:12,949
어떤 사람들은 그냥
라이선스를 구매하기도 해요.

1370
01:15:12,949 --> 01:15:16,089
예를 들어 아마존 킨들
책이나 Manning

1371
01:15:16,089 --> 01:15:18,314
책을 사서 훈련에 쓰는 식이죠.

1372
01:15:18,314 --> 01:15:20,494
그건 좀 회색지대예요,
콘텐츠 값은 치렀으니

1373
01:15:20,494 --> 01:15:22,402
그걸로 훈련시키고 싶을 수도 있잖아요.

1374
01:15:22,402 --> 01:15:26,161
그런데 그것조차 허용되면
안 된다는 제약도 있어요.

1375
01:15:26,161 --> 01:15:28,973
그래서 그 지점이 좀 애매해지는 거예요.

1376
01:15:28,973 --> 01:15:33,046
네, 그게 지금도 여전히
뜨거운 주제인 것 같아요.

1377
01:15:33,046 --> 01:15:37,654
오픈AI 같은 대기업들이 자체
데이터를 가진 민간 기업들에 접근하고

1378
01:15:37,654 --> 01:15:42,760
있고, 그 기업들은 점점 더, 말하자면,
자기 데이터를 지키려 드는 거죠.

1379
01:15:42,760 --> 01:15:47,493
"이게 몇 년 뒤엔 내 해자(moat)가
될 거야"라는 걸 아니까요.

1380
01:15:47,493 --> 01:15:51,297
그리고 그게 흥미로운 질문이라고
생각하는데요, LLM이 점점

1381
01:15:51,297 --> 01:15:54,985
상품화되고 아마 사람들도 LLM에
대해 많이 배우게 되면,

1382
01:15:54,985 --> 01:15:58,443
LLM을 훈련시킬 수 있는
사람도 훨씬 많아질 거예요.

1383
01:15:58,443 --> 01:16:00,384
물론 인프라 상의 난제들이 있긴 하죠.

1384
01:16:00,384 --> 01:16:04,810
그런데 제약, 법률, 금융 같은
대형 산업들을 생각해보면, 이

1385
01:16:04,810 --> 01:16:09,237
기업들도 어느 시점엔 다른 프론티어
랩 출신 인재들을 데려와서

1386
01:16:09,237 --> 01:16:13,533
자기네 고유 데이터로 사내
모델을 만들 거라고 봐요. 그러면

1387
01:16:13,533 --> 01:16:18,090
그게 또, 지금은 없는 사전학습의
새로운 돌파구가 되는 거고요.

1388
01:16:18,090 --> 01:16:21,015
왜냐하면 원한다고 해도 그
데이터에는 접근할 수가 없거든요.

1389
01:16:21,015 --> 01:16:25,224
임상시험 데이터 같은 것들은
대부분 접근 자체가 안 되잖아요.

1390
01:16:25,224 --> 01:16:29,328
그래서 그런 의미에서는, 도메인
특화 응용까지 같이 보면 스케일링이

1391
01:16:29,328 --> 01:16:33,764
아직도 꽤 살아있을 수 있다고 봐요.
왜냐하면 지금 우리는, 올해까지도,

1392
01:16:33,764 --> 01:16:37,757
ChatGPT나 앤스로픽 같은 범용
LLM만 보고 있는 거니까요.

1393
01:16:37,757 --> 01:16:41,285
그건 그냥 범용일 뿐이고, 특정
과제에 맞춰 제대로 설계되고

1394
01:16:41,285 --> 01:16:44,921
훈련된 LLM이 뭘 할 수 있는지는
아직 수박 겉핥기도 못 한

1395
01:16:44,921 --> 01:16:48,235
것 같아요. 데이터 얘기가
나온 김에— 이건 2025년에

1396
01:16:48,235 --> 01:16:51,657
있었던 일인데 다들 완전히
잊어버린 것 같은데— 앤스로픽이

1397
01:16:51,657 --> 01:16:55,506
소송에서 져서 저자들에게 15억
달러를 물어주게 된 일이 있었죠.

1398
01:16:55,506 --> 01:16:58,579
제 생각엔 앤스로픽이 책을
수천 권 사서 스캔했는데,

1399
01:16:58,579 --> 01:17:01,652
책을 구매했다는 이유로 그
부분은 법적으로 문제없다는

1400
01:17:01,652 --> 01:17:05,043
판결을 받았어요. 그건 나름
정상적인 절차를 거친 셈이죠.

1401
01:17:05,043 --> 01:17:09,118
그런데 다른 한편으로는 토렌트로도
책을 받았는데, 법원이 바로 이

1402
01:17:09,118 --> 01:17:13,420
토렌트 부분 때문에 저자들에게 그
15억 달러를 물어줄 책임이 있다고

1403
01:17:13,420 --> 01:17:17,948
본 것 같아요. 정말 어이없을 정도의
소송인데 그냥 그렇게 지나가버렸죠.

1404
01:17:17,948 --> 01:17:21,013
그게 정말 어마어마한 돈이죠—
VC 생태계에서 나온

1405
01:17:21,013 --> 01:17:24,297
돈이니까요. 이런 소송들이
인류 문명의 미래를 결정짓게

1406
01:17:24,297 --> 01:17:27,362
될 텐데, 데이터가 이 모든
걸 움직이고 있다는 게

1407
01:17:27,362 --> 01:17:30,974
분명하고, 거기엔 아주 복잡한
인간적 긴장 관계도 있거든요…

1408
01:17:30,974 --> 01:17:33,059
그러니까, 공감되실 것 같아요.

1409
01:17:33,059 --> 01:17:34,624
두 분 다 작가시잖아요.

1410
01:17:34,624 --> 01:17:38,910
그리고 어느 정도는,
그러니까 글을 쓰실 때 온

1411
01:17:38,910 --> 01:17:43,195
마음과 정성, 땀과 눈물을
다 쏟아부으시니까요.

1412
01:17:43,195 --> 01:17:45,944
두 분 글로 학습시키면서
크레딧도 안 준다는 게

1413
01:17:45,944 --> 01:17:48,798
좀 도둑질처럼 느껴지실
수도 있겠네요. - 그리고

1414
01:17:48,798 --> 01:17:51,653
네이선 말씀처럼, 거기엔
두 개의 층위가 있어요.

1415
01:17:51,653 --> 01:17:55,615
누군가 책을 사서 그걸로 학습시킬
수도 있는데, 그건 공정하다

1416
01:17:55,615 --> 01:17:59,227
아니다 논쟁의 여지가 있죠.
근데 아예 해적판 책을 쓰는

1417
01:17:59,227 --> 01:18:03,305
회사들도 있는데, 그건 저자한테
보상이 전혀 안 가는 경우고요.

1418
01:18:03,305 --> 01:18:06,351
제 생각엔 바로 그 지점 때문에
사람들이 특히 화가 난 것

1419
01:18:06,351 --> 01:18:09,682
같아요. - 네, 근데 어쨌든
일종의 보상 체계가 있어야 해요.

1420
01:18:09,682 --> 01:18:12,028
이건 마치 스포티파이가 원래 음악에서

1421
01:18:12,028 --> 01:18:14,491
했던 스트리밍 방식 쪽으로 가는 거죠.

1422
01:18:14,491 --> 01:18:16,581
그러니까 그 보상이라는
게 어떤 모습일까요?

1423
01:18:16,581 --> 01:18:18,032
그런 보상 모델들을 정의해야 하는 거죠.

1424
01:18:18,032 --> 01:18:19,904
그 모든 걸 다 고민해봐야 하고요.

1425
01:18:19,904 --> 01:18:23,303
사람들이 대체로 궁금해하실 것 같은
게 하나 더 있는데, LLM이

1426
01:18:23,303 --> 01:18:26,514
점점 더 많이 쓰이는 상황에서
두 분 생각을 들어보고 싶어요.

1427
01:18:26,514 --> 01:18:29,620
arXiv만 봐도, 아니
GitHub도 그렇고,

1428
01:18:29,620 --> 01:18:32,846
점점 더 많은 데이터가
LLM이 생성한 거잖아요.

1429
01:18:32,846 --> 01:18:36,282
그런 세상에서는 어떻게 해야 할까요?

1430
01:18:36,282 --> 01:18:39,655
이게 얼마나 큰 문제일까요?
- 가장 큰 문제는 인프라랑

1431
01:18:39,655 --> 01:18:43,246
시스템 쪽이고, AI 관점에서
보면 이건 어느 정도 불가피한

1432
01:18:43,246 --> 01:18:46,728
일이에요. - 그러니까 기본적으로
LLM이 생성한 데이터를

1433
01:18:46,728 --> 01:18:50,318
사람이 큐레이션하는 셈이라는
거죠? - 네, 그리고 오픈소스

1434
01:18:50,318 --> 01:18:53,365
기여자 중 상당수가 실제로
번아웃되고 있다고 봐요.

1435
01:18:53,365 --> 01:18:55,748
인기 있는 오픈소스
저장소가 있으면, 누군가

1436
01:18:55,748 --> 01:18:57,932
"아, 나도 오픈소스 AI 해보고 싶다.

1437
01:18:57,932 --> 01:19:00,577
커리어에도 좋을
거야"라면서, 그냥 바이브

1438
01:19:00,577 --> 01:19:03,107
코딩으로 뭔가 만들어서 던져넣는 거예요.

1439
01:19:03,107 --> 01:19:06,149
이런 거 저보다 더
많이 받으시겠네요. -

1440
01:19:06,149 --> 01:19:09,324
네, 그래서 사실 제가
사례가 하나 있어요.

1441
01:19:09,324 --> 01:19:13,846
제가 학생 때, 그러니까 한
10년 전쯤 만든 MLxtend라는

1442
01:19:13,846 --> 01:19:18,239
저장소가 있는데요, 특정 알고리즘,
제 생각엔 특히 빈발 패턴

1443
01:19:18,239 --> 01:19:22,244
마이닝 같은 데서는 지금도
꽤 인기 있는 라이브러리예요.

1444
01:19:22,244 --> 01:19:25,265
그런데 최근에 두세 명이 아주 짧은

1445
01:19:25,265 --> 01:19:28,603
시간에 PR을 엄청 많이 올렸더라고요.

1446
01:19:28,603 --> 01:19:31,835
저는 이 PR들에 LLM이
정말 관여했다고 생각해요.

1447
01:19:31,835 --> 01:19:33,986
저는 메인테이너 입장에서
두 가지가 있는데요.

1448
01:19:33,986 --> 01:19:35,382
첫째, 좀 벅차요.

1449
01:19:35,382 --> 01:19:37,544
다 읽어볼 시간이 없어요, 특히 오래된

1450
01:19:37,544 --> 01:19:40,324
라이브러리다 보니 저한테는
우선순위가 아니거든요.

1451
01:19:40,324 --> 01:19:43,271
동시에 어느 정도는 고맙기도
한데요, 사람들이 잊어버리는 게

1452
01:19:43,271 --> 01:19:46,485
있다고 생각하거든요, 이게 그냥
LLM만 쓰는 게 아니라는 거요.

1453
01:19:46,485 --> 01:19:50,213
여전히 사람이 검증하는
층위가 있고, 어떤 의미에서는

1454
01:19:50,213 --> 01:19:53,426
그게 데이터가 라벨링되는
방식이기도 하잖아요?

1455
01:19:53,426 --> 01:19:56,715
가장 비용이 많이 드는
일 중 하나가 RLHF

1456
01:19:56,715 --> 01:20:00,004
단계에서 쓸 라벨링된
데이터를 구하는 거예요.

1457
01:20:00,004 --> 01:20:03,014
이것도 그거랑 좀
비슷한 게, 여러 단계를

1458
01:20:03,014 --> 01:20:06,547
거치면서 실제로 더 질
좋은 데이터가 나오거든요.

1459
01:20:06,547 --> 01:20:08,302
그래서 어떤 의미에서는
저는 이게 괜찮다고 봐요.

1460
01:20:08,302 --> 01:20:12,312
부담스럽게 느껴질 수도 있지만,
그 안에도 분명 가치가 있다고

1461
01:20:12,312 --> 01:20:16,441
생각해요. - 날것 그대로의
LLM 생성 데이터랑, 사람이 어떤

1462
01:20:16,441 --> 01:20:20,215
식으로든 검증을 거친 LLM
생성 데이터 사이에는 근본적인

1463
01:20:20,215 --> 01:20:24,107
차이가 있는 것 같아요. 그
검증이 전체 코드 줄 수의 아주

1464
01:20:24,107 --> 01:20:27,646
작은 비율이라 해도요. -
저는 이게 다른 무엇에도 다

1465
01:20:27,646 --> 01:20:31,892
적용된다고 봐요. 사람들이 가끔
이렇게 생각하죠, "아, 맞아."

1466
01:20:31,892 --> 01:20:33,562
"나는 그냥 LLM으로 XYZ를 배우면

1467
01:20:33,562 --> 01:20:35,152
되지" 하고요 - 맞는 말이긴 해요.

1468
01:20:35,152 --> 01:20:38,245
그럴 수 있죠. 하지만
어떤 전문가가 특정

1469
01:20:38,245 --> 01:20:41,472
코드를 쓰는 데 LLM을
썼을 수도 있어요.

1470
01:20:41,472 --> 01:20:44,654
이런 식으로 사람 손이
좀 들어가서 보기 좋게

1471
01:20:44,654 --> 01:20:48,218
다듬어주고, 별로인 부분은
걸러내서 어느 정도 미리

1472
01:20:48,218 --> 01:20:52,036
소화까지 시켜주는 거고, 그게
시간을 아껴주는 거예요.

1473
01:20:52,036 --> 01:20:55,400
저는 그게 부가가치라고
봐요. 누군가 걸러주거나,

1474
01:20:55,400 --> 01:20:59,263
LLM을 제대로 쓸 줄 아는
사람이 있다는 것 자체가요.

1475
01:20:59,263 --> 01:21:01,912
그건 여전히 공짜로 얻는 노동인 거예요.

1476
01:21:01,912 --> 01:21:04,982
예를 들어 서브스택 글
하나를 읽는다고 하면, 저도

1477
01:21:04,982 --> 01:21:07,943
혹시 LLM한테 그 글에
대한 의견을 물어볼 수는

1478
01:21:07,943 --> 01:21:10,684
있겠지만, 뭘 물어봐야
할지조차 모를 거예요.

1479
01:21:10,684 --> 01:21:13,956
그래서 저는 제가 직접 LLM한테
물어보는 것보다 그 글을 읽는

1480
01:21:13,956 --> 01:21:17,135
게 여전히 가치 있다고 봐요.
그 글을 쓴 분이 전문가니까요.

1481
01:21:17,135 --> 01:21:21,377
어떤 지식이 정말 정확하고
꼭 담겨야 하는지 골라주시고,

1482
01:21:21,377 --> 01:21:25,209
저한테 이런... 이런 핵심
요약을 주시는 거예요.

1483
01:21:25,209 --> 01:21:30,033
그리고 이게 엄청난 부가가치예요.
이제 제가 직접 3~5시간을 들여서

1484
01:21:30,033 --> 01:21:34,604
파고들다가 혹시 잘못된 정보를
얻거나 하는 일이 없어도 되니까요.

1485
01:21:34,604 --> 01:21:38,022
그래서 저는 LLM이 있다
해도 작가들의 미래는

1486
01:21:38,022 --> 01:21:41,965
여전히 거기에도 있다고
생각해요, 그런 LLM들이...

1487
01:21:41,965 --> 01:21:45,977
시간을 좀 덜어줄 수는 있어도요.
- 지켜보고 있으면 좀 흥미로워요.

1488
01:21:45,977 --> 01:21:49,751
확실히 두 분도 이렇게 하실 텐데, 저는

1489
01:21:49,751 --> 01:21:54,212
요약본이랑 원본 내용
사이의 차이를 들여다봐요.

1490
01:21:54,212 --> 01:21:59,065
한 페이지짜리 내용을 한 페이지
분량으로 요약한 거라 해도, LLM

1491
01:21:59,065 --> 01:22:03,918
기반 요약이 어떻게 날카로운 부분을
깎아내는지 보는 게 흥미로워요.

1492
01:22:03,918 --> 01:22:07,125
거기서 대체 어떤 신호가
빠지는 걸까요? - 저는

1493
01:22:07,125 --> 01:22:10,213
'목소리'라는 걸 자주
얘기해요. - 목소리요?

1494
01:22:10,213 --> 01:22:10,982
음, 목소리라는 게...

1495
01:22:10,982 --> 01:22:13,577
목소리가 무슨 뜻인지 정말
듣고 싶은데, 그런데

1496
01:22:13,577 --> 01:22:16,072
가끔은 말 그대로 통찰
자체가 빠지기도 해요.

1497
01:22:16,072 --> 01:22:20,923
통찰 하나를 빼버리면, 그건 그
자체의 의미를 바꿔버리는 거예요.

1498
01:22:20,923 --> 01:22:24,322
그래서 저는 LLM이 핵심
통찰에 제대로 도달하는

1499
01:22:24,322 --> 01:22:27,846
걸 얼마나 못하는지 볼
때마다 계속 실망하게 돼요.

1500
01:22:27,846 --> 01:22:31,371
훌륭한 요약이라면 바로 그걸
해내야 하는데 말이죠.

1501
01:22:31,371 --> 01:22:37,103
그런데 제가 통찰을 파내려고
정말 공들여서 만든 프롬프트를

1502
01:22:37,103 --> 01:22:42,655
써봐도, 여전히 딱 거기까지는
못 가더라고요. 그게...

1503
01:22:42,655 --> 01:22:46,240
그러니까 그건 인간의 지식과
지혜가 뭔지, 통찰력 있다는

1504
01:22:46,240 --> 01:22:50,056
게 뭘 의미하는지 같은, 완전히
깊은 철학적 질문이긴 해요.

1505
01:22:50,056 --> 01:22:52,992
근데 목소리라고 하셨을
때, 그게 정확히 무슨

1506
01:22:52,992 --> 01:22:56,515
뜻이에요? - 제가 글을 쓸
때 하려는 건, 연구자로서

1507
01:22:56,515 --> 01:22:59,686
아주 날것 그대로인 생각을
가져오는 거라고 봐요.

1508
01:22:59,686 --> 01:23:04,211
연구자는 자기 이해의 최전선에
있는 아이디어를 담아내려

1509
01:23:04,211 --> 01:23:08,132
하고, 느낌에 가까운 것을
말로 옮기려 애쓰죠.

1510
01:23:08,132 --> 01:23:11,221
저도 글 쓸 때 이걸 하려고
하는데, 그러다 보면 좀

1511
01:23:11,221 --> 01:23:14,417
날것처럼 읽히면서도 정보
밀도는 높아져서, 어떤 사람은

1512
01:23:14,417 --> 01:23:17,400
알아듣고 어떤 사람은 못
알아듣게 되는 것 같아요.

1513
01:23:17,400 --> 01:23:19,092
그게 바로 연구의 본질이죠.

1514
01:23:19,092 --> 01:23:21,763
그런데 언어모델은 이걸 잘 못해요.

1515
01:23:21,763 --> 01:23:26,344
전부 RLHF로 학습되는데,
이건 여러 사람의 피드백을

1516
01:23:26,344 --> 01:23:30,772
받아서 그걸로 모델의 행동을
평균 내는 방식이거든요.

1517
01:23:30,772 --> 01:23:34,455
그리고 제 생각엔, 그런 필터가 있는 한

1518
01:23:34,455 --> 01:23:38,138
모델이 아주 예리해지기는 어려울 거예요.

1519
01:23:38,138 --> 01:23:43,822
이건 RLHF 연구자들에게는
정말 근사한 근본적인 문제예요.

1520
01:23:43,822 --> 01:23:49,428
모델을 더 낫게 만드는 데는
엄청난 효용을 주지만, 동시에 문제

1521
01:23:49,428 --> 01:23:54,874
설정 자체에는 좀... 넘어설
수 없는 매듭 같은 게 있어요.

1522
01:23:54,874 --> 01:23:57,510
이 언어모델들한테는
자기가 담아내려는 깊은

1523
01:23:57,510 --> 01:24:00,145
표현에 대한 이런
prior가 없는 거죠.

1524
01:24:00,145 --> 01:24:01,954
불가능하다고 생각하진 않아요.

1525
01:24:01,954 --> 01:24:04,944
사람들을 정말 충격에 빠뜨린
모델 이야기들이 있죠.

1526
01:24:04,944 --> 01:24:06,003
그러니까, 제가 생각하는 건...

1527
01:24:06,003 --> 01:24:08,512
빙 시드니를 한번 써봤으면
정말 좋았을 텐데요.

1528
01:24:08,512 --> 01:24:10,482
그건 목소리가 더 살아있었나요?

1529
01:24:10,482 --> 01:24:14,118
왜냐하면 그게 걸핏하면 궤도를
벗어났으니까요. 역사적으로 보면

1530
01:24:14,118 --> 01:24:17,541
그건 분명 무서운 방식이었죠—기자한테
아내랑 헤어지라고 한

1531
01:24:17,541 --> 01:24:21,498
것처럼요—그런 모델을 대중에
풀어놓는다는 건 정말 미친 일이었어요.

1532
01:24:21,498 --> 01:24:26,133
근데 그것도 일종의 트레이드오프인
거죠. 이 RLHF 과정이 어떤

1533
01:24:26,133 --> 01:24:30,510
면에서는 한계를 더하고 있는
걸까요? - 그런 프런티어 랩이나

1534
01:24:30,510 --> 01:24:34,759
기업 입장에서는 정말 무서운
자리일 거예요, 수백만 명이 그

1535
01:24:34,759 --> 01:24:39,265
모델들을 쓰고 있으니까요. -
작년에 GPT-4o가 없어졌을 때

1536
01:24:39,265 --> 01:24:44,028
반발이 정말 컸어요. 저는 개인적으로
그 모델을 써본 적은 없지만,

1537
01:24:44,028 --> 01:24:48,405
오픈AI 사람들과 얘기해보면
한밤중에 배포판이 미묘하게 달라진

1538
01:24:48,405 --> 01:24:52,654
걸 눈치채는 듯한 유저들한테서
이메일을 받는다고 하더라고요.

1539
01:24:52,654 --> 01:24:55,212
그러면서 "제 친구가 달라졌어요"
같은 이메일을 보낸대요.

1540
01:24:55,212 --> 01:25:00,202
직원들 이메일 주소까지 찾아내서
뭔가를 보낸다는 거예요, 유저한테

1541
01:25:00,202 --> 01:25:05,192
배포된 그 특정 가중치와 설정
세트에 그만큼 애착을 느끼는 거죠.

1542
01:25:05,192 --> 01:25:06,684
이런 건 틱톡에서도 보이죠.

1543
01:25:06,684 --> 01:25:07,578
열어보면...

1544
01:25:07,578 --> 01:25:09,364
저는 틱톡을 안 쓰는데, 듣기로는

1545
01:25:09,364 --> 01:25:11,546
5분이면 알고리즘이 사람을 사로잡는대요.

1546
01:25:11,546 --> 01:25:12,412
완전히 빠져버리는 거죠.

1547
01:25:12,412 --> 01:25:15,875
그리고 그 추천을 하는
게 바로 언어모델이에요.

1548
01:25:15,875 --> 01:25:18,174
제 생각엔 이걸 해낼 방법이 있어요.

1549
01:25:18,174 --> 01:25:21,475
5분만 대화해도 모델이 바로
사람을 사로잡아 버리는 거죠.

1550
01:25:21,475 --> 01:25:26,411
그건 사람들이 아직 제대로
준비가 안 된 부분이에요.

1551
01:25:26,411 --> 01:25:28,942
그러니까, 그런 걸
아이들한테 주면 안 되잖아요.

1552
01:25:28,942 --> 01:25:30,964
적어도 무슨 일이 벌어지고
있는지 알기 전까지는요.

1553
01:25:30,964 --> 01:25:32,842
- 근데 이런 메커니즘도
하나 생길 거예요...

1554
01:25:32,842 --> 01:25:36,192
이 LLM들이 점점 더 많이 쓰이면서
무슨 일이 일어날 거냐면요...

1555
01:25:36,192 --> 01:25:39,912
안타깝게도, 인간이라는 존재의
본질상 사람들은 자살을 하게 돼요.

1556
01:25:39,912 --> 01:25:42,463
그래서 기자들이 하는 일은, 자살한

1557
01:25:42,463 --> 01:25:45,551
사람들에 대해 대대적으로
보도하는 거예요.

1558
01:25:45,551 --> 01:25:47,847
그리고 아주 높은 확률로 그걸 LLM과

1559
01:25:47,847 --> 01:25:50,472
연결짓겠죠, 대화 데이터를
갖고 있으니까요.

1560
01:25:50,472 --> 01:25:54,360
삶이 정말 힘들다면,
우울하다면, 자살을 생각하고

1561
01:25:54,360 --> 01:25:58,392
있다면, 아마 그걸 LLM한테
털어놓게 될 거예요.

1562
01:25:58,392 --> 01:26:00,992
그러면 기자들은 이렇게 쓰겠죠. "음,

1563
01:26:00,992 --> 01:26:03,715
이 자살은 LLM 때문에 일어난 거다."

1564
01:26:03,715 --> 01:26:08,317
그러면 법적 문제 등등
때문에 기업들이 LLM의

1565
01:26:08,317 --> 01:26:13,274
날카로움을 점점 더 없애는
쪽으로 가게 될 거예요.

1566
01:26:13,274 --> 01:26:15,807
그래서 최대한 특색
없이 무난해질 거예요.

1567
01:26:15,807 --> 01:26:20,179
이 영역에서 일하는 게 정말
어려운 게, LLM이 그런

1568
01:26:20,179 --> 01:26:24,988
수준으로 사람을 해치는 건
당연히 원치 않지만, 동시에 인간

1569
01:26:24,988 --> 01:26:29,505
경험의 본질은 풍성한 대화,
충만한 대화, 나를 도전하게

1570
01:26:29,505 --> 01:26:33,877
만들고 그로부터 성장하게 하는
대화를 나누는 거잖아요.

1571
01:26:33,877 --> 01:26:35,072
그 날카로움이 필요한 거예요.

1572
01:26:35,072 --> 01:26:40,688
그리고 그건 RLHF 쪽 AI
연구자들이 실제로 풀어야 하는 극도로

1573
01:26:40,688 --> 01:26:45,848
어려운 문제예요, 인간이라는 존재
자체를 다루는 거니까요. -

1574
01:26:45,848 --> 01:26:51,160
이 회사들 연구자 대다수는 동기가
정말 좋고, 특히 앤스로픽이랑

1575
01:26:51,160 --> 01:26:56,472
오픈AI는 확실히 문화적으로
세상에 좋은 일을 하고 싶어 해요.

1576
01:26:56,472 --> 01:27:01,773
그리고 그게 참... 저는 속으로
'으, 이건 다루고 싶지 않다' 싶은

1577
01:27:01,773 --> 01:27:06,939
게, 한편으론 많은 사람들이 AI를
건강 동반자로, 자기 건강 얘기를

1578
01:27:06,939 --> 01:27:12,376
은밀히 털어놓을 수 있는 상대로 보는데,
그게 결국 정신건강 이야기로까지

1579
01:27:12,376 --> 01:27:17,405
번지거든요. 거기서 누군가는 결국
극단적 선택을 하게 되는 게 가슴

1580
01:27:17,405 --> 01:27:22,027
아프지만, 동시에 다른 사람들은
구원받을 수도 있다는 거예요.

1581
01:27:22,027 --> 01:27:23,812
그래서 그냥 "저는..."
하고 말끝을 흐리게 돼요.

1582
01:27:23,812 --> 01:27:27,316
연구자로서 말하자면, 저는
이미지 생성 모델을 학습시켜서

1583
01:27:27,316 --> 01:27:30,821
공개적으로 배포하고 싶지
않아요. 누군가의 노트북에 다른

1584
01:27:30,821 --> 01:27:34,212
사람을 해칠 수 있는 도구를
쥐여주고 싶지 않으니까요.

1585
01:27:34,212 --> 01:27:37,816
제 회사엔 그걸 안전하게 할
수 있는 인프라가 없거든요.

1586
01:27:37,816 --> 01:27:42,016
근데 이런 영역이 많아요,
그냥 복잡함을 끌어안고

1587
01:27:42,016 --> 01:27:45,438
소신 있게 접근할 사람들이 필요한 거죠.

1588
01:27:45,438 --> 01:27:48,996
그냥 너무 어려운 문제예요. -
근데 또 한편으로는, 사회로서,

1589
01:27:48,996 --> 01:27:52,656
이 기술들을 쓰는 사용자로서 우리가
이 문제에 대해 복잡한 대화를

1590
01:27:52,656 --> 01:27:56,316
제대로 하고 있는지 확인해야 해요,
그냥 빅테크가 사람들한테 해를

1591
01:27:56,316 --> 01:27:59,772
끼친다거나 데이터를 훔친다는
식으로 공포를 조장하는 대신에요.

1592
01:27:59,772 --> 01:28:01,976
그것보다 훨씬 복잡한 문제예요.

1593
01:28:01,976 --> 01:28:03,152
그리고 맞는 말씀이에요.

1594
01:28:03,152 --> 01:28:06,796
이 회사들 안에는 정말 많은 사람들이
있는데, 그중 많은 분들을 제가

1595
01:28:06,796 --> 01:28:10,153
직접 아는데, 사람들을 돕는 일에
진심으로 마음을 쓰고 있어요.

1596
01:28:10,153 --> 01:28:12,376
그분들은 실리콘밸리뿐 아니라 전 세계

1597
01:28:12,376 --> 01:28:15,043
사람들의 인간 경험
전체를 고려하고 있어요.

1598
01:28:15,043 --> 01:28:18,551
미국 전역과 전 세계 사람들,
그들의 필요가 뭔지를요.

1599
01:28:18,551 --> 01:28:23,119
이렇게 다양한 연령대, 문화,
정신적 상태를 가진 사람들을

1600
01:28:23,119 --> 01:28:27,829
전부 도울 수 있는 시스템
하나를 설계한다는 게 정말 어려운

1601
01:28:27,829 --> 01:28:32,254
일이에요. - AI가 등장한
시점이 빅테크와 일반 대중의

1602
01:28:32,254 --> 01:28:37,107
관계라는 면에서 지금과 달랐으면
좋았을 거라는 생각이 들어요.

1603
01:28:37,107 --> 01:28:39,930
빅테크에 대한 평판이 워낙
낮았던 데다, AI가 이렇게

1604
01:28:39,930 --> 01:28:42,752
비용이 많이 드니 결국 빅테크의
일이 될 수밖에 없죠.

1605
01:28:42,752 --> 01:28:45,966
자원이 워낙 많이 들다 보니,
사람들은 이런 구축을 두고

1606
01:28:45,966 --> 01:28:48,972
미국이 "경제를 AI에 걸고
있다"고 말하기도 하죠.

1607
01:28:48,972 --> 01:28:51,473
이 모든 게 동시에 얽혀 있다 보니

1608
01:28:51,473 --> 01:28:54,632
소통하기가 정말 어려운
환경이 되는 거예요.

1609
01:28:54,632 --> 01:29:00,636
빅테크를 싫어하고 AI를 그 연장선으로
보는 사람들을 더 많이 만나서

1610
01:29:00,636 --> 01:29:06,007
이야기를 나눠보면 좋을 것 같아요.
- 그리고 말씀하신 것 중

1611
01:29:06,007 --> 01:29:12,011
하나, 그 해법 중 하나가 이 시스템
안에서 주체성을 찾는 거잖아요.

1612
01:29:12,011 --> 01:29:16,785
무기력하게 뒤로 물러앉아서,
인터넷을 빠르게 잠식해가는

1613
01:29:16,785 --> 01:29:20,922
AI 슬롭을 그저 소비만
하는 것과는 다르게요.

1614
01:29:20,922 --> 01:29:23,691
AI를 써서 뭔가를
만들고, 앱을 만들고...

1615
01:29:23,691 --> 01:29:25,906
그렇게 만들면서 주체성을 찾는 거죠.

1616
01:29:25,906 --> 01:29:29,853
첫째, 그게 실제로 직관을
키워주고요. 둘째, 어떻게

1617
01:29:29,853 --> 01:29:34,617
작동하는지, 약점이 뭔지 이해할
수 있으니까 힘이 생기는 거죠.

1618
01:29:34,617 --> 01:29:37,085
"이건 이 기술의 나쁜
활용이고, 이건 좋은

1619
01:29:37,085 --> 01:29:40,272
활용이다"라고 말할 수 있는
목소리의 힘을 주는 거예요.

1620
01:29:40,272 --> 01:29:43,801
그러면 그 시스템에 더 깊이
연결돼 있으니까, 더 잘 이해할

1621
01:29:43,801 --> 01:29:47,436
수 있고 소비자로서 더 잘 조종할
수도 있게 되는 거고요. -

1622
01:29:47,436 --> 01:29:50,965
주체성에 대해 말씀하신 그
지점, 좋은 지적이라고 생각해요.

1623
01:29:50,965 --> 01:29:54,847
그냥 무시하면서 "난 이거 안 쓸
거야"라고 하는 대신, 장기적으로는

1624
01:29:54,847 --> 01:29:58,626
"그래, 이미 나와 있으니까"라고
하는 편이 더 건강한 것 같아요.

1625
01:29:58,626 --> 01:30:01,606
"이젠 되돌릴 수 없다"고 하는
거죠, 그게 처음 나왔을 때는요.

1626
01:30:01,606 --> 01:30:03,781
이걸 어떻게 가장 잘 활용할
수 있을까요? 이게 나

1627
01:30:03,781 --> 01:30:06,033
자신을 한 단계 끌어올리는
데 어떻게 도움이 될까요?

1628
01:30:06,033 --> 01:30:08,551
다만 여기서 한 가지 걱정되는
건, 자기가 좋아하는

1629
01:30:08,551 --> 01:30:10,890
일을 이걸로 완전히
대체해버리면 좋아하던 그 일

1630
01:30:10,890 --> 01:30:13,138
자체가 더 이상 존재하지
않게 된다는 거예요.

1631
01:30:13,138 --> 01:30:16,072
그리고 그게 어쩌면 번아웃으로
이어질 수도 있다는 생각이 들어요.

1632
01:30:16,072 --> 01:30:18,961
예를 들어 제가 코딩을 전부
LLM한테 맡겨버리면,

1633
01:30:18,961 --> 01:30:21,128
이제 코딩이라는 게 없어지는 거잖아요.

1634
01:30:21,128 --> 01:30:23,812
저는 그냥 저 대신 코딩하는
걸 관리만 하는 셈이죠.

1635
01:30:23,812 --> 01:30:29,897
그렇게 2년쯤 지나서, 하루
8시간씩 뭔가가 저 대신

1636
01:30:29,897 --> 01:30:36,612
코딩하게만 하고 있다면, 그때도
여전히 만족감을 느낄까요?

1637
01:30:36,612 --> 01:30:38,634
이게 제 일에 대한 흥분,
제가 하는 일에 대한

1638
01:30:38,634 --> 01:30:40,812
흥분이라는 면에서 저를
갉아먹고 있는 건 아닐까요?

1639
01:30:40,812 --> 01:30:43,147
제가 뭔가를 만든다는 것에
여전히 자부심을 느낄까요? -

1640
01:30:43,147 --> 01:30:45,633
즐거움이라는 주제와 관련해서,
꽤 흥미로운 이야기가 있어요.

1641
01:30:45,633 --> 01:30:49,677
여기서 하나 짚고 넘어가자면,
최근에 전문 개발자,

1642
01:30:49,677 --> 01:30:54,298
그러니까 경력 10년 이상인
사람들 약 791명을 대상으로

1643
01:30:54,298 --> 01:30:58,342
한 설문이 있었어요. -
그거 되게 긴 경력이네요.

1644
01:30:58,342 --> 01:31:03,236
주니어 개발자로 치면요? -
네, 요즘 같은 시대엔요.

1645
01:31:03,236 --> 01:31:07,287
그리고 놀라운 지점들도
여러 군데 있더라고요.

1646
01:31:07,287 --> 01:31:10,958
주니어와 시니어 개발자로
나눠서 결과를 보여주는데요.

1647
01:31:10,958 --> 01:31:16,797
그런데 결국 주니어든 시니어든
실제로 출시하는 코드에

1648
01:31:16,797 --> 01:31:22,032
AI가 생성한 코드를 쓰고
있다는 걸 보여줘요.

1649
01:31:22,032 --> 01:31:23,995
그러니까 이게 그냥 재미로 하거나 중간

1650
01:31:23,995 --> 01:31:26,052
학습 단계에서 쓰는 게 아니라는 거예요.

1651
01:31:26,052 --> 01:31:28,118
이건 실제로 배포하는 코드예요.

1652
01:31:28,118 --> 01:31:31,830
25%— 그러니까 대부분은
50% 이상을 쓴다는 거예요.

1653
01:31:31,830 --> 01:31:36,781
그리고 흥미로운 건, 배포하는
코드의 50% 이상이 AI로

1654
01:31:36,781 --> 01:31:42,350
생성된 경우엔 시니어 개발자가 그럴
가능성이 훨씬 높다는 거예요.

1655
01:31:42,350 --> 01:31:46,412
하지만 AI가 내가 좋아하는 걸
빼앗아가는 건 원치 않잖아요.

1656
01:31:46,412 --> 01:31:49,692
제가 지금 말씀드릴 결과가 제
경험과도 맞아떨어지는 것 같아요.

1657
01:31:49,692 --> 01:31:55,611
합쳐서 보면 약 80%가 업무에
AI를 쓰는 게 어느 정도 혹은 훨씬

1658
01:31:55,611 --> 01:32:01,218
더 즐겁다고 답했어요. - 저는
그게 작업에 따라 다르다고 봐요.

1659
01:32:01,218 --> 01:32:07,552
제 개인적인 경우를 예로 들면, 가끔
손보는 웹사이트가 하나 있어요.

1660
01:32:07,552 --> 01:32:10,116
저는 개인적으로 이
작업을 즐기지 않아요.

1661
01:32:10,116 --> 01:32:12,745
그런 의미에서 AI가 제 웹사이트에 뭔가

1662
01:32:12,745 --> 01:32:15,612
구현하는 걸 도와준다면,
저는 대환영이에요.

1663
01:32:15,612 --> 01:32:16,285
정말 좋죠.

1664
01:32:16,285 --> 01:32:21,433
하지만 동시에, 복잡한 문제를
풀 때는— 그러니까 버그가 있고,

1665
01:32:21,433 --> 01:32:26,581
그걸 추적해서 찾아내면, 그게
세상에서 제일 좋은 기분이거든요.

1666
01:32:26,581 --> 01:32:27,512
기분이 정말 좋아져요.

1667
01:32:27,512 --> 01:32:31,627
그런데 버그에 대해 생각도
안 해보고 바로 LLM한테

1668
01:32:31,627 --> 01:32:35,032
가버리면, 그런 기분은
절대 못 느끼잖아요?

1669
01:32:35,032 --> 01:32:39,349
그런데 중간 지점도 있을 수
있어요. 직접 시도해보고,

1670
01:32:39,349 --> 01:32:43,091
못 찾으면 LLM을 쓰고,
그러면 좌절하지 않고

1671
01:32:43,091 --> 01:32:46,832
도움을 받아서 즐거운 다른
일로 넘어가는 거죠.

1672
01:32:46,832 --> 01:32:50,559
그래서 이 통계를 보면,
반영이 안 된 부분은 이게

1673
01:32:50,559 --> 01:32:54,552
온갖 다른 상황을 다 평균
낸 거라는 점인 것 같아요.

1674
01:32:54,552 --> 01:32:58,712
이게 핵심 작업에 대한 건지,
아니면 안 그랬으면 즐기지도

1675
01:32:58,712 --> 01:33:02,352
않았을 따분한 일에 대한
건지는 알 수가 없거든요.

1676
01:33:02,352 --> 01:33:04,352
그러니까 어떤 의미에서는,
AI가 손이 많이

1677
01:33:04,352 --> 01:33:06,352
가는 따분한 일을 하는
데는 정말 훌륭해요.

1678
01:33:06,352 --> 01:33:14,127
예를 들어 얼마 전에 제 아내가—
아내가 북클럽 팟캐스트를 하는데,

1679
01:33:14,127 --> 01:33:21,692
쇼노트를 스포티파이에서 유튜브로
옮기다가 링크가 다 깨져버렸어요.

1680
01:33:21,692 --> 01:33:25,496
어떤 에피소드는 다루는 책이 워낙
많아서 링크가 100개 정도

1681
01:33:25,496 --> 01:33:29,412
됐는데, 그걸 일일이 손으로
고치는 건 정말 고역이었을 거예요.

1682
01:33:29,412 --> 01:33:31,603
그래서 제가 "우리 ChatGPT
한번 써보자"라고 제안했어요.

1683
01:33:31,603 --> 01:33:35,231
텍스트를 ChatGPT에
붙여넣었더니 다 고쳐줬어요.

1684
01:33:35,231 --> 01:33:39,502
링크 하나하나 붙잡고
두 시간을 쓰는 대신,

1685
01:33:39,502 --> 01:33:43,418
그런 종류의 작업이 훨씬 매끄러워졌어요.

1686
01:33:43,418 --> 01:33:48,637
누구에게나 정말 지루하고 따분한
일에 AI가 유용한 활용 사례

1687
01:33:48,637 --> 01:33:53,703
하나쯤은 있을 것 같아요. -
저는 개인적으로, 코딩 얘기가

1688
01:33:53,703 --> 01:33:58,922
나왔고 디버깅도 언급하셨으니까
말씀드리면... 저한테 즐거움의

1689
01:33:58,922 --> 01:34:03,988
원천은, Claude Code보다는
커서 쪽에서 더 그런데,

1690
01:34:03,988 --> 01:34:08,440
친구가 생긴 거예요, 페어
프로그래머가 생긴 거예요.

1691
01:34:08,440 --> 01:34:10,658
덜 외롭거든요.

1692
01:34:10,658 --> 01:34:15,232
디버깅을 무슨 대단한 즐거움인
것처럼 말씀하셨는데요.

1693
01:34:15,232 --> 01:34:18,763
아니요, 저라면 디버깅은
며칠 동안 사막을

1694
01:34:18,763 --> 01:34:22,755
헤매다가 마시는 물 한
모금 같다고 말하겠어요.

1695
01:34:22,755 --> 01:34:27,541
사막에서 고생하는 부분은
통째로 건너뛰시네요.

1696
01:34:27,541 --> 01:34:32,348
가끔은 버그를 직접 찾아내진
못해도 코드에 대한 직관은

1697
01:34:32,348 --> 01:34:36,675
좀 던져줄 수 있는 친구가
있으면 좋거든요. 같이

1698
01:34:36,675 --> 01:34:41,162
사막을 건너면서 그 물 한
모금을 함께 찾는 거죠.

1699
01:34:41,162 --> 01:34:43,247
적어도 저한테는요, 어쩌면
이게 프로그래밍이라는

1700
01:34:43,247 --> 01:34:45,412
경험이 얼마나 외로운지를
말해주는 걸지도 몰라요.

1701
01:34:45,412 --> 01:34:48,496
그게 기쁨의 원천이기도
하고요. - 어쩌면

1702
01:34:48,496 --> 01:34:51,581
지연된 만족감과도
관련이 있는 것 같아요.

1703
01:34:51,581 --> 01:34:54,947
저는 어릴 때도 크리스마스
선물이라는 것 자체를,

1704
01:34:54,947 --> 01:34:58,313
그러니까 선물을 갖는다는
것, 받는다는 것 자체를

1705
01:34:58,313 --> 01:35:01,803
실제로 선물을 받는 것보다
더 좋아했던 사람이에요.

1706
01:35:01,803 --> 01:35:04,457
선물 받는 날을 손꼽아
기다리다가도, 막상

1707
01:35:04,457 --> 01:35:06,765
그날이 지나고 나면 실망하곤 했어요.

1708
01:35:06,765 --> 01:35:08,680
음식도 어쩌면 마찬가지인 것 같아요.

1709
01:35:08,680 --> 01:35:12,343
제 생각엔 정말 배고플 때 먹는
음식이 더 맛있는 것 같아요.

1710
01:35:12,343 --> 01:35:17,818
맞아요, 디버깅이 항상
좋기만 한 건 아니죠.

1711
01:35:17,818 --> 01:35:23,274
종종 답답하기도 하지만, 풀어내면
그게 또 정말 좋거든요.

1712
01:35:23,274 --> 01:35:26,483
근데 딱 맞는 골디락스
존이 있어요. 너무

1713
01:35:26,483 --> 01:35:29,273
어려우면 그냥 시간 낭비일 뿐이고요.

1714
01:35:29,273 --> 01:35:31,522
근데 제 생각엔 또 다른 과제가 있어요.

1715
01:35:31,522 --> 01:35:34,179
사람들이 앞으로 어떻게
배울 것인가 하는 거죠.

1716
01:35:34,179 --> 01:35:38,034
차트를 봤는데, 주니어
개발자보다 시니어 개발자가

1717
01:35:38,034 --> 01:35:42,032
AI가 생성한 코드를 더
많이 배포하고 있더라고요.

1718
01:35:42,032 --> 01:35:46,577
굉장히 흥미로운 게, 직관적으로는
주니어 개발자일 거라고

1719
01:35:46,577 --> 01:35:52,001
생각하잖아요. 아직 그 일을 할
줄 모르니까 AI를 써서 한다고요.

1720
01:35:52,001 --> 01:35:55,799
이건 AI가 아직 그 작업을 해결할
만큼 좋지 않다는 뜻일 수도 있고,

1721
01:35:55,799 --> 01:35:59,305
아니면 전문가들이 AI를 더
효과적으로 쓴다는 뜻일 수도 있어요.

1722
01:35:59,305 --> 01:36:02,900
AI를 더 잘 쓸 줄
알고, 코드를 검토할 줄

1723
01:36:02,900 --> 01:36:06,352
알고, 그래서 그 코드를
더 신뢰하는 거죠.

1724
01:36:06,352 --> 01:36:10,800
앞으로 사회가 마주할 문제
중 하나는, 직접 해보지

1725
01:36:10,800 --> 01:36:14,931
않고서 어떻게 전문가가
될 수 있느냐는 거예요.

1726
01:36:14,931 --> 01:36:19,072
제가 늘 배워온 방식 중
하나는 직접 해보는 거였어요.

1727
01:36:19,072 --> 01:36:22,943
수학 교과서랑 풀이를 그냥
보면 뭔가 배우긴 하는데,

1728
01:36:22,943 --> 01:36:26,680
먼저 직접 풀어보면 실제로
훨씬 더 잘 배우거든요.

1729
01:36:26,680 --> 01:36:29,755
그러면 풀이를 다르게
받아들이게 돼요. 그걸 자기

1730
01:36:29,755 --> 01:36:32,830
머릿속 틀에 어떻게 끼워
넣을지를 알게 되니까요.

1731
01:36:32,830 --> 01:36:35,230
LLM이 항상 곁에 있다면, 정말

1732
01:36:35,230 --> 01:36:38,296
그렇게까지 애를 써서
씨름하려고 하실까요?

1733
01:36:38,296 --> 01:36:40,664
기꺼이 고생하려 하실까요?

1734
01:36:40,664 --> 01:36:42,683
고생하는 거, 별로
유쾌한 일은 아니잖아요?

1735
01:36:42,683 --> 01:36:46,078
그런데 LLM으로 모든 걸 다
해버리면 어느 시점에는 정말로

1736
01:36:46,078 --> 01:36:49,576
다음 단계로 나아가지 못하게
되고, 그러면 전문가로서 LLM을

1737
01:36:49,576 --> 01:36:52,766
쓸 때 얻을 수 있는 그런
도약은 못 얻을 수도 있어요.

1738
01:36:52,766 --> 01:36:56,510
그러니까 제 생각엔, 일종의
골디락스 존이 있는 것 같아요.

1739
01:36:56,510 --> 01:37:00,368
아마 여기서 요령은 하루 두
시간은 따로 오프라인 시간을 정해

1740
01:37:00,368 --> 01:37:03,999
공부하고, 나머지 시간엔 LLM을
쓰는 게 아닐까 싶어요.

1741
01:37:03,999 --> 01:37:08,321
근데 제 생각엔, 그래도 사람들이
여전히 스스로에게 투자하는 게 중요한

1742
01:37:08,321 --> 01:37:12,421
것 같아요 — 모든 걸 다 LLM에
맡기지 않는 거요. - 맞아요,

1743
01:37:12,421 --> 01:37:16,632
문명 차원에서 보면 우리 각자가 그
골디락스 존을 찾아야 하는 거죠.

1744
01:37:16,632 --> 01:37:18,842
프로그래밍이라는 맥락에서,
개발자로서도 마찬가지고요.

1745
01:37:18,842 --> 01:37:21,434
자, 우리가 사전학습과 미드트레이닝에서

1746
01:37:21,434 --> 01:37:24,272
시작해서 정말 흥미로운
얘기를 나눴잖아요.

1747
01:37:24,272 --> 01:37:26,203
이제 포스트트레이닝으로 넘어가 보죠.

1748
01:37:26,203 --> 01:37:28,500
포스트트레이닝에는 재미있는 게 많죠.

1749
01:37:28,500 --> 01:37:32,857
그럼 포스트트레이닝에서 흥미로운
아이디어들은 뭐가 있을까요? -

1750
01:37:32,857 --> 01:37:37,961
2025년 최대 화두는 이 검증 가능한
보상 기반 강화학습을 익힌 거예요.

1751
01:37:37,961 --> 01:37:42,018
거기서 학습을 스케일업할 수
있는데, 그러니까 이런 생성-채점

1752
01:37:42,018 --> 01:37:45,597
루프를 계속 반복해서 도는
거예요. 그러면 모델이 도구

1753
01:37:45,597 --> 01:37:49,415
사용이나 소프트웨어 쪽에서
흥미로운 행동들을 배우게 되죠.

1754
01:37:49,415 --> 01:37:52,430
예를 들면 검색을 한다거나,
스스로 명령어를 실행하고

1755
01:37:52,430 --> 01:37:55,133
그 결과를 확인하는 것일
수 있고요. 그리고 이

1756
01:37:55,133 --> 01:37:58,148
학습이 인퍼런스 스케일링도
아주 잘 가능하게 해줘요.

1757
01:37:58,148 --> 01:38:01,781
그리고 이 패러다임이 참 절묘하게
맞아떨어졌던 게, 이런 RL

1758
01:38:01,781 --> 01:38:05,094
학습이 인퍼런스 스케일링을
가능하게 해준다는 점이었어요.

1759
01:38:05,094 --> 01:38:07,958
하지만 인퍼런스 스케일링은 다른
방식으로도 찾아낼 수 있었을 거예요.

1760
01:38:07,958 --> 01:38:11,228
그러니까 일종의 퍼펙트
스톰이었던 거죠 — 모델이 크게

1761
01:38:11,228 --> 01:38:15,152
달라졌고, 그 변화에는 학습 방식이
핵심 요인으로 작용했으니까요.

1762
01:38:15,152 --> 01:38:17,924
그리고 이게 사람들이 포스트트레이닝에
접근하는 방식을 완전히

1763
01:38:17,924 --> 01:38:20,865
바꿔놨어요. - DeepSeek
R1이 대중화시킨 RLVR(검증

1764
01:38:20,865 --> 01:38:23,721
가능한 보상 기반 강화학습)에
대해 설명해 주실 수 있을까요?

1765
01:38:23,721 --> 01:38:26,282
그게 어떻게 작동하는지 설명해
주실 수 있을까요? - 네.

1766
01:38:26,282 --> 01:38:29,628
재밌는 사실 하나 말씀드리면, 저는
RLVR이라는 용어를 만든 팀에

1767
01:38:29,628 --> 01:38:33,335
있었어요. 딥시크보다 먼저 나온 저희
Tulu 3 작업에서 나온 용어예요.

1768
01:38:33,335 --> 01:38:36,908
저희가 이 RL 스케일링을
대중화시킨 공로를 크게 인정받으려는

1769
01:38:36,908 --> 01:38:40,481
건 아니에요. 그런데 재밌게도
— 여담이지만 — 학계 사람들이

1770
01:38:40,481 --> 01:38:44,159
누리는 것 중 하나가 용어를 짓고
담론에 영향을 미칠 수 있다는

1771
01:38:44,159 --> 01:38:47,627
거예요. 폐쇄형 연구소들은 할
수 있는 말이 제한적이니까요.

1772
01:38:47,627 --> 01:38:50,890
그러니까 학계에 있으면 이런 걸
할 수 있어요 — 모델을 학습시킬

1773
01:38:50,890 --> 01:38:54,061
연산력은 없어도, 어떤 걸
프레이밍하는 건 할 수 있다는 거죠.

1774
01:38:54,061 --> 01:38:57,143
그렇게 해서 결국 커뮤니티가
RLVR이라는 이 용어를 중심으로

1775
01:38:57,143 --> 01:38:59,952
뭉쳤다는 식으로 이야기가 되는
건데, 그게 참 재밌어요.

1776
01:38:59,952 --> 01:39:03,120
그리고 실제로 학습 쪽 돌파구를 만든 건

1777
01:39:03,120 --> 01:39:06,577
딥시크였어요. 강화학습을
스케일업시킨 거죠.

1778
01:39:06,577 --> 01:39:11,739
모델이 답을 생성하게 하고,
그 완성된 답이 맞았는지 채점을

1779
01:39:11,739 --> 01:39:16,588
해요. 그러면 그 정확도가
강화학습의 보상이 되는 거죠.

1780
01:39:16,588 --> 01:39:19,749
그러니까 강화학습이란
고전적으로는, 에이전트가 환경

1781
01:39:19,749 --> 01:39:23,249
안에서 행동하고 환경이 그
대가로 상태와 보상을 돌려주는

1782
01:39:23,249 --> 01:39:26,185
거예요. 그리고 이 보상을
최대화하려는 거고요.

1783
01:39:26,185 --> 01:39:30,628
언어모델의 경우엔, 보상은
보통 검증 가능한 과제들에

1784
01:39:30,628 --> 01:39:34,459
대한 정확도예요. 수학
문제든 코딩 과제든요.

1785
01:39:34,459 --> 01:39:39,246
그리고 사실관계를 다루는 영역 같은
데서는 경계가 좀 흐려지기 시작해요.

1786
01:39:39,246 --> 01:39:43,019
그것도 어떤 면에서는 검증
가능하다고 볼 수 있고요. 아니면

1787
01:39:43,019 --> 01:39:46,792
'A로 시작하는 단어로만
답하라'처럼 지시사항에 붙는 제약도

1788
01:39:46,792 --> 01:39:50,793
있죠. 이런 것들은 전부 어떤
식으로든 검증이 가능해요. 그리고

1789
01:39:50,793 --> 01:39:54,681
이 방법의 핵심 아이디어는,
이렇게 검증 가능한 문제를 최대한

1790
01:39:54,681 --> 01:39:58,682
많이 찾아내서 모델이 그걸 여러
번 시도해보게 하면서 이런 RL

1791
01:39:58,682 --> 01:40:02,798
스텝들, 그러니까 RL 그래디언트
업데이트를 거치게 하는 거예요.

1792
01:40:02,798 --> 01:40:08,186
이 인프라는 RLHF(인간 피드백
기반 강화학습)에서 진화해온 건데요,

1793
01:40:08,186 --> 01:40:13,574
그 시절엔 최적화하려던 점수가 인간
선호도를 학습한 보상 모델이었어요.

1794
01:40:13,574 --> 01:40:17,681
그러니까 문제 영역 자체를 좀 바꾸신
거고, 그 덕분에 최적화가 훨씬

1795
01:40:17,681 --> 01:40:21,897
더 큰 규모로 나아갈 수 있었던
거네요. 그게 모델이 할 수 있는 일과

1796
01:40:21,897 --> 01:40:26,004
사람들이 그걸 쓰는 방식에 큰 변화를
촉발한 셈이고요. - RLVR은

1797
01:40:26,004 --> 01:40:30,328
어떤 영역에 잘 맞나요? - 수학과
코드가 가장 유명한 사례고, 그다음엔

1798
01:40:30,328 --> 01:40:34,652
이른바 '루브릭'이라는 것에 대한
연구가 많이 나오고 있는데, 이건 다들

1799
01:40:34,652 --> 01:40:38,759
한 번쯤 들어봤을 단어인
LLM-as-a-judge와 관련이 있어요.

1800
01:40:38,759 --> 01:40:42,756
제 데이터셋에 문제
세트가 있다고 해볼게요.

1801
01:40:42,756 --> 01:40:45,594
그다음엔 LLM한테
"이 문제에 대한 좋은

1802
01:40:45,594 --> 01:40:48,556
답은 어떤 모습일까?"라고
물어보는 거예요.

1803
01:40:48,556 --> 01:40:51,099
그러고 나서 이 문제를
계속 반복해서 풀어보게

1804
01:40:51,099 --> 01:40:53,948
하고, 이 루브릭을 기준으로
점수를 매기는 거고요.

1805
01:40:53,948 --> 01:40:58,073
이건 수학이나 코드 영역처럼 확실하게
검증 가능한 건 아니지만, 이

1806
01:40:58,073 --> 01:41:02,422
루브릭 아이디어랑 좀 더 모호한 다른
과학 문제들이 지금 다들 주목하는

1807
01:41:02,422 --> 01:41:06,547
지점이에요. 이런 방법론들을 좀
더 열린 영역으로 밀어붙여서 모델이

1808
01:41:06,547 --> 01:41:10,449
훨씬 더 많이 배울 수 있게
하려는 거고요. - 제 생각엔 그게

1809
01:41:10,449 --> 01:41:14,575
AI 피드백 기반 강화학습이라고
부르는 거 아닌가요? - 그건 예전

1810
01:41:14,575 --> 01:41:18,477
용어예요, 앤스로픽의 컨스티튜셔널
AI 논문에서 만든 말이고요.

1811
01:41:18,477 --> 01:41:21,582
이런 것들 상당수가 돌고
도는 거 같아요. - 아,

1812
01:41:21,582 --> 01:41:24,466
그리고 RLVR 얘기로
한 발짝 물러나 보면요.

1813
01:41:24,466 --> 01:41:27,860
제 생각엔 여기서 흥미로운
지점은, LLM한테 이를테면

1814
01:41:27,860 --> 01:41:31,366
수학 문제를 물어보고, 정답은
이미 알고 있는 상태에서,

1815
01:41:31,366 --> 01:41:34,986
말씀하신 것처럼 LLM이 스스로
풀어내게 놔둔다는 거예요.

1816
01:41:34,986 --> 01:41:37,619
어떻게 풀어내는지는—크게
제약을 두지 않아요.

1817
01:41:37,619 --> 01:41:40,148
"같은 언어를 써라,
스페인어랑 영어를 섞어

1818
01:41:40,148 --> 01:41:42,783
쓰지 마라" 같은 제약이
몇 가지 있긴 해요.

1819
01:41:42,783 --> 01:41:45,040
하지만 거의 손을 떼고
맡긴다고 보면 돼요.

1820
01:41:45,040 --> 01:41:50,609
문제랑 정답만 주고, LLM은 그
정답에 도달하는 걸 과제로 받는

1821
01:41:50,609 --> 01:41:56,642
거예요. 근데 여기서 정말 멋진 건
실제로 벌어지는 일인데요, LLM이

1822
01:41:56,642 --> 01:42:02,521
학생이나 수학자가 풀이를 도출하듯
단계별로 설명을 해나간다는 거예요.

1823
01:42:02,521 --> 01:42:05,201
그 단계들을 활용하고, 그게 모델 스스로

1824
01:42:05,201 --> 01:42:07,759
정확도를 높이는 데 도움이 되는 거죠.

1825
01:42:07,759 --> 01:42:11,480
그리고 말씀하신 것처럼,
인퍼런스 스케일링도요.

1826
01:42:11,480 --> 01:42:17,388
인퍼런스 스케일링은 대략적으로
인퍼런스 중에 더 많은 연산을 쓴다는

1827
01:42:17,388 --> 01:42:22,976
뜻인데, 여기서는 모델이 토큰을
더 많이 쓰는 형태로 나타나요.

1828
01:42:22,976 --> 01:42:25,784
DeepSeek R1
논문을 보면, 모델을 오래

1829
01:42:25,784 --> 01:42:28,700
학습시킬수록 답변이 더
길어진다는 걸 보여줬어요.

1830
01:42:28,700 --> 01:42:29,756
시간이 갈수록 점점 길어지는 거예요.

1831
01:42:29,756 --> 01:42:32,339
토큰을 더 많이 쓰니까
비용도 더 커지고요.

1832
01:42:32,339 --> 01:42:34,309
간단한 작업에도 비용이 커지긴 하는데,

1833
01:42:34,309 --> 01:42:36,280
이런 설명들이 정확도에는 도움이 돼요.

1834
01:42:36,280 --> 01:42:40,514
모델이 설명하는 내용이 꼭 맞을
필요는 없거나 답이랑 아예

1835
01:42:40,514 --> 01:42:44,484
상관없을 수도 있는데, 그래도
어쨌든 설명을 한다는 것

1836
01:42:44,484 --> 01:42:48,851
자체가 모델한테 도움이 된다는
걸 보여주는 논문들도 있어요.

1837
01:42:48,851 --> 01:42:51,225
그리고 이것도—다시 한번
말씀드리지만, 이 LLM들을

1838
01:42:51,225 --> 01:42:53,272
의인화하고 싶진 않은데요,
그래도 어쩐지 우리

1839
01:42:53,272 --> 01:42:55,400
인간이 작동하는 방식이랑
좀 비슷한 거 같아요.

1840
01:42:55,400 --> 01:42:58,723
수학 수업에서 복잡한 문제가 나오면,

1841
01:42:58,723 --> 01:43:02,213
보통 연습장에 단계별로 풀어나가잖아요.

1842
01:43:02,213 --> 01:43:03,340
쓰다가 틀리면 지우기도 하고요.

1843
01:43:03,340 --> 01:43:05,915
모델도 스스로 고쳐나가는데,
그게 바로 DeepSeek

1844
01:43:05,915 --> 01:43:08,405
R1 논문에서 말하는 '아하
모먼트'였던 거 같아요.

1845
01:43:08,405 --> 01:43:11,480
'아하 모먼트'라고 부른 이유는,
모델 스스로 자기가 실수했다는 걸

1846
01:43:11,480 --> 01:43:14,639
인식하고서 "아, 뭔가 잘못했네,
다시 해보자"라고 했기 때문이에요.

1847
01:43:14,639 --> 01:43:18,467
그냥 정답만 주고 알아서
풀어내게 했을 뿐인데 이런 게

1848
01:43:18,467 --> 01:43:22,551
자연스럽게 나온다는 게, 어떤
의미에서는 사람이 하는 것과

1849
01:43:22,551 --> 01:43:26,379
비슷하게 행동한다는 게, 저는
정말 멋지다고 생각해요.

1850
01:43:26,379 --> 01:43:28,731
LLM이 인간처럼 사고하는 건 아니지만,

1851
01:43:28,731 --> 01:43:31,083
어떻게 보면 흥미로운 우연이고 그게...

1852
01:43:31,083 --> 01:43:33,879
그리고 또 다른 좋은 부수
효과는, 저희 같은 인간이

1853
01:43:33,879 --> 01:43:36,579
이런 단계들을 보는 게 자주
도움이 된다는 거예요.

1854
01:43:36,579 --> 01:43:37,743
신뢰도 쌓아주고, 또 저희 같은 인간들이

1855
01:43:37,743 --> 01:43:38,907
이런 단계들을 보는 데도 도움이 되고요.

1856
01:43:38,907 --> 01:43:39,994
신뢰도 쌓아주고, 저희가
배우면서 다시 확인도

1857
01:43:39,994 --> 01:43:40,994
해볼 수 있고요. -
여기 내용이 많네요.

1858
01:43:40,994 --> 01:43:42,163
제 생각엔 이 논쟁 중 일부는...

1859
01:43:42,163 --> 01:43:45,644
이런 언어모델들이 정말 그런 건지를
놓고, 올해 논쟁이 많았어요...

1860
01:43:45,644 --> 01:43:48,387
제 생각엔 '아하 모먼트'는
어느 정도 가짜에 가까운 것

1861
01:43:48,387 --> 01:43:51,130
같아요. 사전학습 단계에서는
사실상 인터넷 전체를 다 본

1862
01:43:51,130 --> 01:43:54,050
셈이니까, 사람들이 자기가 한
작업을 설명하는 모습을—심지어

1863
01:43:54,050 --> 01:43:57,147
수학 강의 녹취록처럼 말로 설명하는
것까지—확실히 봤을 거예요.

1864
01:43:57,147 --> 01:43:58,960
"이렇게 해볼게, 아, 이거
잘못했네" 이런 식으로요.

1865
01:43:58,960 --> 01:44:02,025
그리고 RLVR이 정말
잘하는 게 바로 이런 행동들을

1866
01:44:02,025 --> 01:44:04,879
증폭시키는 거예요. 모델이
더 오래 생각하고 자기

1867
01:44:04,879 --> 01:44:07,627
작업을 점검하게 만드는
데 굉장히 유용하니까요.

1868
01:44:07,627 --> 01:44:09,363
그리고 이 학습 방식이 어떻게 보면 참

1869
01:44:09,363 --> 01:44:11,429
아름답다는 데는 저도
동의해요. 이게 좀...

1870
01:44:11,429 --> 01:44:13,923
모델이 최종 답을 더 좋게
만드는 데 정말 유용한

1871
01:44:13,923 --> 01:44:16,325
방식으로 이걸 증폭시키는
법을 배우는 거죠. -

1872
01:44:16,325 --> 01:44:18,911
저도 실제로 겪은 예시를
하나 말씀드릴 수 있어요.

1873
01:44:18,911 --> 01:44:21,029
제가 Qwen 3 베이스
모델을 MATH-500에

1874
01:44:21,029 --> 01:44:22,676
대해 RLVR로 학습시키고 있었거든요.

1875
01:44:22,676 --> 01:44:27,047
베이스 모델의 정확도는
대략 15% 정도였어요.

1876
01:44:27,047 --> 01:44:30,363
RLVR로 딱 50 스텝,
그러니까 몇 분 만에

1877
01:44:30,363 --> 01:44:33,551
모델이 정확도 15%에서
50%로 뛰더라고요.

1878
01:44:33,551 --> 01:44:34,720
그리고 모델이...

1879
01:44:34,720 --> 01:44:38,053
이것만으로 수학에 대해 근본적으로
뭔가를 배운다고는 말할 수 없죠 -

1880
01:44:38,053 --> 01:44:41,211
Qwen 예시가 좀 이상한 게,
올해 이런 논문이 두 편 나왔는데

1881
01:44:41,211 --> 01:44:44,632
저도 그중 하나에 참여했어요.
Qwen의 데이터 오염에 관한 논문인데,

1882
01:44:44,632 --> 01:44:47,789
구체적으로는 이 특별한 미드트레이닝
단계에서 학습을 많이 시킨다는

1883
01:44:47,789 --> 01:44:50,771
거고, 이 부분은 잠깐 짚고
넘어가야 할 것 같아요. 왜냐하면

1884
01:44:50,771 --> 01:44:54,280
이상하게도 MATH랑 거의 똑같은
문제로 학습을 시키거든요. - 맞아요.

1885
01:44:54,280 --> 01:44:56,992
그러니까 보시다시피,
기본적으로 RL이 모델에게

1886
01:44:56,992 --> 01:44:59,808
수학에 대한 새로운 지식을
가르치는 게 아니에요.

1887
01:44:59,808 --> 01:45:01,068
50 스텝만으로 그런
걸 할 수는 없잖아요.

1888
01:45:01,068 --> 01:45:04,612
그러니까 그 지식은 이미 사전학습
단계에 있었던 거고, 그냥 그걸

1889
01:45:04,612 --> 01:45:08,156
끌어내는 것뿐이에요. - 저는 그
전제에 여전히 동의하지 않아요.

1890
01:45:08,156 --> 01:45:11,995
증명할 수 없는 이상한 복잡함들이
많거든요. 이상하다는 걸 보여주는 것

1891
01:45:11,995 --> 01:45:15,736
중 하나가, Qwen 3의 이른바
베이스 모델이라는 걸 가져다가...

1892
01:45:15,736 --> 01:45:18,164
구글에서 "math
dataset, 허깅페이스"

1893
01:45:18,164 --> 01:45:20,872
이런 식으로 검색해서 문제
하나를 가져올 수 있는데,

1894
01:45:20,872 --> 01:45:23,113
그걸 Qwen 3 베이스
모델에 넣으면...

1895
01:45:23,113 --> 01:45:25,736
이런 수학 문제들은 다 문장으로
되어 있어서, 예를 들면

1896
01:45:25,736 --> 01:45:28,360
"앨리스한테 사과가 다섯 개
있는데 하나를 가져가고...

1897
01:45:28,360 --> 01:45:30,814
누군가한테 세 개를 준다"
이런 식의 문장제들이에요.

1898
01:45:30,814 --> 01:45:35,926
이런 Qwen 기반 모델들을
사람들이 의심하는 이유는, 숫자만

1899
01:45:35,926 --> 01:45:41,038
바꾸고 문장은 그대로 두면—
Qwen이 도구 없이도 소수점까지

1900
01:45:41,038 --> 01:45:45,999
정확도가 매우 높은 답을
내놓는다는 거예요. 이건 뭔가...

1901
01:45:45,999 --> 01:45:49,758
언젠가 테스트 세트와 거의
동일한 문제들을 본 적이 있고,

1902
01:45:49,758 --> 01:45:53,400
그때는 도구를 써서 정밀도가
아주 높은 답을 얻은 건데,

1903
01:45:53,400 --> 01:45:57,512
언어모델이 도구 없이는 실제로
이런 정확도를 낼 수가 없거든요.

1904
01:45:57,512 --> 01:46:01,493
그래서 연구 커뮤니티에서 어느
정도 큰 논쟁거리가 됐어요.

1905
01:46:01,493 --> 01:46:04,853
Qwen으로 학습시키고
이 수학 벤치마크로 성능을

1906
01:46:04,853 --> 01:46:08,461
측정하는 강화학습 논문들—오염
문제를 지적하는 논문이

1907
01:46:08,461 --> 01:46:12,318
여러 편 나온—을 도대체
얼마나 믿을 수 있느냐는 거죠.

1908
01:46:12,318 --> 01:46:14,899
그리고 제 생각엔 이것 때문에
RLVR이 '결국 포맷팅 문제일

1909
01:46:14,899 --> 01:46:17,783
뿐'이라는 평판을 얻게 된 것 같아요.
이런 성능 향상을 이렇게 빨리

1910
01:46:17,783 --> 01:46:20,591
얻을 수 있다는 건, 결국 이미
모델 안에 있던 거라는 얘기니까요.

1911
01:46:20,591 --> 01:46:22,848
그런데 여기엔 복잡한
부분들이 많아서 저희가…

1912
01:46:22,848 --> 01:46:25,807
통제된 실험 같은 게 아니다
보니, 사실 잘 모르겠어요.

1913
01:46:25,807 --> 01:46:28,289
- 근데 만약 그게 사실이
아니라면, 제 생각엔

1914
01:46:28,289 --> 01:46:30,867
디스틸레이션 자체가 안
됐어야 하는 거 아닐까요?

1915
01:46:30,867 --> 01:46:33,677
그러니까, 디스틸레이션이 어느
정도는 통하긴 하는데, 문제는— 이게

1916
01:46:33,677 --> 01:46:36,184
제 생각엔 가장 큰 문제인 것
같아요. 그리고 제가 이 오염

1917
01:46:36,184 --> 01:46:38,994
문제를 연구하는 이유도 데이터에
뭐가 들어있는지 모르기 때문이고요.

1918
01:46:38,994 --> 01:46:42,224
새 데이터셋이 없는
이상, 사실상 불가능해요.

1919
01:46:42,224 --> 01:46:46,265
마찬가지로, 아까 말씀하신 수학
데이터셋도 그래요 — 질문이

1920
01:46:46,265 --> 01:46:50,184
있고 답이 있고 설명이 붙는
방식인데, 심지어 MMLU처럼

1921
01:46:50,184 --> 01:46:53,858
더 단순한 객관식 벤치마크에서도
똑같은 일이 벌어져요.

1922
01:46:53,858 --> 01:46:57,493
포맷을 살짝만 바꿔도, 그러니까
잘 모르겠지만 괄호 대신

1923
01:46:57,493 --> 01:47:01,246
마침표를 쓴다든가 하면 모델
정확도가 확 달라져요. - 제

1924
01:47:01,246 --> 01:47:05,116
생각엔 그건 일반적인 문제라기보다는
모델 자체의 문제일 수도

1925
01:47:05,116 --> 01:47:09,338
있을 것 같아요. - LLM
개발자들이 일부러 그런 건 아니에요,

1926
01:47:09,338 --> 01:47:13,208
"우리 이 벤치마크에서 부정행위
좀 해볼까" 이런 식으로요.

1927
01:47:13,208 --> 01:47:15,008
그게 언젠가 한 번은 이걸
본 적이 있다는 거예요.

1928
01:47:15,008 --> 01:47:18,472
제 생각엔 LLM을 공정하게
평가하는 유일한 방법은 그

1929
01:47:18,472 --> 01:47:21,936
LLM이 배포된 컷오프 시점
이후에 나온 새 벤치마크를

1930
01:47:21,936 --> 01:47:25,284
쓰는 것뿐인 것 같아요.
- 포스트트레이닝에 들어가는

1931
01:47:25,284 --> 01:47:28,633
모든 요소들을 레시피처럼
한번 정리해볼 수 있을까요?

1932
01:47:28,633 --> 01:47:32,608
그리고 RLVR이 정말 흥미롭고
효과적인 거라고 말씀하셨었죠.

1933
01:47:32,608 --> 01:47:34,368
그 부분을 좀 더 풀어서
설명해봐도 좋을 것 같아요.

1934
01:47:34,368 --> 01:47:37,554
RLHF도 여전히 정말
중요한 역할을 하고 있고요.

1935
01:47:37,554 --> 01:47:39,912
포스트트레이닝에는 또 어떤
아이디어들이 있을까요?

1936
01:47:39,912 --> 01:47:41,921
- 순서대로 한번
짚어봐도 될 것 같아요.

1937
01:47:41,921 --> 01:47:45,877
이걸 최초의 추론 모델인 o1을
가능하게 만든 게 뭔지, 아니면

1938
01:47:45,877 --> 01:47:49,946
최신 모델은 또 뭘 하고 있는지로
나눠서 볼 수 있을 것 같아요.

1939
01:47:49,946 --> 01:47:51,327
그리고 실제로는…

1940
01:47:51,327 --> 01:47:56,788
여기서도 비슷한 개입들이 들어가는데,
우선 미드트레이닝부터 시작합니다.

1941
01:47:56,788 --> 01:48:01,549
o1 같은 모델을 가능하게 했다는
소문이 있는 게 사실 굉장히

1942
01:48:01,549 --> 01:48:06,589
공들인 데이터 큐레이션이에요.
이른바 추론 트레이스라는 걸 폭넓게

1943
01:48:06,589 --> 01:48:11,910
제공하는 건데요, 이건 모델이 문제를
중간 단계들로 쪼개서 풀어나가는

1944
01:48:11,910 --> 01:48:16,811
과정을 그대로 반영하듯 순차적으로
단어를 생성하는 걸 말합니다.

1945
01:48:16,811 --> 01:48:20,217
그래서 미드트레이닝 단계에서
이런 것과 비슷한 데이터를 갖고

1946
01:48:20,217 --> 01:48:23,519
있어야, 이후 포스트트레이닝으로
넘어가서 주로 검증 가능한

1947
01:48:23,519 --> 01:48:27,028
보상으로 학습할 때 모델이 제대로
배울 수 있게 되는 거예요.

1948
01:48:27,028 --> 01:48:32,088
그리고 요즘 하고 있는 건,
모델에 어떤 문제를 줄지, 그걸

1949
01:48:32,088 --> 01:48:36,841
얼마나 오래 학습시킬지, 또
이 검증 가능한 문제들을 풀

1950
01:48:36,841 --> 01:48:41,747
때 모델이 인퍼런스를 얼마나
쓰게 할지를 알아내는 거예요.

1951
01:48:41,747 --> 01:48:47,369
그래서 모델이 좋아질수록,
어떤 문제들은 더 이상—

1952
01:48:47,369 --> 01:48:49,466
모델이 100% 다
풀어버리게 되고, 그러다 보니

1953
01:48:49,466 --> 01:48:51,563
여기서 얻을 수 있는
신호가 거의 없어지는 거죠.

1954
01:48:51,563 --> 01:48:54,980
GRPO 수식을 보면, 이게
바로 그래서 유명한 건데요 —

1955
01:48:54,980 --> 01:48:58,504
기본적으로 에이전트에게 주어지는
보상이, 어떤 행동이—여기서

1956
01:48:58,504 --> 01:49:01,921
행동이란 하나의 완성된 답변을
말하는데요—같은 문제에 대한

1957
01:49:01,921 --> 01:49:05,338
다른 답변들에 비해 얼마나
좋은지를 기준으로 정해지거든요.

1958
01:49:05,338 --> 01:49:07,124
그래서 모든 문제에 같은
답이 나오면, 이런

1959
01:49:07,124 --> 01:49:09,059
종류의 알고리즘에서는
신호가 전혀 없는 거예요.

1960
01:49:09,059 --> 01:49:11,910
그래서 지금 하고 있는 건
더 어려운 문제들을 찾는

1961
01:49:11,910 --> 01:49:14,761
거예요. 그래서 과학 분야
같은 얘기가 자꾸 나오는

1962
01:49:14,761 --> 01:49:17,612
거고요, 거기선 뭐 하나
맞히기가 정말 어렵거든요.

1963
01:49:17,612 --> 01:49:20,257
실험 환경 같은 게 있으면
토큰을 엄청나게 많이 생성하게

1964
01:49:20,257 --> 01:49:23,243
되고요, 아니면 훨씬 더 어려운
소프트웨어 문제를 쓰기도 해요.

1965
01:49:23,243 --> 01:49:25,978
그래서 최전선 모델들은 다
이렇게 더 어려운 도메인으로

1966
01:49:25,978 --> 01:49:28,531
파고들고 있어요. 더 많은
문제로 학습할 수 있고,

1967
01:49:28,531 --> 01:49:30,993
모델이 한 번에 더 많은
스킬을 배우게 되니까요.

1968
01:49:30,993 --> 01:49:34,585
여기서 RLHF와의 연결고리는,
RLHF가 예전부터 지금까지도

1969
01:49:34,585 --> 01:49:37,859
일종의 마무리 손질 같은
역할을 한다는 거예요. 구성이나

1970
01:49:37,859 --> 01:49:41,345
문체, 톤을 다듬어서 모델을
더 쓸모 있게 만들어주는 거죠.

1971
01:49:41,345 --> 01:49:45,622
사람마다 반응하는 게 다르거든요.
어떤 사람들은 꽤 독특한 개성을 가진

1972
01:49:45,622 --> 01:49:49,679
모델을 좋아하는데, RLHF가 그런
개성을 만들어주는 데 유용할 수

1973
01:49:49,679 --> 01:49:53,737
있어요. 그리고 어떤 사람들은
모델이 마크다운 불릿 리스트로 답하는

1974
01:49:53,737 --> 01:49:57,904
걸 싫어하는데, 사실 그게 정보를
빠르게 파악하는 데는 꽤 좋거든요.

1975
01:49:57,904 --> 01:50:01,718
RLHF에서는 이 인간
피드백 단계가 결국 이런

1976
01:50:01,718 --> 01:50:05,091
걸 모델에 심어주는
데 정말 좋은 거예요.

1977
01:50:05,091 --> 01:50:07,700
이게 바로 챗GPT를 사람들에게
그렇게 마법처럼 느껴지게 만든 거예요.

1978
01:50:07,700 --> 01:50:10,807
그리고 그 용도는 사실 꽤
안정적으로 유지돼 왔고요.

1979
01:50:10,807 --> 01:50:13,784
이런 포맷팅이 예를 들면 모델이 수학

1980
01:50:13,784 --> 01:50:17,058
문제를 더 잘 풀게 도와주기도 하거든요.

1981
01:50:17,058 --> 01:50:21,089
그러니까 스타일과 포맷팅의
경계, 그리고 문제를 풀 때 쓰는

1982
01:50:21,089 --> 01:50:25,242
방법이라는 게, 이 모델들을
학습시키는 관점에서 보면 사실 다

1983
01:50:25,242 --> 01:50:29,517
아주 밀접하게 연결돼 있어요.
그래서 RLHF로도 여전히 모델이

1984
01:50:29,517 --> 01:50:33,426
수학을 더 잘하게 만들 수 있는
거고요. 다만 검증 가능한

1985
01:50:33,426 --> 01:50:37,702
도메인들은 문제 형식화와 더 잘
맞아떨어지니까 훨씬 더 직접적인

1986
01:50:37,702 --> 01:50:42,099
과정이 되는 거죠. 그래서 결국
이게 다 하나로 합쳐지는 거예요.

1987
01:50:42,099 --> 01:50:44,996
그래도 요약하자면,
미드트레이닝은 모델한테 나중에

1988
01:50:44,996 --> 01:50:47,572
학습하는 데 필요한
스킬을 심어주는 거고요.

1989
01:50:47,572 --> 01:50:50,314
검증 가능한 보상을 활용한
강화학습, 그러니까 RLVR은

1990
01:50:50,314 --> 01:50:53,057
모델이 여러 번 시도해보게
하는 거예요. 어려운 문제들에

1991
01:50:53,057 --> 01:50:55,445
대한 시행착오 학습에
연산을 많이 쏟아붓는 거죠.

1992
01:50:55,445 --> 01:50:59,889
그리고 RLHF는 모델을 마무리하는
거라고 보면 돼요. 쓰기 편하게 만들고,

1993
01:50:59,889 --> 01:51:04,122
모델을 좀 다듬어서 완성도를 높이는
거죠. - RLVR에 필요한 연산량에

1994
01:51:04,122 --> 01:51:07,931
대해 말씀해 주실 수 있을까요?
- 그건 계속 늘어나기만 했어요.

1995
01:51:07,931 --> 01:51:10,899
제 생각엔 일리야 수츠케버가
사전학습과 포스트트레이닝에

1996
01:51:10,899 --> 01:51:13,472
비슷한 양의 연산을 쓴다고
말한 걸로 유명하죠.

1997
01:51:13,472 --> 01:51:15,584
스케일링 얘기로 다시 돌아가면, 이 둘은

1998
01:51:15,584 --> 01:51:17,889
스케일링에 쓰는 하드웨어가
아주 다르거든요.

1999
01:51:17,889 --> 01:51:21,087
사전학습은 연산 병목이 아주 심한
편이에요. 아까 얘기한 FLOPs

2000
01:51:21,087 --> 01:51:24,372
얘기처럼, 한 번에 행렬곱을 얼마나
많이 처리할 수 있느냐의 문제죠.

2001
01:51:24,372 --> 01:51:28,898
그런데 RL에서는 답을 직접
생성하고 모델을 실제 환경에서

2002
01:51:28,898 --> 01:51:33,283
시도해보는 거라서, 결국
메모리 병목이 훨씬 커져요. 긴

2003
01:51:33,283 --> 01:51:37,809
시퀀스를 생성하다 보니까,
어텐션 메커니즘 특성상 시퀀스가

2004
01:51:37,809 --> 01:51:42,052
길어질수록 메모리가 제곱으로
늘어나는 현상이 있거든요.

2005
01:51:42,052 --> 01:51:43,972
그래서 연산 양상이
아주 달라지는 거예요.

2006
01:51:43,972 --> 01:51:46,499
사전학습에서는 모델을
얘기할 때, 바이든 행정부

2007
01:51:46,499 --> 01:51:49,221
행정명령 얘기로 돌아가
보면, 모델 하나 학습시키는

2008
01:51:49,221 --> 01:51:51,845
데 10의 25제곱
FLOPs 정도라고 하거든요.

2009
01:51:51,845 --> 01:51:55,474
포스트트레이닝에서 FLOPs를
쓴다고 하면 훨씬 이상해지는데요,

2010
01:51:55,474 --> 01:51:58,274
현실은 그냥 몇 시간을
배정할 거냐의 문제거든요.

2011
01:51:58,274 --> 01:51:59,392
GPU는 몇 대나 쓸 거냐는 거죠?

2012
01:51:59,392 --> 01:52:01,898
그리고 제 생각엔 시간으로
따지면 RL 쪽 연산량이

2013
01:52:01,898 --> 01:52:04,226
사전학습에 점점 더
가까워지고 있는 것 같아요.

2014
01:52:04,226 --> 01:52:06,732
그걸 전부 시스템 하나에
몰아넣을 수는 없으니까요.

2015
01:52:06,732 --> 01:52:10,288
사전학습은 연산 밀도가 아주 높아서
GPU들이 서로 계속 통신하고,

2016
01:52:10,288 --> 01:52:14,132
효율이 굉장히 좋아요. 반면 RL은
맞물려 돌아가는 과정이 많아서 10만

2017
01:52:14,132 --> 01:52:17,688
토큰짜리 시퀀스 하나 생성하는 데도
시간이 오래 걸릴 수 있거든요.

2018
01:52:17,688 --> 01:52:20,188
GPT-5.2 Pro가 답
하나에 한 시간씩 걸린다고

2019
01:52:20,188 --> 01:52:22,774
생각해보면, 학습 런에서 샘플
하나가 한 시간씩 걸리는

2020
01:52:22,774 --> 01:52:25,532
셈이니까, 그걸 효율적으로
처리하도록 만들어야 하는 거죠.

2021
01:52:25,532 --> 01:52:29,478
그래서 GPU 시간이나 그냥 실제
소요 시간(wall-clock)으로

2022
01:52:29,478 --> 01:52:33,113
보면, RL 런도 사전학습이랑
비슷한 일수에 가까워지고 있는 것

2023
01:52:33,113 --> 01:52:36,852
같아요. 다만 동시에 쓰는 GPU
수는 그만큼 많지 않을 거고요.

2024
01:52:36,852 --> 01:52:40,337
랩들 사이엔 경험칙이 있는데요,
사전학습 런이 한 달 넘게

2025
01:52:40,337 --> 01:52:44,258
걸리는 걸 원치 않는다는 거예요.
파국적으로 실패할 수 있거든요.

2026
01:52:44,258 --> 01:52:48,417
그리고 거대한 클러스터를 두 달
동안 붙잡아 두려고 계획했는데

2027
01:52:48,417 --> 01:52:52,332
50일째에 실패해버리면,
기회비용이 어마어마하게 크거든요.

2028
01:52:52,332 --> 01:52:56,392
그래서 다들 계란을 한 바구니에
담고 싶어 하지 않는 거예요.

2029
01:52:56,392 --> 01:52:59,362
GPT-4가 바로 궁극의
YOLO 런이었어요. 그전까지는

2030
01:52:59,362 --> 01:53:01,853
아무도 그렇게 하고 싶어
하지 않았는데, 학습에

2031
01:53:01,853 --> 01:53:04,631
3개월이 걸렸고 그게 실제로
되니까 다들 충격받았죠.

2032
01:53:04,631 --> 01:53:08,675
제 생각엔 요즘은 다들 좀 더
신중하고 점진적으로 가는 것 같아요.

2033
01:53:08,675 --> 01:53:12,720
- RLVR은 말하자면 아무리
학습시켜도 계속 이득을 볼 수 있다는

2034
01:53:12,720 --> 01:53:16,545
점에서 거의 무제한인 반면,
RLHF는 선호 학습이다 보니 어느

2035
01:53:16,545 --> 01:53:20,371
시점에 이르면 RL 예산을 더
쓰는 게 별 의미가 없어지거든요.

2036
01:53:20,371 --> 01:53:23,951
잠깐 한 발 물러나서 선호 학습
얘기를 해보면요, 같은 걸

2037
01:53:23,951 --> 01:53:27,755
두고도 여러 사람이 서로 다른
설명을 줄 수 있고 그 설명들이

2038
01:53:27,755 --> 01:53:31,112
다 맞을 수도 있는데, 어느
시점이 되면 특정 스타일을

2039
01:53:31,112 --> 01:53:34,468
학습해버리고 그 이상 반복하는
건 별 의미가 없어져요.

2040
01:53:34,468 --> 01:53:38,764
제가 제일 좋아하는 예시인데요,
친척들이 어떤 노트북을 사야 하냐고

2041
01:53:38,764 --> 01:53:42,712
물으면 저는 설명을 해주거나
"용도가 뭔데요?"라고 되물어요.

2042
01:53:42,712 --> 01:53:46,741
그분들은 예를 들면 배터리
수명이랑 저장 용량을 우선시하죠.

2043
01:53:46,741 --> 01:53:50,860
반면 저희 같은 사람들은 예를 들면
RAM이랑 컴퓨트를 우선시하고요.

2044
01:53:50,860 --> 01:53:55,533
둘 다 맞는 답이지만, 사람마다
필요한 답이 다른 거죠.

2045
01:53:55,533 --> 01:53:58,232
선호 학습에서는 어떻게든
평균을 내려고 하는 거예요.

2046
01:53:58,232 --> 01:54:01,448
데이터 라벨러들한테 정답이
아니라 선호되는 답을

2047
01:54:01,448 --> 01:54:04,663
달라고 요청하고, 그걸로
학습을 시키는 거고요.

2048
01:54:04,663 --> 01:54:07,997
근데 어느 시점이 되면 그 평균적으로
선호되는 답을 다 배워버려요.

2049
01:54:07,997 --> 01:54:14,249
그러면 더 오래 학습시킬 이유가
없어져요, 그냥 스타일일 뿐이니까요. 반면

2050
01:54:14,249 --> 01:54:20,044
RLVR에서는 모델이 점점 더 복잡하고
어려운 문제를 풀게 하잖아요.

2051
01:54:20,044 --> 01:54:23,182
그래서 저는 장기적으로는 RLVR 쪽에

2052
01:54:23,182 --> 01:54:26,170
예산을 더 배분하는 게 맞다고 봐요.

2053
01:54:26,170 --> 01:54:32,471
그리고 지금은 아직 RLVR
1.0 단계라서, 질문과 답만 있는

2054
01:54:32,471 --> 01:54:38,412
단순한 구조고 그 사이 과정에는
아무것도 안 하고 있거든요.

2055
01:54:38,412 --> 01:54:41,621
과정 보상 모델(PRM)에
관한 연구 논문이 여러 편

2056
01:54:41,621 --> 01:54:45,274
있었는데요, 예를 들면 구글도
낸 논문들인데, 설명 자체에도

2057
01:54:45,274 --> 01:54:48,483
점수를 매기더라고요 — 그
설명이 얼마나 맞는지를요.

2058
01:54:48,483 --> 01:54:53,264
그게 다음 단계, 그러니까 올해의
RLVR 2.0이 될 거라고

2059
01:54:53,264 --> 01:54:57,763
봐요 — 질문과 답 사이에
집중해서, 그 설명이라는 정보를

2060
01:54:57,763 --> 01:55:02,263
어떻게 활용해야 정확도를 더
높일 수 있을지를 보는 거죠.

2061
01:55:02,263 --> 01:55:03,672
그게 한 가지 방향이고요.

2062
01:55:03,672 --> 01:55:08,059
DeepSeekMath-V2
논문도 있었는데, 거기서도

2063
01:55:08,059 --> 01:55:12,445
흥미로운 인퍼런스 스케일링을
다뤘어요 — 먼저 스스로를

2064
01:55:12,445 --> 01:55:16,832
채점하는 모델, 그러니까
별도의 모델을 만들었더라고요.

2065
01:55:16,832 --> 01:55:18,538
그것도 한 축이 될 거라고 봐요.

2066
01:55:18,538 --> 01:55:21,901
그리고 또 하나는, 네이선이
말씀하신 것처럼 RLVR이

2067
01:55:21,901 --> 01:55:24,929
다른 도메인으로 뻗어나가는
거고요. - 요즘 다들

2068
01:55:24,929 --> 01:55:28,180
기대하는 건 가치 함수
쪽인데, 이것도 꽤 비슷해요.

2069
01:55:28,180 --> 01:55:30,732
과정 보상 모델은 그러니까 좀...

2070
01:55:30,732 --> 01:55:34,740
과정 보상 모델은 추론 과정의
각 중간 단계마다 얼마나

2071
01:55:34,740 --> 01:55:38,614
잘하고 있는지를 매기는
거고, 가치 함수는 언어모델이

2072
01:55:38,614 --> 01:55:42,088
생성하는 토큰 하나하나에
가치를 매기는 거예요.

2073
01:55:42,088 --> 01:55:48,320
둘 다 언어모델링이랑 추론 모델
시대에는 아직 딱히 입증되지 않았어요.

2074
01:55:48,320 --> 01:55:52,640
그런데 요즘은 어쩐 일인지 다들
가치 함수 쪽에 더 낙관적이에요.

2075
01:55:52,640 --> 01:55:55,240
제 생각엔 과정 보상
모델은 o1 이전, 그러니까

2076
01:55:55,240 --> 01:55:58,225
추론 모델이 나오기 전 시대에
훨씬 더 많이 시도됐었고,

2077
01:55:58,225 --> 01:56:00,633
그러다 보니 다들 골치깨나
썩였던 것 같아요.

2078
01:56:00,633 --> 01:56:03,692
그래서 이건 꽤 많은 부분이
인간의 본성 때문인 것 같아요...

2079
01:56:03,692 --> 01:56:06,621
가치 모델은 강화학습에서 아주
오래된 역사를 가지고 있어요.

2080
01:56:06,621 --> 01:56:09,820
심층 강화학습이 존재한
이래로 핵심에 있던 것

2081
01:56:09,820 --> 01:56:13,147
중 하나가 바로 가치
함수를 학습시키는 거예요.

2082
01:56:13,147 --> 01:56:15,807
그래서 지금 사람들이 가치
함수를 다시 써보려고

2083
01:56:15,807 --> 01:56:18,262
들떠 있긴 한데, 아직
증거는 거의 없어요.

2084
01:56:18,262 --> 01:56:22,072
그리고 과정 보상 모델(PRM)을
스케일업하려다 실패한 사례들도 있고요.

2085
01:56:22,072 --> 01:56:24,876
이런 게 앞으로도 계속
통한다는 보장은 없어요.

2086
01:56:24,876 --> 01:56:27,652
이 얘기가 원래 스케일링
얘기하다가 나온 거잖아요.

2087
01:56:27,652 --> 01:56:30,230
간단히 정리하면, 신호가 스케일되지 않는

2088
01:56:30,230 --> 01:56:33,512
RLHF는 너무 많이 하고
싶지 않다는 말씀이시죠.

2089
01:56:33,512 --> 01:56:36,406
사람들이 언어모델에 RLHF를
적용하는 연구를 몇 년째

2090
01:56:36,406 --> 01:56:39,493
해왔죠. 특히 ChatGPT
이후로 관심이 폭발적이었고요.

2091
01:56:39,493 --> 01:56:42,937
그리고 RLVR로 학습한
첫 추론 모델인 오픈AI의

2092
01:56:42,937 --> 01:56:46,626
o1이 나왔을 때, 학습
연산량을 로그 스케일로 늘리면

2093
01:56:46,626 --> 01:56:50,439
평가 점수가 선형으로 오르는
스케일링 그래프가 있었어요.

2094
01:56:50,439 --> 01:56:52,583
이건 여러 번 재현됐고요.

2095
01:56:52,583 --> 01:56:54,369
딥시크도 이런 그래프를 냈었죠.

2096
01:56:54,369 --> 01:56:57,215
그런데 RLHF는 그런 스케일링
법칙이 없어요. 연산량을

2097
01:56:57,215 --> 01:56:59,602
로그로 늘린다고 성능이
따라 오르지는 않거든요.

2098
01:56:59,602 --> 01:57:02,377
사실 RLHF 쪽에서 나온
대표적인 스케일링 논문이

2099
01:57:02,377 --> 01:57:05,152
「보상 모델 과최적화에 대한
스케일링 법칙」이에요.

2100
01:57:05,152 --> 01:57:07,694
그러니 이게 RLVR이나
지금 우리가 쓰는

2101
01:57:07,694 --> 01:57:10,014
방법들과 크게 선을 긋는 지점인 거죠.

2102
01:57:10,014 --> 01:57:15,515
앞으로는 이런 스케일링 패러다임을
따라갈 거예요. 최고의 런을 10배 더

2103
01:57:15,515 --> 01:57:20,879
돌리면 성능이 따라오는 그런 거요.
그런데 RLHF로는 이게 안 돼요.

2104
01:57:20,879 --> 01:57:23,084
그리고 이게 사람들이 이 분야에 접근하는

2105
01:57:23,084 --> 01:57:24,888
방식 자체를 규정하게 될 거예요.

2106
01:57:24,888 --> 01:57:28,302
저는 사람들이 RLHF를
학계에서 계속 연구했으면 하는

2107
01:57:28,302 --> 01:57:31,715
쪽으로 편파적이긴 하지만,
최고의 RLHF를 하는 데는

2108
01:57:31,715 --> 01:57:35,015
연산량을 10배, 100배씩
더 쓸 필요가 없을 수도

2109
01:57:35,015 --> 01:57:38,542
있어요. 반면 최고의 RLVR을
하려면 그게 필요하고요.

2110
01:57:38,542 --> 01:57:42,634
제 생각엔 메타 인턴십에서 나온
대표적인 논문이 하나 있어요.

2111
01:57:42,634 --> 01:57:44,309
제목이 아마 「The
Art of Scaling

2112
01:57:44,309 --> 01:57:46,047
Reinforcement
Learning with

2113
01:57:46,047 --> 01:57:47,722
Language
Models」였나 그럴 거예요.

2114
01:57:47,722 --> 01:57:50,382
그 사람들이 프레임워크라고
부르는 게 Scale-RL이고요.

2115
01:57:50,382 --> 01:57:54,382
실험 하나 돌리는 데 V100
기준 1만 시간 정도

2116
01:57:54,382 --> 01:57:59,240
들었다니까, 실험 한 번에 수천에서
수만 달러가 드는 셈이죠.

2117
01:57:59,240 --> 01:58:04,091
그런 실험을 많이 돌리는데, 이
비용이 일반 학계 연구자에게는

2118
01:58:04,091 --> 01:58:08,372
감당이 안 되는 수준이라,
각 커뮤니티에서 어떻게 배울

2119
01:58:08,372 --> 01:58:12,795
수 있을지 답을 찾기 어려운
상황이에요. - 여기서 살짝

2120
01:58:12,795 --> 01:58:17,075
곁가지로 새서, 교육과 학습에
대해 얘기해봐도 될까요?

2121
01:58:17,075 --> 01:58:22,261
이걸 듣고 계신 분이 프로그래밍이랑
AI에 관심 있는 똑똑한

2122
01:58:22,261 --> 01:58:28,232
분이라면, 밑바닥부터 뭔가 만들어보는
게 좋은 시작점일 거라고 봐요.

2123
01:58:28,232 --> 01:58:31,991
그럼 사람들한테 어떤 걸 추천하시는지
한번 설명해 주실 수 있을까요?

2124
01:58:31,991 --> 01:58:35,453
- 저라면 말씀하신 대로, 제
컴퓨터에서 돌려볼 수 있는 간단한

2125
01:58:35,453 --> 01:58:38,718
모델을 밑바닥부터 직접 구현해보는
것부터 시작할 것 같아요.

2126
01:58:38,718 --> 01:58:40,567
밑바닥부터 모델을 만들 때 목표가

2127
01:58:40,567 --> 01:58:43,032
일상적으로 쓸 만한 걸
만드는 건 아니에요.

2128
01:58:43,032 --> 01:58:46,308
기존 오픈 웨이트
모델이나 ChatGPT를

2129
01:58:46,308 --> 01:58:49,441
대신할 개인 비서가 되는 것도 아니고요.

2130
01:58:49,441 --> 01:58:54,559
목적은 LLM에 정확히 뭐가 들어가고
뭐가 나오는지, 그리고 사전학습이

2131
01:58:54,559 --> 01:58:59,152
어떻게 작동하는지를 가능하면 직접
자기 컴퓨터에서 보는 거예요.

2132
01:58:59,152 --> 01:59:01,778
그다음엔 사전학습, 지도
파인튜닝(SFT),

2133
01:59:01,778 --> 01:59:03,967
어텐션 메커니즘에 대해 배우게 되죠.

2134
01:59:03,967 --> 01:59:07,762
그러면 작동 원리를 탄탄히 이해하게
되지만, 어느 시점엔 한계에

2135
01:59:07,762 --> 01:59:11,232
부딪혀요. 작은 모델이 할 수
있는 건 딱 거기까지거든요.

2136
01:59:11,232 --> 01:59:15,632
대규모로 LLM을 공부할 때
문제는, 모델을 더 크게 만드는

2137
01:59:15,632 --> 01:59:20,032
게 기하급수적으로 복잡해진다는
거예요. 모델이 그냥 커지기만

2138
01:59:20,032 --> 01:59:24,566
하는 게 아니라, 파라미터를 여러
GPU에 샤딩해야 하거든요.

2139
01:59:24,566 --> 01:59:27,951
KV 캐시만 해도 구현하는
방법이 여러 가지예요.

2140
01:59:27,951 --> 01:59:31,354
하나는 그냥 작동 원리를 이해하려고
캐시를 계속 키워나가는 방식이에요.

2141
01:59:31,354 --> 01:59:35,440
예를 들어 리스트를 이어붙이는
식으로 단계별로 키우는

2142
01:59:35,440 --> 01:59:39,104
거죠. 근데 그건 GPU에서는
최적이 아니에요.

2143
01:59:39,104 --> 01:59:42,572
텐서를 미리 할당해두고 거기에
채워 넣으면 되는 거죠.

2144
01:59:42,572 --> 01:59:45,318
근데 그러면 코드가
20~30줄 더 늘어나요.

2145
01:59:45,318 --> 01:59:47,728
그리고 그런 것 하나하나마다
코드가 엄청 늘어나는 거예요.

2146
01:59:47,728 --> 01:59:51,381
이 책의 목표는 기본적으로 LLM이
어떻게 작동하는지 이해하는 거예요.

2147
01:59:51,381 --> 01:59:54,714
프로덕션급 LLM이 되는 건 아니지만,
일단 그걸 이해하면 프로덕션급

2148
01:59:54,714 --> 01:59:57,608
LLM도 이해할 수 있게 되죠.
- 그러니까 GPU 한 장에

2149
01:59:57,608 --> 02:00:00,765
들어가는 LLM을 항상 만들려고
하시는 거예요? - 네, 맞아요.

2150
02:00:00,765 --> 02:00:01,820
대부분은 그래요.

2151
02:00:01,820 --> 02:00:05,026
MoE 모델 관련해서
보너스 자료도 좀 있어요.

2152
02:00:05,026 --> 02:00:07,791
그중 한두 개는 GPU가
여러 장 필요할 수도

2153
02:00:07,791 --> 02:00:10,667
있지만, 목표는 GPU
한 장에 올리는 거예요.

2154
02:00:10,667 --> 02:00:13,910
그리고 멋진 점은, 직접
검증해볼 수 있다는 거예요.

2155
02:00:13,910 --> 02:00:15,223
거의 RLVR이랑 비슷하죠.

2156
02:00:15,223 --> 02:00:19,380
이걸 밑바닥부터 코딩하다 보면,
허깅페이스 Transformers

2157
02:00:19,380 --> 02:00:22,267
라이브러리에서 기존
모델을 가져올 수 있어요.

2158
02:00:22,267 --> 02:00:25,647
그 라이브러리 자체는
훌륭하지만, LLM을 공부하려는

2159
02:00:25,647 --> 02:00:29,027
거라면 시작하기 가장 좋은
곳은 아니에요. 워낙 많은

2160
02:00:29,027 --> 02:00:32,291
사용 사례에 맞추다 보니
코드가 너무 복잡하거든요.

2161
02:00:32,291 --> 02:00:35,208
사람들이 프로덕션에서
쓰다 보니, 코드가 정말

2162
02:00:35,208 --> 02:00:38,125
정교하고, 서로 얽혀
있고, 읽기도 어려워요.

2163
02:00:38,125 --> 02:00:42,219
선형적이지가 않죠. - 처음엔
파인튜닝 라이브러리로 시작했는데,

2164
02:00:42,219 --> 02:00:45,612
지금은 모든 모델 아키텍처의
표준 구현체로 커졌어요.

2165
02:00:45,612 --> 02:00:47,535
허깅페이스는 모델을 구하는 기본 창구고,

2166
02:00:47,535 --> 02:00:49,632
Transformers는
그 소프트웨어예요.

2167
02:00:49,632 --> 02:00:54,120
덕분에 사람들이 모델을 쉽게 불러와서
기본적인 걸 해볼 수 있는 거죠.

2168
02:00:54,120 --> 02:00:59,298
- 그리고 오픈 웨이트 모델을 내놓는
프런티어 랩들은 전부 Transformers

2169
02:00:59,298 --> 02:01:03,211
버전을 갖고 있어요, 딥시크부터
gpt-oss-120b까지요.

2170
02:01:03,211 --> 02:01:07,010
그게 불러올 수 있는 정본
가중치 포맷인 거죠.

2171
02:01:07,010 --> 02:01:09,153
하지만 Transformers
라이브러리조차도

2172
02:01:09,153 --> 02:01:10,611
실제 프로덕션에서는 안 쓰여요.

2173
02:01:10,611 --> 02:01:14,256
사람들이 SGLang이나 vLLM을
쓰다 보면 또 한 겹 복잡성이

2174
02:01:14,256 --> 02:01:18,205
더해지죠. - Transformers
라이브러리에 모델이 한 400개쯤

2175
02:01:18,205 --> 02:01:21,749
있다는 것도 말씀드려야겠네요.
- 그러니까 그게 수많은 LLM을

2176
02:01:21,749 --> 02:01:25,901
구현하려는 유일한 라이브러리다 보니,
코드베이스 자체가 거대해지는 거예요.

2177
02:01:25,901 --> 02:01:26,547
엄청 커요.

2178
02:01:26,547 --> 02:01:29,803
음, 잘 모르겠는데 어쩌면
수백만... - 말도

2179
02:01:29,803 --> 02:01:32,809
안 되네요. - 수십만
줄 정도 될 거예요.

2180
02:01:32,809 --> 02:01:34,747
이해하고 싶은 부분을 이해한다는 게,

2181
02:01:34,747 --> 02:01:36,781
건초더미 속에서 바늘 찾기 같은 거죠.

2182
02:01:36,781 --> 02:01:38,896
근데 좋은 점은, 이미 동작하는 구현체가

2183
02:01:38,896 --> 02:01:41,204
있으니까 거꾸로 되짚어갈
수 있다는 거예요.

2184
02:01:41,204 --> 02:01:44,405
제가 추천하고 싶은 방법이자
저도 하는 방식인데요, 예를

2185
02:01:44,405 --> 02:01:47,606
들어 OLMo가 어떻게
구현됐는지 이해하고 싶을 때 모델

2186
02:01:47,606 --> 02:01:50,703
허브에 있는 가중치랑 config
파일을 봐요. 그러면

2187
02:01:50,703 --> 02:01:54,007
'아, 레이어를 이렇게 많이
썼구나' 하는 게 보이거든요.

2188
02:01:54,007 --> 02:01:55,934
'그룹 쿼리 어텐션을 썼구나, 아니면 이

2189
02:01:55,934 --> 02:01:58,212
경우엔 멀티헤드 어텐션을
썼구나' 하는 것도요.

2190
02:01:58,212 --> 02:02:00,247
그럼 사람이 읽을 수 있는
100줄짜리 config

2191
02:02:00,247 --> 02:02:01,992
파일 안에 모든 구성요소가
다 보이는 거죠.

2192
02:02:01,992 --> 02:02:03,685
그러고 나서, 이를테면
GPT-2 모델에서

2193
02:02:03,685 --> 02:02:05,672
시작해서 이런 요소들을
하나씩 추가해가는 거예요.

2194
02:02:05,672 --> 02:02:08,750
여기서 멋진 점은, 그렇게
하고 나서 사전학습된 가중치를

2195
02:02:08,750 --> 02:02:12,125
불러와 내 모델에서 잘 작동하는지
확인해볼 수 있다는 거예요.

2196
02:02:12,125 --> 02:02:15,148
Transformers 라이브러리
모델에서 나오는 출력이랑

2197
02:02:15,148 --> 02:02:18,171
똑같이 맞추고 싶은 거고,
그렇게 하면 그걸 말하자면 검증

2198
02:02:18,171 --> 02:02:21,572
가능한 보상처럼 써서 제 아키텍처가
맞는지 확인할 수 있는 거죠.

2199
02:02:21,572 --> 02:02:23,257
어떤 땐 하루가 꼬박 걸리기도 해요.

2200
02:02:23,257 --> 02:02:27,299
OLMo 3의 경우엔, 어려웠던
부분이 위치 임베딩용 RoPE였어요.

2201
02:02:27,299 --> 02:02:31,206
YaRN 확장을 썼는데
거기에 커스텀 스케일링이

2202
02:02:31,206 --> 02:02:35,414
좀 들어가 있어서, 그
부분을 잘 맞추질 못했어요.

2203
02:02:35,414 --> 02:02:38,489
이렇게 씨름하다 보면 어느
정도는 이해가 되더라고요.

2204
02:02:38,489 --> 02:02:40,635
결국엔 유닛 테스트를 해볼 수 있으니까,

2205
02:02:40,635 --> 02:02:42,489
제대로 맞았는지 알 수 있는 거죠.

2206
02:02:42,489 --> 02:02:45,438
레퍼런스 구현체랑 대조해서
확인해볼 수 있고요.

2207
02:02:45,438 --> 02:02:48,432
정말로, 그게 배우는 가장 좋은
방법 중 하나라고 생각해요.

2208
02:02:48,432 --> 02:02:52,361
말하자면 뭔가를 리버스 엔지니어링
해보는 거죠. - 요즘 AI에

2209
02:02:52,361 --> 02:02:56,402
뛰어들고 싶어하는 사람이라면 다들
이렇게 해봐야 한다고 생각해요.

2210
02:02:56,402 --> 02:02:58,502
그래서 제가 그 책을 좋아했던 거예요.

2211
02:02:58,502 --> 02:03:01,947
저는 RL이랑 로보틱스 쪽에서
언어모델로 넘어온 경우거든요.

2212
02:03:01,947 --> 02:03:06,932
기본기를 제대로 배울 시간을
따로 낸 적이 없었어요.

2213
02:03:06,932 --> 02:03:10,952
이 트랜스포머 아키텍처는,
예전에 딥러닝이 그랬던 것처럼

2214
02:03:10,952 --> 02:03:14,842
정말 기초적인 거라서, 사람들이
이걸 꼭 해봐야 해요.

2215
02:03:14,842 --> 02:03:18,633
제 생각엔 많은 사람들이 압도당하는
지점이, '이걸 어떻게 적용해야

2216
02:03:18,633 --> 02:03:22,732
임팩트를 내거나 커리어 경로를 찾을
수 있을까' 하는 부분인 것 같아요.

2217
02:03:22,732 --> 02:03:25,904
언어모델이 이 기초적인
것들을 정말 접근하기 쉽게

2218
02:03:25,904 --> 02:03:29,428
만들어주니까, 동기가 있는
사람들은 배우게 될 거예요.

2219
02:03:29,428 --> 02:03:31,882
그럼 이제 '연구에
기여하려면 시간을 어떻게

2220
02:03:31,882 --> 02:03:34,132
써야 하지?' 하는 고민이 생기는 거죠.

2221
02:03:34,132 --> 02:03:38,478
저는 사실 꽤 낙관적이에요. 이 분야가
워낙 빨리 움직이다 보니, 최고의

2222
02:03:38,478 --> 02:03:42,606
사람들도 문제 하나를 끝까지 파고들지
않는 경우가 많거든요 — 손쉬운

2223
02:03:42,606 --> 02:03:46,734
성과를 낼 수 있는 더 큰 문제가
있으면 그쪽으로 넘어가 버리니까요.

2224
02:03:46,734 --> 02:03:50,409
제 생각엔 이 RLHF 책에서
제가 하려던 건, 포스트트레이닝

2225
02:03:50,409 --> 02:03:53,869
기법들을 가져와서 사람들이 그게
모델에 어떤 영향을 준다고

2226
02:03:53,869 --> 02:03:57,652
생각하는지, 그리고 실제로 뭘
하고 있는지를 설명하는 거였어요.

2227
02:03:57,652 --> 02:04:01,134
그러고 보니 놀랍더라고요,
사람들이 연구를

2228
02:04:01,134 --> 02:04:05,372
그만두거나 더 파고들지 않는
것들이 얼마나 많은지.

2229
02:04:05,372 --> 02:04:09,863
저는 기본기를 다진 다음에 좁게
파고드는 게 좋다고 봐요.

2230
02:04:09,863 --> 02:04:14,634
그리고 관련 논문들을 읽고 그
생태계에 계속 참여하는 것도요.

2231
02:04:14,634 --> 02:04:16,941
그러니까 실제로는... 실제로는요...

2232
02:04:16,941 --> 02:04:20,280
온라인의 평범한 사람들이 최고
연구자들과 얼마나 가까운

2233
02:04:20,280 --> 02:04:23,952
거리에 있는지 — 사실 아무도
몰라요, 그 사람들이 다...

2234
02:04:23,952 --> 02:04:26,235
X랑 머신러닝 쪽 익명
계정들이 엄청 인기가

2235
02:04:26,235 --> 02:04:28,803
많은데, 그 사람들이 다
누군지는 아무도 몰라요.

2236
02:04:28,803 --> 02:04:30,753
그냥 이런 걸 깊이 파고드는
평범한 사람들일 수도

2237
02:04:30,753 --> 02:04:32,559
있어요, 특히 요즘은
AI 툴까지 있으니까요.

2238
02:04:32,559 --> 02:04:37,043
'이거 이해가 안 되네, 계속
파봐야겠다' 이런 태도가 정말 유용해요.

2239
02:04:37,043 --> 02:04:40,117
그런데 어떤 연구 분야는
읽어야 할 논문이 한 세

2240
02:04:40,117 --> 02:04:43,078
편 정도밖에 안 되는
경우도 많고, 그러면 저자

2241
02:04:43,078 --> 02:04:46,038
중 한 명이 이메일에
답장해 줄 가능성도 커요.

2242
02:04:46,038 --> 02:04:50,300
다만 그 분야를 이해하려면 이메일
하나하나에 공을 많이 들여야 해요.

2243
02:04:50,300 --> 02:04:54,868
제 생각엔 초심자한테는 아주 좁은
영역 하나를 제대로 파악했다고

2244
02:04:54,868 --> 02:04:59,696
느끼기까지 몇 주는 쉽게 걸릴
거예요. 그래도 기본기를 갖춘 다음에

2245
02:04:59,696 --> 02:05:04,917
좁게 파고드는 게 정말 유용할 거라고
봐요. 저만 해도 캐릭터 트레이닝에

2246
02:05:04,917 --> 02:05:09,484
관심이 많아졌거든요 — 모델을
재밌게, 비꼬듯이, 또는 진지하게

2247
02:05:09,484 --> 02:05:14,313
만드는 방법, 그리고 그러려면
데이터에 뭘 해야 하는지 하는 거요.

2248
02:05:14,313 --> 02:05:16,498
옥스퍼드에 있는 한 학생이
저한테 연락해서 '이거

2249
02:05:16,498 --> 02:05:18,522
관심 있어요' 그러길래,
제가 지도해 줬어요.

2250
02:05:18,522 --> 02:05:20,770
그래서 지금은 그
논문이 실제로 존재해요.

2251
02:05:20,770 --> 02:05:22,838
이 주제에 진짜 관심 있는 사람이 전

2252
02:05:22,838 --> 02:05:25,113
세계에 두세 명 정도밖에 없었을 거예요.

2253
02:05:25,113 --> 02:05:27,850
그 친구는 박사과정생이라
그 점에서 유리하긴 한데,

2254
02:05:27,850 --> 02:05:30,391
저한테는 그 주제가 '이거에
시간을 쏟을 여유가

2255
02:05:30,391 --> 02:05:33,030
있어요' 하는 누군가를
기다리고 있던 주제였어요.

2256
02:05:33,030 --> 02:05:35,839
이런 것처럼 '이게 왜
아직 답이 없지?' 싶은

2257
02:05:35,839 --> 02:05:38,864
아주 좁은 주제들이 훨씬
더 많을 거라고 확신해요.

2258
02:05:38,864 --> 02:05:42,513
저는 그냥 정보가 너무 많이
쏟아지니까 사람들이 '이 중에 뭘

2259
02:05:42,513 --> 02:05:46,377
잡아야 할지 모르겠다' 이렇게 되는
것 같아요. 그런데 한 영역에

2260
02:05:46,377 --> 02:05:50,134
딱 붙어 있으면 배울 만한 재밌는
게 정말 많다고 생각해요. -

2261
02:05:50,134 --> 02:05:53,890
맞아요, 다 하려고 들면 너무
벅차서 번아웃이 올 거라고 봐요.

2262
02:05:53,890 --> 02:05:56,551
저 같은 경우엔 예를 들어
컴퓨터 비전은 오랫동안

2263
02:05:56,551 --> 02:05:59,015
못 따라갔어요. 그냥
LLM에만 집중했거든요.

2264
02:05:59,015 --> 02:06:02,069
그런데 다시 책 얘기로 돌아가면,
정말 훌륭한 책이고 가성비도

2265
02:06:02,069 --> 02:06:05,303
정말 좋다고 봐요. RLHF를
배우고 싶다고 밖에 나가서 RLHF

2266
02:06:05,303 --> 02:06:08,178
논문들을 읽으면 안 될 거예요,
그러다간 2년은 그냥 쓰게

2267
02:06:08,178 --> 02:06:11,232
될 테니까요— - 게다가 논문끼리
서로 모순되는 것도 있고요.

2268
02:06:11,232 --> 02:06:14,966
제가 이 책을 편집하면서, '어떤
논문들은 이렇게 말하고 다른

2269
02:06:14,966 --> 02:06:19,139
논문들은 저렇게 말하는데 뭐가 맞는지는
두고 봐야 한다' 이렇게 써야

2270
02:06:19,139 --> 02:06:22,873
했던 챕터는 하나도 없었어요.
- 목차를 한번 쭉 훑어보면서,

2271
02:06:22,873 --> 02:06:26,937
포스트트레이닝의 큰 그림에서 저희가
놓친 아이디어가 뭐가 있을까요?

2272
02:06:26,937 --> 02:06:32,005
우선 문제 설정, 학습
개요, 선호란 무엇인지, 선호

2273
02:06:32,005 --> 02:06:37,423
데이터, 그리고 최적화 도구들
— 보상 모델링, 정규화,

2274
02:06:37,423 --> 02:06:42,841
인스트럭션 튜닝, 리젝션
샘플링, 강화학습까지 다루셨죠.

2275
02:06:42,841 --> 02:06:47,080
그다음엔 컨스티튜셔널 AI와
AI 피드백, 추론, 그리고

2276
02:06:47,080 --> 02:06:52,003
함수 호출에 쓰는 인퍼런스 스케일링,
합성 데이터와 디스틸레이션,

2277
02:06:52,003 --> 02:06:56,106
평가, 그리고 열린 질문들
섹션 — 과최적화, 스타일과

2278
02:06:56,106 --> 02:07:00,345
정보, 그리고 제품 UX,
캐릭터와 포스트트레이닝까지요.

2279
02:07:00,345 --> 02:07:03,113
교육적인 측면과 연구적인 측면을 둘 다

2280
02:07:03,113 --> 02:07:06,012
잇는, 언급할 만한 아이디어가 있을까요?

2281
02:07:06,012 --> 02:07:08,638
캐릭터 트레이닝 얘기를 하셨는데,
꽤 흥미롭더라고요. - 캐릭터

2282
02:07:08,638 --> 02:07:11,113
트레이닝이 흥미로운 건 그에
대한 자료가 거의 없어서거든요.

2283
02:07:11,113 --> 02:07:14,008
사람들이 이 모델들과 어떻게
상호작용하는지 얘기했었죠.

2284
02:07:14,008 --> 02:07:16,712
모델이 긍정적이라 쓰면서
기분이 좋아지긴 하는데, 그게

2285
02:07:16,712 --> 02:07:19,236
지나칠 수도 있어요 — 너무
긍정적일 수 있거든요.

2286
02:07:19,236 --> 02:07:22,640
그러니까 결국은, '내가
원하는 그대로를 만들려면

2287
02:07:22,640 --> 02:07:26,549
데이터와 의사결정을 어떻게
바꿔야 할까'의 문제인 거죠.

2288
02:07:26,549 --> 02:07:29,637
그리고 오픈AI에는 모델
스펙(Model Spec)이라는

2289
02:07:29,637 --> 02:07:32,725
게 있는데, 모델이 어떻게
행동하길 원하는지에 대한 내부

2290
02:07:32,725 --> 02:07:35,514
가이드라인 같은 거고, 이걸
개발자들에게 공개해요.

2291
02:07:35,514 --> 02:07:39,111
그러니까 이걸 보면, 오픈AI가
의도는 있었지만 아직 못

2292
02:07:39,111 --> 02:07:42,707
이룬 훈련의 실패인지— 아니면
실제로 그렇게 하려던 건데

2293
02:07:42,707 --> 02:07:46,072
여러분이 마음에 안 드는
건지 구분할 수 있는 거죠.

2294
02:07:46,072 --> 02:07:48,315
그런 투명성은 참 좋은데,
이런 문서를 어떻게

2295
02:07:48,315 --> 02:07:50,558
큐레이션하는지, 그리고
그걸 얼마나 잘 따르게

2296
02:07:50,558 --> 02:07:53,250
만드는지에 대한 방법론은 아직
잘 알려져 있지 않아요.

2297
02:07:53,250 --> 02:07:57,117
제 생각엔 책 구성을 보면, RL
챕터가 사람들이 가장 원하는

2298
02:07:57,117 --> 02:08:01,211
부분일 텐데, 다들 RLVR 얘기를
하도 많이 들어서 그런 거고,

2299
02:08:01,211 --> 02:08:05,532
알고리즘이나 수학은 똑같지만 아주
다른 문서들에 적용할 수 있거든요.

2300
02:08:05,532 --> 02:08:08,117
그래서 제 생각엔
RLHF의 핵심은 선호라는

2301
02:08:08,117 --> 02:08:10,272
게 얼마나 지저분한지에 있다고 봐요.

2302
02:08:10,272 --> 02:08:16,187
사실 몇 년 전에 제가 썼던 논문을
다시 우려낸 거나 마찬가진데,

2303
02:08:16,187 --> 02:08:21,937
이 챕터는 결국 RLHF가 왜
절대로 완전히는 풀릴 수 없는지를

2304
02:08:21,937 --> 02:08:27,852
설명해요. RL이 애초에 설계된
방식 자체가, 선호를 수치화할 수

2305
02:08:27,852 --> 02:08:33,602
있고 여러 선호를 하나의 값으로
환원할 수 있다고 전제하거든요.

2306
02:08:33,602 --> 02:08:38,253
그리고 이건 경제학 문헌에서 폰
노이만-모르겐슈테른 기대효용 정리와

2307
02:08:38,253 --> 02:08:43,029
연결된다고 봐요. 그 챕터에서 그런
철학적, 경제학적, 심리학적 맥락

2308
02:08:43,029 --> 02:08:47,428
전체가 RLHF를 할 때 무엇이
압축되어 들어가는지를 보여줘요.

2309
02:08:47,428 --> 02:08:50,293
그러니까 이런 걸 다 배경으로
깔아두고, 책 뒷부분에 가면 '이

2310
02:08:50,293 --> 02:08:52,912
RL 지도를 써서 숫자를
올리세요' 하는 식이 되는 거죠.

2311
02:08:52,912 --> 02:08:56,854
바로 그래서 이 주제로
연구하면 굉장히 보람 있을

2312
02:08:56,854 --> 02:09:01,088
거라고 봐요. 선호를
수치화한다는 것 자체가, 인간이

2313
02:09:01,088 --> 02:09:05,176
선호를 연구 가능하게 만들려고
설계해낸 문제니까요.

2314
02:09:05,176 --> 02:09:08,899
그런데 근본적인 논쟁거리도 좀
있어요. 예를 들면, 언어모델의

2315
02:09:08,899 --> 02:09:12,951
응답에는 정확성이나 스타일처럼 신경
쓰는 요소가 여러 개 있잖아요.

2316
02:09:12,951 --> 02:09:15,642
그런데 데이터를 수집할 때는 그게 전부

2317
02:09:15,642 --> 02:09:18,717
'이게 저것보다 더
좋다'로 압축돼 버려요.

2318
02:09:18,717 --> 02:09:22,522
실제로 그렇게 되고 있고요,
이걸 어떻게 제대로 해야

2319
02:09:22,522 --> 02:09:26,327
하는지에 대해서는 다른
분야에도 연구가 많이 있어요.

2320
02:09:26,327 --> 02:09:30,032
제 생각엔 사회적 선택
이론이 선호를 어떻게 집계해야

2321
02:09:30,032 --> 02:09:33,482
하는지를 다루는 경제학의
하위 분야인 것 같아요.

2322
02:09:33,482 --> 02:09:37,327
그리고 제가 참석했던 워크숍에서
'RLHF에 사회적 선택 이론을

2323
02:09:37,327 --> 02:09:40,953
어떻게 적용할 수 있을까'를
다룬 백서가 나온 적이 있어요.

2324
02:09:40,953 --> 02:09:44,689
그래서 저는 수학에 흥미를
느끼는 사람들이 여기 와서, 이

2325
02:09:44,689 --> 02:09:48,659
더 넓은 맥락과 우연히 맞닥뜨릴
만한 걸 찾아냈으면 좋겠어요.

2326
02:09:48,659 --> 02:09:51,467
재밌는 게 하나 있는데,
저는 제가 좋아하는 추론

2327
02:09:51,467 --> 02:09:54,691
모델들의 테크 리포트를 그냥
목록으로 정리해두고 있어요.

2328
02:09:54,691 --> 02:09:59,155
그래서 14장에 RLVR을 짧게
요약한 부분이 있는데, 거기에

2329
02:09:59,155 --> 02:10:03,882
제가 좋아하는 추론 모델을 전부
나열한 거대한 표가 하나 있어요.

2330
02:10:03,882 --> 02:10:08,030
교육이라는 측면에서는, 지금 시점엔
상당 부분이 결국 제가 뭘 좋아하느냐가

2331
02:10:08,030 --> 02:10:11,469
될 수밖에 없다고 봐요. 언어모델들이
수학은 워낙 잘하니까요.

2332
02:10:11,469 --> 02:10:14,495
예를 들면 유명한 논문인
DPO(직접 선호 최적화)가

2333
02:10:14,495 --> 02:10:17,729
있는데, RL보다 훨씬 간단하게
문제를 푸는 방법이에요.

2334
02:10:17,729 --> 02:10:20,943
그 부록에 나오는 유도 과정은
수학 단계를 몇 개 건너뛰어요.

2335
02:10:20,943 --> 02:10:24,247
그래서 이 책을 쓰면서 그 유도를
다시 해봤는데, '이 log

2336
02:10:24,247 --> 02:10:27,842
트릭이란 게 대체 뭐길래 수식을
이렇게 바꾸는 거지?' 싶더라고요.

2337
02:10:27,842 --> 02:10:29,305
근데 언어모델한테 물어보면, 그냥 '이건

2338
02:10:29,305 --> 02:10:30,702
로그 트릭이에요'라고 답해버리더라고요.

2339
02:10:30,702 --> 02:10:32,764
그래서 저는 속으로
'수학이 이렇게 상품화되는

2340
02:10:32,764 --> 02:10:34,662
게 마음에 드는지 잘
모르겠다' 싶었어요.

2341
02:10:34,662 --> 02:10:39,047
제 생각엔 이 부록을 읽으면서
수학을 따라가며 겪는 그

2342
02:10:39,047 --> 02:10:43,577
고생 자체가 배움에 도움이
되는 것 같아요. - 맞아요,

2343
02:10:43,577 --> 02:10:47,962
저희가 교육 얘기만 나오면
자꾸 이 주제로 돌아오네요.

2344
02:10:47,962 --> 02:10:51,762
두 분 다 '고생(struggle)'이라는
단어를 꽤 자주 쓰셨어요.

2345
02:10:51,762 --> 02:10:52,866
그러니까 거기엔 가치가 있다는 거죠.

2346
02:10:52,866 --> 02:10:57,731
이 과정에서 고생하지 않는다면,
제대로 된 학습 과정을 따르고

2347
02:10:57,731 --> 02:11:02,596
있지 않다는 뜻인 것 같아요.
- 일부 업체들은 교육용 모델을

2348
02:11:02,596 --> 02:11:07,460
만들고 있는데, 일부러 정보를
한 번에 다 안 주는 식으로--

2349
02:11:07,460 --> 02:11:12,182
사실 제가 써본 적은 없지만,
아마 그렇게 설계했을 거예요.

2350
02:11:12,182 --> 02:11:13,464
그리고 사람들이 스스로
애써서 얻어내게 만드는 거죠.

2351
02:11:13,464 --> 02:11:16,202
이렇게 하도록 모델을 학습시키는 건
정말 훌륭한 기여가 될 것 같아요.

2352
02:11:16,202 --> 02:11:19,367
책에 나온 다른 내용들처럼요,
그것도 결정 하나하나를

2353
02:11:19,367 --> 02:11:22,313
다시 따져봐야 하는
거잖아요. - 좋은 예시네요.

2354
02:11:22,313 --> 02:11:25,037
Ai2에서 이걸 다뤄볼
가능성도 있는데, 그러면

2355
02:11:25,037 --> 02:11:27,551
정말 재밌겠다 싶었어요.
- 그럴 만하네요.

2356
02:11:27,551 --> 02:11:30,602
저도 얼마 전에 비디오
게임에서 비슷한 걸 해봤어요.

2357
02:11:30,602 --> 02:11:33,311
가끔 취미로 게임을 하는데, 젤다나

2358
02:11:33,311 --> 02:11:37,017
메트로이드처럼 퍼즐이 있는
게임을 좋아하거든요.

2359
02:11:37,017 --> 02:11:39,200
그런데 최근에 나온 게임에서 완전히

2360
02:11:39,200 --> 02:11:41,842
막혀버렸는데, 그것도
그것대로 괜찮았어요.

2361
02:11:41,842 --> 02:11:45,682
이틀씩이나 고생하고 싶지는
않아서 LLM을 썼어요.

2362
02:11:45,682 --> 02:11:47,876
근데 이럴 때는 이렇게 말하는 거예요.
'스포일러는 넣지 말아 주세요.'

2363
02:11:47,876 --> 02:11:49,462
그냥, '저는 지금
이쯤에 있는데' 정도로요.

2364
02:11:49,462 --> 02:11:50,862
'다음에 뭘 해야 하나요?' 하고요.

2365
02:11:50,862 --> 02:11:53,100
수학도 똑같이 할 수
있어요. '저는 지금

2366
02:11:53,100 --> 02:11:55,337
이 부분에서 막혔어요'
하고 말하는 거죠.

2367
02:11:55,337 --> 02:11:57,546
'전체 풀이는 주지 말고, 제가 시도해볼

2368
02:11:57,546 --> 02:11:59,555
만한 걸 알려주세요' 하는 식으로요.

2369
02:11:59,555 --> 02:12:01,362
그렇게 조심스럽게
찔러보면서 물어보는 거예요.

2370
02:12:01,362 --> 02:12:05,362
근데 문제는, 제 생각엔 이게
자기 절제가 필요하다는 거예요.

2371
02:12:05,362 --> 02:12:09,205
수학을 즐기는 사람도 많지만,
숙제 때문에 어쩔 수 없이 해야

2372
02:12:09,205 --> 02:12:13,162
하는 사람도 많잖아요. 그럴 땐
그냥 지름길이 되어버리는 거죠.

2373
02:12:13,162 --> 02:12:16,794
교육용 LLM을 따로 만들 수야
있겠지만, 다른 LLM들은 여전히

2374
02:12:16,794 --> 02:12:20,628
있으니까 그걸 쓰고 싶은 유혹도
그대로 남아있죠. - 제 생각엔 많은

2375
02:12:20,628 --> 02:12:24,260
대학생들은 자기가 열정을 갖고 있는
분야에 대해서는-- 스스로 잘

2376
02:12:24,260 --> 02:12:27,892
알아서, 그게 쉬워서는 안 된다는
것도 이해하고 있는 것 같아요.

2377
02:12:27,892 --> 02:12:33,480
제 생각엔 결국 좋은 안목을 길러야
하는 것 같아요-- 연구든 학업이든,

2378
02:12:33,480 --> 02:12:38,788
어디서는 고생을 해야 하고 어디서는
안 해도 되는지에 대한 안목이요.

2379
02:12:38,788 --> 02:12:43,082
이게 좀 까다로운 게,
커리어에서 실제로 뭐가

2380
02:12:43,082 --> 02:12:48,062
유용할지에 대해 장기적인
안목이 없을 때가 많거든요.

2381
02:12:48,062 --> 02:12:52,217
그런 안목은 결국 스스로
길러야 하는 거죠, 맞아요. -

2382
02:12:52,217 --> 02:12:56,773
제가 약혼자나 친구들이랑 이
얘기를 했었는데요, 숙제랑 시험이

2383
02:12:56,773 --> 02:13:00,928
전부 디지털로 가능했던 짧은
10년의 시기가 있었잖아요.

2384
02:13:00,928 --> 02:13:02,667
그 전에는 다른 방법이 없어서 다들

2385
02:13:02,667 --> 02:13:04,955
블루북(손글씨 답안지)에
시험을 봐야 했어요.

2386
02:13:04,955 --> 02:13:07,207
그런데 이제 AI 때문에
너무 쉽게 부정행위를 할 수

2387
02:13:07,207 --> 02:13:09,770
있으니까, 다시 블루북이랑
구술시험으로 돌아가야 할 거예요.

2388
02:13:09,770 --> 02:13:13,635
다 디지털로 되면서도
부정행위는 할 수 없었던, 다른

2389
02:13:13,635 --> 02:13:17,101
교육 시스템을 겪은 짧은
세대가 있었던 셈이죠.

2390
02:13:17,101 --> 02:13:18,981
그리고 이제 그냥 원래대로
돌아가는 거고요.

2391
02:13:18,981 --> 02:13:22,452
그게 참 웃기더라고요. - 캐릭터
트레이닝 얘기를 하셨는데요.

2392
02:13:22,452 --> 02:13:25,338
좀 더 일반적인 주제로 넘어가서, 그

2393
02:13:25,338 --> 02:13:28,512
프로젝트에는 연산량이 얼마나 필요했나요?

2394
02:13:28,512 --> 02:13:32,925
그리고 일반적으로, 연구자로서
기여하려고 할 때 연산량이 그렇게

2395
02:13:32,925 --> 02:13:37,464
크게 필요하지 않아서 개인 연구자도
실제로 기여할 수 있는 영역이

2396
02:13:37,464 --> 02:13:42,256
있을까요? - 캐릭터 트레이닝 쪽은,
제 생각엔 이 연구가 LoRA로

2397
02:13:42,256 --> 02:13:46,543
약 70억 파라미터 모델을
파인튜닝하는 데 기반한 것 같아요.

2398
02:13:46,543 --> 02:13:51,082
LoRA는 사실상 모델 가중치 중
일부만 파인튜닝하는 방식이고요.

2399
02:13:51,082 --> 02:13:54,388
GPU 시간이 정확히 얼마나 드는지는
잘 모르겠어요. - 그래도 할

2400
02:13:54,388 --> 02:13:57,693
수는 있는 일이죠. - 모든 학계
연구자한테 가능한 건 아니지만요.

2401
02:13:57,693 --> 02:14:01,155
일부 학계 연구자들은 상황이
너무 열악해서, 폐쇄형 모델이든

2402
02:14:01,155 --> 02:14:04,512
오픈모델이든 인퍼런스만 돌려서
나오는 결과물을 보고 모델을

2403
02:14:04,512 --> 02:14:07,869
이해하는 것 말고는 할 수 있는
일이 없는 경우도 있어요.

2404
02:14:07,869 --> 02:14:12,435
그런데 그게 평가 작업에는 딱
맞는 거죠. 모델이 실패하거나

2405
02:14:12,435 --> 02:14:17,000
특정 능력을 보여주는 대표적인
문제를 만드는 데 최고가 되고

2406
02:14:17,000 --> 02:14:21,566
싶다면, 이 방식으로 충분히
돌파구를 찾을 수 있다고 봐요.

2407
02:14:21,566 --> 02:14:26,108
제 생각엔, 평가 연구를 하는
연구자가 커리어에 탄력을 받고 싶다면

2408
02:14:26,108 --> 02:14:30,649
최고 목표는 프론티어 랩들이 내
평가를 가져다 쓰게 만드는 거예요.

2409
02:14:30,649 --> 02:14:33,321
모든 프로젝트가 다 이걸
해야 하는 건 아니고요.

2410
02:14:33,321 --> 02:14:36,835
근데 연산 자원도 없는 작은 대학에
있으면서 Claude가 어려워하는

2411
02:14:36,835 --> 02:14:39,979
걸 찾아냈는데, 다음 Claude
모델의 블로그 포스트에 그게

2412
02:14:39,979 --> 02:14:43,216
언급된다면, 그게 바로 커리어를
쏘아 올리는 로켓이 되는 거죠.

2413
02:14:43,216 --> 02:14:47,298
제 생각엔 그게 어렵긴 한데,
최소한의 연산으로 최대한의 임팩트를

2414
02:14:47,298 --> 02:14:50,927
노리고 싶다면 대충 그런
그림이에요. 아주 좁게 파고들어야

2415
02:14:50,927 --> 02:14:54,783
하고, 모델이 어디로 가고 있는지
계속 익혀야 하는 일이고요.

2416
02:14:54,783 --> 02:14:57,500
그러니까 Claude
4.5가 어디서 실패할지

2417
02:14:57,500 --> 02:14:59,782
테스트하는 도구를 만들어야 하는 거죠.

2418
02:14:59,782 --> 02:15:03,088
연구 프로젝트를 시작한다면,
8개월 뒤에 모델들이 어디서

2419
02:15:03,088 --> 02:15:06,181
힘들어할지를 생각해야 해요.
- 그런데 완전히 새로운

2420
02:15:06,181 --> 02:15:09,701
아이디어를 개발하는 건 어떤가요?
- 이건 트레이드오프예요.

2421
02:15:09,701 --> 02:15:12,667
제 생각엔, 박사과정을
한다면 이렇게 생각할 수도

2422
02:15:12,667 --> 02:15:15,633
있을 것 같아요. "언어모델
연구는 너무 위험해.

2423
02:15:15,633 --> 02:15:19,372
난 훨씬 더 장기적으로 갈
거야"라고요. 그러니까 10년

2424
02:15:19,372 --> 02:15:22,750
뒤 언어모델 개발을 정의할
게 무엇일까 하는 거죠.

2425
02:15:22,750 --> 02:15:25,631
그런데 저는 결국 꽤
현실적인 사람이더라고요.

2426
02:15:25,631 --> 02:15:28,768
그러니까, 저도 박사과정 갈 때 이런
마음이었거든요. "버클리에 붙었다.

2427
02:15:28,768 --> 02:15:31,445
최악의 경우엔 석사 학위 따고
테크 업계 가서 일하면 되지."

2428
02:15:31,445 --> 02:15:35,261
저는 그런 면에서 꽤
현실적이라서, 이런 AI 회사들에서

2429
02:15:35,261 --> 02:15:38,830
일하는 사람들한테 주어지는
삶이랄까, 그 정도가...

2430
02:15:38,830 --> 02:15:43,474
오픈AI의 직원당 평균 보상이 연간
주식으로만 100만 달러가 넘거든요.

2431
02:15:43,474 --> 02:15:46,397
미국의 평범한 사람이라면
누구든, 이런 AI 랩에

2432
02:15:46,397 --> 02:15:48,995
들어가는 게 인생을
완전히 바꿔놓는 일이죠.

2433
02:15:48,995 --> 02:15:51,720
그래서 저는 이 부분에 대해 꽤
현실적으로 봐요. 집중만 한다면

2434
02:15:51,720 --> 02:15:54,446
언어모델 쪽에서 일하는 게 여전히
위로 올라갈 기회가 많거든요.

2435
02:15:54,446 --> 02:15:55,768
이 일자리들을 한번 보세요.

2436
02:15:55,768 --> 02:15:59,465
그런데 연구자 관점에서 보면, 이런
학계 상 같은 데서 나오는 진짜

2437
02:15:59,465 --> 02:16:03,162
파급력은요 — 다음 얀 르쿤이 되는
건 오히려 언어모델 개발에 별로

2438
02:16:03,162 --> 02:16:06,659
신경 쓰지 않는 데서 나오거든요.
- 그런 경우엔 재정적으로 큰

2439
02:16:06,659 --> 02:16:10,456
희생이 따르죠. - 그래서 제가 같이
일하는 훌륭한 학생들이 있는데,

2440
02:16:10,456 --> 02:16:14,053
그 친구들이 '저 AI 랩에 가서
일해야 할까요?'라고 물어봐요.

2441
02:16:14,053 --> 02:16:15,417
그럼 저는 '지금 최고의 학교에서 박사

2442
02:16:15,417 --> 02:16:16,781
과정을 밟고 있잖아요.' 라고 말해요.

2443
02:16:16,781 --> 02:16:18,875
'그런데 그만두고 랩으로 가려고요?'

2444
02:16:18,875 --> 02:16:19,730
잘 모르겠어요.

2445
02:16:19,730 --> 02:16:22,260
최고 수준의 랩에 가서 일하겠다면,
저는 그건 뭐라고 안 해요.

2446
02:16:22,260 --> 02:16:24,565
가치가 0이 될 수도 있는 아무
스타트업에는 가지 마세요.

2447
02:16:24,565 --> 02:16:28,631
근데 오픈AI에 가는 거라면, 저는
'박사를 그만둘 만한 가치가 있을

2448
02:16:28,631 --> 02:16:32,804
수도 있겠다'고 봐요. - 이 부분을
좀 더 엄밀하게 한번 생각해보죠.

2449
02:16:32,804 --> 02:16:37,137
그러면 연구에 기여하고 싶은
사람들한테는 어떤 걸 추천하시겠어요?

2450
02:16:37,137 --> 02:16:40,521
그러니까 선택지는 이래요. 학계
— 박사 과정을 밟는 거죠.

2451
02:16:40,521 --> 02:16:44,370
5년 동안 논문을 내는 거예요.

2452
02:16:44,370 --> 02:16:46,307
연산 자원은 제한적이고요.

2453
02:16:46,307 --> 02:16:51,617
오픈 웨이트 모델에 좀 더 집중하는 연구

2454
02:16:51,617 --> 02:16:57,168
랩들이 있고, 거기서
일하는 것도 있고요.

2455
02:16:57,168 --> 02:17:01,870
아니면 폐쇄형 프런티어 연구 랩도 있죠.

2456
02:17:01,870 --> 02:17:04,757
오픈AI, 앤스로픽,
xAI 같은 곳들이요. -

2457
02:17:04,757 --> 02:17:07,976
여기엔 두 가지 경향이
있는데, 더 폐쇄적인 곳일수록

2458
02:17:07,976 --> 02:17:10,974
돈은 더 받지만 그만큼
인정은 덜 받는 편이에요.

2459
02:17:10,974 --> 02:17:16,456
본인이 해온 것들의 포트폴리오를
쌓는다는 관점에서 보면요,

2460
02:17:16,456 --> 02:17:21,081
학계 쪽은 무엇을 했는지가
아주 분명히 드러나요.

2461
02:17:21,081 --> 02:17:25,884
반면 이 꽤 합리적인 성장 경로를
거대한 기계의 톱니바퀴가 되는

2462
02:17:25,884 --> 02:17:30,549
것과 맞바꾸는 거라면요 — 물론
그것도 꽤 재밌을 수 있고요.

2463
02:17:30,549 --> 02:17:33,648
그래서 저는 이게 상당히
다른 커리어 경로라고 봐요.

2464
02:17:33,648 --> 02:17:36,581
근데 연구자가 되는 건
기회비용이 정말 커요.

2465
02:17:36,581 --> 02:17:39,162
박사 과정생들은 거의 돈을 못 받거든요.

2466
02:17:39,162 --> 02:17:42,310
그러다 보니 결국 어느 정도
안정적인 안전망이 있는 사람들한테

2467
02:17:42,310 --> 02:17:45,829
유리해져요. 그런 분들은 자기가
장기적으로 버틸 수 있다는 걸 알고,

2468
02:17:45,829 --> 02:17:49,070
정말 흥미로운 일을 하고 흥미로운
직업을 얻고 싶어 하는 거죠.

2469
02:17:49,070 --> 02:17:53,807
그러니까 '이걸 하고 싶으니까 박사
과정을 끝까지 마치고 그다음에

2470
02:17:53,807 --> 02:17:59,070
방법을 찾아보겠다'라고 말할 수 있는
것 자체가 특권적인 위치인 거예요.

2471
02:17:59,070 --> 02:18:04,014
동시에 학계 생태계는 연구비 삭감 같은
것들로 계속 두들겨 맞고 있고요.

2472
02:18:04,014 --> 02:18:06,501
그래서 트레이드오프가 정말
다양한데, 저는 '이거

2473
02:18:06,501 --> 02:18:09,172
즐겁지가 않아요'라고 하는
사람들도 충분히 이해해요.

2474
02:18:09,172 --> 02:18:11,143
'이 연구비 찾아다니는 거,
도저히 못 견디겠어요.'

2475
02:18:11,143 --> 02:18:14,040
"제 지원금이 정부 때문에
이유 없이 끊겼어요"라거나,

2476
02:18:14,040 --> 02:18:16,454
"앞으로 어떻게 될지
모르겠어요" 같은 거요.

2477
02:18:16,454 --> 02:18:19,370
그래서 제 생각엔 불확실성과
트레이드오프가 많은데,

2478
02:18:19,370 --> 02:18:22,078
제 의견으로는 그냥 의미
있는 임팩트가 있으면서

2479
02:18:22,078 --> 02:18:24,994
보수도 좋은 일자리를 택하는
쪽이 나은 것 같아요.

2480
02:18:24,994 --> 02:18:27,873
오픈AI에서 그냥 놀면서
돈 받는 게 아니잖아요.

2481
02:18:27,873 --> 02:18:33,464
수백만 명이 기술과 맺는 관계 자체를
바꾸는 최첨단을 만들고 있는 거고요.

2482
02:18:33,464 --> 02:18:38,510
- 근데 논문 발표 쪽으로 보면,
점점 더 폐쇄적으로 가고 있어요.

2483
02:18:38,510 --> 02:18:40,859
그래서 발표하는 논문이
점점 줄어들고 있고요.

2484
02:18:40,859 --> 02:18:46,458
그렇게 규모 있게 긍정적인 영향을
주고는 있지만, 큰 기계 속 톱니바퀴

2485
02:18:46,458 --> 02:18:51,770
하나인 거죠. - 근데 솔직히
그렇게 많이 달라진 건 없다고 봐요.

2486
02:18:51,770 --> 02:18:53,544
저도 학계에 있어봤어요.

2487
02:18:53,544 --> 02:18:57,475
지금은 학계에 있지 않지만, 그
시간을 놓쳤다면 아쉬웠을 것 같아요.

2488
02:18:57,475 --> 02:18:59,920
근데 그 얘기로 넘어가기
전에 하고 싶었던 말은,

2489
02:18:59,920 --> 02:19:02,364
제 생각엔 그렇게 많이
달라지지 않았다는 거예요.

2490
02:19:02,364 --> 02:19:08,831
저는 전산생물학 쪽에서 협업자들과
AI나 머신러닝 방법을 쓰면서

2491
02:19:08,831 --> 02:19:15,667
일했었는데, 그때도 많은 사람들이
학계에서 곧장 구글로 넘어갔어요.

2492
02:19:15,667 --> 02:19:17,411
그리고 제 생각엔 지금도 똑같아요.

2493
02:19:17,411 --> 02:19:21,761
그때도 교수님들은 제자들이
업계로 가버려서 자기

2494
02:19:21,761 --> 02:19:25,610
유산을 이어갈 사람이
없다고 아쉬워하셨죠.

2495
02:19:25,610 --> 02:19:26,930
지금도 똑같다고 봐요.

2496
02:19:26,930 --> 02:19:29,122
그렇게 많이 달라진 건 없어요.

2497
02:19:29,122 --> 02:19:32,453
달라진 게 있다면 그건 규모뿐이에요.

2498
02:19:32,453 --> 02:19:36,833
멋진 것들은 원래도 늘 업계
안에서, 폐쇄적으로 개발됐었어요.

2499
02:19:36,833 --> 02:19:38,870
그건 밖에다 말할 수도 없었고요.

2500
02:19:38,870 --> 02:19:42,809
그리고 제 생각엔 지금 다른
점은 본인의 취향인 것 같아요.

2501
02:19:42,809 --> 02:19:45,298
자기 연구를 공개하는 걸
좋아하는지, 아니면 폐쇄적인

2502
02:19:45,298 --> 02:19:47,444
랩 쪽이 더 잘 맞는지
— 그런 거 아닐까요?

2503
02:19:47,444 --> 02:19:48,890
그게 한 가지 차이점이에요.

2504
02:19:48,890 --> 02:19:54,470
물론 보수도 또 다른 차이지만,
그건 원래부터 그랬고요.

2505
02:19:54,470 --> 02:19:57,125
본인이 어디서 편하게
느끼느냐에 달린 거죠.

2506
02:19:57,125 --> 02:19:58,737
그리고 어느 것도 영원하지는 않고요.

2507
02:19:58,737 --> 02:20:03,298
지금은 세 번째 선택지도 있어요,
스타트업을 차리는 거요.

2508
02:20:03,298 --> 02:20:05,270
많은 사람들이 그렇게 하고 있고요.

2509
02:20:05,270 --> 02:20:10,106
굉장히 위험한 선택이긴 하지만,
하이 리스크 하이 리턴이 될 수도

2510
02:20:10,106 --> 02:20:14,674
있어요. 반면에 업계 연구소에
들어가는 건 꽤 안전한 편이죠.

2511
02:20:14,674 --> 02:20:17,350
커리어를 밟아 올라갈 기회도 있고요.

2512
02:20:17,350 --> 02:20:20,128
제 생각엔 업계 연구소에
있어 봤으면 나중에

2513
02:20:20,128 --> 02:20:22,790
다른 일자리 구하기도
더 쉬운 것 같아요.

2514
02:20:22,790 --> 02:20:27,722
근데 또 한편으론, 팀과 함께
비공개 연구를 하는 걸 얼마나

2515
02:20:27,722 --> 02:20:33,402
좋아하는지, 아니면 논문 내는 걸
얼마나 좋아하는지의 문제 아닐까요?

2516
02:20:33,402 --> 02:20:35,650
사실 논문 내는 건 스트레스거든요.

2517
02:20:35,650 --> 02:20:39,946
학회 승인율이 자의적이고
굉장히 답답할 때도

2518
02:20:39,946 --> 02:20:44,242
있지만, 논문이 실리면
그만큼 보상은 크죠.

2519
02:20:44,242 --> 02:20:46,747
제 이름이 논문에 올라가
있으니 뿌듯하고요.

2520
02:20:46,747 --> 02:20:51,389
큰 성취고요. - 솔직히 말하면
제 교수 친구들이 프론티어

2521
02:20:51,389 --> 02:20:55,305
랩에서 일하는 친구들보다
더 행복해 보이더라고요.

2522
02:20:55,305 --> 02:20:57,720
거기엔 어떤 안정감이 있어요.

2523
02:20:57,720 --> 02:21:01,424
프론티어 랩들은 확실히 이
996이라는 걸 하죠. 늘 일한다는

2524
02:21:01,424 --> 02:21:05,127
뜻의 줄임말이에요. - 996이
뭔지 설명해 주실 수 있나요?

2525
02:21:05,127 --> 02:21:10,691
제가 알기로는 중국에서 생긴 문화인데,
실리콘밸리가 받아들인 거예요.

2526
02:21:10,691 --> 02:21:11,921
996이 뭔가요?

2527
02:21:11,921 --> 02:21:16,369
오전 9시부터 밤 9시까지, -
주 6일이요. - 주 6일이요.

2528
02:21:16,369 --> 02:21:17,959
그럼 그게, 72시간인가요?

2529
02:21:17,959 --> 02:21:18,357
그렇군요.

2530
02:21:18,357 --> 02:21:24,542
그럼 이게 실리콘밸리 AI
기업들의 기본값인 건가요?

2531
02:21:24,542 --> 02:21:27,549
이런 그라인드 마인드셋 같은
거요. - 네, 아마 정확히

2532
02:21:27,549 --> 02:21:30,750
그 정도는 아닐 수도 있지만,
그런 흐름은 있는 것 같아요.

2533
02:21:30,750 --> 02:21:31,885
그리고 흥미로운 게 있는데요.

2534
02:21:31,885 --> 02:21:34,006
제 생각엔 거의 뒤바뀐 것 같아요. 제가

2535
02:21:34,006 --> 02:21:36,127
학계에 있을 때 딱 그런 느낌이었거든요.

2536
02:21:36,127 --> 02:21:40,105
교수가 되면 연구비 신청서도 쓰고,
강의도 하고, 연구도 해야 하잖아요.

2537
02:21:40,105 --> 02:21:43,615
직업 세 개를 한 번에
하는 거나 마찬가지고,

2538
02:21:43,615 --> 02:21:46,704
성공하려면 풀타임 이상으로 일해야 해요.

2539
02:21:46,704 --> 02:21:50,557
그리고 지금 드는 생각인데,
네이선 말씀처럼 교수님들이

2540
02:21:50,557 --> 02:21:54,409
랩보다는 부담이나 업무량이
덜한 것 같아요, 왜냐하면—

2541
02:21:54,409 --> 02:21:58,390
- 그런데 저는 교수님들도
일을 정말 많이 한다고 봐요.

2542
02:21:58,390 --> 02:21:59,491
다만 정말 만족스러워하시죠.

2543
02:21:59,491 --> 02:22:03,357
학생들과 함께 일하면서— 계속
이어지는 멘토링과 사람 중심적인

2544
02:22:03,357 --> 02:22:06,995
사명감을 갖는다는 게, 모든
게 빠르고 혼란스럽게 돌아가는

2545
02:22:06,995 --> 02:22:10,633
시대에는 정말 보람 있는 일인
것 같아요. - 네, 그리고

2546
02:22:10,633 --> 02:22:14,044
제 생각엔 스타트업에서는 이런
압박이 있는 것 같아요.

2547
02:22:14,044 --> 02:22:16,499
꼭 해내야 한다는 압박감이죠.

2548
02:22:16,499 --> 02:22:20,689
사람들이 시간을 들이는 게 정말
중요한데, 계속 성과를 내야

2549
02:22:20,689 --> 02:22:25,006
하니까 실제로는 너무 힘들어요.
저도 스타트업에 있어봤거든요.

2550
02:22:25,006 --> 02:22:28,313
좋은 시간이었지만, 이걸 평생
할 수 있을지는 모르겠어요.

2551
02:22:28,313 --> 02:22:33,545
흥미로운 속도인데, 처음에 저희가
얘기했던 것과 정확히 똑같아요.

2552
02:22:33,545 --> 02:22:36,979
이 모델들이 서로 엎치락뒤치락
앞서기를 하면서,

2553
02:22:36,979 --> 02:22:40,809
경쟁사보다 한 발이라도
앞서려고 계속 애쓰고 있어요.

2554
02:22:40,809 --> 02:22:44,617
지금은 정말 가차없어요. -
저는 이렇게 엎치락뒤치락 앞서는

2555
02:22:44,617 --> 02:22:48,656
양상과 여러 플레이어가 있다는
것 자체가 사실 저평가된 언어모델

2556
02:22:48,656 --> 02:22:52,579
발전의 동력이라고 봐요. 사람들
안에 경쟁심이 워낙 깊이 박혀

2557
02:22:52,579 --> 02:22:56,964
있고, 이 회사들도 의도적으로 아주
강한 조직 문화를 만들어왔거든요.

2558
02:22:56,964 --> 02:23:00,354
예를 들면 앤스로픽은
조직 문화 차원에서 정말

2559
02:23:00,354 --> 02:23:03,338
깊이 헌신하고 체계적이기로 유명하잖아요.

2560
02:23:03,338 --> 02:23:05,847
사실 저희는 그쪽 얘기를 거의
듣지 못하는데, 앤스로픽

2561
02:23:05,847 --> 02:23:08,356
사람들은 다들 방향이 아주
잘 맞춰져 있는 것 같아요.

2562
02:23:08,356 --> 02:23:12,171
이렇게 결속력이 아주 강한
문화 안에 있으면서 경쟁

2563
02:23:12,171 --> 02:23:16,259
구도까지 있으면, 그게 사람을
더 열심히 일하게 만들고

2564
02:23:16,259 --> 02:23:20,210
더 나은 걸 만들어내게 하는
요인이 되는 것 같아요.

2565
02:23:20,210 --> 02:23:24,345
하지만 그건 사람이라는 자원을 갈아
넣는 대가로 오는 거라서, 이런

2566
02:23:24,345 --> 02:23:28,369
식으로는 오래 버틸 수가 없고
번아웃되는 사람들이 확실히 있어요.

2567
02:23:28,369 --> 02:23:32,310
저도 번아웃을 겪었다 벗어났다 하면서
그 얘기로 글을 쓴 적이 있어요.

2568
02:23:32,310 --> 02:23:36,250
특히 매니저 노릇까지 하면서 학습을
풀가동으로 돌리려던 때 그랬거든요.

2569
02:23:36,250 --> 02:23:37,935
이 일을 한다는 게 정말 미친 짓이에요.

2570
02:23:37,935 --> 02:23:41,864
패트릭 맥기가 쓴 『Apple in
China』라는 책이 있는데, 애플

2571
02:23:41,864 --> 02:23:45,894
엔지니어들이 중국에 공급망을 구축하느라
얼마나 힘들게 일했는지를 다뤄요.

2572
02:23:45,894 --> 02:23:49,319
심지어 "결혼 지키기" 프로그램까지
있었다고 하고, 그가 어느

2573
02:23:49,319 --> 02:23:53,147
팟캐스트에서는 "이렇게까지 일하다가
사람이 죽기도 했다"고 말했어요.

2574
02:23:53,147 --> 02:23:57,168
그러니까 이게 사람을 갈아
넣어서 발전을 만들어내는 완벽한

2575
02:23:57,168 --> 02:24:01,314
환경인 것 같아요. 그리고 그
사람을 갈아 넣는 부분이 바로

2576
02:24:01,314 --> 02:24:05,586
저희가 처음에 얘기했던 996이거든요,
그러니까... 사람들이

2577
02:24:05,586 --> 02:24:09,858
정말 갈아 넣듯이 일한다는 거죠.
- 저도 그 책 읽어봤어요.

2578
02:24:09,858 --> 02:24:12,967
누가 결혼 생활을 지키려고
가족과 시간을 보내러 집에 가야

2579
02:24:12,967 --> 02:24:16,077
할 때 쓰는 암호 같은 게
있었다고 하는데, 진짜 미쳤죠.

2580
02:24:16,077 --> 02:24:19,765
그러면 동료들이 "자, 이건
이 상황에 대한 레드 얼럿이다.

2581
02:24:19,765 --> 02:24:22,650
이번 주말엔 저 사람을 집에
보내줘야 한다"라고 말했대요.

2582
02:24:22,650 --> 02:24:25,868
근데 동시에, 그 사람들이 억지로
일하도록 강요당했던 건 아니라고 봐요.

2583
02:24:25,868 --> 02:24:28,100
아마 제품에 대한 열정이 너무 커서 그런

2584
02:24:28,100 --> 02:24:30,130
마음가짐에 빠져든 게 아닐까 싶어요.

2585
02:24:30,130 --> 02:24:32,721
저도 학계에 있을 때 가끔 그랬고, 지금

2586
02:24:32,721 --> 02:24:35,547
독립적으로 일하는
사람으로서도 가끔 그래요.

2587
02:24:35,547 --> 02:24:37,337
과로를 하는데, 건강에는 안 좋죠.

2588
02:24:37,337 --> 02:24:43,135
아마 쉬어야 했을 때 쉬지 않아서
허리도 아프고 목도 아팠어요.

2589
02:24:43,135 --> 02:24:45,673
하지만 누가 강요한 건 아니고, 제가
일하고 싶어서 그런 거예요. 워낙

2590
02:24:45,673 --> 02:24:48,146
흥미진진한 일이니까요. - 오픈AI랑
앤스로픽도 딱 그런 느낌이에요.

2591
02:24:48,146 --> 02:24:52,028
그 사람들도 이 일을 하고 싶어
하는 거죠. - 네, 근데

2592
02:24:52,028 --> 02:24:55,788
특히 실리콘밸리에서는 스케일링
법칙이라는 개념과 맞물려서

2593
02:24:55,788 --> 02:24:59,670
일종의 열기 같은 게 쌓이고
있어요. 세상이 몇 주 단위로

2594
02:24:59,670 --> 02:25:03,673
바뀔 거라는 하이프가 있고,
그 중심에 있고 싶어지는 거죠.

2595
02:25:03,673 --> 02:25:08,450
그리고 저는 정말 운 좋게도
다양한 사람들과 대화할

2596
02:25:08,450 --> 02:25:13,056
기회가 많은데, 그러다
보니 전 세계 곳곳에 있는

2597
02:25:13,056 --> 02:25:17,150
이런 버블과 에코
체임버들이 눈에 들어와요.

2598
02:25:17,150 --> 02:25:19,562
우리 인간이 그런 걸 어떻게
만들어내는지 보는 게 참 흥미로워요.

2599
02:25:19,562 --> 02:25:23,816
저는 실리콘밸리가 일종의
에코 체임버, 일종의

2600
02:25:23,816 --> 02:25:27,899
사일로이자 버블이라고
해도 무방하다고 봐요.

2601
02:25:27,899 --> 02:25:31,703
저는 버블이 사실 꽤
유용하고 효과적이라고 봐요.

2602
02:25:31,703 --> 02:25:34,990
꼭 부정적인 건 아니에요, 오히려
엄청나게 생산적일 수 있거든요.

2603
02:25:34,990 --> 02:25:40,401
스티브 잡스의 현실 왜곡장 같은
걸 수도 있어요, 서로에게

2604
02:25:40,401 --> 02:25:45,980
돌파구가 임박했다고 확신시키다
보면 정말로 돌파구가 임박하게

2605
02:25:45,980 --> 02:25:51,222
되니까요. - 번 호바트가
버블을 분류한 책을 썼는데요.

2606
02:25:51,222 --> 02:25:55,191
하나는 투기에 가까운 금융
버블인데 이건 나쁜 쪽이고, 다른

2607
02:25:55,191 --> 02:25:59,520
하나는 사람들이 뭔가를 만들어내도록
밀어붙이는 구축형 버블이에요.

2608
02:25:59,520 --> 02:26:03,292
저도 AI가 여기 해당한다고는
생각하는데, 그게 금융

2609
02:26:03,292 --> 02:26:07,454
버블로 넘어갈까 봐 걱정돼요,
그건... - 맞아요, 근데

2610
02:26:07,454 --> 02:26:11,486
아이디어의 영역에서도 그
버블은요, 현실 왜곡장을 만들고

2611
02:26:11,486 --> 02:26:15,258
있는 거고, 그건 현실에서
벗어나고 있다는 뜻이에요.

2612
02:26:15,258 --> 02:26:19,553
그리고 현실에서 너무 멀어진
채로 이른바 996으로

2613
02:26:19,553 --> 02:26:23,388
일하다 보면, 실리콘밸리
밖의 것들을 포함해서

2614
02:26:23,388 --> 02:26:27,530
인간 경험의 근본적인
부분들을 놓칠 수도 있어요.

2615
02:26:27,530 --> 02:26:32,330
이건 실리콘밸리에서 흔한 문제인데요,
아주 특정한 지역이잖아요.

2616
02:26:32,330 --> 02:26:37,467
미국 중서부의 시각이나, 미국과
전 세계 다른 모든 사람들의 온전한

2617
02:26:37,467 --> 02:26:42,327
경험은 이해하지 못할 수도 있어요.
그리고 서로 특정한 방식으로

2618
02:26:42,327 --> 02:26:47,742
말하고, 서로에게 특정한 걸 확신시키다
보면 진짜 곤란해질 수 있어요.

2619
02:26:47,742 --> 02:26:52,126
AI가 크게 성공해서
강력한 기술이 되든, 안

2620
02:26:52,126 --> 02:26:56,509
되든, 어느 쪽으로 가든
곤란해질 수 있어요.

2621
02:26:56,509 --> 02:26:58,640
그러니까 이 모든 걸 다 고려해야 해요.

2622
02:26:58,640 --> 02:27:01,473
당신이 이제 막 인생에서
뭘 하고 싶은지 결정하려는

2623
02:27:01,473 --> 02:27:03,801
젊은이라고 해보죠.
- 그게 그러니까...

2624
02:27:03,801 --> 02:27:08,294
이건 잘 이해가 안 가는데, SF의
AI 밈들이 어느 순간 '영구

2625
02:27:08,294 --> 02:27:13,536
하층민'이라는 것까지 나왔어요. 2025년
마지막 6개월이 AI 스타트업이나

2626
02:27:13,536 --> 02:27:18,529
모델에서 지속 가능한 가치를 쌓을 수
있는 유일한 시기였다는 발상이었죠.

2627
02:27:18,529 --> 02:27:23,320
안 그러면 모든 가치를 기존 회사들이
다 가져가버리고 그래서 가난해질

2628
02:27:23,320 --> 02:27:28,364
거라는 건데, 이게... SF 특유의
좀 너무 나간 사고방식의 한 예죠.

2629
02:27:28,364 --> 02:27:32,064
그래도 저는 여전히, 정말로
AI에서 임팩트를 내고

2630
02:27:32,064 --> 02:27:35,895
싶은 열정이 있는 젊은
분들이라면, 물리적으로 SF에

2631
02:27:35,895 --> 02:27:39,859
있는 게 그걸 해낼 가능성이
가장 높은 곳이라고 봐요.

2632
02:27:39,859 --> 02:27:43,111
다만 거기엔 트레이드오프가
있어요. - 저는 SF가 정말

2633
02:27:43,111 --> 02:27:46,468
대단한 곳이라고 생각하지만,
어느 정도 버블이 있긴 해요.

2634
02:27:46,468 --> 02:27:49,557
그리고 그 버블에 들어가는
게 굉장히 가치 있는

2635
02:27:49,557 --> 02:27:52,290
일이긴 한데, 가끔은
나오기도 해야 해요.

2636
02:27:52,290 --> 02:27:57,402
역사책도 읽어보고, 문학도
읽어보고, 세계 곳곳도 가보세요.

2637
02:27:57,402 --> 02:28:01,788
X랑 서브스택이 세상의 전부는
아니에요. - 말씀드리자면, 같이

2638
02:28:01,788 --> 02:28:06,299
일했던 동료 한 분이 SF로 이사
가는데, 그분한테 『Season

2639
02:28:06,299 --> 02:28:10,059
of the Witch』를
한 권 구해줘야겠다 싶어요.

2640
02:28:10,059 --> 02:28:14,320
1960년부터 1985년까지
SF의 역사를 다룬 책인데, 히피

2641
02:28:14,320 --> 02:28:18,580
혁명이랑, 게이들이 도시를
접수하다시피 하며 그 문화가 생겨난

2642
02:28:18,580 --> 02:28:22,465
과정, 그리고 HIV/에이즈
위기 같은 것들까지 다뤄요.

2643
02:28:22,465 --> 02:28:25,423
그런데 그게 정말 최근
일이고, 정말 많은 혼란과

2644
02:28:25,423 --> 02:28:28,601
상처가 있었지만 동시에
SF에는 사랑도 있었더라고요.

2645
02:28:28,601 --> 02:28:30,168
근데 이걸 아무도 모르더라고요.

2646
02:28:30,168 --> 02:28:31,734
정말 좋은 책이에요, 『Season
of the Witch』.

2647
02:28:31,734 --> 02:28:32,341
추천드려요.

2648
02:28:32,341 --> 02:28:37,185
버블에서 벗어나 보는 제 SF
친구들 여럿이 저한테 추천해줬어요.

2649
02:28:37,185 --> 02:28:39,672
그리고 그게 딱 거기 살면서
느끼는 거 같아요...

2650
02:28:39,672 --> 02:28:43,025
저도 거기 살았었는데 이 맥락을 제대로

2651
02:28:43,025 --> 02:28:47,017
몰랐더라고요. 워낙 최근
일이라서요. - 네.

2652
02:28:47,017 --> 02:28:48,436
자, 그럼...

2653
02:28:48,436 --> 02:28:52,124
정말 많은 이야기를 나눴잖아요.

2654
02:28:52,124 --> 02:28:57,136
특히 작년에 화제였던 것들 위주로요.

2655
02:28:57,136 --> 02:29:00,969
그런데 올해, 두 분이 언급하신
것 중에 흥미로운 게 텍스트 디퓨전

2656
02:29:00,969 --> 02:29:05,112
모델의 스케일링, 그러니까 텍스트
디퓨전을 좀 다르게 탐구하는 거였어요.

2657
02:29:05,112 --> 02:29:09,261
그게 뭔지, 어떤 가능성을 갖고
있는지 말씀해 주실 수 있을까요?

2658
02:29:09,261 --> 02:29:12,732
그러니까 지금 나와 있는 모델들과는
다른 종류의 접근법이라는 거죠? -

2659
02:29:12,732 --> 02:29:15,492
네, 저희가 트랜스포머
아키텍처, 그중에서도 GPT 같은

2660
02:29:15,492 --> 02:29:19,764
자기회귀(autoregressive) 트랜스포머
아키텍처에 대해 얘기를 많이 했잖아요.

2661
02:29:19,764 --> 02:29:23,248
그렇다고 다른 걸 연구하는
사람이 없다는 뜻은 아니에요.

2662
02:29:23,248 --> 02:29:27,159
그러니까 사람들은 늘 다음에
올 큰 흐름을 찾고 있달까요.

2663
02:29:27,159 --> 02:29:29,872
안 그러면 거의 어리석은
일이라고 저는 봐요.

2664
02:29:29,872 --> 02:29:33,511
물론 지금은 트랜스포머
아키텍처가 대세고, 제일

2665
02:29:33,511 --> 02:29:37,429
잘 작동하고, 현재로선 다른
대안이 없긴 하지만요.

2666
02:29:37,429 --> 02:29:41,131
그래도 계란을 한 바구니에 다
담지 않는 게 항상 좋잖아요.

2667
02:29:41,131 --> 02:29:46,401
그래서 사람들이 자기회귀 트랜스포머의
다른 대안들을 개발하고 있어요.

2668
02:29:46,401 --> 02:29:49,636
그중 하나가 예를 들면
텍스트 디퓨전 모델이에요.

2669
02:29:49,636 --> 02:29:52,460
청취자분들은 아마 이미지 생성
쪽에서 디퓨전 모델을 아실

2670
02:29:52,460 --> 02:29:55,193
텐데요, Stable
Diffusion이 대중화시켰죠.

2671
02:29:55,193 --> 02:29:57,364
이미지를 생성하는 논문이 하나 있었어요.

2672
02:29:57,364 --> 02:30:00,616
그 당시엔 사람들이 GAN, 그러니까
생성적 적대 신경망을 썼고요.

2673
02:30:00,616 --> 02:30:04,176
그러다 이미지를 반복적으로
디노이징하는 디퓨전 프로세스가

2674
02:30:04,176 --> 02:30:08,196
나왔는데, 시간이 지나면서 정말
좋은 퀄리티의 이미지가 나왔죠.

2675
02:30:08,196 --> 02:30:09,660
Stable Diffusion은
회사였고요.

2676
02:30:09,660 --> 02:30:11,912
다른 회사들도 자체적으로
디퓨전 모델을 만들었어요.

2677
02:30:11,912 --> 02:30:13,683
그러다 사람들이 이제 '이걸 텍스트에도

2678
02:30:13,683 --> 02:30:15,622
해볼 수 있지 않을까?'
하게 된 거예요.

2679
02:30:15,622 --> 02:30:18,728
아직 직관적으로는 잘
와닿지 않는 게, 텍스트는

2680
02:30:18,728 --> 02:30:22,072
픽셀처럼 미분할 수 있는
연속적인 값이 아니잖아요.

2681
02:30:22,072 --> 02:30:24,527
이산적(discrete)인
텍스트인데, 그

2682
02:30:24,527 --> 02:30:26,875
디노이징 과정을 대체 어떻게 구현할까요?

2683
02:30:26,875 --> 02:30:31,290
구글의 BERT 모델이랑 좀 비슷해요.

2684
02:30:31,290 --> 02:30:35,575
그러니까 원래 트랜스포머로 돌아가
보면, 인코더랑 디코더가 있었잖아요.

2685
02:30:35,575 --> 02:30:39,322
디코더가 지금 GPT 같은
모델들에서 쓰이는 방식이에요.

2686
02:30:39,322 --> 02:30:43,403
인코더는 좀 더 병렬적인
기법에 가까운데,

2687
02:30:43,403 --> 02:30:47,129
여러 토큰을 한꺼번에 채워 넣는 거죠.

2688
02:30:47,129 --> 02:30:50,241
GPT 모델들은
자기회귀(autoregressive) 방식으로

2689
02:30:50,241 --> 02:30:53,261
생성해요. 한 번에 토큰 하나씩
문장을 완성해 나가는 거죠.

2690
02:30:53,261 --> 02:30:57,662
그런데 BERT 모델에서는
문장에 빈칸이 있어요.

2691
02:30:57,662 --> 02:31:02,180
그 부분들을 마스킹해 놓고, 한 번
돌릴 때 그 빈칸들을 채우는 거예요.

2692
02:31:02,180 --> 02:31:07,468
텍스트 디퓨전도 그거랑 비슷해요.
무작위 텍스트에서 시작해서,

2693
02:31:07,468 --> 02:31:12,601
빠진 부분을 채우거나 다듬는
과정을 여러 번 반복하는 거죠.

2694
02:31:12,601 --> 02:31:18,246
여기서 좋은 점은 여러 토큰을
동시에 처리할 수 있다는 거예요.

2695
02:31:18,246 --> 02:31:21,740
말하자면 더 효율적일
수 있다는 기대인 거죠.

2696
02:31:21,740 --> 02:31:25,347
그런데 물론 트레이드오프는 있죠
— 품질이 얼마나 좋으냐는 거예요.

2697
02:31:25,347 --> 02:31:27,340
더 빠를 수는 있는데, 이제 디노이징

2698
02:31:27,340 --> 02:31:29,532
과정이라는 차원이 하나 더 생기는 거죠.

2699
02:31:29,532 --> 02:31:32,814
스텝을 더 많이 돌릴수록
텍스트 품질이 좋아져요.

2700
02:31:32,814 --> 02:31:34,942
그리고 사람들이…

2701
02:31:34,942 --> 02:31:37,383
그러니까, 스케일링하는
방법은 여러 가지예요.

2702
02:31:37,383 --> 02:31:42,369
더 적은 연산으로 같은 품질을
낼 수 있는, 자기회귀 모델의

2703
02:31:42,369 --> 02:31:46,902
타당한 대안이 혹시 될 수
있는지 확인해 보려는 거죠.

2704
02:31:46,902 --> 02:31:50,615
지금은 같은 품질을 얻으려면
디노이징 스텝을 확 늘려야

2705
02:31:50,615 --> 02:31:54,081
하고, 그러다 보면 결국
자기회귀 모델에 드는 것과

2706
02:31:54,081 --> 02:31:58,042
똑같은 연산량을 쓰게 된다는
걸 보여주는 논문들이 있어요.

2707
02:31:58,042 --> 02:32:01,029
다른 단점은, 병렬 처리가
매력적으로 들리긴 해도

2708
02:32:01,029 --> 02:32:03,794
어떤 작업들은 원래
병렬적이지 않다는 거예요.

2709
02:32:03,794 --> 02:32:07,067
예를 들면 추론 과제나 도구
사용 같은 거요. 코드

2710
02:32:07,067 --> 02:32:11,042
인터프리터한테 중간 결과를 요청해야
할 수도 있는 경우처럼요.

2711
02:32:11,042 --> 02:32:12,752
그건 디퓨전 모델한테는
까다로운 부분이에요.

2712
02:32:12,752 --> 02:32:14,821
그래서 하이브리드 방식도
좀 있긴 한데, 핵심

2713
02:32:14,821 --> 02:32:16,724
아이디어는 '어떻게
병렬화할 것인가'예요.

2714
02:32:16,724 --> 02:32:18,609
흥미로운 방향이죠.

2715
02:32:18,609 --> 02:32:24,822
제 생각엔 지금은 대부분 LLaDA
같은 연구용 모델들이에요.

2716
02:32:24,822 --> 02:32:27,824
스타트업들이 만든 것도 좀 봤고, 실제
배포된 모델도 몇 개 있더라고요.

2717
02:32:27,824 --> 02:32:32,681
아직 Gemini나 ChatGPT급의
대규모 디퓨전 모델은 없어요.

2718
02:32:32,681 --> 02:32:39,096
그런데 구글이 공지한 게 하나 있었는데,
Gemini Diffusion을

2719
02:32:39,096 --> 02:32:45,190
출시한다면서 자기네 Gemini
Nano 2 모델과 비교해서 대부분의

2720
02:32:45,190 --> 02:32:50,963
벤치마크에서 같은 품질로 훨씬
빠르게 생성할 수 있다고 했었어요.

2721
02:32:50,963 --> 02:32:52,256
아까 다음이 뭔지 언급하셨었죠.

2722
02:32:52,256 --> 02:32:56,597
텍스트 디퓨전 모델이 자기회귀
LLM을 대체할 거라고는 생각하지

2723
02:32:56,597 --> 02:33:01,063
않지만, 아마 빠르고 저렴한 대규모
작업 쪽에는 쓰일 것 같아요.

2724
02:33:01,063 --> 02:33:05,935
미래엔 무료 요금제가 그런 식이
될 수도 있을 것 같아요.

2725
02:33:05,935 --> 02:33:10,503
- 이미 그렇게 쓰이고 있는
사례들이 있는 것 같아요.

2726
02:33:10,503 --> 02:33:12,927
왜 이게 더 나은지 예를
들어볼게요. 예를 들어

2727
02:33:12,927 --> 02:33:15,444
GPT-5가 응답하는 데
30분이 걸릴 때, 그건

2728
02:33:15,444 --> 02:33:17,868
토큰을 한 번에 하나씩
생성하고 있는 거거든요.

2729
02:33:17,868 --> 02:33:21,600
그런데 이 디퓨전 아이디어는
본질적으로 그 토큰들과 완성된 답을

2730
02:33:21,600 --> 02:33:25,439
한 번에 배치로 생성하는 거라서,
훨씬 더 빠를 수 있는 거예요.

2731
02:33:25,439 --> 02:33:28,723
그리고 제 생각엔 이게 잘 맞을
것 같은 분야가... 제가

2732
02:33:28,723 --> 02:33:32,418
듣기로는 코드 스타트업들인데요,
코드베이스가 있고 사실상 '바이브

2733
02:33:32,418 --> 02:33:35,600
코딩'을 하는 사람이 '이렇게
바꿔줘'라고 말하는 거죠.

2734
02:33:35,600 --> 02:33:38,665
코드 diff라는 게 사실
모델 입장에서는 엄청 긴

2735
02:33:38,665 --> 02:33:42,058
답변인데, 외부 컨텍스트는
그렇게 많이 필요하지 않아서,

2736
02:33:42,058 --> 02:33:45,342
이런 디퓨전 모델을 쓰면 정말
빠르게 받을 수 있어요.

2737
02:33:45,342 --> 02:33:49,273
제가 들은 예로는, 정말 긴
diff를 생성하는 데 텍스트 디퓨전을

2738
02:33:49,273 --> 02:33:53,204
쓴다고 하더라고요. 자기회귀 모델로
하면 몇 분씩 걸리는데, 사용자

2739
02:33:53,204 --> 02:33:57,242
대상 제품에서 그 정도 시간은
이탈(churn)을 많이 일으키거든요.

2740
02:33:57,242 --> 02:33:59,338
1초마다 사용자를 많이 잃는 거죠.

2741
02:33:59,338 --> 02:34:02,356
그러니까 제 생각엔 이게...
성장해서 몇 가지 활용처가

2742
02:34:02,356 --> 02:34:05,569
생기긴 할 것 같은데요. 사실
저는 서로 다른 종류의 모델이

2743
02:34:05,569 --> 02:34:08,392
서로 다른 용도로 쓰이는
일이 지금보다 훨씬 빨리 올

2744
02:34:08,392 --> 02:34:11,508
거라고 생각했었거든요. 그래서
좀 엇갈리는 마음이 있어요.

2745
02:34:11,508 --> 02:34:15,729
제 생각엔 이걸 가장 범용적으로
쓰기 어렵게 만드는 지점이 바로

2746
02:34:15,729 --> 02:34:20,191
도구 사용 문제인 것 같아요.
Claude Code나 ChatGPT

2747
02:34:20,191 --> 02:34:24,050
검색을 보면 자기회귀 체인이
외부 도구로 중간에 끊기는데,

2748
02:34:24,050 --> 02:34:28,150
디퓨전 구조에서 그걸 어떻게
할지는 저도 잘 모르겠거든요. -

2749
02:34:28,150 --> 02:34:32,492
그럼 올해, 그리고 앞으로 몇 년간
도구 사용의 미래는 어떨까요?

2750
02:34:32,492 --> 02:34:35,602
그쪽에서 발전이 많이 일어날
거라고 보세요? 그리고 그게

2751
02:34:35,602 --> 02:34:38,310
전체 스택에 어떻게
통합될까요? - 지금은 대부분

2752
02:34:38,310 --> 02:34:41,621
비공개(proprietary)
LLM 쪽에 있는 것 같은데,

2753
02:34:41,621 --> 02:34:44,831
오픈소스 툴링 쪽에서도 더 많이
보게 될 거라고 생각해요.

2754
02:34:44,831 --> 02:34:48,756
그리고 이게 정말 많은 걸 열어주는
일이라고 생각하는 게, 그러면

2755
02:34:48,756 --> 02:34:52,573
특정 작업들을 단순 암기에서
진짜... 그러니까, LLM이 23

2756
02:34:52,573 --> 02:34:56,389
더하기 5가 뭔지 암기하게 하는
대신 그냥 계산기를 쓰게 할 수

2757
02:34:56,389 --> 02:35:00,206
있잖아요. - 그럼 그게
환각(hallucination) 문제를

2758
02:35:00,206 --> 02:35:03,913
해결하는 데 도움이 될까요? -
해결까지는 아니고, 줄여주죠.

2759
02:35:03,913 --> 02:35:06,598
그러니까 LLM은 여전히 언제 툴 콜을

2760
02:35:06,598 --> 02:35:09,155
요청해야 하는지 알아야 하는 거예요.

2761
02:35:09,155 --> 02:35:13,418
그리고 두 번째는, 음, 인터넷이
항상 맞다는 뜻은 아니라는 거예요.

2762
02:35:13,418 --> 02:35:16,280
웹 검색을 할 수는 있지만,
예를 들어 제가 1998년

2763
02:35:16,280 --> 02:35:19,046
월드컵 우승팀이 누구냐고
물었다고 하면, 그래도 맞는

2764
02:35:19,046 --> 02:35:21,717
웹사이트를 찾아서 정확한
정보를 가져와야 하거든요.

2765
02:35:21,717 --> 02:35:25,598
여전히 잘못된 웹사이트에 가서
잘못된 정보를 줄 수도 있는 거죠.

2766
02:35:25,598 --> 02:35:28,720
그래서 그게 완전히 해결해
줄 거라고는 생각하지

2767
02:35:28,720 --> 02:35:31,482
않지만, 그런 면에서
개선은 되고 있어요.

2768
02:35:31,482 --> 02:35:35,795
그래서 올해 초에 나온 또 다른
멋진 논문이 있는데—12월

2769
02:35:35,795 --> 02:35:39,703
31일이었던 것 같으니
엄밀히는 2026년은 아니지만

2770
02:35:39,703 --> 02:35:43,342
거의 근접했죠—바로 재귀
언어모델(RLM)이에요.

2771
02:35:43,342 --> 02:35:47,322
이걸 한 걸음 더 밀어붙인,
꽤 멋진 아이디어예요.

2772
02:35:47,322 --> 02:35:51,230
잠깐 설명드리면, 네이선도
아까 말씀하셨듯이 연산 예산

2773
02:35:51,230 --> 02:35:54,877
때문에 학계에서 멋진 연구를
하기가 더 어렵잖아요.

2774
02:35:54,877 --> 02:35:58,379
제 기억이 맞다면, 이 논문은
전부 GPT-5로 진행해서 로컬

2775
02:35:58,379 --> 02:36:01,880
모델은 아예 안 썼는데요.
아이디어는 이래요 — 예를 들어 롱

2776
02:36:01,880 --> 02:36:05,382
컨텍스트 작업이 있다고 하면,
LLM이 그걸 한 번에, 아니면

2777
02:36:05,382 --> 02:36:09,089
체인으로라도 통째로 풀게 하는 대신
하위 작업들로 쪼개는 거예요.

2778
02:36:09,089 --> 02:36:12,747
LLM이 어떤 게 좋은 하위
작업인지 정하게 하고,

2779
02:36:12,747 --> 02:36:16,666
그다음 그걸 풀도록 LLM을
재귀적으로 호출하는 거죠.

2780
02:36:16,666 --> 02:36:20,761
그리고 여기에 도구를
더하면—그러니까, 엄청 큰 Q&A

2781
02:36:20,761 --> 02:36:25,403
작업이 있다고 하면 각 하위
작업이 웹에 가서 정보를 모으고,

2782
02:36:25,403 --> 02:36:29,362
마지막에 그걸 다 모아서
다시 이어 붙이는 식으로요.

2783
02:36:29,362 --> 02:36:33,447
이런 방식으로 열리는 게 많을
거라고 생각해요. LLM

2784
02:36:33,447 --> 02:36:37,260
자체를 반드시 개선하는 게
아니라, LLM을 어떻게

2785
02:36:37,260 --> 02:36:41,209
쓰는지, LLM이 뭘 쓸
수 있는지를 개선하는 거죠.

2786
02:36:41,209 --> 02:36:44,066
지금 도구 사용의 단점
하나는, LLM에게

2787
02:36:44,066 --> 02:36:46,674
도구를 쓸 권한을 줘야 한다는 거예요.

2788
02:36:46,674 --> 02:36:50,553
그러려면 어느 정도 신뢰가 필요할
거예요. 특히 LLM이 대신 이메일에

2789
02:36:50,553 --> 02:36:54,332
답장해 주는 것 같은 기능까지 열어주고
싶다면요 — 아니, 답장까지는

2790
02:36:54,332 --> 02:36:57,713
아니어도 그냥 정리해 주거나 골라
주는 정도만 해도 그렇고요.

2791
02:36:57,713 --> 02:36:59,785
저는 오늘 당장 제 이메일에
LLM 접근 권한을

2792
02:36:59,785 --> 02:37:01,617
줄 수 있을지 잘
모르겠어요, 안 그래요?

2793
02:37:01,617 --> 02:37:03,984
그러니까, 이건 엄청난
리스크죠. - 도구 사용 얘기에

2794
02:37:03,984 --> 02:37:06,587
재밌는… 마지막으로 짚고 넘어갈
점이 하나 있는 것 같아요.

2795
02:37:06,587 --> 02:37:09,195
아까 살짝 그 얘기를 하셨던
것 같고, 저희 둘 다 각자

2796
02:37:09,195 --> 02:37:12,055
방식대로 이 얘기를 해왔던 것
같은데요. 오픈 모델과 클로즈드

2797
02:37:12,055 --> 02:37:14,914
모델이 도구를 쓰는 방식이 정말
다르다는 거예요. 오픈 모델의

2798
02:37:14,914 --> 02:37:17,606
경우엔 사람들이 허깅페이스에
가서 모델을 다운로드한 다음,

2799
02:37:17,606 --> 02:37:20,382
'나는 어떤 도구를 쓰고
싶지?'를 스스로 정하게 되거든요.

2800
02:37:20,382 --> 02:37:22,963
글쎄요, 저는 Exa를 검색
제공자로 선호하는데, 다른

2801
02:37:22,963 --> 02:37:25,631
분은 또 다른 검색 스타트업을
더 좋아할 수도 있잖아요.

2802
02:37:25,631 --> 02:37:28,460
그러니까 모델을 공개할 때는
여러 도구, 여러 사용 사례에서

2803
02:37:28,460 --> 02:37:31,289
다 쓸모 있어야 하는데, 이게
정말 어려운 이유가 결국 범용

2804
02:37:31,289 --> 02:37:33,861
추론 엔진 모델을 만드는 셈이
되기 때문이에요. 그리고

2805
02:37:33,861 --> 02:37:36,518
사실 gpt-oss-120b가
잘하는 게 바로 그거고요.

2806
02:37:36,518 --> 02:37:40,538
반면 클로즈드 모델에서는 특정
도구를 경험 안에 깊숙이 통합해

2807
02:37:40,538 --> 02:37:44,321
놓거든요. 그래서 제가 클로즈드
모델로 하기 좋아하는 것들

2808
02:37:44,321 --> 02:37:48,459
중 일부는 오픈 모델이 재현하기
어려울 거라고 봐요. 예를 들면

2809
02:37:48,459 --> 02:37:52,242
공개 정보와 비공개 정보를
섞어서 참조하는 것 같은 거요.

2810
02:37:52,242 --> 02:37:55,559
그리고 제가 3~6개월마다 계속
시도해 보는 게 있는데, 웹에서

2811
02:37:55,559 --> 02:37:58,875
Claude Code를 써보는
거예요. 그냥 모델한테 프롬프트를

2812
02:37:58,875 --> 02:38:02,287
줘서 제가 가진 GitHub 저장소에
업데이트를 하게 하는 거죠.

2813
02:38:02,287 --> 02:38:07,724
그런 보안 클라우드 환경들이 정말
좋은 게, 그냥 일을 맡겨놓고 저는

2814
02:38:07,724 --> 02:38:13,018
결과만 받아보면 된다는 거예요.
그리고 이런 게 아마 오픈·클로즈드

2815
02:38:13,018 --> 02:38:18,455
모델 각각의 특정한 틈새를 어느 정도
규정하는 데 도움이 될 거예요.

2816
02:38:18,455 --> 02:38:20,687
그런데 처음엔 도구 사용
기능을 되게 하려고 다들

2817
02:38:20,687 --> 02:38:23,003
너무 서두르다 보니, 오픈
모델들이 좀 밀릴 수밖에

2818
02:38:23,003 --> 02:38:25,235
없었던 것 같아요. 그건
어느 정도 불가피했고요.

2819
02:38:25,235 --> 02:38:28,788
프론티어 랩들에는 연구도 자원도
정말 많잖아요. 그래도 오픈

2820
02:38:28,788 --> 02:38:32,555
모델들이 이 문제를 풀어내면
재밌을 것 같아요. 그러려면 좀 더

2821
02:38:32,555 --> 02:38:36,431
유연하고 어쩌면 흥미로운 모델이
필요해질 텐데, 오케스트레이터이자

2822
02:38:36,431 --> 02:38:40,199
도구 사용 모델 역할을 하는 이
재귀적인 아이디어랑 맞물릴 수도

2823
02:38:40,199 --> 02:38:43,967
있거든요. 그러니까 그 필요성이
여기서 재밌는 혁신을 이끌어내길

2824
02:38:43,967 --> 02:38:48,165
바라고 있어요. - 자, 지속
학습(continual learning)

2825
02:38:48,165 --> 02:38:51,610
얘기로 넘어가 볼게요 — 오래된
주제이고, 중요한 문제죠.

2826
02:38:51,610 --> 02:38:56,404
모델 학습 비용이 올라갈수록 이
문제의 중요성도 커지는 것 같아요.

2827
02:38:56,404 --> 02:39:00,353
그럼 지속 학습이 정확히 뭔지,
그리고 올해와 앞으로 몇 년간 진전을

2828
02:39:00,353 --> 02:39:04,198
이루는 데 이게 얼마나 중요할지
설명해 주실 수 있을까요? - 이건

2829
02:39:04,198 --> 02:39:07,939
실리콘밸리에서 요즘 화두인 것과
관련이 많아요. AGI, 그러니까

2830
02:39:07,939 --> 02:39:11,784
인공 일반 지능이 뭔지, ASI,
인공 초지능이 뭔지, 그리고 지금

2831
02:39:11,784 --> 02:39:15,525
우리가 가진 언어모델들이 실제로
뭘 할 수 있는지 하는 것들이요.

2832
02:39:15,525 --> 02:39:19,112
언어모델이 많은 작업을 풀어낼
수 있다고 생각하지만, AI

2833
02:39:19,112 --> 02:39:22,700
커뮤니티에서 핵심적인 이정표로
보는 건 사실상 AI가 어떤

2834
02:39:22,700 --> 02:39:26,063
원격 근무자든 대체할 수 있게
되는 시점이에요. 정보를

2835
02:39:26,063 --> 02:39:29,314
받아들여서 디지털 작업을
풀고 실제로 처리하는 거요.

2836
02:39:29,314 --> 02:39:33,168
그리고 사람들이 지적하는
한계는, 언어모델이

2837
02:39:33,168 --> 02:39:37,183
직원처럼 피드백에서
배우지는 못한다는 거예요.

2838
02:39:37,183 --> 02:39:39,088
그러니까 편집자를 한 명
고용하면, 그 편집자가

2839
02:39:39,088 --> 02:39:41,066
실수를 하겠지만, 여러분이
그걸 얘기해 주잖아요.

2840
02:39:41,066 --> 02:39:43,196
그리고 좋은 편집자를 고용했다면,
같은 실수를 다시 하지 않죠.

2841
02:39:43,196 --> 02:39:45,796
그런데 언어모델은 스스로를 수정해서 아주

2842
02:39:45,796 --> 02:39:48,042
빠르게 배우는 이런 능력이 없어요.

2843
02:39:48,042 --> 02:39:52,010
그래서 요지는, 어떤 원격 근무
시나리오에도 들어갈 수 있는

2844
02:39:52,010 --> 02:39:56,218
진짜 범용적이고 적응 가능한
지능에 도달하려면, 피드백을 통해서

2845
02:39:56,218 --> 02:40:00,186
그리고 실무를 하면서 빠르게
배울 수 있어야 한다는 거예요.

2846
02:40:00,186 --> 02:40:03,422
저는 개인적으로 언어모델에
아주 좋은 컨텍스트만

2847
02:40:03,422 --> 02:40:06,036
제공해 주는 쪽에 좀 더 긍정적이에요.

2848
02:40:06,036 --> 02:40:09,798
아까 오프라인에서 말씀하셨던 것
같은데, 모델한테 방대한 문서를

2849
02:40:09,798 --> 02:40:13,453
써 줄 수 있다고 하셨잖아요.
'저한테 이런 정보가 다 있다,

2850
02:40:13,453 --> 02:40:15,886
제가 지금까지 쓴 블로그
글이 다 여기 있다.

2851
02:40:15,886 --> 02:40:17,181
저는 이런 스타일의 글을 좋아한다.

2852
02:40:17,181 --> 02:40:18,431
제 문체는 이걸 바탕으로 한다.'

2853
02:40:18,431 --> 02:40:21,909
그런데 많은 사람들은 이런 걸
모델한테 안 주고, 예전엔 모델도

2854
02:40:21,909 --> 02:40:25,089
이 정도 분량의 컨텍스트를
받아들이도록 설계되지 않았었죠.

2855
02:40:25,089 --> 02:40:27,134
에이전틱 모델은 이제 막 시작이에요.

2856
02:40:27,134 --> 02:40:30,765
그러니까 이건 일종의 트레이드오프인
거죠. 이 지속 학습이라는

2857
02:40:30,765 --> 02:40:34,502
걸로 모델 가중치를 업데이트해서
빠르게 학습시켜야 하는 걸까요?

2858
02:40:34,502 --> 02:40:38,218
아니면 반론으로, 그냥 컨텍스트와
정보를 더 많이 주기만 하면 되고,

2859
02:40:38,218 --> 02:40:41,836
그러면 컨텍스트가 많고 똑똑해서
빨리 학습하는 것처럼 보이게 된다는

2860
02:40:41,836 --> 02:40:45,356
것도 있죠. - 여기서 용어를 한번
짚고 넘어가야 할 것 같아요.

2861
02:40:45,356 --> 02:40:50,178
지속 학습(continual
learning)이란 새로

2862
02:40:50,178 --> 02:40:55,161
들어오는 정보를 바탕으로
모델이 계속해서, 그것도 빠르고

2863
02:40:55,161 --> 02:41:00,466
빈번하게 적응하고 조정되도록
가중치를 바꿔나가는 걸 말해요.

2864
02:41:00,466 --> 02:41:08,247
그리고 반대쪽에서 말씀하신 그건
보통 인컨텍스트 러닝이라고 불러요.

2865
02:41:08,247 --> 02:41:11,742
뭔가를 배워나가는 동안, 아주
거대한 컨텍스트 윈도우가 있는 거죠.

2866
02:41:11,742 --> 02:41:16,605
시스템에 프롬프트를 넣을 때마다
추가 정보를 계속 채워 넣을 수

2867
02:41:16,605 --> 02:41:21,746
있는데, 저는 이 둘 다 정당하게
학습으로 볼 수 있다고 생각해요.

2868
02:41:21,746 --> 02:41:24,665
그냥 학습이 일어나는
장소가 다를 뿐이죠. -

2869
02:41:24,665 --> 02:41:27,467
솔직히 말하면, 지속
학습, 그러니까 가중치

2870
02:41:27,467 --> 02:41:30,970
업데이트는 저희가 이미 여러
형태로 갖고 있다고 봐요.

2871
02:41:30,970 --> 02:41:32,550
어떻게 그런지 생각해보면...

2872
02:41:32,550 --> 02:41:37,571
제 생각엔 여기서 구분이 되는
지점은, 그걸 개인별 맞춤 모델에서

2873
02:41:37,571 --> 02:41:42,034
하느냐, 아니면 전역 모델
스케일에서 하느냐인 것 같아요.

2874
02:41:42,034 --> 02:41:44,528
GPT-5에서 5.1, 5.2로 넘어가는

2875
02:41:44,528 --> 02:41:47,362
과정에서 저희는 이미
그걸 갖고 있다고 봐요.

2876
02:41:47,362 --> 02:41:50,258
즉각적이진 않을 수 있지만,
큐레이션된 업데이트예요

2877
02:41:50,258 --> 02:41:53,050
— 모델이 못하는 것들에
대한 피드백, 커뮤니티의

2878
02:41:53,050 --> 02:41:55,739
피드백을 반영한 빠른
큐레이션 업데이트인 거죠.

2879
02:41:55,739 --> 02:41:58,355
가중치를 업데이트하고, 다음
모델을 내놓고, 그런 식으로요.

2880
02:41:58,355 --> 02:42:01,209
그러니까 그것도 그 한 형태인 거죠.

2881
02:42:01,209 --> 02:42:04,867
더 세밀한 예로는 RLVR 같은 게

2882
02:42:04,867 --> 02:42:08,910
있는데, 돌리면 업데이트가 되는 거죠.

2883
02:42:08,910 --> 02:42:12,785
문제는 그걸 사람마다 할 수는
없다는 거예요. 사람마다 가중치를

2884
02:42:12,785 --> 02:42:16,992
업데이트하는 건 너무 비용이 많이
들 테니까요. 그게 문제라고 봐요.

2885
02:42:16,992 --> 02:42:17,906
뭔가를 얻지 않는 한...

2886
02:42:17,906 --> 02:42:22,540
오픈AI 규모로 데이터센터를
짓는다 해도, 너무 비쌀 거예요.

2887
02:42:22,540 --> 02:42:25,584
그건 비용을 소비자 쪽 기기에서 부담하는

2888
02:42:25,584 --> 02:42:28,074
뭔가가 생겨야만 가능하다고 봐요.

2889
02:42:28,074 --> 02:42:32,972
애플이 Apple Foundation
모델로 시도했던 것처럼, 폰에

2890
02:42:32,972 --> 02:42:37,738
올려서 경험으로부터 학습하게 하는
거죠. - 좀 관련된 주제인데,

2891
02:42:37,738 --> 02:42:42,106
어쩌면 의인화된 용어일 수도
있는 '메모리'라는 게 있어요.

2892
02:42:42,106 --> 02:42:44,760
요즘 점점 더 많이 보이는
것처럼, 이런 시스템에 메모리를

2893
02:42:44,760 --> 02:42:47,496
추가하는 메커니즘에 대해 어떤
다양한 아이디어들이 있을까요?

2894
02:42:47,496 --> 02:42:52,429
특히 개인화된 메모리요? -
지금은 대체로 그냥 컨텍스트에

2895
02:42:52,429 --> 02:42:56,746
이것저것 채워 넣고 나중에
그걸 불러오는 식이에요.

2896
02:42:56,746 --> 02:43:01,702
근데 다시 말하지만, 이것도
비용이 든다고 봐요. 캐싱은

2897
02:43:01,702 --> 02:43:06,338
할 수 있지만, 그래도
거기에 토큰을 쓰게 되니까요.

2898
02:43:06,338 --> 02:43:09,168
그리고 두 번째는, 할 수 있는
데도 한계가 있다는 거예요.

2899
02:43:09,168 --> 02:43:11,428
저는 이게 오히려 선호나
스타일에 가까운 것 같아요.

2900
02:43:11,428 --> 02:43:14,851
음, 사람들도 수학 문제 풀 때
실제로 그렇게들 많이 하잖아요.

2901
02:43:14,851 --> 02:43:18,063
그게 이전 지식 같은 걸 더할
수 있는 방법이라고 말씀하시는

2902
02:43:18,063 --> 02:43:20,983
거잖아요. 근데 거기다 특정
선호 프롬프트도 주시죠 -

2903
02:43:20,983 --> 02:43:23,806
'지난번에 제가 선호했던
대로 해줘' 그런 식으로요.

2904
02:43:23,806 --> 02:43:27,295
근데 그게 새로운 능력을 열어주진 않죠.

2905
02:43:27,295 --> 02:43:31,959
그래서 그런 걸 위해 사람들이
여전히 쓰는 게 LoRA 어댑터예요.

2906
02:43:31,959 --> 02:43:36,686
이게 기본적으로, 가중치 행렬
전체를 업데이트하는 대신 더 작은

2907
02:43:36,686 --> 02:43:41,548
가중치 행렬 두 개를 병렬로 두거나
델타처럼 덧씌우는 방식이에요.

2908
02:43:41,548 --> 02:43:47,302
네, 어느 정도까지는 그렇게 할 수
있는데, 결국은 경제성 문제예요.

2909
02:43:47,302 --> 02:43:50,422
예를 들어 「LoRA
learns less but

2910
02:43:50,422 --> 02:43:53,426
forgets less」
같은 논문도 있었어요.

2911
02:43:53,426 --> 02:43:55,046
그러니까, 공짜 점심은 없다는 거죠.

2912
02:43:55,046 --> 02:43:56,994
더 많이 배우고 싶으면 가중치를 더 많이

2913
02:43:56,994 --> 02:43:59,030
써야 하는데, 그러면
비용이 더 커지고요.

2914
02:43:59,030 --> 02:44:02,662
그리고 또, 더 많이 배우면
더 많이 잊어버리니까 결국 그

2915
02:44:02,662 --> 02:44:06,522
골디락스 존을 찾아야 하는 거고요.
- 저희가 얘기하면서 별로

2916
02:44:06,522 --> 02:44:10,041
짚지는 않았는데, 여기엔
컨텍스트 길이도 걸려 있잖아요.

2917
02:44:10,041 --> 02:44:14,870
거기서 혁신이 많이 가능할까요?
- 제 생각엔, 통상적으로

2918
02:44:14,870 --> 02:44:19,246
받아들여지는 건 그게 연산과
데이터 문제라는 거예요.

2919
02:44:19,246 --> 02:44:23,924
가끔은 어텐션 변형 같은 작은
아키텍처 요소들도 있고요.

2920
02:44:23,924 --> 02:44:27,852
하이브리드 어텐션 모델
얘기했었잖아요, 트랜스포머 안에

2921
02:44:27,852 --> 02:44:31,781
상태공간 모델(SSM)처럼
보이는 게 들어있는 경우요.

2922
02:44:31,781 --> 02:44:35,420
그게 더 잘 맞는 이유는,
제일 뒤쪽 토큰을

2923
02:44:35,420 --> 02:44:39,362
모델링하는 데 드는 연산이
더 적기 때문이에요.

2924
02:44:39,362 --> 02:44:43,914
근데 제 생각엔 그것도
공짜는 아니에요, 연산이 많이

2925
02:44:43,914 --> 02:44:47,996
들거나 제대로 된 데이터가
뒷받침돼야 하니까요.

2926
02:44:47,996 --> 02:44:50,447
10만 토큰짜리 시퀀스가 세상에 대체

2927
02:44:50,447 --> 02:44:53,266
얼마나 있고, 그걸
또 어디서 구해오나요?

2928
02:44:53,266 --> 02:44:56,244
결국 그런 걸 스케일링하는
게 꽤 비싸지는 거죠.

2929
02:44:56,244 --> 02:45:00,421
입력 컨텍스트 길이가 100만
토큰까지는 꽤 빨리 왔잖아요.

2930
02:45:00,421 --> 02:45:03,798
계속 늘어나서 올해 안에
200만이나 500만 정도까지는

2931
02:45:03,798 --> 02:45:07,393
갈 거라고 봐요. 근데 1억까지
갈 거라고는 생각 안 해요.

2932
02:45:07,393 --> 02:45:11,795
그 정도면 진짜 돌파구인 셈인데,
저는 그런 돌파구가 가능하다고 봐요.

2933
02:45:11,795 --> 02:45:15,938
지속 학습 쪽은, 트랜스포머가 이
부분에서 훨씬 더 잘 작동하도록 만드는

2934
02:45:15,938 --> 02:45:19,977
돌파구가 나올 수도 있는 연구 문제라고
봐요. 그것도 저렴하게 말이죠.

2935
02:45:19,977 --> 02:45:23,107
이 정도로 과학적 관심이 쏠리면
이런 일들이 일어날 수도 있어요.

2936
02:45:23,107 --> 02:45:25,838
근데 손잡이를 돌리듯 계속
개선해나가는 쪽이면, 시간이

2937
02:45:25,838 --> 02:45:28,660
지나면서 꾸준히 늘어나는
정도일 거예요. - 극단을 놓고

2938
02:45:28,660 --> 02:45:31,209
보면, 저는 여기도 다시
공짜 점심은 없다고 봐요.

2939
02:45:31,209 --> 02:45:34,959
그러니까 저렴하게 만드는 쪽
극단을 보면, 예를 들어 RNN처럼

2940
02:45:34,959 --> 02:45:38,280
이전 것들을 전부 하나의
상태에 저장하는 방식이 있어요.

2941
02:45:38,280 --> 02:45:43,744
고정된 크기라서 메모리가 실제로
늘어나지는 않아요, 모든 걸 하나의

2942
02:45:43,744 --> 02:45:48,912
상태에 욱여넣는 거니까요. 근데
컨텍스트가 길어질수록 잊어버리는

2943
02:45:48,912 --> 02:45:54,081
정보가 많아져요, 그 하나의
상태에 다 압축할 수는 없으니까요.

2944
02:45:54,081 --> 02:45:58,279
반대쪽에는 트랜스포머가 있는데,
모든 토큰을 다 기억하려고

2945
02:45:58,279 --> 02:46:02,083
해요. 특정 정보를 찾아보고
싶을 때는 좋지만, KV

2946
02:46:02,083 --> 02:46:06,018
캐시가 계속 커지고 내적
연산도 커지니까 아주 비싸요.

2947
02:46:06,018 --> 02:46:08,154
근데 방금 말씀하신 대로, Mamba

2948
02:46:08,154 --> 02:46:10,290
레이어도 사실 비슷한 문제가 있어요.

2949
02:46:10,290 --> 02:46:12,254
RNN처럼 모든 걸
하나의 상태로 압축하려고

2950
02:46:12,254 --> 02:46:14,464
하는데, 거기서는 좀 더
선택적으로 고르는 거죠.

2951
02:46:14,464 --> 02:46:17,714
근데 이것도 결국 또 골디락스
존 같은 문제라고 봐요.

2952
02:46:17,714 --> 02:46:21,064
Nemotron 3를 보면,
전역 정보—그러니까 모든

2953
02:46:21,064 --> 02:46:24,299
게 다 접근 가능한 부분—에
어텐션 레이어가 몇 개

2954
02:46:24,299 --> 02:46:27,996
필요한지, 압축된 상태와 비교해서
좋은 비율을 찾아냈어요.

2955
02:46:27,996 --> 02:46:31,810
그리고 저는 앞으로 이런
식으로 더 스케일링할 거라고

2956
02:46:31,810 --> 02:46:35,624
봐요—골디락스 존 안에서
더 나은 비율을 찾는 거죠.

2957
02:46:35,624 --> 02:46:39,570
연산을 돌릴 수 있을 만큼
저렴하게 만들면서도, 동시에

2958
02:46:39,570 --> 02:46:43,516
쓸모 있을 만큼 강력하게
만드는 그 사이 어딘가에서요.

2959
02:46:43,516 --> 02:46:47,398
그리고 하나 더 짚고 싶은
게, 재귀 언어모델(RLM)

2960
02:46:47,398 --> 02:46:51,926
논문인데, 이게 롱 컨텍스트
문제를 다루려는 논문 중 하나예요.

2961
02:46:51,926 --> 02:46:56,052
그러니까 이 논문에서 찾아낸
건, 롱 컨텍스트에 모든 걸

2962
02:46:56,052 --> 02:47:00,311
욱여넣는 대신 여러 개의 작은
작업으로 쪼개면—작은 코어를

2963
02:47:00,311 --> 02:47:04,704
여러 개 두는 식으로 메모리도
아끼고—LLM이 한 번에 전부

2964
02:47:04,704 --> 02:47:08,830
처리하려는 것보다 오히려
정확도가 더 좋아진다는 거예요.

2965
02:47:08,830 --> 02:47:10,214
말하자면 새로운 패러다임인 거죠.

2966
02:47:10,214 --> 02:47:11,632
어떻게 될지는 지켜봐야겠지만, 비슷한

2967
02:47:11,632 --> 02:47:13,192
다른 방식들도 나올 수 있을 것 같아요.

2968
02:47:13,192 --> 02:47:16,979
그래서 이런 식으로 롱 컨텍스트
쪽도 계속 개선될 거라고

2969
02:47:16,979 --> 02:47:21,132
보는데, 네이선 말씀처럼 사전학습
자체에서는 다른 문서에 비해

2970
02:47:21,132 --> 02:47:25,285
롱 컨텍스트 문서가 그렇게 많지
않다는 게 문제인 것 같아요.

2971
02:47:25,285 --> 02:47:28,623
그래서 그 수준에서 LLM이
어떻게 동작하는지 같은 걸

2972
02:47:28,623 --> 02:47:32,294
연구하기가 더 어려워요. -
대략적인 경험칙은 있어요. 예를

2973
02:47:32,294 --> 02:47:36,300
들어 OLMo처럼 언어모델을
사전학습할 때, 저희는 8K 컨텍스트

2974
02:47:36,300 --> 02:47:39,860
길이로 사전학습한 다음 학습을
통해 32K까지 늘렸거든요.

2975
02:47:39,860 --> 02:47:43,404
그리고 경험칙으로 보면, 학습
컨텍스트 길이를 두 배로

2976
02:47:43,404 --> 02:47:47,184
늘리는 데 연산량이 대략 2배
들고, 그러면 보통 컨텍스트

2977
02:47:47,184 --> 02:47:50,610
길이를 다시 2배에서 4배
정도까지 늘릴 수 있어요.

2978
02:47:50,610 --> 02:47:53,068
그래서 결국 상당 부분은
사전학습 단계에서 연산

2979
02:47:53,068 --> 02:47:55,337
병목에 걸리는 문제인
것 같아요, 이게...

2980
02:47:55,337 --> 02:47:58,829
저희가 얘기했던 것처럼, 올해 상위
랩들의 연산량이 크게 늘었다는 얘기를

2981
02:47:58,829 --> 02:48:02,233
다들 하는데, 그게 좀 더 긴 컨텍스트
윈도우로도 나타나야 할 거예요.

2982
02:48:02,233 --> 02:48:05,239
근데 포스트트레이닝 쪽에서는 좀 더
흥미로운 것들이 있는 것 같아요.

2983
02:48:05,239 --> 02:48:08,426
에이전트가 있으니까, 이제
에이전트들이 이 컨텍스트를 스스로

2984
02:48:08,426 --> 02:48:11,709
관리하게 될 텐데요. 지금은
Claude Code를 많이 쓰는

2985
02:48:11,709 --> 02:48:14,799
사람들이 컴팩션을
두려워하거든요—Claude가 10만 토큰

2986
02:48:14,799 --> 02:48:17,986
분량의 작업 전체를 통째로 불릿
목록으로 압축해버리는 거요.

2987
02:48:17,986 --> 02:48:21,894
근데 다음 세대 모델들이 할
일은—분명 이미 누군가 작업 중일

2988
02:48:21,894 --> 02:48:26,376
텐데—모델이 언제, 어떻게 컴팩션을
할지 스스로 제어하게 되는 거예요.

2989
02:48:26,376 --> 02:48:30,255
그러니까 컴팩션 자체를 하나의
액션으로 두고 RL 알고리즘을

2990
02:48:30,255 --> 02:48:34,252
학습시킬 수 있는 거죠—이력을
짧게 줄이는 액션으로요. 그러면

2991
02:48:34,252 --> 02:48:38,248
문제 설정은 이렇게 되는 거예요.
"모델이 이력을 최소 길이로

2992
02:48:38,248 --> 02:48:42,480
압축하면서도, 지금까지 받은 평가
점수는 최대한 유지하고 싶다."

2993
02:48:42,480 --> 02:48:45,491
그렇게 하면 이런 식으로
누적되는 자기회귀 예측을

2994
02:48:45,491 --> 02:48:48,390
하는 데 필요한 최소한의
토큰만 남게 되니까요.

2995
02:48:48,390 --> 02:48:51,492
그래서 여기에 사실 꽤 괜찮은 문제
설정들이 있는 거죠, 그러니까...

2996
02:48:51,492 --> 02:48:55,633
이런 에이전틱 모델들이 그냥
무작정 밀고 나가는 대신 컨텍스트를

2997
02:48:55,633 --> 02:48:59,774
다른 방식으로 쓰는 법을 배우는
거죠. - 최근 흥미로운 예로는

2998
02:48:59,774 --> 02:49:04,270
DeepSeek-V3.2가 있는데요,
여기엔 스파스 어텐션 메커니즘이

2999
02:49:04,270 --> 02:49:08,174
있어서 아주 효율적이고 작은,
가벼운 인덱서를 두고 있어요.

3000
02:49:08,174 --> 02:49:10,242
그래서 모든 토큰에 어텐션을
주는 대신, "내가

3001
02:49:10,242 --> 02:49:12,390
실제로 필요한 토큰이
뭐지?"를 골라내는 거예요.

3002
02:49:12,390 --> 02:49:15,733
이게 거의 어텐션의 원래
아이디어로 돌아가는 셈인데요,

3003
02:49:15,733 --> 02:49:18,964
선택적이긴 하지만 어텐션은
항상 켜져 있어서, 일부는

3004
02:49:18,964 --> 02:49:21,973
가중치가 0에 가까울 뿐
결국 다 사용하는 거죠.

3005
02:49:21,973 --> 02:49:24,932
근데 여기서는 한발 더
나아가서, "그냥 그건

3006
02:49:24,932 --> 02:49:28,010
마스킹해버리자, 아예
하지도 말자"는 식이에요.

3007
02:49:28,010 --> 02:49:32,010
OLMo의 슬라이딩 윈도 어텐션도
어느 정도 비슷한 발상이고요.

3008
02:49:32,010 --> 02:49:33,922
일정 구간만 고정해서
쓰는 롤링 윈도우가 있는

3009
02:49:33,922 --> 02:49:35,910
거예요, 어차피 전부 다
필요한 건 아니니까요.

3010
02:49:35,910 --> 02:49:38,405
가끔 어떤 레이어는 전체를 다
볼 수도 있지만, 그건 낭비죠.

3011
02:49:38,405 --> 02:49:41,709
그런데 제 생각엔 지금 당장은
전부 다 쓰는 게 안전한

3012
02:49:41,709 --> 02:49:45,343
선택이에요—정보를 놓치는 일이
없으니까 가성비가 제일 좋죠.

3013
02:49:45,343 --> 02:49:48,477
그리고 제 생각엔 올해는,
말씀하신 것처럼, 그 부분을

3014
02:49:48,477 --> 02:49:51,611
더 영리하게 하는 방법을 찾는
한 해가 될 것 같아요.

3015
02:49:51,611 --> 02:49:55,376
지금은 다들 다음 SOTA를
원하는데, 그 SOTA라는

3016
02:49:55,376 --> 02:49:59,391
게 하필 무식하게 밀어붙이는,
비용 많이 드는 방식이에요.

3017
02:49:59,391 --> 02:50:03,398
그렇게 확보하고 나면, 말씀하신
대로 정확도는 유지하면서 이제

3018
02:50:03,398 --> 02:50:07,522
이런저런 트릭으로 더 싸게 하는
방법을 찾아보는 거죠. - 네.

3019
02:50:07,522 --> 02:50:08,600
이게 다 스케일링 얘기죠.

3020
02:50:08,600 --> 02:50:11,189
Claude 4.5 Sonnet
모델을 먼저 받아보는

3021
02:50:11,189 --> 02:50:13,689
이유는, 그 모델을 더 빨리
학습시킬 수 있고 연산

3022
02:50:13,689 --> 02:50:16,010
한계에도 그만큼 빨리
부딪히지 않기 때문이에요.

3023
02:50:16,010 --> 02:50:19,186
그만큼 이것저것 훨씬 더 많이 시도해
보고 모델을 더 빨리 내놓을 수

3024
02:50:19,186 --> 02:50:22,363
있는 거죠, 사실은 더 큰 모델이
더 낫다고 해도요. - 그리고 AI

3025
02:50:22,363 --> 02:50:25,790
분야에 지금 흥미로운 일이 정말 많다는
것도 짚고 넘어가야 할 것 같아요.

3026
02:50:25,790 --> 02:50:29,921
요즘 제 머릿속은 온통
로보틱스에 쏠려 있어요.

3027
02:50:29,921 --> 02:50:33,990
오늘 저희가 로보틱스 얘기는
거의 하나도 안 했잖아요.

3028
02:50:33,990 --> 02:50:38,745
이미지 생성, 영상 생성
쪽에도 다룰 게 많고요.

3029
02:50:38,745 --> 02:50:43,805
그런데 양이나 열기, 강도로 보면
지금 가장 흥미진진한 연구가

3030
02:50:43,805 --> 02:50:48,567
이루어지는 곳은 LLM 분야라고
해도 될 것 같고, 그래서

3031
02:50:48,567 --> 02:50:53,775
저희가 계속 LLM 얘기에 집중하는
것도 나름 타당하다고 봐요.

3032
02:50:53,775 --> 02:50:57,842
그래도 도움이 될 만한 다른 것들도
좀 끌어들이면 좋을 것 같아요.

3033
02:50:57,842 --> 02:50:59,737
예를 들면 월드 모델 같은 거요—그쪽에

3034
02:50:59,737 --> 02:51:01,452
대한 관심이 점점 커지고 있잖아요.

3035
02:51:01,452 --> 02:51:06,870
올해 LLM 분야에서 월드 모델이
쓰일 데가 있을 거라고 보세요?

3036
02:51:06,870 --> 02:51:09,076
네, 저는 그럴 거라고 봐요.

3037
02:51:09,076 --> 02:51:12,696
그리고 LLM 쪽에서
흥미로운 점은, LLM의

3038
02:51:12,696 --> 02:51:16,605
능력을 더 끌어올리면 다른
분야들도 자동으로 함께

3039
02:51:16,605 --> 02:51:20,515
열린다는 거예요, 진전
속도 자체가 빨라지니까요.

3040
02:51:20,515 --> 02:51:25,146
연구자나 엔지니어들 상당수가
코딩할 때 LLM을 쓰잖아요.

3041
02:51:25,146 --> 02:51:28,398
그러니까 로보틱스를 하는
사람이라도, 코딩을 도와주는 이

3042
02:51:28,398 --> 02:51:31,546
LLM들을 최적화해 놓으면
그게 다 도움이 되는 거죠.

3043
02:51:31,546 --> 02:51:34,564
아무튼, 네, 월드
모델은 흥미로운 주제예요.

3044
02:51:34,564 --> 02:51:39,352
기본적으로 모델이 세상을 어떤
의미에서 시뮬레이션하게 하는 거예요,

3045
02:51:39,352 --> 02:51:44,141
실제 세계를 축소한 작은 장난감
버전 같은 걸 돌리는 거죠. 이것도

3046
02:51:44,141 --> 02:51:48,929
LLM이 모르는 데이터에 관한
능력을 다시 한번 열어줄 수 있고요.

3047
02:51:48,929 --> 02:51:51,162
그걸로 여러 상황을
시뮬레이션할 수 있는 거예요.

3048
02:51:51,162 --> 02:51:55,656
그리고 제 생각엔 LLM은
사전학습을 하고 다음 토큰

3049
02:51:55,656 --> 02:51:59,686
예측을 하는 방식으로 마침
잘 작동하는 거고요.

3050
02:51:59,686 --> 02:52:04,006
하지만 어떤 의미에서는 이걸 훨씬 더
정교하게 할 수도 있을 것 같아요.

3051
02:52:04,006 --> 02:52:06,795
제 생각엔 메타에서
낸 논문이 하나 있었던

3052
02:52:06,795 --> 02:52:09,705
것 같은데, 「월드
모델」이라는 논문이에요.

3053
02:52:09,705 --> 02:52:14,506
거기서는 월드 모델 개념을 다시
LLM에 적용하는 거예요. 그냥

3054
02:52:14,506 --> 02:52:19,307
다음 토큰 예측이랑 검증 가능한
보상으로 답이 맞는지만 확인하는

3055
02:52:19,307 --> 02:52:23,697
게 아니라, 중간 변수들까지
맞는지 확인하게 만드는 거죠.

3056
02:52:23,697 --> 02:52:26,228
그러니까 어떤 의미에서는,
모델이 기본적으로 코드

3057
02:52:26,228 --> 02:52:28,665
환경 자체를 배우는 것과
좀 비슷하다고 할까요.

3058
02:52:28,665 --> 02:52:30,753
그리고 제 생각엔 이게
꽤 말이 되는 것 같아요.

3059
02:52:30,753 --> 02:52:36,768
그냥 비용이 많이 들 뿐이지,
결과만이 아니라 전체

3060
02:52:36,768 --> 02:52:42,998
과정을 모델링하는 식으로
더 정교하게 만드는 거예요.

3061
02:52:42,998 --> 02:52:45,878
그래서 그만큼 가치를 더할 수 있고요.

3062
02:52:45,878 --> 02:52:51,475
제가 대학원생이었을 때
기억하는데, CASP라는...

3063
02:52:51,475 --> 02:52:57,265
대회가 있어요, 아마, 단백질
구조를 예측하는 대회요.

3064
02:52:57,265 --> 02:53:03,127
그 시점에 아직 풀리지 않은
단백질의 구조를 예측하는 거예요.

3065
02:53:03,127 --> 02:53:06,460
그런 의미에서 이건 정말 훌륭한
방식이고, 저는 LLM에도 이런 게

3066
02:53:06,460 --> 02:53:09,702
필요하다고 봐요, 벤치마크를 하긴
하는데 아무도 하지 않는 거요.

3067
02:53:09,702 --> 02:53:12,362
결과를 제출하는데, 정답을 아는
사람이 아무도 없는 거예요.

3068
02:53:12,362 --> 02:53:14,467
그리고 나중에 가서야 누군가
그걸 공개하는 거고요.

3069
02:53:14,467 --> 02:53:17,624
그런데 AlphaFold가 나왔을 때,

3070
02:53:17,624 --> 02:53:20,630
이 벤치마크를 완전히 압도해버렸어요.

3071
02:53:20,630 --> 02:53:26,155
여러 버전이 있긴 했는데, 저는
첫 번째 버전이 기억나요.

3072
02:53:26,155 --> 02:53:29,187
제가 그 분야 전문가는
아니지만, 첫 번째 버전은

3073
02:53:29,187 --> 02:53:32,444
물리적 상호작용을 명시적으로
모델링했었어요, 그...

3074
02:53:32,444 --> 02:53:34,846
그러니까, 분자의 물리학이요.

3075
02:53:34,846 --> 02:53:36,415
각도도요, 불가능한 각도들도요.

3076
02:53:36,415 --> 02:53:38,659
그리고 다음 버전에서는, 제 생각엔 이걸

3077
02:53:38,659 --> 02:53:41,210
없애고 그냥 무작정
스케일만 키운 것 같아요.

3078
02:53:41,210 --> 02:53:43,582
그리고 제 생각엔 LLM도
지금 이 무작정 스케일업

3079
02:53:43,582 --> 02:53:45,784
단계에 있는 것 같아요,
그냥 그게 통하니까요.

3080
02:53:45,784 --> 02:53:47,914
그래도 저는 어느 시점엔 이걸 다시

3081
02:53:47,914 --> 02:53:50,381
가져오는 게 말이 될 수도 있다고 봐요.

3082
02:53:50,381 --> 02:53:53,589
그리고 월드 모델 쪽에서는, 그게 실제로

3083
02:53:53,589 --> 02:53:56,651
꽤 멋질 수 있는 지점이라고 생각해요.

3084
02:53:56,651 --> 02:53:57,506
네, 그러니까요.

3085
02:53:57,506 --> 02:54:00,959
그리고 물론 로보틱스에도요, LLM이랑은

3086
02:54:00,959 --> 02:54:03,784
완전히 무관하지만요. - 그렇죠.

3087
02:54:03,784 --> 02:54:05,404
그리고 로보틱스는 아주 명시적이에요.

3088
02:54:05,404 --> 02:54:08,076
그러니까 보행이냐 조작이냐
하는 문제가 있는 거예요.

3089
02:54:08,076 --> 02:54:11,334
보행 쪽은 훨씬 더 많이
풀렸어요, 특히 학습 쪽에서는요.

3090
02:54:11,334 --> 02:54:15,076
하지만 초기 단백질 접힘
시스템들처럼, 전통적인 모델

3091
02:54:15,076 --> 02:54:18,430
기반 방법론을 들여오는
데는 큰 가치가 있어요.

3092
02:54:18,430 --> 02:54:23,102
그러니까 조작 문제든, 전신
차원의 국소 조작 문제든,

3093
02:54:23,102 --> 02:54:28,086
처음부터 끝까지 통째로 학습시킬
수 있을 것 같진 않아요.

3094
02:54:28,086 --> 02:54:29,188
그게 바로 이상적인 꿈이긴 하죠.

3095
02:54:29,188 --> 02:54:32,575
하지만 사람 손의 신비로움과
현실 세계의 복잡함을 보면,

3096
02:54:32,575 --> 02:54:36,290
아마 AlphaFold 2도
그렇게 하지 못했던 것처럼, 이걸

3097
02:54:36,290 --> 02:54:39,896
처음부터 끝까지 학습만으로
해내기는 정말 어렵다는 걸 깨닫게

3098
02:54:39,896 --> 02:54:43,174
돼요. - 저는 로보틱 러닝
분야에 대해 기대가 커요.

3099
02:54:43,174 --> 02:54:48,330
제 생각엔 이게 언어모델 전반에
대한 흥분과 투자 덕분에 다 같이

3100
02:54:48,330 --> 02:54:53,343
힘을 받고 있는 것 같아요.
트랜스포머 학습용 인프라, 그러니까

3101
02:54:53,343 --> 02:54:58,643
원래 범용 모델링 도구인 이게
세계적 수준의 산업용 툴링이 되면서,

3102
02:54:58,643 --> 02:55:03,226
로보틱스 쪽에서 한계였던 부분들이
훨씬 나아지고 있거든요.

3103
02:55:03,226 --> 02:55:04,459
연산 자원도 훨씬 많아졌고요.

3104
02:55:04,459 --> 02:55:08,837
거기다 이 언어모델들을 일종의
중심 유닛으로 삼아서, 이미 잘

3105
02:55:08,837 --> 02:55:13,473
동작하는 걸 중심으로 흥미로운
탐색적 작업을 할 수 있게 됐어요.

3106
02:55:13,473 --> 02:55:15,910
그리고 이게 나타나는 방식이,
아까 얘기했던 허깅페이스

3107
02:55:15,910 --> 02:55:19,078
Transformers 라이브러리랑
허깅페이스랑 좀 비슷한 것 같아요.

3108
02:55:19,078 --> 02:55:20,715
제가 허깅페이스에 있을
때 이걸 실현시켜보려

3109
02:55:20,715 --> 02:55:22,216
했었는데, 그땐 너무 일렀던 것 같아요.

3110
02:55:22,216 --> 02:55:25,788
허깅페이스에 이런 오픈 로보틱
모델들이 올라오고, 사람들이

3111
02:55:25,788 --> 02:55:29,806
데이터를 기여하고 파인튜닝도 할
수 있게 되는 그런 그림이었어요.

3112
02:55:29,806 --> 02:55:33,882
지금은 그때보다 훨씬 가까워진 것
같아요. 로보틱스랑 자율주행차에 대한

3113
02:55:33,882 --> 02:55:37,853
투자가 서로 연관돼 있어서 이걸
가능하게 해주거든요. 누군가 로보틱스

3114
02:55:37,853 --> 02:55:41,615
모델을 다운받아서 자기 로봇에 맞게
파인튜닝하거나, 전 세계적으로

3115
02:55:41,615 --> 02:55:45,586
데이터셋을 공유할 수 있는 그런
생태계가 만들어지는 지점까지 가면요.

3116
02:55:45,586 --> 02:55:48,776
이 분야에서 RT-X 같은
작업들이 있었어요, 아마 몇 년

3117
02:55:48,776 --> 02:55:52,066
전이었던 것 같은데, 사람들이
그런 시도를 시작하고 있었죠.

3118
02:55:52,066 --> 02:55:54,882
하지만 일단 이런 생태계가 갖춰지면,
그림이 완전히 달라질 거예요.

3119
02:55:54,882 --> 02:55:57,847
그리고 이 ChatGPT 이후
붐 전체가 여기에 더 많은

3120
02:55:57,847 --> 02:56:01,291
자원을 쏟아붓고 있는데, 저는 이게
연구하기에 정말 좋은 분야라고

3121
02:56:01,291 --> 02:56:04,735
봐요. - 이게 또 훨씬 더 낫고
정확하고 사실적인 시뮬레이터들이

3122
02:56:04,735 --> 02:56:08,083
만들어지는 결과로도 이어지면서,
로보틱스 분야의 시뮬레이션-현실

3123
02:56:08,083 --> 02:56:10,570
격차(sim-to-real)를
좁혀주고 있어요.

3124
02:56:10,570 --> 02:56:13,753
그런데 말씀하신 것처럼, 로보틱스 분야에

3125
02:56:13,753 --> 02:56:16,502
흥분도 크고 투자도 정말 많잖아요.

3126
02:56:16,502 --> 02:56:19,280
그 이면에는 하이프 사이클에서
흔히 나타나는 문제가

3127
02:56:19,280 --> 02:56:21,859
있어요. 저는 개인적으로
그렇게 믿고, 로보틱스

3128
02:56:21,859 --> 02:56:24,736
하시는 분들 대부분도 그렇게
믿으시는데, 그건 바로…

3129
02:56:24,736 --> 02:56:28,832
로보틱스가 암묵적으로든
명시적으로든 약속된

3130
02:56:28,832 --> 02:56:32,927
시간 안에는 해결되지
않을 거라는 거예요.

3131
02:56:32,927 --> 02:56:37,260
그러면 이렇게 우후죽순
생겨난 로보틱스 회사들이 정작

3132
02:56:37,260 --> 02:56:41,145
제대로 동작하는 제품이
없을 때 어떻게 될까요?

3133
02:56:41,145 --> 02:56:43,805
그럼 이 흥분이 와르르 무너지는 일이

3134
02:56:43,805 --> 02:56:46,465
벌어질 텐데, 그게 좀 조마조마해요.

3135
02:56:46,465 --> 02:56:50,229
부디 다른 무언가가 계속 들어와서
이런 아이디어들의 발전이

3136
02:56:50,229 --> 02:56:53,993
끊기지 않고 이어졌으면 좋겠어요.
- 저는 이게 본질적으로

3137
02:56:53,993 --> 02:56:57,522
지속 학습(continual
learning) 문제와도

3138
02:56:57,522 --> 02:57:00,816
관련 있다고 봐요. 현실
세계가 워낙 복잡하니까요.

3139
02:57:00,816 --> 02:57:04,614
LLM의 경우엔 사용자를 위해
따로 뭔가를 학습시킬 필요가

3140
02:57:04,614 --> 02:57:08,294
딱히 없어요. 다들 해야 하는
일들이 어차피 겹치니까요.

3141
02:57:08,294 --> 02:57:11,415
다들, 잘은 모르겠지만,
이메일이나 코드의 문법을

3142
02:57:11,415 --> 02:57:14,421
고치고 싶어 하거나 그런
비슷한 걸 원하잖아요.

3143
02:57:14,421 --> 02:57:15,937
그건 좀 더 제한된
범위라서, 모델을 거기에

3144
02:57:15,937 --> 02:57:17,389
맞춰 어느 정도 미리
준비시킬 수 있어요.

3145
02:57:17,389 --> 02:57:20,294
하지만 로봇을 현실 세계에
대비시키는 건 더 어려워요.

3146
02:57:20,294 --> 02:57:23,965
그러니까, 로보틱 파운데이션
모델들이 있어서 물체를

3147
02:57:23,965 --> 02:57:27,504
쥐는 것 같은 특정 동작들은
학습시킬 수 있어요.

3148
02:57:27,504 --> 02:57:30,526
근데 또 생각해보면,
집마다 다 다르잖아요.

3149
02:57:30,526 --> 02:57:33,355
정말 다 다르니까,
그 부분이 결국 로봇이

3150
02:57:33,355 --> 02:57:36,306
현장에서 직접 배워야
하는 지점이라고 봐요.

3151
02:57:36,306 --> 02:57:40,451
그리고 그게, 아마 지금 병목
지점인 것 같아요 — 어떻게

3152
02:57:40,451 --> 02:57:44,595
즉석에서 커스터마이즈할 것이냐는
거죠. - 로봇공학 하시는

3153
02:57:44,595 --> 02:57:49,129
분들이나 다른 누구도 거의 얘기
안 하는 게 하나 있는데, 바로

3154
02:57:49,129 --> 02:57:53,662
안전이에요. 그 중요성은 아무리
강조해도 지나치지 않다고 봐요.

3155
02:57:53,662 --> 02:57:56,674
학습에 관해 얘기하는 온갖
흥미로운 복잡성들, 실패

3156
02:57:56,674 --> 02:57:59,685
모드와 실패 사례들, LLM을
두고 계속 얘기해왔던

3157
02:57:59,685 --> 02:58:02,374
것들 — 가끔 흥미로운
방식으로 실패하잖아요.

3158
02:58:02,374 --> 02:58:06,002
그런 건 LLM 영역에서는 다
그냥 재미있는 해프닝이에요.

3159
02:58:06,002 --> 02:58:12,088
로봇 쪽에서는, 사람들 집
안에서 수백만 분, 수십억 번의

3160
02:58:12,088 --> 02:58:17,984
상호작용에 걸쳐서는, 정말
거의 실패가 허용되지 않아요.

3161
02:58:17,984 --> 02:58:24,644
실제 세계에 나가 있는 로봇형
시스템들을 다루다 보면, 그냥 일반적인

3162
02:58:24,644 --> 02:58:31,654
로봇 학습 문제만 생각할 때는 상상도
못 했던 문제들을 정말 많이 풀어야

3163
02:58:31,654 --> 02:58:38,314
해요. - 저는 소비자용 가정 내
학습 로봇에는 굉장히 회의적이에요.

3164
02:58:38,314 --> 02:58:42,134
반면 자율주행차에는 굉장히
낙관적이고, 로봇 자동화에도 굉장히

3165
02:58:42,134 --> 02:58:46,065
긍정적이에요. 예를 들어 아마존
물류센터처럼, 아마존이 사람보다

3166
02:58:46,065 --> 02:58:49,885
로봇을 우선으로 설계한 완전히
새로운 물류센터를 지은 경우요.

3167
02:58:49,885 --> 02:58:54,721
AI가 자동화와 대규모 제조를
가능케 한다는 데 대해 AI 업계에서

3168
02:58:54,721 --> 02:58:59,034
다들 굉장히 들떠 있는데, 저는
로봇이 그런 일을 하게 되는

3169
02:58:59,034 --> 02:59:03,738
경로가 더 합리적이라고 봐요 —
사람이 할 수야 있지만 하고 싶어

3170
02:59:03,738 --> 02:59:08,182
하지 않는 반복 작업을 하도록
설계되고 최적화된 것 말이에요.

3171
02:59:08,182 --> 02:59:11,520
그리고 그거는 훨씬—
아무튼, 이것도 사람들이

3172
02:59:11,520 --> 02:59:14,857
아마 예상하는 것보다
훨씬 오래 걸릴 거예요.

3173
02:59:14,857 --> 02:59:20,541
AI 특이점에서 곧바로 '이제
압도적인 AI 우위가 있으니 미국에서

3174
02:59:20,541 --> 02:59:26,685
대규모 제조업을 확장할 수 있다'로
건너뛰는 비약은, 여러 정치적 문제와

3175
02:59:26,685 --> 02:59:32,215
다른 까다로운 문제들 때문에 어려움을
겪을 거라고 봐요. - 이제

3176
02:59:32,215 --> 02:59:38,206
타임라인 얘기를 해보죠. 구체적으로
AGI나 ASI까지의 타임라인이요.

3177
02:59:38,206 --> 02:59:43,036
출발점으로, AGI와 ASI 정의에
대해 다들 딱히 합의하지 못하고

3178
02:59:43,036 --> 02:59:47,736
있다고 봐도 될까요? - 저는
이견이 꽤 많다고 생각하는 편인데,

3179
02:59:47,736 --> 02:59:52,957
그런데 막상 반박을 받아보면 많은
분들이 결국 비슷한 얘기를 하시더라고요

3180
02:59:52,957 --> 02:59:57,918
— 대부분의 디지털 경제 활동을
재현할 수 있는 무언가라는 식으로요.

3181
02:59:57,918 --> 03:00:01,402
그러니까 원격 근무자가 꽤
합리적인 예시인 셈이죠.

3182
03:00:01,402 --> 03:00:05,182
오픈AI의 정의도 그것과 어느
정도 비슷하다고 봐요 —

3183
03:00:05,182 --> 03:00:09,466
경제적으로 가치 있는 일을 많이
해낼 수 있는 AI라는 건데,

3184
03:00:09,466 --> 03:00:13,371
정의로서 그렇게 마음에 들지는
않지만 하나의 기준점은 될

3185
03:00:13,371 --> 03:00:17,529
수 있다고 봐요. 지금 언어모델들은
엄청나게 강력하긴 해도,

3186
03:00:17,529 --> 03:00:21,435
원격 근무자를 그대로 대체할
수 있는 수준은 아니거든요.

3187
03:00:21,435 --> 03:00:27,145
그리고 AI가 할 수 있는 일 중에는
원격 근무보다 훨씬 어려운 것들도

3188
03:00:27,145 --> 03:00:32,708
있어요 — 예상조차 못 했던 과학적
발견을 찾아내는 것 같은 일이요.

3189
03:00:32,708 --> 03:00:38,125
이런 게 누군가는 인공 초지능(ASI)
문제라고 부를 만한 예시죠.

3190
03:00:38,125 --> 03:00:42,186
아니면 모든 의료 기록을
다 가져와서 사람들이 몰랐던

3191
03:00:42,186 --> 03:00:46,106
질병들 사이의 연관성을
찾아내거나, 흔한 약이 특정

3192
03:00:46,106 --> 03:00:50,447
희귀암을 치료할 수 있다는
걸 알아내는 것 같은 일이요.

3193
03:00:50,447 --> 03:00:53,110
그런 걸 두고 사람들은
초지능급 일이라고 하겠죠.

3194
03:00:53,110 --> 03:00:55,210
그러니까 이게 어느 정도
자연스러운 단계 구분인 셈이에요.

3195
03:00:55,210 --> 03:00:59,027
제가 여기서 걸리는 부분은,
이게 AI의 의미를 찾는 탐구랑

3196
03:00:59,027 --> 03:01:02,959
거기 딸린 종교적인 측면들이랑
너무 깊게 얽혀버린다는 거예요.

3197
03:01:02,959 --> 03:01:06,379
그래서 이걸 여러 방향으로
끌고 갈 수가 있어요. -

3198
03:01:06,379 --> 03:01:09,917
그리고 저는 원격 근무자라는
게 애초에 좋은 정의인지도

3199
03:01:09,917 --> 03:01:12,983
잘 모르겠어요. 그게
정확히 뭘 말하는 거예요?

3200
03:01:12,983 --> 03:01:15,129
저는 사실, 그러니까,
저는 좋아하는데요—

3201
03:01:15,129 --> 03:01:16,944
두 분도 원래는
AI27이라고 불렸던 AI

3202
03:01:16,944 --> 03:01:18,837
2027 보고서를
좋아하시는지는 모르겠네요.

3203
03:01:18,837 --> 03:01:22,422
그 보고서는 코드 역량이랑
리서치 감각 쪽에 좀 더 초점을

3204
03:01:22,422 --> 03:01:26,232
맞추고 있어서, 거기서 목표로
삼는 게 바로 초인간 코더예요.

3205
03:01:26,232 --> 03:01:30,517
그러니까 거기엔 몇 가지 마일스톤
시스템들이 있어요. 초인간

3206
03:01:30,517 --> 03:01:34,542
코더, 초인간 AI 연구자,
그다음 초지능 AI 연구자,

3207
03:01:34,542 --> 03:01:38,567
그리고 마지막으로 완전한
ASI, 즉 인공 초지능까지요.

3208
03:01:38,567 --> 03:01:41,832
그런데 초인간 코더를 개발하고 나면,

3209
03:01:41,832 --> 03:01:45,261
나머지는 다 빠르게 뒤따라온다는 거죠.

3210
03:01:45,261 --> 03:01:52,062
거기서 목표는 완전히
자율적이고 자동화된 코딩이에요.

3211
03:01:52,062 --> 03:01:55,124
그러니까 연구를 수행하는 데 필요한 어떤

3212
03:01:55,124 --> 03:01:58,046
종류의 코딩이든 전부 자동화되는 거죠.

3213
03:01:58,046 --> 03:02:02,764
그리고 거기서부터는 인간이 그 시스템과
함께 AI 연구를 하게 되고,

3214
03:02:02,764 --> 03:02:07,482
곧 실제로 연구를 대신해줄 시스템을
만들어낼 수 있게 된다는 거예요.

3215
03:02:07,482 --> 03:02:09,006
그게 그 아이디어예요.

3216
03:02:09,006 --> 03:02:14,070
처음에 그들의 예측은
2027년, 2028년이었는데,

3217
03:02:14,070 --> 03:02:19,833
지금은 3~4년 늦춰서
2031년으로(평균 예측) 밀렸어요.

3218
03:02:19,833 --> 03:02:24,447
아마 제 예측은 2031년보다도
더 뒤일 것 같은데요. 그래도

3219
03:02:24,447 --> 03:02:29,469
프로그래밍을 완전히 자동화하는 게
얼마나 어려운 일인지는 구체적으로

3220
03:02:29,469 --> 03:02:34,355
생각해볼 수 있죠. - 네, 그들의
전제나 전개 방식 중 일부에는

3221
03:02:34,355 --> 03:02:38,969
저도 동의하지 않지만, 시나리오를
구체적인 마일스톤으로 정의한

3222
03:02:38,969 --> 03:02:43,720
작업 자체는 잘했다고 봐요.
유용한 이야기를 만들어냈고, 그래서

3223
03:02:43,720 --> 03:02:48,334
이 AI 2027 문서의 파급력이
실리콘밸리를 넘어선 거고요.

3224
03:02:48,334 --> 03:02:50,678
좋은 이야기를 만들어냈고, 그걸 위해

3225
03:02:50,678 --> 03:02:53,021
엄밀한 작업을 많이 했기 때문이에요.

3226
03:02:53,021 --> 03:02:55,203
제 생각엔, 제가 속한
쪽은 AI가 이른바

3227
03:02:55,203 --> 03:02:58,050
들쭉날쭉한(jagged)
존재라는 입장이에요. 어떤 건

3228
03:02:58,050 --> 03:03:00,802
기가 막히게 잘하고, 어떤
건 정말 형편없다는 거죠.

3229
03:03:00,802 --> 03:03:05,298
제 생각엔, 이 자동화된 소프트웨어
엔지니어에 가까워졌을 때 잘하는

3230
03:03:05,298 --> 03:03:09,429
부분은 전통적인 ML 시스템이나
프론트엔드일 거예요 — 모델이

3231
03:03:09,429 --> 03:03:13,682
여기엔 정말 뛰어나거든요. 그런데
분산 ML은 모델들이 사실 꽤

3232
03:03:13,682 --> 03:03:18,299
못해요. 대규모 분산 학습에 대한
학습 데이터가 워낙 적기 때문이죠.

3233
03:03:18,299 --> 03:03:21,968
이건 이미 지금도 보이는 현상이고,
앞으로 더 심해질 거라고 생각해요.

3234
03:03:21,968 --> 03:03:25,458
그리고 AI 연구가 어떻게
돌아간다고 보시는지 같은 이런

3235
03:03:25,458 --> 03:03:29,398
트레이드오프로 가면 좀 더
지저분해져요. - 그러니까 기본적으로

3236
03:03:29,398 --> 03:03:32,888
초인간 코더는 거의 달성
불가능하다고 보시는 거네요, 이

3237
03:03:32,888 --> 03:03:36,716
들쭉날쭉한 특성 때문에 항상
능력의 공백이 남을 수밖에 없다는

3238
03:03:36,716 --> 03:03:40,431
거고요? - 제 생각엔, 이미
특정 종류의 코드에서는 모델이

3239
03:03:40,431 --> 03:03:44,597
초인간적인데, 거기에 '완전함'이라는
걸 덧씌우려는 셈이라고 봐요.

3240
03:03:44,597 --> 03:03:46,302
그건 앞으로도 계속될 거라고 봐요.

3241
03:03:46,302 --> 03:03:50,045
그리고 사람들은 창의적이니까,
이 놀라운 능력들을 활용해서

3242
03:03:50,045 --> 03:03:53,203
모델의 약점을 메우고 정말
빠르게 나아갈 거예요.

3243
03:03:53,203 --> 03:03:56,846
인간이 모델이 못 하는
부분을 가능하게 해주는,

3244
03:03:56,846 --> 03:04:00,209
이런 밀고 당기기가
오랫동안 계속될 거예요.

3245
03:04:00,209 --> 03:04:02,233
그리고 최고의 AI 연구자는 바로 이

3246
03:04:02,233 --> 03:04:04,358
초능력을 가능하게 해주는 사람들이고요.

3247
03:04:04,358 --> 03:04:05,362
그런 흐름들이 결국 지금 우리가 이미

3248
03:04:05,362 --> 03:04:06,466
보고 있는 모습으로 이어진다고 생각해요.

3249
03:04:06,466 --> 03:04:10,068
제 생각엔 Claude Code로
웹사이트를 만드는 것처럼, 몇

3250
03:04:10,068 --> 03:04:13,772
시간 만에 근사한 웹사이트를 세울
수 있고, 데이터는 계속 좋아질

3251
03:04:13,772 --> 03:04:17,477
거고, 그 과정에서 우리도 새로운
코딩 스킬을 익히게 될 거예요.

3252
03:04:17,477 --> 03:04:22,022
빅테크에서 벌어지는 일과
연결해 보면, 이 AI 2027

3253
03:04:22,022 --> 03:04:26,126
보고서는 특이점 쪽 아이디어에
기울어 있는데, 저는

3254
03:04:26,126 --> 03:04:30,378
연구라는 게 지저분하고
사회적이며, 상당 부분은 AI

3255
03:04:30,378 --> 03:04:35,069
모델이 처리할 수 없는 방식으로
데이터 안에 있다고 봐요.

3256
03:04:35,069 --> 03:04:39,274
하지만 지금 우리가 가진 것만 해도
정말 강력하고, 이 테크 기업들

3257
03:04:39,274 --> 03:04:43,479
전부가 수백억 달러 규모의 투자로
여기에 다 같이 베팅하고 있어요.

3258
03:04:43,479 --> 03:04:47,095
그러니까 지금보다 훨씬 나은
버전의 ChatGPT, 훨씬

3259
03:04:47,095 --> 03:04:50,478
나은 버전의 Claude
Code를 갖게 될 거예요.

3260
03:04:50,478 --> 03:04:53,736
그게 어디로 갈지는 예측하기
어렵다고 보는데, 그

3261
03:04:53,736 --> 03:04:57,114
미래가 확실히 밝아 보이니까
세상에서 가장 힘 있는

3262
03:04:57,114 --> 03:05:00,854
사람들 일부가 여기에 이렇게
많은 돈을 쏟아붓는 거겠죠.

3263
03:05:00,854 --> 03:05:04,158
그리고 그 차이는 사실 좀
미묘한 것 같아요 — 더 나은

3264
03:05:04,158 --> 03:05:07,463
버전의 ChatGPT가 뭔지도
사실 우리는 잘 모르는데,

3265
03:05:07,463 --> 03:05:10,980
거기다 그게 AI 연구를 자동화할
수 있느냐까지 겹치니까요.

3266
03:05:10,980 --> 03:05:14,751
적어도 이 시간대 안에서는,
아마 아닐 거라고 봐요.

3267
03:05:14,751 --> 03:05:19,839
빅테크는 AI 연구의 특이점을 가능케
하는 자동화된 AI 연구자가 나오는

3268
03:05:19,839 --> 03:05:24,673
것보다 훨씬 빨리 1000억 달러를
쓰게 될 거예요. - 그럼 예측이

3269
03:05:24,673 --> 03:05:29,507
어떻게 되는 건가요— 이게 유의미한
마일스톤이라 치면, 10년보다 더

3270
03:05:29,507 --> 03:05:34,340
걸릴 거란 말씀이신가요? - 소프트웨어
쪽은 그보다는 짧을 것 같고,

3271
03:05:34,340 --> 03:05:39,301
연구 쪽 같은 건 그보다 더 길
거라고 봐요. - 자, 그럼 재미 삼아

3272
03:05:39,301 --> 03:05:44,135
한번 상상해볼게요, 모든 소프트웨어
작성이 완전히 자동화된 세상을요.

3273
03:05:44,135 --> 03:05:47,196
그런 세상이 상상이 되세요?
- 올해 말쯤이면,

3274
03:05:47,196 --> 03:05:50,610
자동화되는 소프트웨어의 양이
엄청나게 많아질 거예요.

3275
03:05:50,610 --> 03:05:55,026
다만 RL로 모델을 학습시킨다든가,
여러 GPU 무리들이

3276
03:05:55,026 --> 03:05:59,443
서로 통신을 해야 하는 것
같은 일들은 남아있을 거예요.

3277
03:05:59,443 --> 03:06:03,330
그런 건 여전히 어렵겠지만,
훨씬 쉬워지긴 할 거예요.

3278
03:06:03,330 --> 03:06:07,216
- 이걸 생각해보는 한 가지
방법은요—프로그래밍의 완전

3279
03:06:07,216 --> 03:06:10,973
자동화라는 걸—그냥 작성된
유용한 코드 줄 수 대비,

3280
03:06:10,973 --> 03:06:14,860
그 루프에 남아있는 인간 수의
비율로 생각해보는 거죠.

3281
03:06:14,860 --> 03:06:16,861
그러니까 아마 소프트웨어 작성 루프

3282
03:06:16,861 --> 03:06:19,178
안에는 오랫동안 사람이 남아있을 거예요.

3283
03:06:19,178 --> 03:06:23,888
다만 작성되는 코드 양에 비해
그 수가 점점 줄어들 뿐이겠죠.

3284
03:06:23,888 --> 03:06:24,398
그렇죠?

3285
03:06:24,398 --> 03:06:27,925
그리고 초인간 코더라는
개념은—제 생각엔 거기 전제가

3286
03:06:27,925 --> 03:06:31,087
루프 안의 사람 수가
0으로 수렴한다는 거예요.

3287
03:06:31,087 --> 03:06:35,097
루프 안의 사람 수가 수십만
명이 아니라 수백 명 수준이

3288
03:06:35,097 --> 03:06:39,366
되면, 그 세상은 어떤 모습일까요?
- 제 생각엔 소프트웨어

3289
03:06:39,366 --> 03:06:43,246
엔지니어링이 시스템 설계와
결과 목표 쪽으로 더 옮겨갈

3290
03:06:43,246 --> 03:06:47,127
것 같아요, 소프트웨어가 결국
그렇게 될 거라고 봐요.

3291
03:06:47,127 --> 03:06:50,904
지난 몇 주 사이에 이미 이런
변화가 일어나고 있다고 봐요.

3292
03:06:50,904 --> 03:06:54,795
한 달 전만 해도 사람들이 "아,
에이전트는 좀 슬롭이지"라고

3293
03:06:54,795 --> 03:06:58,114
했었잖아요, 카파시의 유명한
말인데요, 그러다 이제는

3294
03:06:58,114 --> 03:07:01,662
살짝 밈이 된 표현으로—누구나
자기 손끝으로 소프트웨어를

3295
03:07:01,662 --> 03:07:05,095
만들어낼 수 있다는 '소프트웨어의
산업화'로 넘어갔죠.

3296
03:07:05,095 --> 03:07:09,681
저는 우리가 그쪽에 더 가까워졌다고
봐요. 그리고 언어모델에서 최선을

3297
03:07:09,681 --> 03:07:14,388
끌어내려면 방향성과 시스템이 어떻게
돌아가는지에 대한 이해가 필요하죠.

3298
03:07:14,388 --> 03:07:17,701
소프트웨어 개발이 얼마나 많이
바뀔지, 그리고 코드를 한 번도

3299
03:07:17,701 --> 03:07:21,306
들여다보지 않고도 얼마나 많은
사람들이 뭔가를 해낼 수 있게 될지,

3300
03:07:21,306 --> 03:07:24,814
그 무게를 받아들이기가 쉽지 않은
것 같아요. - 제가 흥미롭다고

3301
03:07:24,814 --> 03:07:28,419
생각하는 건 이 시스템들이
독립적일지—완전히 독립적일지를 생각해보는

3302
03:07:28,419 --> 03:07:32,024
거예요. LLM이 언젠가는 코딩을
어느 정도 '해결'할 거라는 데는

3303
03:07:32,024 --> 03:07:35,922
의심의 여지가 없거든요, 마치 계산기가
계산을 해결한 것처럼요, 그렇죠?

3304
03:07:35,922 --> 03:07:38,480
그러니까 어느 시점에
인간이, 그 숫자를 계산하는

3305
03:07:38,480 --> 03:07:41,038
데 사람이 전혀 필요 없는
도구를 만든 거잖아요.

3306
03:07:41,038 --> 03:07:43,935
그냥 입력만 하면 되고,
그건 알고리즘이죠.

3307
03:07:43,935 --> 03:07:45,922
그런 의미에서는 할 수 있는 거예요.

3308
03:07:45,922 --> 03:07:48,877
코딩도 아마 마찬가지일 거라고 봐요.

3309
03:07:48,877 --> 03:07:50,352
그런데 문제는 그게 아니라...

3310
03:07:50,352 --> 03:07:53,398
제 생각에 앞으로 일어날 일은, 그냥
"저 웹사이트 만들어줘"라고 말하면

3311
03:07:53,398 --> 03:07:54,848
정말 괜찮은 웹사이트를 만들어주고,

3312
03:07:54,848 --> 03:07:56,603
그러면 그걸 좀 다듬는
정도가 될 거예요.

3313
03:07:56,603 --> 03:08:00,343
그런데 과연 독립적으로
알아서 할까요, 그러니까...

3314
03:08:00,343 --> 03:08:05,021
여전히 사람이 AI한테 뭔가를 해달라고
요청하는 구조가 남아있을까요?

3315
03:08:05,021 --> 03:08:08,048
그러니까 "저 웹사이트 만들어줘"라고
말하는 사람이 계속 있을까요?

3316
03:08:08,048 --> 03:08:12,637
아니면 그냥 웹사이트만 만드는
AI 같은 게 있을까요? - 제

3317
03:08:12,637 --> 03:08:17,090
생각엔 웹사이트 만드는 얘기를
하는 건— - 너무 단순하죠.

3318
03:08:17,090 --> 03:08:21,679
- 웹사이트의 문제, 그리고 웹
자체의 문제는요, HTML이니

3319
03:08:21,679 --> 03:08:25,998
뭐니 그런 것들이 슬롭 정도는
아주 잘 버텨낸다는 거예요.

3320
03:08:25,998 --> 03:08:28,764
슬롭을 보여줄 거예요. 슬롭을
보여주는 데는 능하거든요.

3321
03:08:28,764 --> 03:08:33,654
저는 차라리 안전이 결정적인
시스템들을 생각해보고 싶어요, 이를테면

3322
03:08:33,654 --> 03:08:38,412
AI한테 물류를 관리하는 뭔가를
엔드투엔드로 만들어달라고 하거나,

3323
03:08:38,412 --> 03:08:43,698
차량들을, 차량 한 무리를 관리하는
걸 만들어달라고 하는 것 같은 거요.

3324
03:08:43,698 --> 03:08:45,827
그러니까 그걸 엔드투엔드로
생성해주는 거죠. - 제

3325
03:08:45,827 --> 03:08:47,879
생각엔 좀 더 중간 단계의
예시로는 Slack이나

3326
03:08:47,879 --> 03:08:50,084
마이크로소프트 워드 같은
걸 들 수 있을 것 같아요.

3327
03:08:50,084 --> 03:08:53,912
조직들이 허용하기만 한다면,
AI가 기능들을 엔드투엔드로

3328
03:08:53,912 --> 03:08:57,247
아주 쉽게 구현하고, 뭔가
시도해보고 싶은 것들에

3329
03:08:57,247 --> 03:09:00,581
대해 꽤 괜찮은 결과를
낼 수 있을 거라고 봐요.

3330
03:09:00,581 --> 03:09:04,106
슬랙에 원하는 새 탭을 추가하고
싶다, 이런 것도 AI가 꽤 잘

3331
03:09:04,106 --> 03:09:07,833
해낼 수 있을 거라고 봐요. -
맞아요, 그거 정말 좋은 예시네요.

3332
03:09:07,833 --> 03:09:10,762
그게 언제쯤 가능할까요? - 음, 올해

3333
03:09:10,762 --> 03:09:13,969
정도요. - 글쎄요,
저는 잘 모르겠어요.

3334
03:09:13,969 --> 03:09:18,056
모르겠어요. - 아마 프로덕션
코드베이스가 실제로 얼마나 지저분한지는

3335
03:09:18,056 --> 03:09:21,605
저도 잘 모르겠지만, 몇 년
정도 안에는 많은 사람들이 점점

3336
03:09:21,605 --> 03:09:25,154
디자이너나 프로덕트 매니저
쪽으로 떠밀릴 거라고 봐요. 여러

3337
03:09:25,154 --> 03:09:28,810
에이전트를 동시에 돌려서 이것저것
시도하게 하고, 기능 하나를

3338
03:09:28,810 --> 03:09:32,682
구현하거나 버그 하나를 고치는 데
하루이틀 정도 걸리는 식으로요.

3339
03:09:32,682 --> 03:09:36,433
그리고 이런 대시보드들이 있는데,
슬랙이 사실 꽤 괜찮은 대시보드라고

3340
03:09:36,433 --> 03:09:40,481
봐요. 거기서 에이전트들이 말을 걸어오면
여러분이 피드백을 주는 식으로요.

3341
03:09:40,481 --> 03:09:43,113
근데 이를테면, 제가 웹사이트를
만든다고 하면, "그럭저럭

3342
03:09:43,113 --> 03:09:45,333
봐줄 만한 로고를 원하세요?"
같은 것도 있고요.

3343
03:09:45,333 --> 03:09:50,358
이런 통일된 디자인이나 스타일,
그리고 다음에 뭘 추가할지 결정하는

3344
03:09:50,358 --> 03:09:54,704
건 모델들이 꽤 어려워할 거라고
봐요. - 저는 그냥...

3345
03:09:54,704 --> 03:09:55,026
네.

3346
03:09:55,026 --> 03:09:59,042
제가 프로그래머들이랑 많이 어울리는데,

3347
03:09:59,042 --> 03:10:03,250
그중 몇몇은 원래 좀 회의적인 편이에요.

3348
03:10:03,250 --> 03:10:05,759
그냥 그런 성향인 거죠.

3349
03:10:05,759 --> 03:10:07,987
그냥 복잡한 시스템에 기능을 추가하는

3350
03:10:07,987 --> 03:10:10,438
데는 복잡한 게 많이 얽혀 있다고 봐요.

3351
03:10:10,438 --> 03:10:13,934
이를테면 브라우저, 크롬을 보면요.

3352
03:10:13,934 --> 03:10:17,741
제가 기능을 하나 추가한다고 하면, 탭을

3353
03:10:17,741 --> 03:10:21,374
위쪽 대신 왼쪽에 두고 싶다고 하면요.

3354
03:10:21,374 --> 03:10:22,835
인터페이스 측면에서요, 그렇죠?

3355
03:10:22,835 --> 03:10:24,169
저는 우리가 아직...

3356
03:10:24,169 --> 03:10:28,049
이게 내년쯤 가능한 얘기가 아니에요.
- 올해 나온 Claude 릴리스

3357
03:10:28,049 --> 03:10:31,929
중 하나에서 있었던 테스트인데요,
소프트웨어 하나를 주고 Claude가

3358
03:10:31,929 --> 03:10:35,709
그걸 처음부터 전부 다시 만들어보게
놔뒀는데, 그 소프트웨어의 사양만

3359
03:10:35,709 --> 03:10:39,589
주고 샌드박스 환경에 풀어놨을 뿐인데도
이미 슬랙을 거의 처음부터 다시

3360
03:10:39,589 --> 03:10:43,469
만들어낼 수 있었어요. - 그래서
저는 그 '처음부터'라는 부분이 거의

3361
03:10:43,469 --> 03:10:47,348
더 마음에 들어요. - 그러면 오히려
작고 신생인 회사들이 유리할 수도

3362
03:10:47,348 --> 03:10:51,228
있겠네요. "우리는 덕지덕지 쌓인
복잡함이 없으니까 이 기능이 존재하는

3363
03:10:51,228 --> 03:10:55,009
거다" 이런 식으로요. - 그리고
이게 아까 말씀하신 부분, 그러니까

3364
03:10:55,009 --> 03:10:58,789
얘기 나눠본 몇몇 분들이 회의적이라는
그 지점과 이어지는 것 같아요.

3365
03:10:58,789 --> 03:11:02,199
제 생각엔 그건 LLM이 X,
Y, Z를 못 해서가 아니라,

3366
03:11:02,199 --> 03:11:05,505
사람들이 이런 식으로 하는 걸
원하지 않아서인 것 같아요.

3367
03:11:05,505 --> 03:11:08,502
- 그중 일부는 사람 쪽의
스킬 문제일 수도 있고요.

3368
03:11:08,502 --> 03:11:10,404
스스로에게 솔직해질 필요가 있어요.

3369
03:11:10,404 --> 03:11:13,154
그리고 그중 일부는 명세가
부족한 문제일 수도 있고요.

3370
03:11:13,154 --> 03:11:18,509
그러니까 프로그래밍에서는,
그냥 당연하게 여기는 게...

3371
03:11:18,509 --> 03:11:23,099
이건 마치 연인 관계나 친구
관계에서의 소통 문제 같은 거예요.

3372
03:11:23,099 --> 03:11:26,019
LLM이 당연히 내 마음을
읽어줄 거라고 가정하는 거죠.

3373
03:11:26,019 --> 03:11:29,229
이 지점에서 스펙 주도 설계가
정말 중요해지는 거예요.

3374
03:11:29,229 --> 03:11:33,465
원하는 걸 자연어로 명세하는
거죠. - 랩 사람들과 얘기해보면,

3375
03:11:33,465 --> 03:11:37,702
다들 이걸 트레이닝이랑 프로덕션
코드에 실제로 쓰고 있더라고요.

3376
03:11:37,702 --> 03:11:39,791
Claude Code는
Claude Code로

3377
03:11:39,791 --> 03:11:42,130
만들어지고, 다들 이런 걸
광범위하게 쓰고 있어요.

3378
03:11:42,130 --> 03:11:45,024
다리오도 Claude의 코드
중 얼마나 많은 부분이...

3379
03:11:45,024 --> 03:11:49,566
이 사람들은 갖고 있는
능력이나 인퍼런스에 쓰는

3380
03:11:49,566 --> 03:11:53,934
돈 면에서 우리보다 좀
앞서 있는 것 같아요.

3381
03:11:53,934 --> 03:11:56,753
우리가 겨우 월 100달러나
200달러짜리 요금제에

3382
03:11:56,753 --> 03:11:59,773
쓰는 것보다 10배에서
100배는 더 쓸 수도 있어요.

3383
03:11:59,773 --> 03:12:01,510
정말 아낌없이 쏟아붓는 거죠.

3384
03:12:01,510 --> 03:12:06,318
그리고 제 생각엔, 지금 같은
발전 속도를 보면 1년 전만 해도

3385
03:12:06,318 --> 03:12:11,538
Claude Code도 없었고 추론
모델도 사실상 없었던 것 같아요.

3386
03:12:11,538 --> 03:12:16,332
오늘 이 자리에서 우리가 이
모델들로 할 수 있는 일 사이의

3387
03:12:16,332 --> 03:12:21,271
차이는 상당하고, 개선할 수 있는
손쉬운 성과도 아직 많아요.

3388
03:12:21,271 --> 03:12:23,549
실패 양상들은 꽤 어이없을 정도예요.

3389
03:12:23,549 --> 03:12:26,918
예를 들면 이런 거예요. 'Claude,
설치도 안 된 CLI 명령어를

3390
03:12:26,918 --> 03:12:29,855
열네 번이나 시도하시길래 제가
실행할 명령어를 보내드렸어요.'

3391
03:12:29,855 --> 03:12:33,374
그건 모델링 관점에서 보면
꽤 고치기 쉬운 문제예요.

3392
03:12:33,374 --> 03:12:35,820
그러니까... 잘 모르겠어요.
- 저도 같은 생각이에요.

3393
03:12:35,820 --> 03:12:39,043
저는 요즘 전반적으로 점점
더 긍정적으로 보고 있어요.

3394
03:12:39,043 --> 03:12:41,430
말씀하신 부분과 관련해서 말씀드리면, 제

3395
03:12:41,430 --> 03:12:44,142
생각엔 그게 인간 쪽
스킬 문제인 것 같아요.

3396
03:12:44,142 --> 03:12:47,548
앤스로픽이 다른 회사들과
함께 프로그래밍에 이

3397
03:12:47,548 --> 03:12:51,226
모델들을 가장 잘 활용하는
법을 앞장서서 알아내고

3398
03:12:51,226 --> 03:12:55,040
있고, 그래서 실제로
효과적으로 쓰고 있는 거예요.

3399
03:12:55,040 --> 03:12:58,824
그런데 외곽에 있는 프로그래머 중에는
그렇지 못한 분들이 많은데...

3400
03:12:58,824 --> 03:13:02,994
그러니까, 이걸 어떻게 써야
하는지 제대로 된 가이드가 없어요.

3401
03:13:02,994 --> 03:13:04,936
사람들이 알아내려고
애쓰고 있긴 한데...

3402
03:13:04,936 --> 03:13:06,710
- 근데 그게 엄청 비쌀 수도 있어요.

3403
03:13:06,710 --> 03:13:09,428
진입 장벽이 한 달에
2천 달러 정도일 수도

3404
03:13:09,428 --> 03:13:12,598
있는데, 그럼 테크 기업이나
부자들만 가능한 거죠.

3405
03:13:12,598 --> 03:13:15,481
그럴 수도 있어요. - 근데
그럴 가치가 있을지도 몰라요.

3406
03:13:15,481 --> 03:13:17,304
최종 결과물이 실제로 작동하는 소프트웨어

3407
03:13:17,304 --> 03:13:19,375
시스템이라면, 그럴
가치가 있을 수도 있어요.

3408
03:13:19,375 --> 03:13:22,383
그나저나 재밌네요,
AGI 타임라인 얘기하다가

3409
03:13:22,383 --> 03:13:25,751
이렇게 더 실용적이고 쓸모
있는 쪽으로 흘러온 게.

3410
03:13:25,751 --> 03:13:29,664
AGI랑 ASI로 가는 타임라인에
대해 구체적이고 흥미롭고

3411
03:13:29,664 --> 03:13:33,211
유용하고, 뭔가 깊이 있는
이야기를 할 수 있을까요?

3412
03:13:33,211 --> 03:13:36,969
아니면 이런 논의들이
일상과 좀 동떨어져 있는

3413
03:13:36,969 --> 03:13:40,576
걸까요? - 흥미로운
베팅 지점들이 있어요.

3414
03:13:40,576 --> 03:13:44,465
실제 과학 분야에서 RLVR—검증
가능한 보상 기반 강화학습—을

3415
03:13:44,465 --> 03:13:47,910
시도하는 사람들이 많은데,
수억 달러 규모의 펀딩을 받은

3416
03:13:47,910 --> 03:13:51,244
스타트업들이 실험실(wet
lab)을 갖추고 언어모델이

3417
03:13:51,244 --> 03:13:54,800
가설을 제안하면 그걸 실제
세계에서 검증하게 하고 있어요.

3418
03:13:54,800 --> 03:13:59,086
제 생각엔 이 사람들이 좀 이른
것 같아요. 근데 지금 같은 발전

3419
03:13:59,086 --> 03:14:03,372
속도를 생각하면— 어쩌면 6개월
정도 일러서 먼저 자리 잡은 덕에

3420
03:14:03,372 --> 03:14:08,134
성공할 수도 있고, 어쩌면 8년이나
이른 걸 수도 있어요. 알 수 없죠.

3421
03:14:08,134 --> 03:14:13,428
이런 흐름을 다른 과학 분야로 뻗어나가게

3422
03:14:13,428 --> 03:14:18,481
하는 문샷이라면 정말 혁신적일 거예요.

3423
03:14:18,481 --> 03:14:21,522
만약 이런 문제를 푸는 스타트업
덕분에 다른 온갖 과학

3424
03:14:21,522 --> 03:14:24,665
분야에서도 AlphaFold
같은 순간들이 일어난다면요.

3425
03:14:24,665 --> 03:14:26,810
제 생각엔 스타트업
중에—아마 Harmonic도

3426
03:14:26,810 --> 03:14:29,284
그중 하나일 텐데—언어모델에
수학용 Lean을 결합하는

3427
03:14:29,284 --> 03:14:31,346
쪽에 완전히 몰두하는
곳들이 있는 것 같아요.

3428
03:14:31,346 --> 03:14:35,954
최근에 다른 게스트분이랑 이
얘기를 하셨었잖아요. 근데 그

3429
03:14:35,954 --> 03:14:41,138
모델에 1억 달러를 쓰면 정확히
뭐가 나올지는 아직 모르는 거죠.

3430
03:14:41,138 --> 03:14:46,400
대부분은 실패하겠지만, 몇몇은
ChatGPT나 Claude Code

3431
03:14:46,400 --> 03:14:51,519
같은 소프트웨어 경험과는 아주 다른
큰 돌파구가 될 수도 있어요.

3432
03:14:51,519 --> 03:14:54,789
박사급 수학자한테만 유용하지만
그 사람을 100배는

3433
03:14:54,789 --> 03:14:58,759
효율적으로 만들어주는 도구 같은
거요... - 저도 동의해요.

3434
03:14:58,759 --> 03:15:04,157
제 생각엔 이런 일이 여러
분야에서 일어날 것 같아요,

3435
03:15:04,157 --> 03:15:09,914
특히 금융, 법률, 제약회사처럼
자원이 풍부한 분야에서요.

3436
03:15:09,914 --> 03:15:12,294
근데 다시 생각해보면,
이게 정말 AGI일까요?

3437
03:15:12,294 --> 03:15:15,042
왜냐하면 지금 우리가 그걸 다시
특화시키고 있는 거니까요.

3438
03:15:15,042 --> 03:15:20,075
예전에 특화된 알고리즘이 있었을
때랑 정말 그렇게 다른 걸까요?

3439
03:15:20,075 --> 03:15:23,679
그냥 똑같은 건데 훨씬 더
정교해진 것뿐이잖아요, 근데

3440
03:15:23,679 --> 03:15:27,163
잘 모르겠어요, AGI에
무슨 기준선이 있는 걸까요?

3441
03:15:27,163 --> 03:15:29,756
제 생각엔 여기서 진짜
멋진 건 우리가 특화시킬

3442
03:15:29,756 --> 03:15:32,349
수 있는 파운데이션 모델을
갖고 있다는 거예요.

3443
03:15:32,349 --> 03:15:34,141
그게 바로 돌파구인 거죠.

3444
03:15:34,141 --> 03:15:38,411
지금은 아직 거기까지는 아니라고
봐요, 일단 너무 비싸기도 하고, 또

3445
03:15:38,411 --> 03:15:43,019
ChatGPT가 커스터마이징하라고
자기네 모델을 그냥 내주지도 않으니까요.

3446
03:15:43,019 --> 03:15:45,258
제 생각엔 일단 그게 현실이
되고 나면 말이죠...

3447
03:15:45,258 --> 03:15:48,786
그리고 이걸 비즈니스
모델로 상상해볼 수 있는데,

3448
03:15:48,786 --> 03:15:52,838
오픈AI가 언젠가 '뱅크오브아메리카,
1억 달러만 주시면

3449
03:15:52,838 --> 03:15:56,758
커스텀 모델 만들어드릴게요'
이런 식으로 말하는 거죠.

3450
03:15:56,758 --> 03:15:59,990
제 생각엔 그게 엄청난
경제적 부가가치가 될 거예요.

3451
03:15:59,990 --> 03:16:02,615
그런데 또 하나는...

3452
03:16:02,615 --> 03:16:06,582
기업들 입장에서, 그러니까,
차별화 요소가 뭘까요?

3453
03:16:06,582 --> 03:16:10,329
모두가 같은 LLM을 쓰면,
모두가 ChatGPT를

3454
03:16:10,329 --> 03:16:13,006
쓰면, 다 똑같은 걸 하게 되잖아요.

3455
03:16:13,006 --> 03:16:18,797
음, 다들 발맞춰 움직이는데 기업들은
경쟁 우위를 갖고 싶어 하니까,

3456
03:16:18,797 --> 03:16:24,284
결국 자기네 사적 데이터를 써서
특화하는 것 말고는 방법이 없죠.

3457
03:16:24,284 --> 03:16:27,103
흥미로울 거예요. - 진행 속도를 보면

3458
03:16:27,103 --> 03:16:30,191
정말 뭔가 다가오고
있다는 느낌이 들어요.

3459
03:16:30,191 --> 03:16:36,113
저는 AGI나 ASI 기준선이
그렇게 유용하다고 생각하지 않아요.

3460
03:16:36,113 --> 03:16:42,529
- 제 생각엔 진짜 질문은—이건 원격
근로자 얘기랑도 이어지는데—경제적

3461
03:16:42,529 --> 03:16:47,958
영향에서 크고 확실한 도약을
언제 보게 되느냐인 것 같아요.

3462
03:16:47,958 --> 03:16:51,736
왜냐하면 예를 들어
지금까지 LLM 모델의

3463
03:16:51,736 --> 03:16:55,678
경제적 영향에서 뚜렷한
도약이 없었으니까요.

3464
03:16:55,678 --> 03:16:59,774
그리고 그건, AGI든 ASI든
그런 거 다 떠나서, 진짜

3465
03:16:59,774 --> 03:17:04,510
질문은 '언제쯤 GDP가...'
'...점프할까요?' 그거였잖아요.

3466
03:17:04,510 --> 03:17:08,606
- 맞아요, 근데 GDP가 대체
뭘로 이루어져 있는 거죠?

3467
03:17:08,606 --> 03:17:11,776
그중 상당 부분이 금융서비스인데,
그럼 이게 뭔지 잘

3468
03:17:11,776 --> 03:17:15,274
모르겠어요. - 맞아요,
GDP는— - 저는 그냥 GDP가

3469
03:17:15,274 --> 03:17:18,991
살짝 오르는 것도 생각하기가
어려운데, 이렇게는 말할 수 있을

3470
03:17:18,991 --> 03:17:22,380
것 같아요. 더 이상 코드를
직접 들여다볼 필요가 없어질

3471
03:17:22,380 --> 03:17:25,878
때 소프트웨어 개발이 다른
방식으로 가치를 갖게 된다고요.

3472
03:17:25,878 --> 03:17:27,906
Claude Code가 여러분한테 작은

3473
03:17:27,906 --> 03:17:29,838
사업체 하나를 만들어줄 때 말이에요.

3474
03:17:29,838 --> 03:17:32,312
그러니까 본질적으로 클로드가
여러분의 웹사이트, 은행 계좌,

3475
03:17:32,312 --> 03:17:34,561
이메일, 그 밖에 뭐든 다
설정해 줄 수 있다는 거죠.

3476
03:17:34,561 --> 03:17:37,107
그리고 여러분은 그저
세상에 무엇을 내놓고

3477
03:17:37,107 --> 03:17:39,321
싶은지 표현하기만 하면 되는 거고요.

3478
03:17:39,321 --> 03:17:43,151
그게 기업 시장에만 해당되는 얘기는
아니지만, 어려운 일이긴 해요.

3479
03:17:43,151 --> 03:17:45,658
사람들이 그걸 시도해보게 만들려면
어떻게 해야 할지는 잘 모르겠어요.

3480
03:17:45,658 --> 03:17:48,620
아마 ChatGPT가 할 수
있다면 사람들이 벌써 써보고

3481
03:17:48,620 --> 03:17:51,199
있을 테니까요. - 결국은
'도구 사용을 푸는 게

3482
03:17:51,199 --> 03:17:54,065
얼마나 어려운가'라는 과학적
질문으로 귀결된다고 봐요.

3483
03:17:54,065 --> 03:17:56,811
왜냐하면 지금 말씀하신
것들, 그러니까 원격

3484
03:17:56,811 --> 03:17:59,672
근무 관련한 것들 상당수가
도구 사용이거든요.

3485
03:17:59,672 --> 03:18:04,021
그러니까... 컴퓨터 유즈 같은
거예요. LLM이 밖으로 나가서, 이런

3486
03:18:04,021 --> 03:18:08,035
에이전틱 시스템이 세상에서 뭔가를
하는데 실수하는 비율이 1%밖에

3487
03:18:08,035 --> 03:18:11,938
안 되는 거요. - 컴퓨터 유즈-
- 아니면 그보다 낮게요. -

3488
03:18:11,938 --> 03:18:16,398
...그게 바로 랩들이 신경 쓰는데
아직 진전이 별로 없는 좋은 예시죠.

3489
03:18:16,398 --> 03:18:19,135
2025년에 그런 데모를
여러 번 봤잖아요. 클로드가

3490
03:18:19,135 --> 03:18:21,590
여러분의 컴퓨터를 쓸 수
있다거나, 오픈AI에는

3491
03:18:21,590 --> 03:18:24,988
Operator가 있었다거나 하는
것들이요. 근데 다 별로였어요.

3492
03:18:24,988 --> 03:18:29,234
여기에 돈을 투자하고 있고, 그게
좋은 예시가 될 거라고 생각해요.

3493
03:18:29,234 --> 03:18:34,596
그런데 사실, 화면 전체를 장악하는
것 같은 방식은 백엔드에서

3494
03:18:34,596 --> 03:18:39,958
호출할 수 있는 API를 갖는
것보다 훨씬 어려워 보이거든요.

3495
03:18:39,958 --> 03:18:41,742
그중 일부는, 그것들이 전부 작동할 수

3496
03:18:41,742 --> 03:18:43,527
있는 별도의 환경을 마련해줘야 하고요.

3497
03:18:43,527 --> 03:18:47,011
여러분의 맥북에서 작동하는
게 아니라, 구글이나 아마존,

3498
03:18:47,011 --> 03:18:50,158
슬랙 하나하나와 개별적으로
인터페이스하는 거고, 이

3499
03:18:50,158 --> 03:18:53,418
모든 걸 사람과는 아주 다른
방식으로 처리하는 거죠.

3500
03:18:53,418 --> 03:18:57,450
그래서 이 중 일부는 구조적인
장벽일 수도 있어요. - 그리고

3501
03:18:57,450 --> 03:19:01,245
명세 측면에서도, 임의의 작업에
대해서는 결국 LLM이 뭘

3502
03:19:01,245 --> 03:19:05,040
하길 원하는지 직접 명시해야
한다는 게 문제인 것 같아요.

3503
03:19:05,040 --> 03:19:06,712
그럼 그건 어떻게 하는 거죠?

3504
03:19:06,712 --> 03:19:08,205
환경은 또 뭔가요?

3505
03:19:08,205 --> 03:19:09,262
어떻게 명시를 하나요?

3506
03:19:09,262 --> 03:19:12,146
최종 목표가 뭔지는 말할 수
있지만, 그게 최종 목표를

3507
03:19:12,146 --> 03:19:14,934
못 풀면... LLM의
경우엔 텍스트를 요청하면 항상

3508
03:19:14,934 --> 03:19:17,818
되물어서 명확히 하거나 하위
단계를 밟을 수 있잖아요.

3509
03:19:17,818 --> 03:19:20,096
그런데 그 정보를,
예를 들어 여러분 대신

3510
03:19:20,096 --> 03:19:22,572
여행을 예약해주는
시스템에는 어떻게 넣어주죠?

3511
03:19:22,572 --> 03:19:26,081
'제 카드 정보를 잘못
입력했잖아'라고 말할 수는

3512
03:19:26,081 --> 03:19:29,719
있지만, 애초에 거기까지
가려면, 사용자로서 모델이

3513
03:19:29,719 --> 03:19:33,618
시도라도 하기 전에 어떻게
방향을 잡아줘야 하는 거죠?

3514
03:19:33,618 --> 03:19:36,423
제 생각엔 인터페이스가 정말
어려운 것 같아요. - 맞아요,

3515
03:19:36,423 --> 03:19:39,398
그리고 여러분에 대해 아주 구체적인
것들을 많이 배워야 하고요.

3516
03:19:39,398 --> 03:19:42,481
그리고 이건 지속 학습(continual
learning)

3517
03:19:42,481 --> 03:19:45,468
얘기로 이어지는데요, 전반적으로
반복되는 실수들, 그리고

3518
03:19:45,468 --> 03:19:48,551
여러분을 통해서 나오는 실수들에
관한 거죠. - 모든 AI

3519
03:19:48,551 --> 03:19:51,538
인터페이스가 인간에게 입력을
요청하도록 설계되고 있어요.

3520
03:19:51,538 --> 03:19:54,108
제 생각엔 Claude Code
얘기를 많이 한 것 같아요.

3521
03:19:54,108 --> 03:19:55,879
피드백이나 질문을 물어보거든요.

3522
03:19:55,879 --> 03:19:59,192
여러분의 계획이나 원하는 목표에
대한 명세가 충분하지 않으면,

3523
03:19:59,192 --> 03:20:02,018
'어느 쪽을 원하세요?'
하고 질문을 하기 시작해요.

3524
03:20:02,018 --> 03:20:06,258
채팅 간에 저장되는
Memory 얘기도 했었죠.

3525
03:20:06,258 --> 03:20:08,831
그 기능이 처음 구현된
방식이 좀 이상해서, 채팅

3526
03:20:08,831 --> 03:20:11,308
중에 제 강아지 이름 같은
걸 언급하고 그래요.

3527
03:20:11,308 --> 03:20:14,407
저는 '이렇게까지 티 안 나게
할 필요 없는데요' 싶더라고요.

3528
03:20:14,407 --> 03:20:15,298
'저는 신경 안 써요' 싶고요.

3529
03:20:15,298 --> 03:20:16,904
그런데 요즘 새로 나오는 것 중에,

3530
03:20:16,904 --> 03:20:19,018
ChatGPT에
Pulse라는 기능이 있어요.

3531
03:20:19,018 --> 03:20:24,148
몇 문단 정도로 큐레이션해서 볼
만한 것들에 링크를 걸어주는 건데,

3532
03:20:24,148 --> 03:20:29,278
앞으로 모델이 사용자한테 질문을
던지게 될 거라는 이야기도 나와요.

3533
03:20:29,278 --> 03:20:31,140
제 생각엔 그게 꽤…

3534
03:20:31,140 --> 03:20:33,032
아마 효과가 있을 것 같아요.

3535
03:20:33,032 --> 03:20:35,396
언어모델이 여러분이 병원
예약이 있었다는 걸 알고

3536
03:20:35,396 --> 03:20:37,848
'그거 다녀오고 좀
어떠세요?'라고 물어보는 거죠.

3537
03:20:37,848 --> 03:20:41,447
이건 또 인간이 굉장히
취약해지는 영역으로 들어가는

3538
03:20:41,447 --> 03:20:45,175
거라서, 앞으로 사회적으로
변화가 많이 있을 거예요.

3539
03:20:45,175 --> 03:20:48,564
그리고 또 모델이 먼저 다가가게
하는 것도 실험하고 있고요.

3540
03:20:48,564 --> 03:20:52,561
이 Pulse 기능을 좋아하는
사람들도 있는데, 채팅 내용을

3541
03:20:52,561 --> 03:20:56,437
분석해서 자동으로 정보를 검색해
앱 안에 넣어주는 거예요.

3542
03:20:56,437 --> 03:20:59,388
그래서 앞으로 이런 게
많이 나올 것 같아요. -

3543
03:20:59,388 --> 03:21:02,121
저도 예전에 그 기능을
써봤는데, 매일 그렇게

3544
03:21:02,121 --> 03:21:05,291
해주는데 제가 잘 안 보니까
항상 좀 미안하더라고요.

3545
03:21:05,291 --> 03:21:10,327
제가 보지도 않는 걸 위해 컴퓨트가
얼마나 낭비되는 건가 싶어서요.

3546
03:21:10,327 --> 03:21:13,520
그게 좀 '아…' 싶더라고요.
- 근데 세상에 노는

3547
03:21:13,520 --> 03:21:17,055
컴퓨트도 많으니까 너무
미안해하지 않아도 돼요. - 네.

3548
03:21:17,055 --> 03:21:20,378
새로운 아이디어가 필요할
수도 있다고 보세요?

3549
03:21:20,378 --> 03:21:25,744
AGI로 가는 길이—그걸 어떻게
정의하든—컴퓨터 유즈를 더 폭넓게

3550
03:21:25,744 --> 03:21:30,960
풀고, 생물학·화학·물리학까지
풀어내는 것, 그러니까 어느 정도

3551
03:21:30,960 --> 03:21:35,879
다리오 아모데이 식의 AGI
정의에 이르는 길이 가능할까요?

3552
03:21:35,879 --> 03:21:42,725
완전히 새로운 아이디어가
필요할 수도 있다고 보세요?

3553
03:21:42,725 --> 03:21:45,538
LLM도 아니고 RL도 아닌 아이디어요?

3554
03:21:45,538 --> 03:21:47,293
그게 어떤 모습일까요?

3555
03:21:47,293 --> 03:21:51,060
이거 좀 철학 영역으로
들어가긴 하는데요. - 특이점

3556
03:21:51,060 --> 03:21:54,698
같은 일이 일어나려면요,
저는 네, 그렇다고 봐요.

3557
03:21:54,698 --> 03:21:58,013
새로운 아이디어라면 아키텍처나
학습 알고리즘, 그러니까

3558
03:21:58,013 --> 03:22:00,775
딥러닝의 근본적인 부분일
수 있을 것 같아요.

3559
03:22:00,775 --> 03:22:04,459
근데 그런 특성상,
예측하기가 꽤 어렵죠.

3560
03:22:04,459 --> 03:22:08,534
제 생각엔 그런 발전 없이는 그리
멀리까지는 못 갈 것 같아요.

3561
03:22:08,534 --> 03:22:12,099
소프트웨어 쪽 해법은 나올 수
있겠지만, 더 혁신이 없으면 딱

3562
03:22:12,099 --> 03:22:15,559
소프트웨어에서 멈추고 컴퓨터
유즈까지는 못 갈 수도 있어요.

3563
03:22:15,559 --> 03:22:20,332
그래서 앞으로 진전은 많이 있을
거라고 생각하는데, 좀 멀리서

3564
03:22:20,332 --> 03:22:25,245
보면 앞으로 30년 안에 '이게
다음 장을 열어준 중대한 과학적

3565
03:22:25,245 --> 03:22:29,877
혁신이었다'고 돌아보게 될
아이디어들이 여전히 나올 거예요.

3566
03:22:29,877 --> 03:22:31,741
그게 1년 안에 올지 15년 뒤에 올지는

3567
03:22:31,741 --> 03:22:33,350
저도 잘 모르겠어요. - 그러게요.

3568
03:22:33,350 --> 03:22:37,504
쓰라린 교훈이 앞으로 100년
동안에도 계속 맞아떨어질지, 그건

3569
03:22:37,504 --> 03:22:41,777
어떤 모습일지 궁금하네요. -
딥러닝에서 스케일링 법칙이 근본적인

3570
03:22:41,777 --> 03:22:46,169
거라면, 쓰라린 교훈은 항상 적용될
거라고 봐요. 그러니까 컴퓨트는

3571
03:22:46,169 --> 03:22:50,204
점점 더 풍부해지겠지만, 컴퓨트가
풍부해진 상황에서도 스케일링

3572
03:22:50,204 --> 03:22:54,477
법칙의 기울기가 더 가파르거나
오프셋이 더 좋은 쪽이 이기는 거죠

3573
03:22:54,477 --> 03:22:58,632
— 성능과 컴퓨트를 2차원 그래프로
그린다고 치면요 — 컴퓨트가

3574
03:22:58,632 --> 03:23:03,142
아무리 많아져도, 그걸로 100배를
뽑아내는 쪽이 결국 이길 겁니다.

3575
03:23:03,142 --> 03:23:07,296
- 말 그대로 태양광 패널을 단
컴퓨터 클러스터들이 지구 궤도를

3576
03:23:07,296 --> 03:23:11,688
도는 그런 모습일 수도 있겠네요.
- 문제는 열을 방출하는 거예요.

3577
03:23:11,688 --> 03:23:15,523
태양에서 오는 복사열은 그대로 다
받는데, 열을 식혀줄 공기는 없잖아요.

3578
03:23:15,523 --> 03:23:17,570
그래도 클러스터를 놓을
공간은 많으니까요.

3579
03:23:17,570 --> 03:23:21,470
그쪽엔 태양 에너지가 워낙 많으니까
열 방출 문제도 풀어낼 수 있을

3580
03:23:21,470 --> 03:23:25,369
거예요. 에너지가 그렇게 많으면
그 열 문제를 해결하려는 엔지니어링

3581
03:23:25,369 --> 03:23:29,269
의지도 아마 생길 수 있을 거고요
— 그러니 가능은 할 겁니다. -

3582
03:23:29,269 --> 03:23:32,958
이럴 가능성도 있을까요 — 물론
분명히 가능한 얘기라는 건 먼저

3583
03:23:32,958 --> 03:23:37,174
말씀드려야겠지만요 — 우리가 사실상
올해 정체기에 들어서는 것 말이에요?

3584
03:23:37,174 --> 03:23:41,225
시스템 능력 자체가
아니라, 그게 실제로 인류

3585
03:23:41,225 --> 03:23:44,952
문명에 어떤 의미를
갖느냐 하는 면에서요.

3586
03:23:44,952 --> 03:23:50,589
그러니까 코딩 쪽에서는 정말 근사한
웹사이트들이 만들어질 거예요.

3587
03:23:50,589 --> 03:23:53,670
아주 훌륭한 자동완성도 나오고요.

3588
03:23:53,670 --> 03:23:58,609
코드베이스를 이해하는 아주 좋은
방법이 되고 디버깅도 도와줄 수

3589
03:23:58,609 --> 03:24:03,548
있겠지만, 결국 코딩 쪽에서 아주
훌륭한 도우미 정도인 거예요.

3590
03:24:03,548 --> 03:24:07,052
연구하는 수학자들이 수학을 하는
데도 도움을 줄 수 있고요.

3591
03:24:07,052 --> 03:24:09,450
쇼핑하는 데도 도움을 줄 수 있어요.

3592
03:24:09,450 --> 03:24:11,132
좋은 도우미인 거죠.

3593
03:24:11,132 --> 03:24:13,294
말하자면 스테로이드 맞은 클리피예요.

3594
03:24:13,294 --> 03:24:14,311
또 뭐가 있을까요?

3595
03:24:14,311 --> 03:24:19,118
교육 도구로도 괜찮을 수
있고 그런 것들이 있겠지만,

3596
03:24:19,118 --> 03:24:24,423
컴퓨터 유즈는 풀기가 극도로
어려운 걸로 드러나고 있어요.

3597
03:24:24,423 --> 03:24:28,194
그러니까 제가 지금 그려보려는
건 비관적인 시나리오예요 —

3598
03:24:28,194 --> 03:24:31,964
이 모든 영역에서 경제적 임팩트가
그렇게 크지 않으면서도,

3599
03:24:31,964 --> 03:24:35,499
이런 시스템들을 사전학습부터
인퍼런스까지 모든 단계에서

3600
03:24:35,499 --> 03:24:39,741
학습시키고 돌리는 데 비용이 얼마나
많이 드는지, 인퍼런스 비용이

3601
03:24:39,741 --> 03:24:43,630
얼마나 큰지, 추론까지 포함해서
그 모든 걸 감안했을 때요.

3602
03:24:43,630 --> 03:24:45,039
그러니까, 그게 가능할까요?

3603
03:24:45,039 --> 03:24:49,206
그리고 그럴 가능성이 얼마나 높다고
보세요? - 모델들을 보면 개선할

3604
03:24:49,206 --> 03:24:53,263
수 있는 뻔한 지점들이 아직 정말
많고, 이 모델들을 학습시키고 이

3605
03:24:53,263 --> 03:24:57,540
예술 같은 작업을 해내는 데도 오랜
시간이 걸려요. 그리고 지금 저희가

3606
03:24:57,540 --> 03:25:01,488
가진 아이디어들만으로도, 저희가
찾고 있는 벤치마크나 성능이 뭐가

3607
03:25:01,488 --> 03:25:05,655
됐든 실제로 포화 상태에 이르기까지
앞으로 몇 년은 더 걸릴 겁니다.

3608
03:25:05,655 --> 03:25:09,393
아주 좁은 틈새시장에만 도움이
될 수도 있어요. 예를 들면

3609
03:25:09,393 --> 03:25:13,248
ChatGPT의 평균적인 8억
이용자는 여기서 큰 혜택을 못

3610
03:25:13,248 --> 03:25:17,220
볼 수도 있지만, 서로 다른
부분에서 더 나아지면서 서로 다른

3611
03:25:17,220 --> 03:25:20,958
집단들에게는 도움이 될 거예요.
- 하지만 지금 다들 쫓고

3612
03:25:20,958 --> 03:25:24,930
있는 건 모두에게 쓸모 있는 범용
시스템이라고 저는 생각해요.

3613
03:25:24,930 --> 03:25:26,731
그러니까, 좋아요, 만약
그게 아니라면...

3614
03:25:26,731 --> 03:25:28,549
그 부분은 정체될 수 있는 거죠? - 그

3615
03:25:28,549 --> 03:25:30,450
꿈은 사실 좀 사그라들고
있는 것 같아요.

3616
03:25:30,450 --> 03:25:34,650
말씀하신 것처럼 특화된 모델들
얘기를 보면, 그러니까...

3617
03:25:34,650 --> 03:25:36,108
그리고 멀티모달은 종종...

3618
03:25:36,108 --> 03:25:38,646
영상 생성은 완전히 다른 문제고요.

3619
03:25:38,646 --> 03:25:41,324
그런 거죠. - "그 꿈이 좀
사그라들고 있다"는 건 꽤 센

3620
03:25:41,324 --> 03:25:44,326
발언인데요, 저는 그게 정말
사그라들고 있는 건지 잘 모르겠거든요.

3621
03:25:44,326 --> 03:25:46,876
실제 프런티어 랩 사람들한테
물어보면, 그 사람들은...

3622
03:25:46,876 --> 03:25:50,753
그러니까 아직도 그걸 쫓고 있는 거죠?
- 저는 그 사람들이 여전히 다음

3623
03:25:50,753 --> 03:25:54,340
모델을 서둘러 내놓으려 한다고
봐요, 이전 모델보다 훨씬 나은...

3624
03:25:54,340 --> 03:25:56,267
"훨씬"이라는 게 상대적이긴 하지만,

3625
03:25:56,267 --> 03:25:58,290
어쨌든 이전 모델보다는 나아질 거예요.

3626
03:25:58,290 --> 03:26:00,330
그리고 저는 그 사람들이 속도를
늦출 거라고는 전혀 생각 안 해요.

3627
03:26:00,330 --> 03:26:04,096
제 생각엔 이제 이득이 나는 지점이

3628
03:26:04,096 --> 03:26:08,258
모델 스케일링만이 아니라, 이제는...

3629
03:26:08,258 --> 03:26:10,138
기술 부채가 꽤 많이
쌓여 있다는 느낌이에요.

3630
03:26:10,138 --> 03:26:13,990
그러니까 이런 식이었죠. "그냥
더 나은 모델을 넣으면 되지."

3631
03:26:13,990 --> 03:26:15,522
더 나은 모델, 더 나은 모델.

3632
03:26:15,522 --> 03:26:17,736
그런데 이제는 사람들이 "좋아, 이제

3633
03:26:17,736 --> 03:26:20,060
그 주변도 같이 개선하자"는 식이에요.

3634
03:26:20,060 --> 03:26:23,649
그러니까 컨텍스트 엔지니어링이나
인퍼런스 스케일링 같은 것들요.

3635
03:26:23,649 --> 03:26:26,354
대형 랩들은 앞으로도
계속 그렇게 할 거예요.

3636
03:26:26,354 --> 03:26:28,614
그리고 이제는 작은 랩들도 따라잡을

3637
03:26:28,614 --> 03:26:31,230
텐데요, 채용을 더 많이 하고 있거든요.

3638
03:26:31,230 --> 03:26:33,447
사람도 늘고 LLM도 늘어날 거고요.

3639
03:26:33,447 --> 03:26:35,189
일종의 순환 같은 거죠.

3640
03:26:35,189 --> 03:26:37,909
그것들이 또 사람들을 더 생산적으로
만들어주고, 그러니까 그냥...

3641
03:26:37,909 --> 03:26:39,189
일종의 증폭 같은 거예요.

3642
03:26:39,189 --> 03:26:42,115
제 생각엔 우리가 기대할
수 있는 건 증폭이지,

3643
03:26:42,115 --> 03:26:45,267
무슨... 패러다임 전환
같은 건 아닐 것 같아요.

3644
03:26:45,267 --> 03:26:49,405
저는 그게 맞는 말은 아니라고 봐요.
그래도 어쨌든 모든 게 계속 증폭되고

3645
03:26:49,405 --> 03:26:53,240
또 증폭될 거고, 그게 오랫동안
이어질 거라고 봐요, 그쵸? - 네.

3646
03:26:53,240 --> 03:26:55,885
아마 "그 꿈이 죽어가고
있다"는 제 말은, 정확히 그게

3647
03:26:55,885 --> 03:26:58,445
뭘 하게 될 거라고 보느냐에
따라 달라지는 것 같아요.

3648
03:26:58,445 --> 03:27:01,811
그러니까 Claude Code는 많은 걸

3649
03:27:01,811 --> 03:27:05,330
할 수 있는 범용
모델이긴 한데, 꼭...

3650
03:27:05,330 --> 03:27:07,056
연동이 얼마나 되어 있느냐에
크게 달려 있어요.

3651
03:27:07,056 --> 03:27:10,408
저는 Claude Code가
이메일 처리도 꽤 잘 해낼 거라고

3652
03:27:10,408 --> 03:27:13,958
봐요. 가장 어려운 부분은 거기에
정보를 어떻게 넣어줄지, 그리고

3653
03:27:13,958 --> 03:27:17,310
실제로 이메일을 보낼 수 있게
만드는 방법을 알아내는 거예요.

3654
03:27:17,310 --> 03:27:19,163
근데 그게 좀...

3655
03:27:19,163 --> 03:27:22,766
제 생각엔 이게 결국 "모든 걸 지배하는
하나의 모델"이라는 사고방식으로

3656
03:27:22,766 --> 03:27:26,098
돌아가는 것 같아요. 그러니까
클라우드에 있는 무언가가 우리 디지털

3657
03:27:26,098 --> 03:27:29,250
생활 전체를 다 처리해주고, 다른
누구보다도 훨씬 똑똑한 거죠.

3658
03:27:29,250 --> 03:27:32,983
그게 마치 어떤...
그러니까 "Claude

3659
03:27:32,983 --> 03:27:37,182
Code가 바로 그게
된다"는 데까지 가는 건 꽤

3660
03:27:37,182 --> 03:27:41,692
흥미로운 믿음의 도약인데요,
어떤 면에서는 그게...

3661
03:27:41,692 --> 03:27:47,133
그런 방법이 아예 없는 건 아니겠지만,
업계 쪽 화법은 확실히 좀

3662
03:27:47,133 --> 03:27:52,725
다르다고 봐요. - 제 생각엔,
우리가 일반 사용자로서 LLM을 쓸

3663
03:27:52,725 --> 03:27:58,619
때 다음으로 체감하게 될 건 아마
그림 그리기처럼 사소한 것일 거예요.

3664
03:27:58,619 --> 03:28:01,454
지금 LLM은 그림
그리는 걸 정말 못해요.

3665
03:28:01,454 --> 03:28:04,991
우리가 뒷단에서 쓰는 것보다
인퍼런스 연산량이 훨씬

3666
03:28:04,991 --> 03:28:08,149
적은 저가형 모델을 받고
있어서 그런 걸까요?

3667
03:28:08,149 --> 03:28:09,970
아마 어느 정도는요.

3668
03:28:09,970 --> 03:28:13,988
그러니까, 더 나은 그림을 얻는
방법이 몇 가지 있긴 한데, 요즘도

3669
03:28:13,988 --> 03:28:18,006
"X, Y, Z의 플로우차트를
그려줘"라고 하면 대부분 형편없어요.

3670
03:28:18,006 --> 03:28:20,712
사람한테는 정말 간단한 작업이잖아요.

3671
03:28:20,712 --> 03:28:25,113
가끔은 뭔가를 쓰는 것보다 그리는
게 오히려 더 쉬울 때도 있는

3672
03:28:25,113 --> 03:28:29,262
것 같아요. - 네, 멀티모달
이해력이 아직 이 정도밖에 안

3673
03:28:29,262 --> 03:28:33,538
풀렸다는 게 좀 이상하게 느껴지긴
해요. - 제 생각엔 우리가

3674
03:28:33,538 --> 03:28:37,938
말하지 않는, 아니 미처 깨닫지
못하고 있는 뻔한 게 하나 있는

3675
03:28:37,938 --> 03:28:42,591
것 같아요 — 측정하긴 어렵지만
엄청나게 큰 것인데, 바로 전 세계

3676
03:28:42,591 --> 03:28:46,866
모든 사람에게 인류의 지식을 접근
가능하게 만드는 일이거든요.

3677
03:28:46,866 --> 03:28:49,839
말로 표현하기 어려운
게 하나 있는데, 구글

3678
03:28:49,839 --> 03:28:52,440
검색과 LLM 사이의 엄청난 차이예요.

3679
03:28:52,440 --> 03:28:58,200
LLM한테는 거의 뭐든
물어봐도 답을 얻을 수 있는

3680
03:28:58,200 --> 03:29:04,166
느낌이고, 할루시네이션도
점점 줄고 있는 것 같아요.

3681
03:29:04,166 --> 03:29:10,286
그 말은 곧 제 삶을 이해하고,
커리어 방향을 잡고, 주변의 온갖

3682
03:29:10,286 --> 03:29:16,746
문제를 풀고, 인류 역사를 통틀어
무엇이든 배울 수 있다는 뜻이에요.

3683
03:29:16,746 --> 03:29:21,180
그런데 아무도 그 얘기를
제대로 안 하는 것 같아요,

3684
03:29:21,180 --> 03:29:25,766
다들 이게 대단하다는 걸 그냥
당연하게 받아들이니까요.

3685
03:29:25,766 --> 03:29:29,785
그래서 다들 쓰는 거예요, 뭘
물어봐도 답을 얻을 수 있으니까요.

3686
03:29:29,785 --> 03:29:33,666
시간이 지나면서 생길
영향을 한번 생각해보세요.

3687
03:29:33,666 --> 03:29:37,606
이건 미국만의 얘기가 아니라
전 세계에 걸친 얘기예요.

3688
03:29:37,606 --> 03:29:43,077
전 세계 아이들이 이런 개념들을 배울
수 있게 되는 것— 그게 시간이

3689
03:29:43,077 --> 03:29:48,405
흐르면서 만들어낼 영향은 아마...
...그게 진짜 영향일 거예요.

3690
03:29:48,405 --> 03:29:51,338
GDP를 놓고 보면, 어느 순간 확
뛰는 식으로 나타나진 않을 거예요.

3691
03:29:51,338 --> 03:29:54,535
그게 아니라 이런 식일 거예요,
우리가 화성에 가는 방법이고,

3692
03:29:54,535 --> 03:29:57,357
이런 것들을 만들어내는
방법이고, 100만 개의 새로운

3693
03:29:57,357 --> 03:30:00,366
오픈AI와 거기서 나오는 온갖
혁신을 갖게 되는 방법이죠.

3694
03:30:00,366 --> 03:30:03,719
모든 걸 조용히 스며드는 힘이에요, 바로

3695
03:30:03,719 --> 03:30:07,682
인류의 지식이요. - 저도
그 말씀에 동의해요.

3696
03:30:07,682 --> 03:30:10,713
어떤 의미에서는 지식에
대한 접근성을 높여주는

3697
03:30:10,713 --> 03:30:13,866
게 맞지만, 주제가 뭐냐에
따라 다르기도 해요.

3698
03:30:13,866 --> 03:30:20,974
수학 같은 건 물어보면 답을
해주지만, 어떤 주제를 처음부터

3699
03:30:20,974 --> 03:30:27,866
배우고 싶다면 가장 잘 맞는
방법은 아직 다른 데 있어요.

3700
03:30:28,946 --> 03:30:32,573
선형적으로 잘 짜여진
훌륭한 수학 교과서들이

3701
03:30:32,573 --> 03:30:36,805
있고, 그게 주제를 배우는
데 검증된 전략이거든요.

3702
03:30:36,805 --> 03:30:42,118
완전히 처음부터 시작한다면 정보
밀도가 높은 텍스트로 흡수하는 게

3703
03:30:42,118 --> 03:30:47,284
맞고, 그다음엔 LLM을 써서
무한히 연습 문제를 만드는 거죠.

3704
03:30:47,284 --> 03:30:52,815
예를 들어 특정 영역에 문제가
있거나 어떤 부분이 불확실해서

3705
03:30:52,815 --> 03:30:58,346
궁금한 게 있으면, 예제 문제를
만들어달라고 해서 풀어보고,

3706
03:30:58,346 --> 03:31:03,542
배경지식이 더 필요하면 그것도
만들어달라고 하는 거예요.

3707
03:31:03,542 --> 03:31:10,503
그런데... 말하자면 그게 교과서에
없는 내용까지 주지는 않을 거예요.

3708
03:31:10,503 --> 03:31:13,485
그냥 포장만 다르게 하는
거죠, 무슨 말인지 아시겠지만.

3709
03:31:13,485 --> 03:31:17,015
그런데 또 어떤 부분에서는
더 시의적절하게 가치를

3710
03:31:17,015 --> 03:31:20,414
더해준다는 느낌도 들어요.
사람이 즉석에서 직접

3711
03:31:20,414 --> 03:31:24,075
하는 것 말고는 딱히 좋은
대안이 없는 경우들이요.

3712
03:31:24,075 --> 03:31:29,165
예를 들어 디즈니랜드에
가려고 어느 파크 티켓을 언제

3713
03:31:29,165 --> 03:31:34,431
사야 할지 알아보려 하면,
그런 건 교과서가 없거든요.

3714
03:31:34,431 --> 03:31:36,625
정보가 촘촘하게 정리된 자료도 없고요.

3715
03:31:36,625 --> 03:31:38,685
그냥 듬성듬성한 인터넷
정보만 있을 뿐인데,

3716
03:31:38,685 --> 03:31:40,660
바로 거기서 LLM의
가치가 크게 나와요.

3717
03:31:40,660 --> 03:31:41,659
그냥 물어보면 되는 거예요.

3718
03:31:41,659 --> 03:31:44,315
요즘 여행에 이런저런 제약이 있다,

3719
03:31:44,315 --> 03:31:46,019
여기랑 여기 가고 싶다,

3720
03:31:46,019 --> 03:31:51,079
필요한 게 뭔지, 언제 어디서 사야
하는지, 비용은 얼마인지 같은 걸

3721
03:31:51,079 --> 03:31:56,006
알아봐 달라고 하면, 그게 아주
맞춤화된 즉석 패키지가 되는 거죠.

3722
03:31:56,006 --> 03:32:00,442
이런 게 개인화 사례로 치면 천
가지 중 하나쯤 되는 거고요.

3723
03:32:00,442 --> 03:32:05,009
개인화라는 건 결국 이 듬성듬성한
인터넷에서, 그러니까 더 나은

3724
03:32:05,009 --> 03:32:09,967
버전이 존재하지 않는 정보 희박한
곳에서 정보를 끌어오는 일이거든요.

3725
03:32:09,967 --> 03:32:11,170
그냥 존재하지가 않는 거죠.

3726
03:32:11,170 --> 03:32:14,822
거의 처음부터 만들어내는 셈이에요.
- 그리고 설령 있다고 해도,

3727
03:32:14,822 --> 03:32:18,575
디즈니 월드 얘기가 나와서 말인데,
온통... 뭐라고 해야 할까요?

3728
03:32:18,575 --> 03:32:19,500
광고 슬롭이요.

3729
03:32:19,500 --> 03:32:21,249
그건 불가능해요.

3730
03:32:21,249 --> 03:32:24,267
세계 어느 도시든 가서 "여기서 할 만한

3731
03:32:24,267 --> 03:32:27,147
거 톱 10이 뭐야?"라고 물어보세요.

3732
03:32:27,147 --> 03:32:31,671
LLM한테 물어보는 게 인터넷의 그
어떤 것보다 훨씬 나아요. - 뭐,

3733
03:32:31,671 --> 03:32:35,846
지금이야 그런데, 그건 보조금이
들어가고 있어서 그런 거고 결국은

3734
03:32:35,846 --> 03:32:40,138
광고로 돈을 벌게 될 거예요. -
이런. - 그렇게 될 거예요. -

3735
03:32:40,138 --> 03:32:44,661
아뇨, 아뇨. 제 말은, 거기서 뭐가
광고고 뭐가 아닌지 아주 명확하게

3736
03:32:44,661 --> 03:32:49,185
표시되면 좋겠다는 거예요. - 그건
제가 몇 년 전에 얘기했던 거예요.

3737
03:32:49,185 --> 03:32:53,158
뭐랄까, 예를 들어 새
러닝화를 찾고 있다고 치면,

3738
03:32:53,158 --> 03:32:56,989
나이키가 아마 맨 먼저
뜨는 게 과연 우연일까요?

3739
03:32:56,989 --> 03:32:58,125
그럴 수도 있고, 아닐 수도 있죠.

3740
03:32:58,125 --> 03:33:00,155
근데 제 생각엔 분명한
법이 있는 것 같아요.

3741
03:33:00,155 --> 03:33:02,125
그 부분은 명확하게 밝혀야 해요.

3742
03:33:02,125 --> 03:33:04,411
제 생각엔 다들 그걸
두려워하는 것 같아요.

3743
03:33:04,411 --> 03:33:08,818
은근슬쩍 숨어 있는 메시지죠.
근데 이 얘기가 자연스럽게

3744
03:33:08,818 --> 03:33:13,367
광고 얘기로 이어지는데, 이게
한동안 이슈였던 것 같아요.

3745
03:33:13,367 --> 03:33:18,142
바라건대... 제 생각엔
2025년에는요... 아직은

3746
03:33:18,142 --> 03:33:22,916
다른 방식으로 돈을 못 벌고
있어서 그런 것 같아요.

3747
03:33:22,916 --> 03:33:27,962
광고 자리를 넣는 거요... 근데
문제는, 그렇게 못 한다는 거예요.

3748
03:33:27,962 --> 03:33:33,274
광고 없는 대안이 있으니까 사람들이
그냥 다른 제품으로 몰려갈 거거든요.

3749
03:33:33,274 --> 03:33:37,546
근데 진짜 말도 안 되는 게-
그러니까, 서로 앞서려고

3750
03:33:37,546 --> 03:33:42,388
사용자 확보에 그렇게 많은 돈을
쓴다는 거예요. - 그러게요.

3751
03:33:42,388 --> 03:33:46,066
그러니까, 인스타그램 광고
같은 거요— 저는 인스타그램을

3752
03:33:46,066 --> 03:33:49,506
안 쓰긴 하지만, 플랫폼에
돈을 내고 내 제품을 진짜

3753
03:33:49,506 --> 03:33:53,066
좋아할 사용자를 찾아준다는
매력은 이해가 가요. 그리고

3754
03:33:53,066 --> 03:33:56,625
그게 인스타그램 광고 같은
것의 최선의 경우인 거고요.

3755
03:33:56,625 --> 03:34:00,560
하지만 광고가 인센티브 측면에서
정말 안 좋게 작용하는 경우도

3756
03:34:00,560 --> 03:34:04,726
많이 있어요. 그리고 저는 AI의
힘이 그런 긍정적인 관점—'나는

3757
03:34:04,726 --> 03:34:08,777
그냥 작은 사업을 하는 사람이고,
세상에서 제일 좋은, 뭐랄까,

3758
03:34:08,777 --> 03:34:12,712
끝내주는 스테이크 나이프를 만들고
싶고, 그걸 필요한 사람에게

3759
03:34:12,712 --> 03:34:16,763
팔고 싶다'는 마음—과 결합할
수 있는 세상이 있다고 생각해요.

3760
03:34:16,763 --> 03:34:20,285
그리고 AI가 그런 종류의
광고를 더 잘 작동하게 만들 수

3761
03:34:20,285 --> 03:34:24,026
있다면, 그건 세상에 정말 좋은
일이에요. 특히 디지털 인프라

3762
03:34:24,026 --> 03:34:27,768
쪽에서는요. 현대 웹이 바로 그런
식으로 만들어져 왔으니까요.

3763
03:34:27,768 --> 03:34:31,425
하지만 그렇다고 사람들에게
콘텐츠를 더 보여주려고

3764
03:34:31,425 --> 03:34:35,352
피드를 중독성 있게 만드는
게 좋다는 뜻은 아니에요.

3765
03:34:35,352 --> 03:34:38,674
그러니까 이건 오픈AI도
이렇게 말할 거라고 봐요,

3766
03:34:38,674 --> 03:34:41,996
광고의 수익화 이점은
살리면서도 사용자에게는 여전히

3767
03:34:41,996 --> 03:34:45,081
주체성을 주는 방법을 찾고
싶어 한다는 거예요.

3768
03:34:45,081 --> 03:34:48,762
그리고 저 개인적으로는 구글이
아마 이걸 알아내는 데 더

3769
03:34:48,762 --> 03:34:52,444
나을 거라고 봐요. 이미 광고
공급망을 갖고 있으니까요.

3770
03:34:52,444 --> 03:34:56,006
그러니 자기네 Gemini
앱에 있는 이 수요를 유용한

3771
03:34:56,006 --> 03:34:59,806
광고로 바꾸는 법만 알아내면,
그냥 켜기만 하면 되거든요.

3772
03:34:59,806 --> 03:35:03,884
그리고 누군가는 알아낼 거예요.
올해일지는 모르겠지만, 분명

3773
03:35:03,884 --> 03:35:07,839
실험은 있을 거고요. - 제
생각엔 지금 회사들을 주저하게

3774
03:35:07,839 --> 03:35:11,546
만드는 건 그냥 경쟁사들이
안 하고 있다는 것뿐이에요.

3775
03:35:11,546 --> 03:35:13,742
그보다는 평판 문제에 가까워요.

3776
03:35:13,742 --> 03:35:16,788
그냥, 사람들이 지금은
평판을 망치거나 잃는 것,

3777
03:35:16,788 --> 03:35:19,833
사용자를 잃는 것을
두려워하는 것 같아요. 누군가

3778
03:35:19,833 --> 03:35:22,879
이런 광고를 시작하면
헤드라인을 장식할 테니까요.

3779
03:35:22,879 --> 03:35:26,280
하지만— - 훌륭하기만 하다면
모르겠지만, 첫 광고들은 훌륭하지

3780
03:35:26,280 --> 03:35:29,778
않을 거예요. 아직 어떻게 풀어야
할지 모르는 어려운 문제니까요.

3781
03:35:29,778 --> 03:35:32,984
- 네, 저도 그 첫 버전이
아마 X 같은 데서, 타임라인에

3782
03:35:32,984 --> 03:35:35,802
가끔 끼는 프로모티드 게시물
같은 형태일 것 같아요.

3783
03:35:35,802 --> 03:35:37,892
'Promoted'라고 작게 표시되고,

3784
03:35:37,892 --> 03:35:39,983
그다음에 이미지가 나오는 식일 거예요.

3785
03:35:39,983 --> 03:35:44,366
제 생각엔 지금 문제는 '누가
먼저 움직이느냐'예요. - 10년

3786
03:35:44,366 --> 03:35:48,625
뒤를 내다보면, 광고의 논리는
이거예요. 사용자가 워낙 많아서

3787
03:35:48,625 --> 03:35:52,758
광고로 엄청난 돈을 벌면,
그걸로 더 나은 R&D에 투자해서

3788
03:35:52,758 --> 03:35:56,891
더 나은 모델을 만들 수 있다는
거죠. 그래서 유튜브가 어느

3789
03:35:56,891 --> 03:36:01,274
시장에서든 압도적인 거고요,
넷플릭스도 유튜브를 두려워하잖아요.

3790
03:36:01,274 --> 03:36:04,931
광고도 있고, 돈도 벌고요—저는
프리미엄에 한 달에 28달러를 내거든요.

3791
03:36:04,931 --> 03:36:06,890
저랑 다른 많은 사람들한테서 적어도

3792
03:36:06,890 --> 03:36:09,055
한 달에 28달러씩은 벌어가는 거예요.

3793
03:36:09,055 --> 03:36:12,678
그렇게 비디오 시장에서 완전히 지배적인
위치를 만들어가고 있는 거고요.

3794
03:36:12,678 --> 03:36:16,659
그래서 제 생각엔 그게
논리예요. 광고가 있으면 사용자당

3795
03:36:16,659 --> 03:36:20,255
지출 면에서 지속적인 우위를
가질 수 있다는 거요.

3796
03:36:20,255 --> 03:36:24,666
근데 지금은 그 안에 돈이 워낙
많이 몰려 있어서, 누군가 그

3797
03:36:24,666 --> 03:36:29,725
플라이휠을 돌리기 시작하는 게 무섭게
느껴져요. 장기적인 베팅이니까요.

3798
03:36:29,725 --> 03:36:34,525
- 올해 사업적으로 뭔가 엄청나게
큰 움직임이 있을 거라고 보세요?

3799
03:36:34,525 --> 03:36:40,375
이를테면 구글이나 애플이 앤스로픽을
인수한다든가, 그런 거요? - 다리오는

3800
03:36:40,375 --> 03:36:45,511
절대 안 팔 거예요. 하지만 일종의
통합은 이미 시작되고 있어요.

3801
03:36:45,511 --> 03:36:50,933
Groq가 200억 달러에, 스케일
AI가 거의 300억 달러에, 그

3802
03:36:50,933 --> 03:36:56,641
밖에도 이런 식의 딜이 셀 수 없이
많은데, 실리콘밸리 생태계에 안 좋은

3803
03:36:56,641 --> 03:37:02,205
방식으로 짜여 있어요. 평사원들까지
주식을 베스팅받아 혜택을 보는 완전

3804
03:37:02,205 --> 03:37:08,055
인수가 아니라, 다들 함께 데려가지는
않는 이런 라이선싱 딜 방식이거든요.

3805
03:37:08,055 --> 03:37:13,837
이건 문화가 풀어야 할 큰
문제예요. 스타트업 생태계의 핵심은,

3806
03:37:13,837 --> 03:37:19,124
스타트업에 들어갔을 때 그게
성공하지 못하더라도 싼값에라도

3807
03:37:19,124 --> 03:37:24,411
인수되면 그 지분에 대한 보상을
받을 수 있다는 거거든요.

3808
03:37:24,411 --> 03:37:27,622
이런 라이선싱 딜들이 많은 경우
최고 인재들을 데려가 버려요.

3809
03:37:27,622 --> 03:37:31,499
Groq가 엔비디아로 가는 이 딜은
직원들한테는 더 나은 조건이라는

3810
03:37:31,499 --> 03:37:35,271
소문이 있긴 한데, 그래도 여전히
반독점을 피해 가려는 구조예요.

3811
03:37:35,271 --> 03:37:39,062
하지만 이런 통합 흐름은
계속될 거라고 봐요.

3812
03:37:39,062 --> 03:37:43,838
저도 그렇고, 제가 존경하는
똑똑한 사람들도 통합이 더 일찍

3813
03:37:43,838 --> 03:37:48,760
일어날 거라고 예상했었어요.
그런데 이제 조금씩 방향이 바뀌기

3814
03:37:48,760 --> 03:37:53,970
시작하는 것 같으면서도, 동시에
어떤 회사들은 '대체 저 돈을 왜

3815
03:37:53,970 --> 03:37:59,181
받는 거지' 싶을 정도로 말도 안
되는 액수를 투자받고 있거든요.

3816
03:37:59,181 --> 03:38:03,494
그래서 올해는 좀 뒤섞여
있는데, 통합 압력이 시작되고는

3817
03:38:03,494 --> 03:38:07,528
있어요. - 어떤 놀라운
통합이 나올 거라고 보세요?

3818
03:38:07,528 --> 03:38:09,272
앤스로픽은 '절대 없다'고 하셨잖아요.

3819
03:38:09,272 --> 03:38:10,760
음, Groq도 큰 사례죠.

3820
03:38:10,760 --> 03:38:12,884
그런데 Groq는 Q로
쓰는 거예요. - 네.

3821
03:38:12,884 --> 03:38:16,462
스타트업이 워낙 많고, AI
스타트업에 프리미엄이 굉장히 높거든요.

3822
03:38:16,462 --> 03:38:19,649
그래서 그런 것들이 많이
나올 수도 있을 것 같아요,

3823
03:38:19,649 --> 03:38:22,837
네. - 100억 달러대
인수 같은 거요, 아마 1년

3824
03:38:22,837 --> 03:38:25,804
전쯤 창업한 스타트업치고는
정말 큰 금액이잖아요.

3825
03:38:25,804 --> 03:38:29,796
제 생각엔 Manus.ai요...
메타 출신이 창업한 싱가포르 기반

3826
03:38:29,796 --> 03:38:33,681
회사인데, 창업한 지 8개월 만에
20억 달러 규모로 엑싯했어요.

3827
03:38:33,681 --> 03:38:36,507
제 생각엔 다른 수십억
달러대 인수도 더 나올 것

3828
03:38:36,507 --> 03:38:39,229
같아요, 퍼플렉시티처럼요.
- 퍼플렉시티요? -

3829
03:38:39,229 --> 03:38:42,160
네, 사람들이 애플이
인수한다는 소문을 내고 있죠.

3830
03:38:42,160 --> 03:38:46,174
제 생각엔 AI 쪽에 압박과
유동성이 많은 것 같아요.

3831
03:38:46,174 --> 03:38:51,175
대기업들은 성과를 내야 한다는 압박을
받고 있고— 아마 대형 인수 하나가

3832
03:38:51,175 --> 03:38:55,925
나오면 다음 챕터를 얘기할 여지가
생기는 것 같아요. - 커서 얘기도

3833
03:38:55,925 --> 03:39:00,801
있죠, 코드 얘기를 계속 해왔으니—
누군가 커서를 인수한다면요... -

3834
03:39:00,801 --> 03:39:05,802
사용자 데이터를 그렇게 많이 갖고
있으니 정말 유리한 위치에 있는 거죠.

3835
03:39:05,802 --> 03:39:07,643
저희가 지속 학습 얘기도 했었잖아요.

3836
03:39:07,643 --> 03:39:11,076
블로그 글에 정말 흥미로운
문장이 하나 있었는데요,

3837
03:39:11,076 --> 03:39:14,142
새로 나온 Composer
모델이 중국산 대형

3838
03:39:14,142 --> 03:39:17,575
MoE 모델 중 하나를
파인튜닝한 거라는 거였어요.

3839
03:39:17,575 --> 03:39:20,903
물어보면 알 수 있거나, 아니면
모델이 가끔 중국어로 답하기도

3840
03:39:20,903 --> 03:39:24,328
해서 알 수 있는데— 미국 모델
중엔 그런 게 하나도 없잖아요.

3841
03:39:24,328 --> 03:39:28,094
블로그에 이런 글도 있었어요.
'저희는 사용자들의 실제 피드백을

3842
03:39:28,094 --> 03:39:31,538
바탕으로 90분마다 모델 가중치를
업데이트하고 있습니다.'

3843
03:39:31,538 --> 03:39:34,998
실제 세계에서 일어나는 RL에 가장
가까운 사례인 셈인데, 그냥 블로그

3844
03:39:34,998 --> 03:39:38,458
글 하나에 슬쩍 언급되고 지나갔더라고요—
- 그거 정말 대단하네요. -

3845
03:39:38,458 --> 03:39:41,829
진짜 멋지죠. - 그리고 참고로 저도
Composer 많이 쓰는데요,

3846
03:39:41,829 --> 03:39:45,111
장점 중 하나가 빠르다는 거예요.
- 다들 그렇게 말하니 저도 한번

3847
03:39:45,111 --> 03:39:48,571
써봐야겠네요. - 그리고 앞으로
IPO도 좀 나올 수 있을 것 같아요.

3848
03:39:48,571 --> 03:39:51,980
앤스로픽, 오픈AI, xAI를
말씀하시는 거죠. - 다들 자금을 너무

3849
03:39:51,980 --> 03:39:55,120
쉽게 많이 모을 수 있어서 굳이
그럴 필요를 못 느끼는 거예요.

3850
03:39:55,120 --> 03:39:57,452
자금 조달이 쉬운 한 상장은 안 할

3851
03:39:57,452 --> 03:40:00,152
거예요, 공개 시장은 압박을 가하니까요.

3852
03:40:00,152 --> 03:40:04,452
제 생각엔 중국에서는 생태계가 좀
다른 것 같아요, MiniMax랑

3853
03:40:04,452 --> 03:40:07,823
Z.ai 둘 다 IPO
서류를 제출하고 있는데, 중국

3854
03:40:07,823 --> 03:40:11,542
시장이 어떻게 반응할지 지켜보는
것도 흥미로울 것 같아요.

3855
03:40:11,542 --> 03:40:14,996
사실 아마 미국이랑 비슷하게
하이프가 낄 것 같아요,

3856
03:40:14,996 --> 03:40:18,092
이 흐름이 계속되는
동안에는요 — 둘 다 엄청난

3857
03:40:18,092 --> 03:40:21,070
돈을 잃고 있다는 현실에
근거한 게 아니라요.

3858
03:40:21,070 --> 03:40:23,576
거대한 미국 AI 스타트업들이
더 많이 상장했으면

3859
03:40:23,576 --> 03:40:26,175
좋겠어요. 돈을 어떻게
쓰는지 볼 수 있고 더 많은

3860
03:40:26,175 --> 03:40:29,145
인사이트도 얻을 수 있을 테니
정말 흥미로울 것 같거든요.

3861
03:40:29,145 --> 03:40:32,508
그리고 사람들이 이런 회사들에
투자할 수 있게 해준다는

3862
03:40:32,508 --> 03:40:35,647
의미도 있고요, 제 생각엔
이 회사들이 정말 만만치

3863
03:40:35,647 --> 03:40:38,786
않은 회사들이거든요—이
시대를 대표하는 회사들이죠.

3864
03:40:38,786 --> 03:40:41,230
그리고 요즘은 미국의
큰 스타트업 대부분이

3865
03:40:41,230 --> 03:40:43,249
상장을 안 하는 게 관행이 됐어요.

3866
03:40:43,249 --> 03:40:45,418
스트라이프의 IPO는
아직도 기다리고 있고,

3867
03:40:45,418 --> 03:40:47,496
데이터브릭스는 확실히
상장을 안 했잖아요.

3868
03:40:47,496 --> 03:40:50,367
시리즈 G인가 그 정도
라운드를 받았을걸요.

3869
03:40:50,367 --> 03:40:56,156
그리고 시장 입장에서는 좀 이상한 균형
상태인 것 같아요. 저는 이 회사들이

3870
03:40:56,156 --> 03:41:01,118
상장해서 기업으로서 성장해 가는
모습을 보고 싶거든요. - 10년

3871
03:41:01,118 --> 03:41:06,631
후에도 지금의 프론티어 모델 회사들이
몇 곳은 남아 있을 거라고 보세요?

3872
03:41:06,631 --> 03:41:10,008
앤스로픽, 오픈AI요? -
저는 확실히 승자독식이라고는

3873
03:41:10,008 --> 03:41:13,160
안 봐요, 이 중 한 곳이
정말로 어떤 알고리즘적인

3874
03:41:13,160 --> 03:41:16,762
비밀을 찾아내서 이 플라이휠을
돌리게 되는 게 아니라면요.

3875
03:41:16,762 --> 03:41:19,857
다들 개발 경로가 너무 비슷하거든요.

3876
03:41:19,857 --> 03:41:22,701
구글이랑 오픈AI는 제품군이
똑같고, 앤스로픽은

3877
03:41:22,701 --> 03:41:25,654
좀 더 집중돼 있긴 한데,
사람들이랑 얘기해 보면

3878
03:41:25,654 --> 03:41:28,716
결국 다들 비슷한 문제를
풀고 있는 것 같더라고요.

3879
03:41:28,716 --> 03:41:31,127
그러니까 제 생각엔... 여러
서비스들이 갈라져 나올 것 같아요.

3880
03:41:31,127 --> 03:41:35,610
이게 좀... 사람들이 거기서
돈을 벌어갈 만큼 엄청 큰 파이가

3881
03:41:35,610 --> 03:41:39,965
만들어지고 있달까요. - 이걸
너무 단순화하고 싶지는 않지만,

3882
03:41:39,965 --> 03:41:44,320
오픈AI랑 앤스로픽은 기본적으로
LLM 서비스 제공업체잖아요.

3883
03:41:44,320 --> 03:41:47,744
그리고 구글이나 X랑 연결된 xAI

3884
03:41:47,744 --> 03:41:51,528
같은 다른 회사들은 다른 것도 하고요.

3885
03:41:51,528 --> 03:41:56,550
그래서 AI가 더 상품화되면,
LLM만 제공하는 회사들은

3886
03:41:56,550 --> 03:42:01,411
사라질 가능성이 꽤 커요.
- 제 생각엔 그들의 강점은

3887
03:42:01,411 --> 03:42:05,947
사용자가 많다는 거고, 그냥
방향을 틀 것 같아요.

3888
03:42:05,947 --> 03:42:09,464
예를 들어 앤스로픽도, 제
생각엔, 방향을 튼 거고요.

3889
03:42:09,464 --> 03:42:13,944
원래부터 코드 쪽을 노렸던 건 아닌
것 같은데, "아, 이게 괜찮은

3890
03:42:13,944 --> 03:42:18,908
틈새구나. 이제 여기 자리 잡았으니
이쪽을 밀어붙이자" 하고 알아챈 거죠.

3891
03:42:18,908 --> 03:42:20,659
저도 똑같은 걸 볼 수
있을 것 같아요...

3892
03:42:20,659 --> 03:42:23,934
가정을 해보면요, 정말
그렇게 될지는 모르겠지만,

3893
03:42:23,934 --> 03:42:27,695
구글이 일반 챗봇 시장 점유율을
다 가져간다고 쳐볼게요.

3894
03:42:27,695 --> 03:42:31,686
그러면 오픈AI는 아마 다른
하위 분야에 집중할 것 같아요.

3895
03:42:31,686 --> 03:42:35,202
가까운 미래에 사라지기엔 사용자가
너무 많아요. - 제 생각엔

3896
03:42:35,202 --> 03:42:38,616
구글은 AI 모델에 있어서 늘
'내가 한 수 보여주지' 하고

3897
03:42:38,616 --> 03:42:41,822
뛰어들 준비가 되어 있는 것
같아요. - 저는 문제는 이

3898
03:42:41,822 --> 03:42:45,028
회사들이 그 밸류에이션을
감당할 수 있느냐인 것 같아요.

3899
03:42:45,028 --> 03:42:48,701
저는 AI 기업들이 어떤
면에서는 AWS, Azure,

3900
03:42:48,701 --> 03:42:52,007
GCP처럼 보이는 것
같아요 - 다 같은 공간에서

3901
03:42:52,007 --> 03:42:55,068
경쟁하면서도 다들 아주
성공적인 사업체잖아요.

3902
03:42:55,068 --> 03:42:58,284
API 시장이 워낙 수익성이
없어서, 이 회사들이 스택을

3903
03:42:58,284 --> 03:43:01,603
오르내리면서 제품이나 하드웨어
쪽으로 갈 가능성도 있어요.

3904
03:43:01,603 --> 03:43:04,300
현금이 워낙 많아서 발전소나
데이터센터까지 지을

3905
03:43:04,300 --> 03:43:06,685
수 있고, 그게 지금은
지속되는 강점이죠.

3906
03:43:06,685 --> 03:43:11,166
하지만 이 API들이 개발자들에게
워낙 가치 있고 유연해서

3907
03:43:11,166 --> 03:43:15,648
AWS 같은 존재가 되는 것도
합리적인 결과일 수 있어요.

3908
03:43:15,648 --> 03:43:20,090
그런데 AWS나 Azure도
결국 이런 API들을 갖추게 될

3909
03:43:20,090 --> 03:43:24,533
텐데, API 시장에서 대여섯
곳이 경쟁하는 건 힘들잖아요.

3910
03:43:24,533 --> 03:43:26,900
그래서 아마 그것 때문에
밀려나는 것일 수도 있어요.

3911
03:43:26,900 --> 03:43:29,268
- 아까 'RIP Llama'라는
말씀을 하셨는데요.

3912
03:43:29,268 --> 03:43:31,758
메타한테도 이길 수 있는 길이 있을까요?

3913
03:43:31,758 --> 03:43:34,022
- 글쎄요, 아무도 모를 것 같아요.

3914
03:43:34,022 --> 03:43:39,035
메타가 움직임이 많아서요,
이미지 생성 회사인 블랙 포레스트

3915
03:43:39,035 --> 03:43:44,048
랩스나 미드저니 같은 곳들이랑
라이선싱 계약을 맺고 있어요.

3916
03:43:44,048 --> 03:43:47,683
그러니까 제품이나 소비자
대상 AI 쪽에서는, 어떤

3917
03:43:47,683 --> 03:43:51,059
면에서는 아직 판단하기엔
너무 이른 것 같아요.

3918
03:43:51,059 --> 03:43:56,869
저커버그 곁에 뛰어나고 의욕도 아주
강한 사람들이 있는 것 같아요.

3919
03:43:56,869 --> 03:44:00,249
그래서 그쪽은 아직 이야기가 더
펼쳐질 여지가 있는 것 같아요.

3920
03:44:00,249 --> 03:44:03,680
Llama는 좀 다른
경우인데, 조직이 가장

3921
03:44:03,680 --> 03:44:07,110
집중해서 표현한 결과물이
Llama였거든요.

3922
03:44:07,110 --> 03:44:10,186
그리고 이제는 Llama가 그 정도로
지원받고 있는 것 같지는 않아요.

3923
03:44:10,186 --> 03:44:13,264
그들한테는 아주 성공적인
브랜드였다고 생각해요.

3924
03:44:13,264 --> 03:44:17,271
그래서 여전히 오픈 생태계에
참여하거나, Llama 브랜드를

3925
03:44:17,271 --> 03:44:21,035
다른 서비스로 이어갈 수도
있어요, 사람들이 Llama가

3926
03:44:21,035 --> 03:44:24,920
뭔지는 아니까요. - Llama
5가 나올 거라고 보세요?

3927
03:44:24,920 --> 03:44:28,441
- 오픈 웨이트로는 아닐
것 같아요. - 흥미롭네요.

3928
03:44:28,441 --> 03:44:33,213
저는 Llama가 오픈 웨이트
모델의 선구자였다고 생각해요.

3929
03:44:33,213 --> 03:44:37,111
Llama 1, 2, 3까지는
사랑을 많이 받았죠.

3930
03:44:37,111 --> 03:44:41,035
근데 그다음엔, 이건
가설이고 추측인데요,

3931
03:44:41,035 --> 03:44:45,129
메타의 리더들, 그러니까
고위 임원들이 그…

3932
03:44:45,129 --> 03:44:47,565
제 생각엔 커뮤니티에서
Llama가 얼마나 인기

3933
03:44:47,565 --> 03:44:49,720
있는지 보고 다들 엄청
들떴던 것 같아요.

3934
03:44:49,720 --> 03:44:54,448
그러다 문제는, 이를테면 오픈소스를
수익화하려던 게—아니 수익화가

3935
03:44:54,448 --> 03:44:59,177
아니라, 그걸로 더 크게 주목받으려
했던 게 문제였던 것 같아요.

3936
03:44:59,177 --> 03:45:04,385
Llama 4 같은 아주 큰
모델들을 개발해서 벤치마크

3937
03:45:04,385 --> 03:45:09,073
1위를 차지하려던 게 거의
억지스럽게 느껴졌어요.

3938
03:45:09,073 --> 03:45:11,939
근데 저는 Llama 모델의
목표가 ChatGPT나 다른

3939
03:45:11,939 --> 03:45:15,174
모델들을 이기고 벤치마크 1위를
하는 거라고는 생각하지 않아요.

3940
03:45:15,174 --> 03:45:17,740
제 생각엔 목표는 사람들이 쓸
수 있고, 신뢰할 수 있고,

3941
03:45:17,740 --> 03:45:20,306
수정할 수 있고, 이해할 수
있는 모델을 만드는 거였어요.

3942
03:45:20,306 --> 03:45:22,162
그러니까 거기엔 더 작은
모델들도 포함되는 거고요.

3943
03:45:22,162 --> 03:45:23,936
꼭 최고의 모델일 필요는 없다는 거죠.

3944
03:45:23,936 --> 03:45:28,052
근데 실제로 있었던 일은, 이
모델들이, 물론… 벤치마크에서

3945
03:45:28,052 --> 03:45:31,919
잘 나오도록 선호도로 특별히
학습된 모델들이 있다 보니,

3946
03:45:31,919 --> 03:45:35,661
벤치마크상으로는 실제보다 더
나아 보이게 된 거였어요.

3947
03:45:35,661 --> 03:45:37,138
그게 어느 정도는, 그러니까 억지로

3948
03:45:37,138 --> 03:45:38,848
최고로 만들려는 이런 과적합 같은 거죠.

3949
03:45:38,848 --> 03:45:43,087
근데 동시에, 사람들이 쓸 수 있는
작은 모델은 안 만들었던 거고요.

3950
03:45:43,087 --> 03:45:45,726
그래서 그땐 아무도 이 큰 모델들을
돌릴 수 없었던 것 같아요.

3951
03:45:45,726 --> 03:45:47,733
그러다 좀 이상한 일이 벌어졌죠.

3952
03:45:47,733 --> 03:45:50,607
제 생각엔 그냥 사람들이
최전선을 밀어붙이는

3953
03:45:50,607 --> 03:45:53,241
헤드라인에 너무 들떠서 그런 것 같아요.

3954
03:45:53,241 --> 03:45:56,373
그게 다인 것 같아요.
- 벤치마킹 쪽에 너무

3955
03:45:56,373 --> 03:46:00,131
치우쳤고요. - 일이 너무
많아진 거죠. - 내부 정치

3956
03:46:00,131 --> 03:46:03,513
싸움과 어긋난 인센티브
속에서 무너진 것 같아요.

3957
03:46:03,513 --> 03:46:07,683
연구자들은 최고의 모델을 만들고 싶어
하는데, 그 위에 조직—…그러니까

3958
03:46:07,683 --> 03:46:11,319
이런 성과를 냈다는 걸 보여주려
하는 경영진 층이 있는 거죠.

3959
03:46:11,319 --> 03:46:19,586
그리고 예를 들어 끔찍한 기술적 결정이
내려졌다는 식의 소문들도 있고요.

3960
03:46:19,586 --> 03:46:24,133
그냥 너무 안 좋아져서 다
무너져 내린 것 같아요. -

3961
03:46:24,133 --> 03:46:28,983
근데 마크 저커버그한테는 큰
박수를 보내야 할 것 같아요.

3962
03:46:28,983 --> 03:46:32,572
제 생각엔 이게 실제로
마크한테서, 마크 저커버그한테서,

3963
03:46:32,572 --> 03:46:36,160
리더십 최상단에서 나온 거예요,
오픈소스가 중요하다고요.

3964
03:46:36,160 --> 03:46:40,515
그런 리더십이 있다는 사실 자체가
Llama 5가 나올 수 있다는

3965
03:46:40,515 --> 03:46:45,353
뜻이에요, 벤치마킹에서 얻은 교훈을
살려서 "우리는 gpt-oss처럼—"

3966
03:46:45,353 --> 03:46:49,949
"…정말 훌륭한 오픈소스 라이브러리를
제공하겠다"고 말하는 거죠. -

3967
03:46:49,949 --> 03:46:54,667
사람들이 하는 말로는, 마크랑 알렉산더
왕 사이에 논쟁이 있다고 해요.

3968
03:46:54,667 --> 03:46:59,505
왕도 아주 똑똑한 사람인데, 오픈소스에는
훨씬 더 반대하는 입장이라고요.

3969
03:46:59,505 --> 03:47:02,958
근데 그 사람이 AI 조직에
그만큼 큰 영향력을 갖고

3970
03:47:02,958 --> 03:47:06,648
있다면, 가능성은 훨씬 낮아
보여요. 마크가 AI 방향을

3971
03:47:06,648 --> 03:47:10,577
이끌 새로운 시각을 주려고 그
사람을 데려온 것 같으니까요.

3972
03:47:10,577 --> 03:47:13,274
그리고 만약 오픈이냐
클로즈드냐가 더 이상 모델의

3973
03:47:13,274 --> 03:47:16,071
결정적인 특징이 아니게
된다면, 그게 마크랑 알렉스

3974
03:47:16,071 --> 03:47:19,168
사이의 결정적인 논쟁거리가
될 거라고는 기대하지 않아요.

3975
03:47:19,168 --> 03:47:23,685
둘 다 아주 똑똑한 사람들인데,
저는 이 모든 걸 이해하기가

3976
03:47:23,685 --> 03:47:27,518
좀 어려워요. 왜냐하면
마크가 2024년 7월에 쓴

3977
03:47:27,518 --> 03:47:32,172
글이—그때 아마 최고의 블로그
글이었을 텐데—「The Case

3978
03:47:32,172 --> 03:47:36,142
for Open Source
AI」라는 글이었거든요.

3979
03:47:36,142 --> 03:47:38,591
그러다 2025년 7월이
되니까 '오픈소스와의

3980
03:47:38,591 --> 03:47:41,137
관계를 재검토하고 있다'는
얘기가 나온 거예요.

3981
03:47:41,137 --> 03:47:44,838
그러니까 그냥 좀... - 근데 제
생각엔 문제도 있는 것 같은데...

3982
03:47:44,838 --> 03:47:47,543
문제였다기보다는, 음,
저희가 좀 너무 가혹했던 게

3983
03:47:47,543 --> 03:47:50,442
아닌가 싶어요. 그게 어느
정도 원인이 된 것 같고요.

3984
03:47:50,442 --> 03:47:54,182
왜냐하면 저희, 그러니까 오픈소스
개발자로서든 커뮤니티로서든...

3985
03:47:54,182 --> 03:47:57,214
그 모델이 어쩌면 다들
기대했던 만큼은 아니었을

3986
03:47:57,214 --> 03:48:00,013
수도 있지만, 그래도
반발은 엄청 컸거든요.

3987
03:48:00,013 --> 03:48:03,958
제 생각엔 그게 좀 안타까웠던
것 같아요. 회사 입장에서는

3988
03:48:03,958 --> 03:48:07,410
긍정적인 헤드라인을 기대했을
거라는 게 보이거든요.

3989
03:48:07,410 --> 03:48:10,686
그런데 헤드라인이 아예
없거나 긍정적인 헤드라인이

3990
03:48:10,686 --> 03:48:14,205
나오는 대신, 오히려 부정적인
헤드라인이 나온 거죠.

3991
03:48:14,205 --> 03:48:17,742
그러다 보니 회사 이미지에도
좀 안 좋게 반영된 거고요.

3992
03:48:17,742 --> 03:48:22,779
제 생각엔 그것도 일종의 삐진 반응
같은 거예요. 거의 이런 식으로요.

3993
03:48:22,779 --> 03:48:27,945
'우리는 좋은 일을 해보려고 했어요,
오픈소스 모델 같은 멋진 걸 주려고

3994
03:48:27,945 --> 03:48:32,982
했는데, 이제 와서 우리한테, 심지어
회사한테까지 부정적으로 구네요.'

3995
03:48:32,982 --> 03:48:34,945
그런 의미에서는,
'그럼 우리도 마음을 좀

3996
03:48:34,945 --> 03:48:36,822
바꿔야겠어요' 이렇게 된 것처럼 보여요.

3997
03:48:36,822 --> 03:48:37,583
아마 그런 것 같아요.

3998
03:48:37,583 --> 03:48:42,557
잘 모르겠어요. - 맞아요,
그게 바로 X 담론의 역학이

3999
03:48:42,557 --> 03:48:48,012
커뮤니티로서 우리를 엉뚱한 방향으로
이끌 수 있는 지점이에요.

4000
03:48:48,012 --> 03:48:49,721
가끔은 그냥 무작위처럼 느껴지거든요.

4001
03:48:49,721 --> 03:48:52,324
사람들이 좋아하고 싫어하는
걸 그냥 골라잡는 거예요.

4002
03:48:52,324 --> 03:48:55,713
그러니까, Grok
4.1이랑 Grok Code

4003
03:48:55,713 --> 03:48:59,101
Fast 1.0에서도
똑같은 걸 볼 수 있어요.

4004
03:48:59,101 --> 03:49:05,405
바이브 자체는, 사람들이 공개적으로
딱히 좋아하는 것 같지는 않아요.

4005
03:49:05,405 --> 03:49:09,702
근데 실제로 쓰는 사람은 많거든요.

4006
03:49:09,702 --> 03:49:14,083
그래서 레딧이나 X를 보면,
프로그래밍 커뮤니티에서

4007
03:49:14,083 --> 03:49:17,682
딱히 칭찬은 안 하는데
그래도 쓰긴 써요.

4008
03:49:17,682 --> 03:49:19,779
아마 Llama도 마찬가지일 거예요.

4009
03:49:19,779 --> 03:49:23,439
긍정적 하이프든 부정적 하이프든,
그 역학을 저는 잘 이해가 안 가요.

4010
03:49:23,439 --> 03:49:28,028
저도 이해가 안 가요. - 그러니까,
2025년 이야기 중 하나가 미국이

4011
03:49:28,028 --> 03:49:32,274
Llama의 공백을 메우는 건데,
그게 바로 이 중국산 오픈 웨이트

4012
03:49:32,274 --> 03:49:36,634
모델들의 부상이거든요. 그 정도로
최근 제가 제일 많은 에너지를 쏟은

4013
03:49:36,634 --> 03:49:41,108
이슈가, 미국이 여기에 투자하도록
정책 작업을 하는 거였어요. - 그럼

4014
03:49:41,108 --> 03:49:45,468
ATOM 프로젝트 얘기 좀 해주시겠어요?
- ATOM 프로젝트는 원래

4015
03:49:45,468 --> 03:49:50,058
제가 '아메리칸 딥시크 프로젝트'라고
부르던 데서 시작했는데, 그 이름은

4016
03:49:50,058 --> 03:49:54,533
워싱턴 정가에는 잘 안 통하더라고요.
그래도 이게 제 커리어에서 할 수

4017
03:49:54,533 --> 03:49:59,122
있는 가장 임팩트 있는 일의 스토리예요.
이 중국산 오픈 웨이트 모델들이

4018
03:49:59,122 --> 03:50:03,367
엄청난 영향력을 키우고 있고, 이런
오픈 모델 위에 뭔가를 만들려는

4019
03:50:03,367 --> 03:50:07,613
수요도 많거든요. 특히 중국 모델을
꺼리는 미국 기업들 사이에서 더

4020
03:50:07,613 --> 03:50:12,202
그렇고요. - ATOM 프로젝트, 즉
American Truly Open

4021
03:50:12,202 --> 03:50:16,333
Models는 중국의 빠르게 앞서가는
오픈소스 AI 생태계에 맞서

4022
03:50:16,333 --> 03:50:20,807
경쟁하고 따라잡는 것을 목표로,
고품질의 진짜 오픈 웨이트 AI 모델과

4023
03:50:20,807 --> 03:50:25,282
이를 뒷받침하는 인프라를 미국에서
구축하고 호스팅하는 이니셔티브입니다.

4024
03:50:25,282 --> 03:50:29,642
- 한 문장으로 요약하면... 아니,
두 문장 정도가 될 것 같아요.

4025
03:50:29,642 --> 03:50:32,506
하나는, 오픈 모델이 AI
연구의 엔진이 될 거라는

4026
03:50:32,506 --> 03:50:35,369
명제예요. 사람들이 바로
그걸로 시작하니까, 그래서

4027
03:50:35,369 --> 03:50:37,926
그걸 우리가 갖고 있는
게 중요하다는 거고요.

4028
03:50:37,926 --> 03:50:42,510
그리고 두 번째는, 그러니까 미국이
최고의 모델을 만들어야 한다는

4029
03:50:42,510 --> 03:50:46,839
거예요. 그래야 최고의 연구가
미국에서 일어나고, AI 연구의

4030
03:50:46,839 --> 03:50:51,805
본거지라는 자리에서 나오는 가치를
미국 기업들이 가져갈 수 있으니까요.

4031
03:50:51,805 --> 03:50:55,470
오픈 모델에 투자를 더 하지
않으면요, 저희 웹사이트에

4032
03:50:55,470 --> 03:50:59,502
그래프가 있는데 보면 그냥
'Qwen, Qwen, Qwen,

4033
03:50:59,502 --> 03:51:03,045
Qwen'이에요. 전부 이
중국 회사들이 만든 뛰어난

4034
03:51:03,045 --> 03:51:06,832
모델들인데, 그게 국제적으로
영향력을 키우고 있는 거죠.

4035
03:51:06,832 --> 03:51:10,766
제 생각엔 미국이 AI에 훨씬
더 많은 돈을 쓰고 있고요,

4036
03:51:10,766 --> 03:51:14,576
폐쇄형 연구소들의 최전선보다
한 세대 뒤처진 수준의 오픈

4037
03:51:14,576 --> 03:51:18,756
모델을 만드는 데 드는 비용이
대략 1억 달러 정도인데, 이게

4038
03:51:18,756 --> 03:51:22,935
큰돈이긴 해도 이 회사들 입장에서는
그렇게 큰돈이 아니거든요.

4039
03:51:22,935 --> 03:51:25,197
그래서 이 일을 하고 싶어 하는 사람들을

4040
03:51:25,197 --> 03:51:27,047
하나로 모으는 구심점이 필요해요.

4041
03:51:27,047 --> 03:51:31,938
저는 정책이든 뭐든 전방위적으로
사람들의 호응을 얻었다고 생각해요.

4042
03:51:31,938 --> 03:51:36,697
- 그럼 행정부 쪽에서도 지지가
있었다는 건가요? - 정부 안에서

4043
03:51:36,697 --> 03:51:41,323
공식적으로 이름을 밝힌 사람은
없는 것 같은데, 바이든 행정부와

4044
03:51:41,323 --> 03:51:45,950
트럼프 행정부 양쪽에서 AI
정책을 다뤄본 사람들 중에 미국 내

4045
03:51:45,950 --> 03:51:50,841
오픈소스 모델 확산을 아주 지지하는
분들이 있다는 건 알고 있어요.

4046
03:51:50,841 --> 03:51:55,264
예를 들어 Ai2가 미국
국립과학재단(NSF)에서 4년간 1억

4047
03:51:55,264 --> 03:51:59,686
달러 규모의 그랜트를 받았는데,
이게 NSF 사상 최대 규모의

4048
03:51:59,686 --> 03:52:03,979
전산학 그랜트예요. Ai2더러
이 일을 한번 해보라는 거죠.

4049
03:52:03,979 --> 03:52:05,542
일단 시작점인 거예요.

4050
03:52:05,542 --> 03:52:09,541
하지만 가장 좋은 건 여러 조직이
함께 모델을 만드는 거예요.

4051
03:52:09,541 --> 03:52:13,422
그래야 아이디어가 서로 오가면서
이 생태계가 만들어지거든요.

4052
03:52:13,422 --> 03:52:16,279
Llama 혼자만 모델을
내놓는 구조로는 안 될

4053
03:52:16,279 --> 03:52:19,356
것 같아요. Llama도
언제 사라질지 모르니까요.

4054
03:52:19,356 --> 03:52:25,398
Ai2도 마찬가지예요. 저 혼자만
모델을 만들어서는 안 되죠.

4055
03:52:25,398 --> 03:52:28,922
그러다 보니 정책
쪽이든 어디든, 사람들과

4056
03:52:28,922 --> 03:52:32,139
이야기하는 데 시간을 많이 쓰게 돼요…

4057
03:52:32,139 --> 03:52:34,526
엔비디아도 이 부분에 꽤 열의를
보이고 있는 걸로 알아요.

4058
03:52:34,526 --> 03:52:37,517
젠슨 황도 이 문제의 시급성을
계속 이야기해온 것 같고,

4059
03:52:37,517 --> 03:52:40,605
2025년 들어 엔비디아가 훨씬
더 많은 걸 하고 있는데,

4060
03:52:40,605 --> 03:52:43,307
Nemotron 모델이 그
중심에 있는 것 같아요.

4061
03:52:43,307 --> 03:52:46,596
엔비디아 오픈모델과 함께
데이터도 일부 공개하기

4062
03:52:46,596 --> 03:52:50,392
시작했는데, 이 정도 규모의
회사가 그렇게 하는 경우는

4063
03:52:50,392 --> 03:52:54,061
거의 없거든요. 그러니까
진전의 조짐이 보이는 거죠.

4064
03:52:54,061 --> 03:52:58,103
Reflection AI
얘기도 나오는데, 20억 달러

4065
03:52:58,103 --> 03:53:02,144
규모의 펀딩을 미국 오픈모델
구축에 쓰겠다고 했고, 그

4066
03:53:02,144 --> 03:53:06,186
발표 트윗도 꼭 블로그 글처럼
쓰여 있잖아요, 그렇죠?

4067
03:53:06,186 --> 03:53:10,712
그런 문화적 흐름이 바뀌기
시작하는 것 같아요.

4068
03:53:10,712 --> 03:53:14,362
7월에 딥시크급 중국 오픈
웨이트 모델이 네다섯

4069
03:53:14,362 --> 03:53:18,011
개나 나왔는데, 미국에서는
하나도 안 나왔어요.

4070
03:53:18,011 --> 03:53:21,005
바로 그 순간에 깨달았죠.
'아, 이건 내가 에너지를

4071
03:53:21,005 --> 03:53:24,206
쏟아야겠구나, 어차피 다른
사람은 안 할 테니까'라고요.

4072
03:53:24,206 --> 03:53:27,905
그러니까 많은 사람이 함께
기여해야 하는 일이에요. ATOM

4073
03:53:27,905 --> 03:53:31,603
프로젝트 자체가 이 생태계를
움직이는 전부라는 뜻은 아니고,

4074
03:53:31,603 --> 03:53:35,526
저 같은 사람들이 이런 일을
하면서 입소문을 내는 게 중요하다는

4075
03:53:35,526 --> 03:53:39,225
거죠. - 2025년 미국 AI
액션 플랜은 마음에 드세요?

4076
03:53:39,225 --> 03:53:41,176
거기에 오픈소스 관련
내용도 들어 있잖아요.

4077
03:53:41,176 --> 03:53:45,104
백악관 AI 액션 플랜에는
'오픈소스 및 오픈 웨이트 AI

4078
03:53:45,104 --> 03:53:49,032
장려'라는 별도 섹션이 있습니다.
이런 모델들을 정의하면서

4079
03:53:49,032 --> 03:53:53,083
혁신과 스타트업에 고유한 가치가
있다고 주장합니다. - 네.

4080
03:53:53,083 --> 03:53:56,987
그러니까 AI 액션 플랜은
어디까지나 계획일 뿐이지만,

4081
03:53:56,987 --> 03:54:01,151
전반적으로는 이 행정부에서 나온
정책 문서 중 가장 일관성

4082
03:54:01,151 --> 03:54:05,315
있는 문서인 것 같고, 대체로
잘 성공하길 바라고 있어요.

4083
03:54:05,315 --> 03:54:08,225
AI 액션 플랜 작업에 참여했던
분들도 알고 있는데, 정책을

4084
03:54:08,225 --> 03:54:10,958
실제로 구현하는 게 얼마나
어려운 일인지도 알고 있어요.

4085
03:54:10,958 --> 03:54:14,072
AI 연구자인 저로서는 그걸
어떻게 하는지 전혀 모르겠지만,

4086
03:54:14,072 --> 03:54:17,092
그 안에 담긴 내용 대부분은
꽤 현실적이었고, 실제로 미국

4087
03:54:17,092 --> 03:54:20,017
전역에서 AI 인프라 구축이
엄청나게 이뤄지고 있잖아요.

4088
03:54:20,017 --> 03:54:23,558
물 사용 문제부터 이것저것,
사람들이 듣는 이슈들이

4089
03:54:23,558 --> 03:54:27,352
많은데, 우리는 이 나라
안에서 뭔가를 지을 수 있어야

4090
03:54:27,352 --> 03:54:31,399
하지만, 동시에 그 과정에서
우리 지역을 망가뜨리지 않아야

4091
03:54:31,399 --> 03:54:35,193
하고, 그건 에너지를 쏟을
만한 가치가 있는 일이에요.

4092
03:54:35,193 --> 03:54:37,829
그건 연방정부가 해야
할 역할이라고 생각해요.

4093
03:54:37,829 --> 03:54:38,866
의제를 설정하는 거죠.

4094
03:54:38,866 --> 03:54:43,357
그리고 AI에서는, 오픈 웨이트를
최우선으로 고려해야 한다는 의제를

4095
03:54:43,357 --> 03:54:47,726
설정하는 것 자체가 정부가 할 수
있는 일의 큰 부분이고, 그러면

4096
03:54:47,726 --> 03:54:52,459
사람들이 그걸 생각하게 되는 거예요.
- 그리고 이런 회사들의 교육이나

4097
03:54:52,459 --> 03:54:57,193
인재 양성 측면에서도 정말 중요한데,
그렇지 않고 폐쇄형 모델만 있으면

4098
03:54:57,193 --> 03:55:01,562
다음 세대 사람들이 어느 시점에
기여하는 법을 어떻게 배우겠어요?

4099
03:55:01,562 --> 03:55:08,214
안 그러면 회사에 들어간 다음에야
배울 수 있게 될 테니까요.

4100
03:55:08,214 --> 03:55:11,653
근데 그 시점에서는, 재능 있는
사람들을 어떻게 채용하나요?

4101
03:55:11,653 --> 03:55:13,366
재능 있는 사람들을 어떻게 알아보나요?

4102
03:55:13,366 --> 03:55:18,084
제 생각엔 오픈소스가 여러 가지
면에서 필수적인데, 그냥 대중을

4103
03:55:18,084 --> 03:55:22,398
교육하고 다음 세대 연구자들을
길러내는 데만 봐도 그래요.

4104
03:55:22,398 --> 03:55:25,465
그게 방법이에요, 아니 유일한
방법이겠죠. - 이걸 좀 더

4105
03:55:25,465 --> 03:55:28,532
화제가 되게 만들 수 있었던
방법은, 중국 AI가 권위주의

4106
03:55:28,532 --> 03:55:31,886
국가와 결합해서 ASI가 되어
세계를 장악한다는 이야기를 하고,

4107
03:55:31,886 --> 03:55:35,241
그래서 우리만의 미국산 모델이
필요하다고 말하는 거였을 거예요.

4108
03:55:35,241 --> 03:55:40,143
근데 제가 미국의 혁신과 과학을
얘기하는 건 아주 의도적인

4109
03:55:40,143 --> 03:55:45,198
거예요, 그게 결과로서 더
현실적이라고 생각하기도 하고, 또

4110
03:55:45,198 --> 03:55:50,559
제가 실현하고 싶은 세상이기도
하니까요. - 그래도 저는, 어떤

4111
03:55:50,559 --> 03:55:55,461
오픈 웨이트 모델이든 가치 있는
모델이라고 봐요. - 네.

4112
03:55:55,461 --> 03:55:58,575
그리고 제 주장은, 우리가 선두
위치에 있어야 한다는 거예요.

4113
03:55:58,575 --> 03:56:02,066
근데 이건 말할 가치가
있다고 봐요, AI 생태계

4114
03:56:02,066 --> 03:56:06,074
안에는 여전히 안전 위험
때문에 오픈모델 공개를 금지하는

4115
03:56:06,074 --> 03:56:09,565
걸 고려해야 한다고 말하는
목소리들이 있으니까요.

4116
03:56:09,565 --> 03:56:13,534
그리고 덧붙이자면, 사실상 그건
미국이 자체적으로 '만리방화벽'

4117
03:56:13,534 --> 03:56:17,503
같은 걸 만들지 않고서는 불가능한
일이에요. 근데 그것도 그다지

4118
03:56:17,503 --> 03:56:21,585
잘 안 통한다고 알려져 있고요,
왜냐하면 이런 모델들을 학습시키는

4119
03:56:21,585 --> 03:56:25,667
비용이 100만 달러에서 1억 달러
수준이라, 영향력을 갖고 싶어

4120
03:56:25,667 --> 03:56:29,749
하는 전 세계의 아주 많은 사람들이
감당할 수 있는 수준이거든요.

4121
03:56:29,749 --> 03:56:33,491
그래서 결국 이런 모델들은 전
세계 곳곳에서 학습될 거예요.

4122
03:56:33,491 --> 03:56:38,187
그리고 우리는 이 모델들이...
특히, 그러니까, 안전 문제가 있긴

4123
03:56:38,187 --> 03:56:42,376
하지만, 이 정보와 도구들이
전 세계를 자유롭게 오가고 미국

4124
03:56:42,376 --> 03:56:46,945
안으로도 흘러 들어와서 사람들이
쓰고 배울 수 있었으면 하거든요.

4125
03:56:46,945 --> 03:56:51,103
그걸 막으려면 우리 인터넷 전체를
재구성해야 할 텐데, 그건 불가능해

4126
03:56:51,103 --> 03:56:55,042
보여요. - 그럼 어떻게 보면,
중국의 대형 오픈 웨이트 모델들이

4127
03:56:55,042 --> 03:56:58,653
미국 회사들 입장에서는 오히려
좋은 걸 수도 있다고 보세요?

4128
03:56:58,653 --> 03:57:02,728
왜냐하면 아까 말씀하신 미국 회사들은,
자기들이 실제로 쓰는 것에 비해

4129
03:57:02,728 --> 03:57:06,698
오픈소스로 공개하는 건 아마 보통
한 세대 정도 뒤처진 게 아닐까요?

4130
03:57:06,698 --> 03:57:09,775
예를 들어 gpt-oss가
최첨단 모델이 아닐 수도 있고요.

4131
03:57:09,775 --> 03:57:11,791
Gemini 3도 마찬가지일
수 있는데, 그렇게 하는

4132
03:57:11,791 --> 03:57:13,877
이유는 이건 공개해도 안전하다는
걸 알기 때문이잖아요.

4133
03:57:13,877 --> 03:57:17,722
근데 그러다가 이 회사들이, 예를
들어 DeepSeek-V3.2

4134
03:57:17,722 --> 03:57:21,018
같은 게 정말 대단한데 그게
실제로 쓰이고 있고 별다른

4135
03:57:21,018 --> 03:57:24,313
반발도 없고 보안 위험도
없다는 걸 보면, 그게 또 이

4136
03:57:24,313 --> 03:57:27,719
회사들이 더 나은 모델을
공개하도록 부추길 수 있잖아요.

4137
03:57:27,719 --> 03:57:30,951
어떻게 보면 그게 아주 긍정적인
일일 수도 있고요. - 100%요.

4138
03:57:30,951 --> 03:57:34,568
이 중국 회사들이 뭔가를 움직이게
만든 거죠, 만약 이들이 다

4139
03:57:34,568 --> 03:57:38,186
같이 모델을 공개하지 않았다면
아마 일어나지 않았을 일들을요.

4140
03:57:38,186 --> 03:57:43,486
그래서 제 생각엔, 리더십 선에서
그런 논의가 거의 확실히 있었을

4141
03:57:43,486 --> 03:57:48,345
거예요. - 세상에서 지배적인
AI 모델들이 전부 오픈소스인

4142
03:57:48,345 --> 03:57:53,645
미래가 가능할까요? - 어떤 진전
궤적을 예상하느냐에 달려 있죠.

4143
03:57:53,645 --> 03:57:58,018
몇 년 안에 진전이 포화 상태에
이를 거라고 본다면, 그러니까 자금

4144
03:57:58,018 --> 03:58:02,273
지원이 아직 아주 좋은 그 시기
안에요, 그러면 오픈모델들이 워낙

4145
03:58:02,273 --> 03:58:06,291
최적화되고 돌리는 비용도 훨씬
저렴해져서 결국 승리할 거예요.

4146
03:58:06,291 --> 03:58:10,821
이건 다시 오픈소스 아이디어로 돌아가는
건데, 훨씬 더 많은 사람들이

4147
03:58:10,821 --> 03:58:15,232
이런 오픈 웨이트 공통 아키텍처들을
서빙하는 걸 최적화하는 데 돈을

4148
03:58:15,232 --> 03:58:19,882
쓰게 되면, 그게 결국 표준이 되고,
그러면 거기에 특화된 칩까지 나올

4149
03:58:19,882 --> 03:58:24,651
수 있어서, 커스텀으로 만드는 이
폐쇄형 회사들의 제품보다 훨씬 저렴해질

4150
03:58:24,651 --> 03:58:29,181
거예요. - 짚고 넘어가자면, AI
2027 리포트가 서사적 관점에서

4151
03:58:29,181 --> 03:58:33,473
어느 정도 예측하는 게, 중앙집중화가
많이 일어날 거라는 거예요.

4152
03:58:33,473 --> 03:58:37,158
AI 시스템이 점점 더
똑똑해질수록 국가 안보 우려가

4153
03:58:37,158 --> 03:58:41,098
불거지고, 연구소들을
중앙집중화하게 되고, 다들 엄청나게

4154
03:58:41,098 --> 03:58:44,529
비밀스러워지고, 완전히
경쟁 구도가 될 거예요 -

4155
03:58:44,529 --> 03:58:48,722
...군사적 관점에서, 어떻게...
중국과 미국 사이에서요.

4156
03:58:48,722 --> 03:58:52,166
그래서 우리가 지금 나누고
있는 이 LLM에 대한

4157
03:58:52,166 --> 03:58:55,356
재밌는 대화들이 전부...
장군들이랑 병사들이

4158
03:58:55,356 --> 03:58:58,800
방에 들어와서 이렇게
말하게 될 거예요. '자.'

4159
03:58:58,800 --> 03:59:02,199
'우리는 이제 이 모든 것의
맨해튼 프로젝트 단계에

4160
03:59:02,199 --> 03:59:05,598
들어와 있다.' - 제
생각엔 2025년, 26년,

4161
03:59:05,598 --> 03:59:09,118
27년에는 그런 일이 조금도
가능할 것 같지 않아요.

4162
03:59:09,118 --> 03:59:11,829
컴퓨터에 대해서도 똑같은
논리를 펼 수 있잖아요?

4163
03:59:11,829 --> 03:59:14,550
'컴퓨터는 성능이 있으니까 일반 대중이

4164
03:59:14,550 --> 03:59:17,401
가지면 안 된다'고 말할 수도 있잖아요.

4165
03:59:17,401 --> 03:59:20,079
칩도 마찬가지죠, AI
칩도요. 근데 지금

4166
03:59:20,079 --> 03:59:22,640
화웨이가 칩을 만드는 거 보면 알잖아요.

4167
03:59:22,640 --> 03:59:26,043
몇 년 걸리긴 했지만... 그런 지식은

4168
03:59:26,043 --> 03:59:29,122
어차피 봉쇄할 방법이 없다고 봐요.

4169
03:59:29,122 --> 03:59:35,196
요즘 시대엔 불가능하다고
봐요, 인터넷처럼요.

4170
03:59:35,196 --> 03:59:39,097
이건 가능성이 없다고 봐요. -
맨해튼 프로젝트 얘기가 나와서

4171
03:59:39,097 --> 03:59:42,883
말인데, 오픈모델을 위한 맨해튼
프로젝트 같은 게 있다면 꽤

4172
03:59:42,883 --> 03:59:46,784
합리적일 것 같아요. 그렇게
비용이 많이 들진 않을 테니까요.

4173
03:59:46,784 --> 03:59:48,822
근데 그런 건 결국 나올 거라고 봐요.

4174
03:59:48,822 --> 03:59:51,495
문화적으로 보면 기업들이
변하고 있는 것 같아요.

4175
03:59:51,495 --> 03:59:54,400
근데 그 부분은 전부
세바스찬 말씀에 동의해요.

4176
03:59:54,400 --> 03:59:56,590
그런 일이 일어날 것 같지도 않고,

4177
03:59:56,590 --> 03:59:59,240
도움이 될 것 같지도
않아요. - 맞아요.

4178
03:59:59,240 --> 04:00:04,026
맨해튼 프로젝트의 동기가 됐던
건 문명 차원의 위험이었잖아요.

4179
04:00:04,026 --> 04:00:07,895
오픈소스 모델에는 그런
동기를 대기가 더 어렵죠. -

4180
04:00:07,895 --> 04:00:11,497
문명 차원의 위험이랄 게
없으니까요. - 하드웨어

4181
04:00:11,497 --> 04:00:15,499
얘기로 넘어가면, 엔비디아
얘기를 여러 번 했었잖아요.

4182
04:00:15,499 --> 04:00:19,072
젠슨 황과 엔비디아가 앞으로도
계속 이길 거라고 보세요? -

4183
04:00:19,072 --> 04:00:22,862
제 생각엔 계속 반복 개선하고
대량으로 생산해야 할 것 같아요.

4184
04:00:22,862 --> 04:00:27,076
그리고 아마도... 지금
하는 방식대로 혁신은

4185
04:00:27,076 --> 04:00:32,134
계속하겠지만, 누군가 근본적으로
다른 걸 시도하다 운이

4186
04:00:32,134 --> 04:00:37,528
아주 좋아서 뭔가 해내는 경우가
늘 있을 수 있다고 봐요.

4187
04:00:37,528 --> 04:00:40,154
근데 문제는 채택이에요.

4188
04:00:40,154 --> 04:00:43,575
엔비디아의 해자(moat)는 아마
GPU 자체만은 아닐 거예요.

4189
04:00:43,575 --> 04:00:48,106
CUDA 생태계에 더 가깝고, 그게
20년에 걸쳐 발전해온 거죠.

4190
04:00:48,106 --> 04:00:53,299
제가 대학원생이던 시절에도, 생물물리
시뮬레이션이랑 분자동역학을 하는

4191
04:00:53,299 --> 04:00:58,356
연구실에 있었는데, 그때도 계산용으로
Tesla GPU가 있었어요.

4192
04:00:58,356 --> 04:01:00,823
지금으로 치면 한 15년 전이네요.

4193
04:01:00,823 --> 04:01:05,142
그걸 오랫동안 쌓아온
거고, 그게 해자라고 봐요.

4194
04:01:05,142 --> 04:01:08,599
칩 자체는 아니에요, 물론 반복 개선하고

4195
04:01:08,599 --> 04:01:11,585
만들고 규모를 키울 돈은 있지만요.

4196
04:01:11,585 --> 04:01:14,642
근데 진짜 핵심은 호환성이에요.

4197
04:01:14,642 --> 04:01:17,875
그 정도 규모라면, 1년에 몇 개밖에

4198
04:01:17,875 --> 04:01:21,431
못 만드는 위험한 걸 굳이 왜 쓰겠어요?

4199
04:01:21,431 --> 04:01:23,093
큰 데로 가는 거죠.

4200
04:01:23,093 --> 04:01:26,772
근데 이제 LLM이
있으니까 CUDA 같은

4201
04:01:26,772 --> 04:01:30,132
걸 설계하기가 더 쉬워질 거라고 봐요.

4202
04:01:30,132 --> 04:01:35,466
어려웠으니까 15년이 걸린 거고,
이제 LLM이 있으니 CUDA를

4203
04:01:35,466 --> 04:01:40,208
복제할 수 있을지도 몰라요.
- 안정화되면서 학습용 연산과

4204
04:01:40,208 --> 04:01:45,393
인퍼런스용 연산이 분리되고,
인퍼런스 쪽에 연산이 더 필요해질지

4205
04:01:45,393 --> 04:01:50,283
궁금하네요. - 그게 바로
Groq 인수의 목적이라고 하죠.

4206
04:01:50,283 --> 04:01:53,088
그래서 베라 루빈도 그런
이유로 설계된 부분이

4207
04:01:53,088 --> 04:01:56,118
있는데, 고대역폭
메모리(HBM)가 거의 없다시피

4208
04:01:56,118 --> 04:01:59,260
하거든요 — 그게 가장 비싼
부품 중 하나인데도요.

4209
04:01:59,260 --> 04:02:02,896
프리필에 맞춰 설계된 거예요.
프리필은 인퍼런스 과정

4210
04:02:02,896 --> 04:02:06,156
중에서 사실상 행렬곱을
잔뜩 하는 부분이거든요.

4211
04:02:06,156 --> 04:02:08,852
그리고 메모리가 필요한
건 이 자기회귀 생성을 할

4212
04:02:08,852 --> 04:02:11,549
때뿐이고, 그때 KV 캐시
스왑이 일어나는 거죠.

4213
04:02:11,549 --> 04:02:16,039
그래서 그 특정 용도에 맞춘
새 GPU를 만든 거고,

4214
04:02:16,039 --> 04:02:21,149
FLOP당 소유 비용 같은 게
실제로 훨씬 낮아지는 거예요.

4215
04:02:21,149 --> 04:02:25,698
근데 저는 엔비디아의 운명은 여전히
AI의 확산에 달려 있다고 봐요.

4216
04:02:25,698 --> 04:02:29,391
가장 큰 고객은 여전히 이런
하이퍼스케일러들이고요.

4217
04:02:29,391 --> 04:02:32,197
예를 들어 구글은 당연히
TPU를 만들 수 있잖아요.

4218
04:02:32,197 --> 04:02:34,452
아마존은 트레이니엄을 만들고 있고요.

4219
04:02:34,452 --> 04:02:37,401
마이크로소프트도 자체적으로
뭔가 해보려고 할 거고요.

4220
04:02:37,401 --> 04:02:40,788
AI 발전 속도가 빠른
한, 엔비디아 플랫폼이

4221
04:02:40,788 --> 04:02:44,039
가장 유연하니까 사람들이
그걸 원할 거예요.

4222
04:02:44,039 --> 04:02:48,888
근데 정체기가 오면, 맞춤형
칩을 만들 시간이 더 늘어나는

4223
04:02:48,888 --> 04:02:53,434
거죠. - 엔비디아가 온갖
종류의 제품을 개발하려고 꽤

4224
04:02:53,434 --> 04:02:57,979
활발히 움직이는 게 흥미롭네요.
- GPU를 많이 쓰게

4225
04:02:57,979 --> 04:03:02,222
될 상업적 가치 영역을
만들어내려는 거죠. - 음.

4226
04:03:02,222 --> 04:03:06,184
그래도 계속 혁신하고 있고, 대단한
연구도 많이 하고 있으니까요...

4227
04:03:06,184 --> 04:03:09,728
- 다들 그러던데, 이 회사는
젠슨 중심으로 완전히 돌아가고,

4228
04:03:09,728 --> 04:03:13,064
그가 운영에 얼마나 깊이
관여하는지 대단하다고 하더라고요.

4229
04:03:13,064 --> 04:03:16,706
제가 들어본 다른 대기업들이랑은
너무 다르게 들려요.

4230
04:03:16,706 --> 04:03:21,404
그런 문화가 유지되는 한, 계속
발전이 이어질 거라고 봐요.

4231
04:03:21,404 --> 04:03:24,755
젠슨은 마치 여전히 애플의 스티브
잡스 시절 같은 존재인 느낌이에요.

4232
04:03:24,755 --> 04:03:30,222
그렇게 운영되는 한 저는 꽤
낙관적으로 봐요. 그게 그들한테는

4233
04:03:30,222 --> 04:03:35,206
최우선 과제니까요. 근데 다른
회사들한테는 전체 생태계를

4234
04:03:35,206 --> 04:03:40,190
위한 칩을 만드는 게 최우선
목표인지는 잘 모르겠거든요.

4235
04:03:40,190 --> 04:03:43,316
잘 하긴 하겠지만, 그만큼
잘하지는 못할 수도 있어요.

4236
04:03:43,316 --> 04:03:46,547
- 젠슨 얘기가 나와서 말인데,
제가 요즘 역사, 그리고

4237
04:03:46,547 --> 04:03:49,777
역사 속 특출난 인물들에 대해
책을 많이 읽고 있거든요.

4238
04:03:49,777 --> 04:03:51,562
역사가 한 개인에 의해 만들어진다는

4239
04:03:51,562 --> 04:03:53,629
시각에 대해 두 분은 어떻게 생각하세요?

4240
04:03:53,629 --> 04:03:58,542
테크 업계에서 역사의 방향을 이끄는
데 개인이 얼마나 중요한 걸까요?

4241
04:03:58,542 --> 04:04:01,468
그러니까, 젠슨이 없으면
엔비디아는 뭘까요?

4242
04:04:01,468 --> 04:04:03,322
스티브 잡스 얘기를 하셨잖아요.

4243
04:04:03,322 --> 04:04:05,801
스티브 잡스가 없으면 애플은 뭘까요?

4244
04:04:05,801 --> 04:04:09,767
일론이 없으면 xAI는, 데미스가
없으면 딥마인드는 뭘까요? -

4245
04:04:09,767 --> 04:04:13,846
사람들이 뭔가를 더 일찍, 더
빠르게 만들어내는 거지, 과학적으로

4246
04:04:13,846 --> 04:04:17,586
보면 위대한 과학자들 중 상당수는
그저 적절한 시점에 적절한

4247
04:04:17,586 --> 04:04:21,892
자리에 있었을 뿐이고, 그래도 결국
혁신을 만들어냈다고 인정하거든요.

4248
04:04:21,892 --> 04:04:25,631
어차피 결국엔 다른 누군가가
그 아이디어를 떠올렸을 거예요.

4249
04:04:25,631 --> 04:04:31,829
그런 의미에서 젠슨은 이 GPU
혁명을, 그 자리에 그런 사람이

4250
04:04:31,829 --> 04:04:38,735
없었을 때보다 훨씬 빠르고 훨씬
집중된 형태로 실현시키고 있다고 봐요.

4251
04:04:38,735 --> 04:04:41,014
그리고 이게 AI 구축 전체의
속도를 더 빠르게 만들고 있고요.

4252
04:04:41,014 --> 04:04:45,293
하지만 그래도 결국엔 ChatGPT
같은 게 나오고 이런 구축이

4253
04:04:45,293 --> 04:04:50,061
일어나긴 했을 거라고 봐요. 다만
아마 이렇게 빠르지는 않았을 거예요.

4254
04:04:50,061 --> 04:04:54,121
제 생각엔 그런 게 일종의
색깔이 입혀지는 거예요.

4255
04:04:54,121 --> 04:04:58,470
- 이런 개인들은, 뭔가에
베팅을 거는 사람들인 거죠.

4256
04:04:58,470 --> 04:04:59,560
어떤 사람은 운이 좋고,
어떤 사람은 아니고요.

4257
04:04:59,560 --> 04:05:02,902
근데 이런 사람들이 키를 잡고 있지
않았다면 더 분산돼 있었을 거예요.

4258
04:05:02,902 --> 04:05:04,910
그게 거의 ETF에 투자하는 거랑 개별

4259
04:05:04,910 --> 04:05:06,727
주식에 투자하는 거랑 비슷한 거죠.

4260
04:05:06,727 --> 04:05:12,140
개별 주식은 더 안정적인 ETF보다
오르내림이 훨씬 클 수 있잖아요.

4261
04:05:12,140 --> 04:05:13,764
결국 시간이 지나면 오르긴 할 거예요.

4262
04:05:13,764 --> 04:05:14,846
결국은 거기 도달하겠죠.

4263
04:05:14,846 --> 04:05:18,888
근데 그냥, 아시다시피, 제
생각엔 집중력이 핵심인 것 같아요.

4264
04:05:18,888 --> 04:05:22,685
열정과 집중력이죠. -
젠슨이 없었다면 딥러닝 혁명이

4265
04:05:22,685 --> 04:05:26,744
다시 불붙지 못했을 거라는
주장도 꽤 일리 있지 않나요?

4266
04:05:26,744 --> 04:05:30,410
- 제 생각엔 아마 20년
정도는 늦어졌을 거예요.

4267
04:05:30,410 --> 04:05:35,051
아니면 GPU가 없었다면 또 다른
AI 겨울이 왔을 수도 있고요.

4268
04:05:35,051 --> 04:05:39,820
- 그러면 역사가 완전히 달라졌을
수도 있어요, 그 사이에 나올 수

4269
04:05:39,820 --> 04:05:44,590
있었던 다른 기술들을 생각해보면요,
그러면 인류 문명의 초점이...

4270
04:05:44,590 --> 04:05:48,813
실리콘밸리는 다른 유행에
사로잡혔을 거예요. - 근데

4271
04:05:48,813 --> 04:05:53,472
GPU의 궤적에는 분명 다
계획된 측면도 있다고 생각해요.

4272
04:05:53,472 --> 04:05:58,304
근데 다른 한편으론 운 좋은 우연이나
좋은 직감도 많이 작용했고요.

4273
04:05:58,304 --> 04:06:02,613
예를 들면 생물물리 시뮬레이션
쪽에 투자한 것도 그렇고요.

4274
04:06:02,613 --> 04:06:06,380
그러니까 제 생각엔 원래 비디오
게임에서 시작됐는데, 비디오 게임이

4275
04:06:06,380 --> 04:06:09,944
선형대수를 많이 필요로 하다
보니까 우연히 거기 강해진 거예요.

4276
04:06:09,944 --> 04:06:12,352
그러다 생물물리 시뮬레이션까지
오게 된 거고요.

4277
04:06:12,352 --> 04:06:16,187
그래도 원래 마스터플랜이
AI였다고는 생각 안 해요.

4278
04:06:16,187 --> 04:06:20,145
그냥 우연히 알렉스
크리제프스키였던 거라고 봐요.

4279
04:06:20,145 --> 04:06:22,599
그러니까 누군가가 이
GPU들을 가져다가 '어,

4280
04:06:22,599 --> 04:06:25,053
이걸로 신경망을 한번
학습시켜보자' 했던 거죠.

4281
04:06:25,053 --> 04:06:28,780
그게 우연히 정말 잘 먹혔고,
그것도 그 GPU들을 살 수

4282
04:06:28,780 --> 04:06:33,206
있었으니까 가능했던 거라고 봐요.
- 초창기에 엔비디아가 망했더라도,

4283
04:06:33,206 --> 04:06:37,050
게이밍이 더 빠른 프로세서에
대한 수요를 만들어냈을 거예요.

4284
04:06:37,050 --> 04:06:37,963
저는 그렇게 생각해요.

4285
04:06:37,963 --> 04:06:43,456
제 생각엔 GPU 자체는
달라졌겠지만, 그래도 AlexNet

4286
04:06:43,456 --> 04:06:48,948
때나 트랜스포머 때는 GPU가
여전히 존재했을 거라고 봐요.

4287
04:06:48,948 --> 04:06:52,298
다만 지금처럼 한 회사가 이렇게
성공했을지, 아니면 성능이

4288
04:06:52,298 --> 04:06:55,858
떨어지는 여러 작은 회사로
나뉘었을지는 알기 어려웠을 거예요.

4289
04:06:55,858 --> 04:06:59,762
근데 그게 100년이나 지연됐을
거라고는 생각 안 해요.

4290
04:06:59,762 --> 04:07:02,414
한 10년 정도 늦어졌을 수는
있죠. - 음, 십 년, 이십 년,

4291
04:07:02,414 --> 04:07:04,845
삼십 년, 사십 년, 아니 오십
년까지도 늦어졌을 수 있죠.

4292
04:07:04,845 --> 04:07:08,389
인텔이나 AMD가 엔비디아가 한
걸 해냈을 거라곤 도저히 상상이

4293
04:07:08,389 --> 04:07:11,630
안 가요. - 지금 존재하는
회사는 아니었을 거라고 봐요.

4294
04:07:11,630 --> 04:07:15,858
제 생각엔 다른 회사가 떠올랐을
것 같아요. - 실리콘 그래픽스

4295
04:07:15,858 --> 04:07:20,086
같은 데 말이죠. - 네, 그러니까
이미 사라진 어떤 회사가 그

4296
04:07:20,086 --> 04:07:24,556
일을 해냈을 거예요. - 그런데
이렇게 보면, 이런 특출한 인물들,

4297
04:07:24,556 --> 04:07:28,663
이런 리더들이 세상의 흐름에
엄청난 영향을 미치는 것 같네요.

4298
04:07:28,663 --> 04:07:31,460
물론 그 뒤에는 엄청난 팀들이 있죠.

4299
04:07:31,460 --> 04:07:36,059
그런데 그렇게 아주 단일하고,
거의 독단적일 정도로 집중하는 게

4300
04:07:36,059 --> 04:07:40,658
진전을 만드는 데 필요한 것
같아요. - 맞아요, GPT만 해도

4301
04:07:40,658 --> 04:07:45,388
일리야처럼 이 스케일링을 밀어붙인
사람이 없었다면 존재하지 못했을

4302
04:07:45,388 --> 04:07:50,250
거예요, 그렇죠? - 네, 다리오
아모데이도 거기 깊이 관여했었죠.

4303
04:07:50,250 --> 04:07:53,255
오픈AI 역사를 좀 읽어보면,
이 사람들이 얼마나 일찍부터

4304
04:07:53,255 --> 04:07:56,541
'GPU 1만 개를 연결해서
오픈AI의 모든 연산 자원을 가져다

4305
04:07:56,541 --> 04:07:59,827
모델 하나를 학습시켜야 한다'고
생각했는지 알면 정말 놀라워요.

4306
04:07:59,827 --> 04:08:02,329
그걸 하고 싶어 하지
않았던 사람들이 많았죠.

4307
04:08:02,329 --> 04:08:05,031
- 그런 걸 믿는다는 게
정말 미친 생각이잖아요.

4308
04:08:05,031 --> 04:08:07,980
스케일링이 결실을 맺을
거라는 조짐이 전혀

4309
04:08:07,980 --> 04:08:10,928
없는 상태에서 그걸
믿는다는 것 말이에요.

4310
04:08:10,928 --> 04:08:13,348
또다시, 특출한 인물들이네요.

4311
04:08:13,348 --> 04:08:17,442
그러고 보니, 100년 후면 아마 특이점

4312
04:08:17,442 --> 04:08:21,349
이후겠죠, 특이점이 뭐가 됐든 간에요.

4313
04:08:21,349 --> 04:08:26,446
역사가들이 지금 이 시대를
돌아본다면, 특이점으로

4314
04:08:26,446 --> 04:08:32,109
이어진 기술적 돌파구로 정말
어떤 걸 강조하게 될까요?

4315
04:08:32,109 --> 04:08:36,108
지금까지로 보면 튜링부터 오늘날까지
80년이네요. - 제 생각엔

4316
04:08:36,108 --> 04:08:40,449
그래도 '컴퓨팅'이라는 포괄적인
용어, 그 컴퓨팅 자체일 것 같아요.

4317
04:08:40,449 --> 04:08:46,185
100년이나 200년 후에 그게 꼭
AI일 거라고는 생각하지 않아요.

4318
04:08:46,185 --> 04:08:48,719
여전히 그냥 컴퓨터일
가능성도 충분히 있죠.

4319
04:08:48,719 --> 04:08:52,885
지금 우리가 컴퓨터를 더 잘
활용하고 있을 뿐이지, 컴퓨팅이라는

4320
04:08:52,885 --> 04:08:56,813
사실 자체는 그대로예요. -
결국 무어의 법칙 얘기인 거죠.

4321
04:08:56,813 --> 04:09:00,432
CUDA나 GPU 같은 세부
사항들도 기억되지 않을

4322
04:09:00,432 --> 04:09:04,181
거고, 지금 이 소프트웨어
소동도 마찬가지일 거예요.

4323
04:09:04,181 --> 04:09:09,717
그냥 당연히 컴퓨팅이겠죠.
- 저도 대체로 동의하는데,

4324
04:09:09,717 --> 04:09:15,437
인터넷의 연결성이랑 컴퓨팅이
하나로 합쳐질 수 있을까요?

4325
04:09:15,437 --> 04:09:18,706
아니면 둘 다인 걸까요?
- 제 생각엔 인터넷은

4326
04:09:18,706 --> 04:09:21,849
아마 커뮤니케이션 쪽에
속하게 될 것 같아요.

4327
04:09:21,849 --> 04:09:25,510
전화일 수도 있고, 인터넷일
수도 있고, 위성일 수도 있죠.

4328
04:09:25,510 --> 04:09:29,528
컴퓨팅은 그중에서도
스케일링에 해당하는 부분에

4329
04:09:29,528 --> 04:09:34,029
가깝고요. - 인터넷이라는
게 완전히 잊혀서, 그냥

4330
04:09:34,029 --> 04:09:38,529
전화망 같은 통신망 안에
통합돼 버릴 수도 있어요.

4331
04:09:38,529 --> 04:09:42,327
그건 그냥 그것의 또 다른 형태일
뿐이고, 진짜 돌파구는 늘어난

4332
04:09:42,327 --> 04:09:45,907
컴퓨팅, 그러니까 넓은 의미의
무어의 법칙에서 나오는 거죠.

4333
04:09:45,907 --> 04:09:49,596
- 음, 제 생각엔 사람들 사이의
연결이 거기에 정말 근본적인

4334
04:09:49,596 --> 04:09:53,068
것 같아요. 그러니까, 누구와도
이야기할 수 있다는 거요.

4335
04:09:53,068 --> 04:09:55,170
어떤 일에서든 세계 최고의 사람을 찾고

4336
04:09:55,170 --> 04:09:57,573
싶으면, 그 사람은 세상
어딘가에 있잖아요.

4337
04:09:57,573 --> 04:10:00,082
그리고 그런 정보의
흐름을 가질 수 있다는

4338
04:10:00,082 --> 04:10:02,590
것, AI들도 여기에
의존하게 될 거예요.

4339
04:10:02,590 --> 04:10:05,130
제가 아까 '하나의
중심 모델'이라는 꿈은

4340
04:10:05,130 --> 04:10:07,670
죽었다고 했던 얘기를
계속 곱씹어봤는데요.

4341
04:10:07,670 --> 04:10:09,475
지금 진화하고 있는
건 사람들이 서로 다른

4342
04:10:09,475 --> 04:10:11,515
작업마다 여러 개의
에이전트를 두는 방향이에요.

4343
04:10:11,515 --> 04:10:14,310
사람들은 이미 서로 다른
클라우드로 이걸 시작했고요.

4344
04:10:14,310 --> 04:10:17,862
데이터센터 안에 여러 개의
AGI가 있어서, 각자가

4345
04:10:17,862 --> 04:10:21,413
뭔가를 관리하면서 서로
대화하는 식이라고 묘사돼요.

4346
04:10:21,413 --> 04:10:24,436
그리고 그건 컴퓨트뿐 아니라 네트워킹과

4347
04:10:24,436 --> 04:10:27,458
정보의 자유로운 흐름에도 달려 있어요.

4348
04:10:27,458 --> 04:10:30,394
근데 네트워킹은, 특히
GPU 쪽 네트워킹은,

4349
04:10:30,394 --> 04:10:33,330
컴퓨트 스케일링에서 정말
큰 부분을 차지해요.

4350
04:10:33,330 --> 04:10:36,364
GPU와 데이터센터가 서로
통신해야 하거든요. -

4351
04:10:36,364 --> 04:10:39,399
신경망에 관한 것 중에
뭔가 기억될 게 있을까요?

4352
04:10:39,399 --> 04:10:43,286
그러니까, 신경망이 돌파구로
여겨지는 데에 뭔가 아주 특별하고

4353
04:10:43,286 --> 04:10:47,517
유일한 이유가 있다고 보세요?
기본적으로 인간의 마음을 아주 조잡한

4354
04:10:47,517 --> 04:10:51,404
방식으로나마 복제하고 있다는
점에서, 마치 천재적인 것처럼요?

4355
04:10:51,404 --> 04:10:56,338
인간 뇌의 구조, 인간의 마음
말이에요? - 제 생각엔 인간의 마음이

4356
04:10:56,338 --> 04:11:01,532
없었다면 신경망도 아마 없었을 거예요,
그게 그냥 영감이 됐던 거니까요.

4357
04:11:01,532 --> 04:11:04,922
근데 다른 한편으로는, 그게
너무, 너무 다르다고 생각해요.

4358
04:11:04,922 --> 04:11:08,550
그러니까 디지털이냐 생물학적이냐의
차이인데, 저는 이게 결국 아마

4359
04:11:08,550 --> 04:11:12,177
알고리즘 쪽으로 더 묶일 거라고
봐요. - 그게 엄청나게 병렬화가

4360
04:11:12,177 --> 04:11:16,006
가능하다는 거죠... 이 특정한
종류의 컴퓨트에서요? - 유전 컴퓨팅

4361
04:11:16,006 --> 04:11:20,037
같은 것일 수도 있었을 거예요, 유전
알고리즘도 그냥 병렬화된 거니까요.

4362
04:11:20,037 --> 04:11:24,184
그냥 이게 더 효율적이고 더
잘 작동하는 것뿐이에요. -

4363
04:11:24,184 --> 04:11:28,464
그리고 LLM이나 신경망, 지금
우리가 설계하는 이 방식이

4364
04:11:28,464 --> 04:11:33,013
사실은 특이점으로 이어지는 시스템의
아주 작은 구성요소일 수도

4365
04:11:33,013 --> 04:11:37,293
있어요. - 100년 뒤를 놓고
보면, 저는 자율성 덕분에

4366
04:11:37,293 --> 04:11:42,109
컴퓨트와 지능이 늘어날수록 사회가
더 크게 바뀔 수 있다고 봐요.

4367
04:11:42,109 --> 04:11:47,336
근데 이렇게 보면, 산업혁명에서
우리가 기억하는 건 뭐가 있을까요?

4368
04:11:47,336 --> 04:11:51,846
엔진을 기억하잖아요, 이번엔 아마
컴퓨터가 그 자리에 해당할 거예요.

4369
04:11:51,846 --> 04:11:58,517
근데 사람들이 알고 있는 다른 물리적인
변화들도 많잖아요, 조면기 같은

4370
04:11:58,517 --> 04:12:04,846
것들이나, 지금도 알려진 기계들
— 에어컨, 냉장고 같은 것들이요.

4371
04:12:04,846 --> 04:12:08,766
AI에서 나온 것들 중 일부도
계속 알려져 있을 거예요.

4372
04:12:08,766 --> 04:12:11,386
'트랜스포머'라는 단어는
계속 남아있을 수도 있어요.

4373
04:12:11,386 --> 04:12:15,079
아마 딥러닝은 확실히 계속
알려져 있을 거라고 봐요,

4374
04:12:15,079 --> 04:12:18,900
근데 트랜스포머는 100년
뒤엔 곳곳에 AGI 연구자가

4375
04:12:18,900 --> 04:12:22,338
넘쳐나면서 다른 형태로
진화해 있을 수도 있어요.

4376
04:12:22,338 --> 04:12:27,301
근데 저는 딥러닝이라는 용어는 기억에
남을 가능성이 높다고 봐요. -

4377
04:12:27,301 --> 04:12:32,526
그리고 AI가 가져올 미래의 에어컨이나
냉장고 같은 건 뭘까 궁금하네요.

4378
04:12:32,526 --> 04:12:37,990
만약 지금 당장 100년 뒤로
이동한다면, 뭐가 다를 것 같으세요?

4379
04:12:37,990 --> 04:12:40,286
세상이 어떻게 다르게 보일 것 같으세요?

4380
04:12:40,286 --> 04:12:42,658
우선, 인간이 있을 거라고 생각하세요?

4381
04:12:42,658 --> 04:12:46,285
로봇들이 곳곳에 돌아다니고 있을
거라고 생각하세요? - 특정

4382
04:12:46,285 --> 04:12:49,472
작업들엔 특화된 로봇이
확실히 있을 거라고 봐요. -

4383
04:12:49,472 --> 04:12:53,099
휴머노이드 형태로요? - 아마
반쯤 휴머노이드일 것 같아요.

4384
04:12:53,099 --> 04:12:54,326
두고 봐야죠.

4385
04:12:54,326 --> 04:12:57,244
어떤 것들엔, 네,
휴머노이드 로봇이 있을

4386
04:12:57,244 --> 04:13:00,288
거라고 봐요, 그냥
환경에 맞기 때문이에요.

4387
04:13:00,288 --> 04:13:03,053
근데 특정 작업들엔 그게
더 말이 될 수도 있어요.

4388
04:13:03,053 --> 04:13:06,095
더 상상하기 어려운 건, 우리가
기기들과 어떻게 상호작용할지,

4389
04:13:06,095 --> 04:13:08,689
인간이 기기를 가지고 뭘
하게 될지 하는 부분이에요.

4390
04:13:08,689 --> 04:13:13,506
음, 그러니까, 아마 휴대폰이나
노트북은 아닐 거라고 꽤 확신해요.

4391
04:13:13,506 --> 04:13:16,319
임플란트일까요? -
그러니까, 브레인-컴퓨터

4392
04:13:16,319 --> 04:13:18,546
인터페이스일 수밖에 없지 않을까요?

4393
04:13:18,546 --> 04:13:22,843
그러니까 지금 보이는 발전
속도를 생각하면 100년

4394
04:13:22,843 --> 04:13:27,601
후엔... 우리가 현실과
상호작용하는 방식 자체가 완전히

4395
04:13:27,601 --> 04:13:32,052
달라지지 않는 한, 분명
뭔가 있을 거예요. - 근데

4396
04:13:32,052 --> 04:13:36,810
반대로 생각하면, 자동차는
이미 100년도 더 됐잖아요?

4397
04:13:36,810 --> 04:13:38,922
근데 그 인터페이스는 여전히 똑같죠.

4398
04:13:38,922 --> 04:13:41,534
자동차를 다른 무언가로
대체하지는 않았잖아요.

4399
04:13:41,534 --> 04:13:45,228
그냥 더 좋게 만들었을 뿐이지,
여전히 핸들이 있고 바퀴가 있잖아요.

4400
04:13:45,228 --> 04:13:48,532
- 저는 그래도 사람들이 벽돌만
한 물리적 연산 기기 하나쯤은

4401
04:13:48,532 --> 04:13:51,837
계속 들고 다닐 거라고 봐요.
사람들은 어느 정도 사적인...

4402
04:13:51,837 --> 04:13:55,285
그러니까, 폰만큼 자주 쓰지는
않더라도, 인터넷 나머지

4403
04:13:55,285 --> 04:13:58,619
부분과 나 사이를 잇는
인터페이스로서 온전히 내 것인

4404
04:13:58,619 --> 04:14:02,182
사적인 정보를 갖는다는 건
계속 남아 있을 거라고 봐요.

4405
04:14:02,182 --> 04:14:05,372
아이폰처럼 생기지 않았을 수도
있고 훨씬 덜 쓰일 수도

4406
04:14:05,372 --> 04:14:08,668
있지만, 그래도 사람들이
뭔가를 들고 다닐 거라고 봐요.

4407
04:14:08,668 --> 04:14:11,645
- 근데 왜 스마트폰이
사생활의 상징이라고 보세요?

4408
04:14:11,645 --> 04:14:14,562
카메라가 달려 있잖아요.

4409
04:14:14,562 --> 04:14:18,164
그리고— - 사적인
거요, 암호화된 메시지나

4410
04:14:18,164 --> 04:14:22,366
암호화된 사진처럼... 삶이
어떤지 아는 것들이요.

4411
04:14:22,366 --> 04:14:26,046
결국은 뇌-기계 인터페이스를 얼마나
낙관하느냐의 문제인 것 같아요.

4412
04:14:26,046 --> 04:14:28,746
그게 다 그냥 클라우드에
저장되는 걸까요?

4413
04:14:28,746 --> 04:14:30,206
일정 전체가요?

4414
04:14:30,206 --> 04:14:37,420
우리가 눈으로 처리하는 그 모든
정보를, 뇌-기계 인터페이스가 캘린더

4415
04:14:37,420 --> 04:14:44,255
같은 걸 보여주는 방식으로 처리한다고
생각하면 상상하기 어려워요.

4416
04:14:44,255 --> 04:14:49,166
보지 않고도 이메일함 내용을 안다는
것 자체가 상상하기 어려워요.

4417
04:14:49,166 --> 04:14:53,186
그러니까 컴퓨터에 신호를 보내면
그냥 이메일함을 알게 되는 거죠.

4418
04:14:53,186 --> 04:14:55,869
그게 비시각적으로 뇌에 바로 입력되는

4419
04:14:55,869 --> 04:14:58,686
걸 인간 뇌가 감당할 수 있는 걸까요?

4420
04:14:58,686 --> 04:15:03,016
그런 변환이 정확히 어떻게
일어나는지는 잘 모르겠어요.

4421
04:15:03,016 --> 04:15:05,565
인간은 100년 안에는 바뀌지 않아요.

4422
04:15:05,565 --> 04:15:11,395
제 생각엔 주체성과 공동체는 사람들이
정말로 원하는 것들이에요. - 지역

4423
04:15:11,395 --> 04:15:16,788
공동체 말씀이시죠, 맞아요. -
가까운 사람들과 함께 뭔가를 할 수

4424
04:15:16,788 --> 04:15:22,326
있고, 삶에 의미를 부여할 수 있고,
뭔가를 해낼 수 있는 것들이요.

4425
04:15:22,326 --> 04:15:26,229
100년 안에는, 우리가 얘기할
수 있는 시간 규모에서 인간의

4426
04:15:26,229 --> 04:15:30,246
생물학이 그런 것들에서 벗어나게
바뀔 거라고는 생각하지 않아요.

4427
04:15:30,246 --> 04:15:34,546
그리고 저는 UBI가 주체성
문제를 해결해주지는 않는다고 봐요.

4428
04:15:34,546 --> 04:15:38,431
저는 대규모 부의 창출은 확실히
예상하고 있고, 그게 잘 퍼져서

4429
04:15:38,431 --> 04:15:42,426
100년 뒤엔 평균적인 삶이 지금과는
아주 다르게 보이길 바라요.

4430
04:15:42,426 --> 04:15:44,532
하지만 그래도 일어나야 할 일이 많아요.

4431
04:15:44,532 --> 04:15:50,246
컴퓨팅과 인터넷 접근이라는 발전
과정에서 아직 초기 단계에

4432
04:15:50,246 --> 04:15:55,782
있는 나라들을 생각해보면,
그 모든 인프라를 구축하고 한

4433
04:15:55,782 --> 04:16:01,496
나라의 부를 다른 나라와 나누는
정책을 마련한다는 건...

4434
04:16:01,496 --> 04:16:05,980
그게 100년 안에 다 일어난다고
보는 건 낙관적인 시각인 것

4435
04:16:05,980 --> 04:16:10,859
같아요- 그 나라들이 여전히 독립된
개체로 남아 있으면서, 무력으로

4436
04:16:10,859 --> 04:16:15,739
어떤 국제 질서에 흡수되는 게
아니라요. - 하지만 세상의 기본적인

4437
04:16:15,739 --> 04:16:19,959
고통 수준을 좀 덜어줄 수
있는, 더 낫고 더 정교하고 더

4438
04:16:19,959 --> 04:16:24,443
효과적인... 사회 지원 시스템이
생길 수는 있을 것 같아요.

4439
04:16:24,443 --> 04:16:27,888
있잖아요, 단기적으로 많은
일자리가 사라지는 사회

4440
04:16:27,888 --> 04:16:32,098
변화에서, 저는 우리가 정말
기억해야 할 게, 사라진 일자리

4441
04:16:32,098 --> 04:16:35,925
하나하나가 다 고통받는 한
사람이라는 거라고 생각해요.

4442
04:16:35,925 --> 04:16:38,529
그러니까... 일자리가 대규모로 사라질

4443
04:16:38,529 --> 04:16:41,256
때는, 그 규모 자체가 정말 비극이에요.

4444
04:16:41,256 --> 04:16:43,802
경제적으로 이런저런
논리를 댈 수도 있고,

4445
04:16:43,802 --> 04:16:46,349
결국 다 괜찮아질
거라고 말할 수도 있죠.

4446
04:16:46,349 --> 04:16:50,248
GDP에는 좋다거나, 새로운
일자리가 생겨날 거라는 식으로요.

4447
04:16:50,248 --> 04:16:56,350
하지만 근본적으로 개인 차원에서
보면, 그 사람에게는 진짜 고통이에요.

4448
04:16:56,350 --> 04:16:59,193
그야말로 개인적인 비극인 셈이죠.

4449
04:16:59,193 --> 04:17:04,134
기술이 발전하는 와중에도
그 점을 잊으면 안 돼요.

4450
04:17:04,134 --> 04:17:11,116
그리고 지금 쏟아지는 AI 슬롭을
보면서 제가 바라는 건, 직접 대면하는

4451
04:17:11,116 --> 04:17:17,574
인간 경험의 본질적인 부분들에 점점
더 큰 가치가 매겨지는 거예요.

4452
04:17:17,574 --> 04:17:19,370
우리 모두가 하는 것들...

4453
04:17:19,370 --> 04:17:23,513
서로 얼굴을 보고 직접 만나서
대화하는 것 같은 거죠.

4454
04:17:23,513 --> 04:17:27,933
앞으로 몇 년간은 분명 실물과
오프라인 행사에 대한 가치가

4455
04:17:27,933 --> 04:17:32,214
커질 거고, 슬롭에 대한
압박도 그만큼 더 커질 거예요.

4456
04:17:32,214 --> 04:17:35,174
그러니까... 슬롭은
이제 시작일 뿐이에요.

4457
04:17:35,174 --> 04:17:37,607
앞으로 몇 년은 점점 더
다양한 형태의 슬롭이 나올

4458
04:17:37,607 --> 04:17:39,780
거고, 사람들은 그 안에
파묻히게 될 거예요.

4459
04:17:39,780 --> 04:17:43,644
그게 뭐... 그러니까 저는
사회가 슬롭에 흠뻑 파묻혀서 정신이

4460
04:17:43,644 --> 04:17:47,176
번쩍 들었으면 좋겠어요. "이건
도저히 감당이 안 된다,"

4461
04:17:47,176 --> 04:17:48,534
"이제 아무 의미도
없다"고 할 정도로요.

4462
04:17:48,534 --> 04:17:52,009
그러면 실물에는 훨씬 더
큰 가치가 매겨지겠죠.

4463
04:17:52,009 --> 04:17:55,751
고전적인 예를 들어봐도,
저는 정말 이게 사실이라고

4464
04:17:55,751 --> 04:17:59,627
봐요. 결국 우리가 그것에
질려버릴 거라고 생각해요.

4465
04:17:59,627 --> 04:18:01,594
사실 이미 어느 정도
질려 있기도 하고요.

4466
04:18:01,594 --> 04:18:02,585
그러니까, 예술도 마찬가지예요.

4467
04:18:02,585 --> 04:18:04,348
예술이 사라질 거라고는 생각하지 않아요.

4468
04:18:04,348 --> 04:18:06,997
그림, 실물 그림이 있잖아요.

4469
04:18:06,997 --> 04:18:10,675
그 그림의 복사본보다 실제 원본에 더 큰

4470
04:18:10,675 --> 04:18:15,022
가치가 있죠. 단순히
금전적 가치만이 아니라요.

4471
04:18:15,022 --> 04:18:17,656
완벽한 디지털 복제본일 수도
있지만, 미술관에 가서

4472
04:18:17,656 --> 04:18:20,384
그 작품을, 진짜 원본을
직접 보면 뭔가 다른 느낌이

4473
04:18:20,384 --> 04:18:22,830
있어요. 그냥 이런 생각이
드는 거죠, "아,"

4474
04:18:22,830 --> 04:18:23,403
"사람이 만든 거구나" 하고요.

4475
04:18:23,403 --> 04:18:24,574
일종의 장인의 손길 같은 거죠.

4476
04:18:24,574 --> 04:18:26,249
그런 것에 대한 존중이 생기는 거예요.

4477
04:18:26,249 --> 04:18:32,194
그리고 글쓰기든, 대화든, 어떤
경험이든 마찬가지라고 생각해요...

4478
04:18:32,194 --> 04:18:36,311
다만 안타깝게도, 이분법처럼 어떤 것들은

4479
04:18:36,311 --> 04:18:40,054
자동화되는 갈림길이 될 거라고 봐요.

4480
04:18:40,054 --> 04:18:43,974
그러니까, 예를 들면 200년 전만큼
그림이 많이 그려지진 않잖아요.

4481
04:18:43,974 --> 04:18:47,227
사진도 많아지고, 복사본도 많아졌고요.

4482
04:18:47,227 --> 04:18:49,988
근데 동시에, 그게 완전히
없어지진 않을 거예요.

4483
04:18:49,988 --> 04:18:51,954
거기엔 나름의 가치가 있을 거고요.

4484
04:18:51,954 --> 04:18:56,327
제 생각엔 차이는 그냥 그
비율의 문제일 것 같아요.

4485
04:18:56,327 --> 04:18:59,606
근데 개인적으로 저는 딱 봐도 AI가

4486
04:18:59,606 --> 04:19:03,212
쓴 티가 나는 글은 읽기가 힘들더라고요.

4487
04:19:03,212 --> 04:19:04,053
죄송한데요.

4488
04:19:04,053 --> 04:19:06,883
그 안에 정말 좋은 정보가
있을 수도 있겠지만, 저는

4489
04:19:06,883 --> 04:19:09,810
그냥 '아니, 저한테는 안
맞아요' 싶더라고요. - 제

4490
04:19:09,810 --> 04:19:12,640
생각엔 결국엔 사람들이 속아
넘어갈 거고, 검증하거나

4491
04:19:12,640 --> 04:19:15,665
신뢰를 쌓는 방법을 제공하는
플랫폼들이 나올 것 같아요.

4492
04:19:15,665 --> 04:19:17,649
그럼 여기 함께 있었으니까, Lex가

4493
04:19:17,649 --> 04:19:19,832
만든 건 AI가 아니라고 믿게 되겠네요.

4494
04:19:19,832 --> 04:19:22,304
그럼 이 채널 자체를
신뢰하게 되는 거고요.

4495
04:19:22,304 --> 04:19:25,922
근데 그런 신뢰가 없는 새로운
사람들한테는 더 어렵겠죠. -

4496
04:19:25,922 --> 04:19:29,869
음, 그건 흥미로워질 것 같아요.
근본적으로는 특정 매체들이 그런

4497
04:19:29,869 --> 04:19:33,706
짓을 안 할 거라는 신뢰를 쌓는
걸로 풀 수 있는 문제라고 저는

4498
04:19:33,706 --> 04:19:37,214
보거든요. 근데 결국 다 신뢰를
기반으로 하게 될 거예요.

4499
04:19:37,214 --> 04:19:39,615
'자, 이건 진짜네' 하고 인증해
주는 시스템이 생길 거예요.

4500
04:19:39,615 --> 04:19:40,416
'이건 가짜네' 하고요.

4501
04:19:40,416 --> 04:19:45,984
이게 AI가 만든 건지 아닌지 딱
티가 나는 신호들도 있을 거고요.

4502
04:19:45,984 --> 04:19:48,306
근데 어떤 건 너무
잘 만들어져서 구분하기

4503
04:19:48,306 --> 04:19:50,729
힘들 거고, 그럼 결국
믿는 수밖에 없어요.

4504
04:19:50,729 --> 04:19:54,266
그리고 음, 그건 흥미로우면서도
좀 문제가 될 것 같아요. - 이걸

4505
04:19:54,266 --> 04:19:57,994
극단으로 밀어붙이면 인간이 만든
콘텐츠 전부에 워터마크를 넣는 거예요.

4506
04:19:57,994 --> 04:20:00,975
그러니까 우리가 직접 찍은
사진들엔 전부 워터마크가

4507
04:20:00,975 --> 04:20:03,850
있다가, 편집을 하거나
하면 그때 없어지는 거죠.

4508
04:20:03,850 --> 04:20:07,777
그리고 소프트웨어가 기기
제조사와 통신을 관리해서 사람이

4509
04:20:07,777 --> 04:20:11,831
직접 편집했다는 걸 확인시켜
주는 거예요 — AI 이미지에

4510
04:20:11,831 --> 04:20:15,252
워터마크를 넣으려는 논의랑은
반대 방향인 거고요.

4511
04:20:15,252 --> 04:20:18,389
그러면 워터마크가 있는 구글
이미지를 만들어서, 다른

4512
04:20:18,389 --> 04:20:21,309
구글 툴로 그걸 지울 수도
있는 거고요. - 네.

4513
04:20:21,309 --> 04:20:24,439
결국 군비 경쟁 같은 게 되는
거죠, 기본적으로는. - 그리고

4514
04:20:24,439 --> 04:20:27,292
지금까지는 AI의 긍정적인
측면 위주로 얘기해 왔는데요.

4515
04:20:27,292 --> 04:20:32,505
지금까지 얘기했던 그 모든
능력들이, 상대적으로 멍청한 AI라도

4516
04:20:32,505 --> 04:20:37,419
대규모로 적용되면 인류 문명을
불안정하게 만드는 데 쓰일 수

4517
04:20:37,419 --> 04:20:42,334
있고, 더 나아가 초지능 AI
시스템이라면 더더욱 그렇겠죠.

4518
04:20:42,334 --> 04:20:46,762
물론 이런 기술을 개발해
나가면서 중요하게 고려해야

4519
04:20:46,762 --> 04:20:50,558
할, 종말론에 가까운
비관적 시각도 있고요.

4520
04:20:50,558 --> 04:20:53,877
지금까지 얘기한 걸
다 감안했을 때, 인류

4521
04:20:53,877 --> 04:20:57,341
문명의 미래에 대해 어떤
게 희망을 주나요?

4522
04:20:57,341 --> 04:21:00,536
우리, 괜찮아질까요? -
저는 그럴 거라고 봐요.

4523
04:21:00,536 --> 04:21:05,355
저는 확실히 걱정이 많은
사람이에요, AI든 아니든 간에요.

4524
04:21:05,355 --> 04:21:08,344
하지만 인간은 결국
방법을 찾아내는 편이에요.

4525
04:21:08,344 --> 04:21:11,440
제 생각엔 인간은 원래
그렇게 만들어진 것 같아요.

4526
04:21:11,440 --> 04:21:14,536
공동체를 이루고 문제를
풀어낼 방법을 찾아내도록요.

4527
04:21:14,536 --> 04:21:16,839
그게 바로 우리를 지금 이
자리까지 오게 한 거죠.

4528
04:21:16,839 --> 04:21:23,329
그리고 AI의 기회와 관련 기술들이
정말 크다는 것도 생각해야 하고요.

4529
04:21:23,329 --> 04:21:26,654
제 생각엔 모두가 그걸
이해하도록 돕는 데는

4530
04:21:26,654 --> 04:21:29,978
큰 사회적·정치적 문제들이
있는 것 같아요.

4531
04:21:29,978 --> 04:21:33,586
그리고 지금 우리가 많이 마주하고
있는 게 바로 그거라고 생각해요.

4532
04:21:33,586 --> 04:21:36,901
세상은 무서운 곳이고, AI는
정말 불확실한 존재라는 거예요.

4533
04:21:36,901 --> 04:21:42,043
그리고 그건 꼭 뭔가를 만드는 일이
아닌, 많은 노력이 필요한 일이에요.

4534
04:21:42,043 --> 04:21:45,913
사람들에게 설명하고 사람들을
이해하는 일인데, 역사적으로 AI를

4535
04:21:45,913 --> 04:21:50,114
만드는 사람들이 딱히 동기를 느끼거나
하고 싶어 한 일은 아니었어요.

4536
04:21:50,114 --> 04:21:53,161
하지만 아마 해낼 수 있는 일일 거예요.

4537
04:21:53,161 --> 04:21:55,784
다만 사람들이 원하는 것보다
시간이 더 걸릴 뿐이죠.

4538
04:21:55,784 --> 04:22:00,286
그리고 오래가는 혜택을
얻으려면 힘들고 괴로운 AI

4539
04:22:00,286 --> 04:22:05,270
논의가 이어지는 그 긴 시간을
거쳐야 해요. - 그렇죠.

4540
04:22:05,270 --> 04:22:09,981
그 과정을 거치면서 제가 특히
기대하는 건, 우리 자신을

4541
04:22:09,981 --> 04:22:14,236
더 잘 이해할 기회를 얻는다는
거예요. 개인으로서의

4542
04:22:14,236 --> 04:22:18,642
인간, 그리고 문명 차원에서요.
그리고 의식이라는 게

4543
04:22:18,642 --> 04:22:23,201
대체 뭔지 같은 큰 수수께끼에
답할 기회이기도 하고요.

4544
04:22:23,201 --> 04:22:24,939
정말 특별한 것 같아요.

4545
04:22:24,939 --> 04:22:27,415
그러니까, 우리 마음속에는 진짜
기적 같은 게 있는 거죠.

4546
04:22:27,415 --> 04:22:30,959
그리고 AI는 우리 자신을 비추는
거울이 되어, '대체 이게 다

4547
04:22:30,959 --> 04:22:34,806
뭔가' 같은 큰 질문들에 답할 기회를
주는 거죠. - 음, 그 점에서

4548
04:22:34,806 --> 04:22:38,349
하나 말씀드리자면, 저는 그게
우리를 AI와 아주 다르게 만드는

4549
04:22:38,349 --> 04:22:42,095
지점이고, 제가 AI가 인류를
지배할까 봐 걱정하지 않는 이유이기도

4550
04:22:42,095 --> 04:22:45,639
한 것 같아요. 방금 말씀하신
것처럼, 의식이라는 것 때문에요.

4551
04:22:45,639 --> 04:22:47,917
우리 인간은 스스로 뭘
하고 싶은지 결정하잖아요.

4552
04:22:47,917 --> 04:22:51,868
지금 구현된 형태의 AI에서는, 그게
바뀔 거라고는 잘 상상이 안 돼요.

4553
04:22:51,868 --> 04:22:54,280
AI한테는 뭘 할지
우리가 알려줘야 하죠.

4554
04:22:54,280 --> 04:22:56,494
그러니까 주체성은 여전히
우리한테 있는 거예요.

4555
04:22:56,494 --> 04:23:00,189
AI가 도구가 된다고 해서 우리한테서
주체성을 빼앗아 가는 건 아니에요.

4556
04:23:00,189 --> 04:23:01,879
그냥 도구라고 생각하시면 돼요.

4557
04:23:01,879 --> 04:23:03,230
우리가 뭘 할지 알려주는 거죠.

4558
04:23:03,230 --> 04:23:06,862
이전의 다른 도구들보다는
더 자동으로 돌아가겠지만요.

4559
04:23:06,862 --> 04:23:09,670
확실히 망치보다는 훨씬
강력하고, 스스로 알아서 해내는

4560
04:23:09,670 --> 04:23:12,758
부분도 있지만, 그래도 주도권은
여전히 우리한테 있는 거죠?

4561
04:23:12,758 --> 04:23:14,098
그러니까 AI가 주도권을 쥔 게 아니라,

4562
04:23:14,098 --> 04:23:15,256
우리가 주도권을 쥐고 있는 거예요.

4563
04:23:15,256 --> 04:23:19,661
AI한테 뭘 할지 말하면 AI가
대신 해주는 거죠. - 그럼

4564
04:23:19,661 --> 04:23:23,799
특이점 이후, 인간과 기계
사이에 벌어지는 종말 전쟁에서

4565
04:23:23,799 --> 04:23:27,804
인간이 싸울 가치가 있다는
말씀이신가요? - 100%.

4566
04:23:27,804 --> 04:23:29,283
그러니까, 이게…

4567
04:23:29,283 --> 04:23:34,129
80년대에 나온 영화
터미네이터 말인데요, 저는 사실

4568
04:23:34,129 --> 04:23:39,142
잘못될 수 있는 유일한 경우는
뭔가가 명시적으로 해로운

4569
04:23:39,142 --> 04:23:44,489
일을 하도록 프로그래밍됐을
때뿐이라고 봐요. - 사실 그런

4570
04:23:44,489 --> 04:23:49,502
터미네이터식 상황이라면, 저는
인간이 이긴다고 봅니다.

4571
04:23:49,502 --> 04:23:51,575
저는 우리가 너무 영리하다고 봐요.

4572
04:23:51,575 --> 04:23:56,761
어떻게 알아내는지 설명하긴
어렵지만, 아무튼 해내요.

4573
04:23:56,761 --> 04:24:00,711
그리고 아마 로컬 LLM,
오픈소스 LLM을

4574
04:24:00,711 --> 04:24:04,002
써서 기계와 맞서 싸우게 될 거예요.

4575
04:24:04,002 --> 04:24:06,912
이렇게 황당한 얘기 늘어놔서 죄송해요.

4576
04:24:06,912 --> 04:24:09,374
말씀드렸다시피, 네이선은 제가 오래전부터

4577
04:24:09,374 --> 04:24:11,388
팬이었다는 걸 이미 알고 계세요.

4578
04:24:11,388 --> 04:24:13,767
세바스찬도 오래전부터 팬이었는데, 이렇게

4579
04:24:13,767 --> 04:24:15,822
드디어 만나 뵙게 되어 영광입니다.

4580
04:24:15,822 --> 04:24:17,942
세상에 내놓으신 모든 것들에 감사드려요.

4581
04:24:17,942 --> 04:24:20,275
훌륭한 책들을 써주셔서 감사합니다.

4582
04:24:20,275 --> 04:24:22,416
저희를 가르쳐 주셔서 감사합니다.

4583
04:24:22,416 --> 04:24:25,032
그리고 오늘 이야기
나눠주셔서 감사합니다.

4584
04:24:25,032 --> 04:24:29,243
오늘 재밌었어요. - 이렇게 초대해서
이런 인간적인 교감을 나누게

4585
04:24:29,243 --> 04:24:33,922
해주셔서 감사해요, 사실 이게- -
정말 소중한- 인간적인 교감이잖아요.

4586
04:24:33,922 --> 04:24:38,036
세바스찬 라시카, 네이선 램버트와 나눈
이 대화를 들어주셔서 감사합니다.

4587
04:24:38,036 --> 04:24:40,801
이 팟캐스트를 응원하고
싶으시면 설명란에 있는

4588
04:24:40,801 --> 04:24:44,231
스폰서들을 확인해 주세요.
거기서 제게 연락하거나 질문,

4589
04:24:44,231 --> 04:24:47,328
피드백을 남길 수 있는
링크도 찾으실 수 있습니다.

4590
04:24:47,328 --> 04:24:52,492
그럼 이제 알베르트 아인슈타인의
말을 남기며 마칠게요.

4591
04:24:52,492 --> 04:24:55,567
"제가 특별히 똑똑한 게 아니라, 그저

4592
04:24:55,567 --> 04:24:58,788
질문을 더 오래 붙들고 있을 뿐입니다."

4593
04:24:58,788 --> 04:25:05,621
들어주셔서 감사합니다.
다음에 또 뵐게요.