1
00:00:00,000 --> 00:00:02,240
제 일은 토큰을 인간이 할 수 있는
한 가장 싸게 만드는 겁니다.

2
00:00:02,240 --> 00:00:03,949
그걸 해낼 거고, 제가 손댈 수 있는

3
00:00:03,949 --> 00:00:06,000
스택의 모든 레이어를
동원해서 해낼 겁니다.

4
00:00:06,000 --> 00:00:07,359
저는 공급 측 레버들을 정말 좋아합니다.

5
00:00:07,359 --> 00:00:08,160
모든 칩을 쓸 겁니다.

6
00:00:08,160 --> 00:00:09,200
모든 전력원을 쓸 거고,

7
00:00:09,200 --> 00:00:12,960
이 용도에 적합한 미국
내 모든 땅을 쓸 겁니다.

8
00:00:12,960 --> 00:00:15,959
우리는 여전히 에이전트를
상담 비용이 비싼 사람처럼

9
00:00:15,959 --> 00:00:19,279
취급합니다. 어려운 질문이
있을 때나 물어보라는 식이죠.

10
00:00:19,279 --> 00:00:20,800
지능을 그런 식으로 생각해선 안 됩니다.

11
00:00:20,800 --> 00:00:22,400
기계가 생각할 수 있다는
건 정말 놀라운 일입니다.

12
00:00:22,400 --> 00:00:28,184
그리고 우리는 그걸 최대한 많은 사람의

13
00:00:28,184 --> 00:00:34,795
손에, 최대한 많은
사람에게 전해야 합니다.

14
00:00:38,079 --> 00:00:41,114
이런 대화 초반에는 있는 그대로
말하는 게 중요한 것 같아요.

15
00:00:41,114 --> 00:00:44,239
정확히 지금 뭘 만들고 계신지,
그게 오늘 무슨 일을 하는지요.

16
00:00:44,239 --> 00:00:47,822
그러니까 간단한 설명으로 방향을
좀 잡아주시겠어요? 정확히 어떤

17
00:00:47,822 --> 00:00:51,200
시스템을 만들고 계신지, 그리고
그게 왜 존재해야 하는지요.

18
00:00:51,200 --> 00:00:52,800
세일 리서치는 토큰 공장입니다.

19
00:00:52,800 --> 00:00:55,400
누구나 요청을 보낼 수
있는 API가 있습니다.

20
00:00:55,400 --> 00:00:57,600
거기서 대형 언어 모델을 쓸 수 있는데,

21
00:00:57,600 --> 00:01:00,480
오픈소스 대형 언어 모델을, 원하는
어떤 작업에든 쓸 수 있습니다.

22
00:01:00,480 --> 00:01:05,280
저희는 그 토큰들을 시장에서 따라올
수 없는 가격에 제공할 겁니다.

23
00:01:05,280 --> 00:01:08,560
그 위에서 에이전트를 만들
수 있도록 지원하기도 합니다.

24
00:01:08,560 --> 00:01:11,558
저희는 '샌드박스'라고 부르는
걸 호스팅하는데, 클라우드에서

25
00:01:11,558 --> 00:01:13,920
돌아가는 롱 호라이즌
에이전트용 가상머신입니다.

26
00:01:13,920 --> 00:01:17,439
몇 시간, 며칠, 몇 주씩 실행되는
에이전트를 위해 설계됐습니다.

27
00:01:17,439 --> 00:01:20,132
그러니까 다른 종류의 추론을 제공하는

28
00:01:20,132 --> 00:01:22,960
회사들과 동급으로 보면 될 것 같아요.

29
00:01:22,960 --> 00:01:25,280
특정한 한 종류의
추론을 제공하시는 거고,

30
00:01:25,280 --> 00:01:28,040
목표는 특정 방식의 지능
활용에서 절대적으로

31
00:01:28,040 --> 00:01:30,799
가장 저렴한 공급자이자
조력자가 되는 거죠.

32
00:01:30,799 --> 00:01:31,200
맞습니다.

33
00:01:31,200 --> 00:01:33,119
저희 회사의 테마는 풍요입니다.

34
00:01:33,119 --> 00:01:37,184
지능이라는 이 새로운 상품을,
거의 모든 산업이 감당할

35
00:01:37,184 --> 00:01:41,520
수 있는 비용으로 최대한 많은
사람에게 전달하고 싶습니다.

36
00:01:41,520 --> 00:01:44,160
무언가를 10배 저렴하게 만들면
그건 새로운 제품 카테고리가

37
00:01:44,160 --> 00:01:46,560
된다고 봅니다. 저희는 토큰에서
그걸 해내고 싶습니다.

38
00:01:46,560 --> 00:01:49,040
기계가 생각할 수 있다는 것
자체가 정말 심오하다고 생각합니다.

39
00:01:49,040 --> 00:01:51,160
이제 저희 일은 세상의
최대한 많은 기계가

40
00:01:51,160 --> 00:01:53,280
생각하는 방향으로
작동하게 만드는 것이죠.

41
00:01:53,280 --> 00:01:56,880
오늘 주제가 토큰 비용이라고 하면,

42
00:01:56,880 --> 00:01:58,799
토큰 비용이 이걸
바라보는 맞는 틀일까요,

43
00:01:58,799 --> 00:02:01,680
아니면 처음부터 다르게 표현하시겠어요?

44
00:02:01,680 --> 00:02:02,079
물론이죠.

45
00:02:02,079 --> 00:02:04,655
지금은 토큰 비용이
맞습니다. 제 목표는 업계에서

46
00:02:04,655 --> 00:02:07,040
토큰당 비용을 압도적으로
가장 낮추는 겁니다.

47
00:02:07,040 --> 00:02:10,651
토큰이 작업이나 지능의 최종
단위라고는 생각하지 않지만,

48
00:02:10,651 --> 00:02:13,680
지금 우리가 쓰는 단위니까
이야기는 단순합니다.

49
00:02:13,680 --> 00:02:16,761
토큰 다음 단계는 점점
결과 쪽으로 옮겨갈

50
00:02:16,761 --> 00:02:19,440
텐데, 아직은 다소 모호한 방향이죠.

51
00:02:19,440 --> 00:02:23,120
예를 들어 지금 에이전트를 통해
토큰을 쓸 때, 에이전트가

52
00:02:23,120 --> 00:02:26,800
추론에 토큰을 몇 개나 쓸지는
사용자가 통제하지 못합니다.

53
00:02:26,800 --> 00:02:28,560
일정 시간 동안 추론할 수도 있고,

54
00:02:28,560 --> 00:02:30,319
일정 횟수만큼 툴을 호출할 수도 있죠.

55
00:02:30,319 --> 00:02:33,123
점점 더 에이전트가 어떤
작업 단위를 맡아,

56
00:02:33,123 --> 00:02:36,160
가능한 한 여러 번 시도하게
될 거라고 봅니다.

57
00:02:36,160 --> 00:02:39,219
거기까지 가는 데 토큰을
얼마나 쓰는지는 결국

58
00:02:39,219 --> 00:02:42,400
태스크에 따라 결정되는
종속 변수가 될 거고요.

59
00:02:42,400 --> 00:02:45,760
그러니까 에이전트가 스스로 토큰
예산을 관리한다는 거네요,

60
00:02:45,760 --> 00:02:50,480
회사가 엔지니어들이 한 달에 쓸 토큰
예산을 정해주는 것과는 다르게요.

61
00:02:50,480 --> 00:02:53,760
왜 이걸 공략할 기회가 있다고 보시나요?

62
00:02:53,760 --> 00:02:56,482
전 세계가 온통 더 많고,
더 좋고, 더 빠르고,

63
00:02:56,482 --> 00:02:58,800
더 저렴한 토큰을 향해
있는 것 같은데요.

64
00:02:58,800 --> 00:03:03,200
지금 다들 이 문제를 정말
공격적으로 풀려고 하는 것 같아요.

65
00:03:03,200 --> 00:03:05,916
어떤 독특한 빈틈을 보신 건가요? 시장이

66
00:03:05,916 --> 00:03:08,879
이 문제를 효율적으로
풀지 못하고 있다든가.

67
00:03:08,879 --> 00:03:12,159
저희 회사에 순풍이 되는
요인이 두 가지 있다고 봅니다.

68
00:03:12,159 --> 00:03:14,560
하나는, 역시 오픈소스의 부상이죠.

69
00:03:14,560 --> 00:03:15,760
이건 먼저 짚고 넘어가야겠네요.

70
00:03:15,760 --> 00:03:18,784
점점 더 많은 고객들,
그리고 더 넓은 시장이 지능을

71
00:03:18,784 --> 00:03:21,599
소유하는 것 자체에 신경
쓰기 시작했다고 봅니다.

72
00:03:21,599 --> 00:03:25,200
의존하는 대상에 대해 통제권,
주권을 갖고 싶어 하는 거죠.

73
00:03:25,200 --> 00:03:28,480
그래서 커스텀 모델 시장이
훨씬 더 탄탄해졌습니다.

74
00:03:28,480 --> 00:03:30,328
혹은 그냥 바닐라 오픈소스 모델이라도,

75
00:03:30,328 --> 00:03:32,000
누구도 빼앗아 갈 수 없는 것이죠.

76
00:03:32,000 --> 00:03:32,720
가중치는 항상 내 손에 있습니다.

77
00:03:32,720 --> 00:03:35,360
원하는 방식대로 배포할
권리도 항상 있고요.

78
00:03:35,360 --> 00:03:38,388
그런 세상에서 이 모델들을
대규모로 서빙하는

79
00:03:38,388 --> 00:03:41,920
시장이 지난 몇 년간 꽤
탄탄하게 형성돼 왔습니다.

80
00:03:41,920 --> 00:03:45,520
문제는 그런 회사들 —
베이스텐이든 파이어웍스든 투게더

81
00:03:45,520 --> 00:03:49,599
AI든 어디를 골라도 — 전부
저지연 추론에 집중한다는 거죠.

82
00:03:49,599 --> 00:03:51,755
그리고 업계를 그 방향으로
이끈 아주 중요한 고객이

83
00:03:51,755 --> 00:03:53,680
하나 있었죠. 바로
커서(Cursor)입니다.

84
00:03:53,680 --> 00:03:57,519
1년 전쯤엔 그게 맞는
선택이었다고 생각합니다.

85
00:03:57,519 --> 00:03:59,836
그런데 6개월 전쯤부터는,
에이전트에게 필요한 게

86
00:03:59,836 --> 00:04:02,239
저지연만은 아닐 수도 있다는
게 보이기 시작했어요.

87
00:04:02,239 --> 00:04:05,200
더 필요한 건 지속성, 더
롱 호라이즌 태스크였죠.

88
00:04:05,200 --> 00:04:07,895
그리고 지금은, 제가
보기엔 에이전틱 추론의

89
00:04:07,895 --> 00:04:11,040
미래가 롱 호라이즌 태스크라는
게 아주 명백합니다.

90
00:04:11,040 --> 00:04:14,239
몇 시간, 며칠씩 기계를
돌리게 될 겁니다.

91
00:04:14,239 --> 00:04:17,680
초당 100토큰으로
뱉어내든 말든 상관없어요.

92
00:04:17,680 --> 00:04:19,280
초당 10토큰이어도 충분할 수 있습니다.

93
00:04:19,280 --> 00:04:22,079
그리고 그만큼 효율성
면에서 이점이 따라오죠.

94
00:04:22,079 --> 00:04:23,840
왜 그렇게 확신하시나요?

95
00:04:23,840 --> 00:04:27,759
제가 봐도, 다들 뭐든 최대한
빠르길 원하는 것처럼 보이긴 합니다.

96
00:04:27,759 --> 00:04:30,800
뭔가를 기다리고 있을 때는, 당연히
가장 빠른 답을 받을 자격이 있죠.

97
00:04:30,800 --> 00:04:32,479
제 트릭은, 애초에 기다리게
하지 않는 겁니다.

98
00:04:32,479 --> 00:04:33,440
선제적으로 움직이게 하고 싶은 거죠.

99
00:04:33,440 --> 00:04:34,479
백그라운드에서 돌아가게 하고 싶고요.

100
00:04:34,479 --> 00:04:37,520
한마디로 하면, 최고의 레이턴시는
레이턴시가 아예 없는 것입니다.

101
00:04:37,520 --> 00:04:39,840
아침에 일어나면, 이미 밤새
작업이 끝나 있는 거죠.

102
00:04:39,840 --> 00:04:41,440
부탁조차 하지 않았는데도 말입니다.

103
00:04:41,440 --> 00:04:42,479
그게 꿈이죠.

104
00:04:42,479 --> 00:04:43,680
아직 거기까진 못 갔습니다.

105
00:04:43,680 --> 00:04:46,637
근데 더 중요한 건요, 제
생각엔 에이전트에 프롬프트를

106
00:04:46,637 --> 00:04:49,199
주고 응답을 기다리면서
계속 루프 안에 있을수록

107
00:04:49,199 --> 00:04:53,360
사실 당신이 에이전트가 일을 얼마나
할지를 가로막는 병목이 되는 거죠.

108
00:04:53,360 --> 00:04:54,880
저희가 원하는 건 에이전트가 좀 더

109
00:04:54,880 --> 00:04:56,560
인간적인 시간 단위로 움직이는 겁니다.

110
00:04:56,560 --> 00:04:58,639
동료를 5분마다 관리하진 않잖아요.

111
00:04:58,639 --> 00:05:01,297
상위 수준 과업을
맡기고, 매일, 아니 더

112
00:05:01,297 --> 00:05:03,840
흔하게는 일주일에 한 번 확인하러 오죠.

113
00:05:03,840 --> 00:05:05,950
제가 보기엔 그게 인간-에이전트 협업의

114
00:05:05,950 --> 00:05:08,160
미래입니다. 더 인간적인 시간 단위로요.

115
00:05:08,160 --> 00:05:10,580
그게 실제로 일어나고
있다는, 그래서 이 회사를

116
00:05:10,580 --> 00:05:13,280
만들어야 한다는 초기 징후를
좀 더 말씀해주시겠어요?

117
00:05:13,280 --> 00:05:14,762
가장 먼저, 가장 중요한 건 테스트

118
00:05:14,762 --> 00:05:16,400
타임 컴퓨트 스케일링이라는 개념입니다.

119
00:05:16,400 --> 00:05:20,160
에이전트에게 시간을 더 주면
더 나은 답을 준다는 발상이죠.

120
00:05:20,160 --> 00:05:23,039
이론화된 건 이제 한 2년 전쯤인데,

121
00:05:23,039 --> 00:05:25,920
실제로 베팅할 수 있게 된 건, 작년 말

122
00:05:25,920 --> 00:05:28,800
오퍼스 4.5가 나오면서부터였다고 봐요.

123
00:05:28,800 --> 00:05:32,280
오퍼스 4.5가 롱 호라이즌
태스크에 그나마 맞는

124
00:05:32,280 --> 00:05:35,759
첫 에이전트였는데, 처음
나왔을 땐 꽤 별로였죠.

125
00:05:35,759 --> 00:05:39,360
그런데 최근 모델들을 보면, 저희가
오픈소스로 해온 것들도 그렇고,

126
00:05:39,360 --> 00:05:43,360
에이전트가 한 번에 한 시간씩
돌아갈 수 있다는 게 보입니다.

127
00:05:43,360 --> 00:05:46,720
며칠까지는 아니지만, 한 시간
정도는 지금 확실히 무리 없어요.

128
00:05:46,720 --> 00:05:51,840
그렇게 평균 턴이나 태스크
길이가 점점 길어지는 걸 보면,

129
00:05:51,840 --> 00:05:55,052
몇 개 점만 있어도 지수
곡선을 그려서, 에이전트를

130
00:05:55,052 --> 00:05:57,919
더 오래 돌릴 가치가
있다는 걸 알 수 있죠.

131
00:05:57,919 --> 00:06:00,581
3년쯤 뒤엔 롱 호라이즌 에이전트의 시장

132
00:06:00,581 --> 00:06:02,880
점유율이 어느 정도일 거라 보세요?

133
00:06:02,880 --> 00:06:04,720
이 시장이 좋은 이유는
상한이 없다는 겁니다.

134
00:06:04,720 --> 00:06:05,680
루프 안에 사람이 없거든요.

135
00:06:05,680 --> 00:06:08,479
그래서 백그라운드에선 원하는 만큼
토큰을 얼마든지 쓸 수 있죠.

136
00:06:08,479 --> 00:06:09,919
인간의 주의 지속 시간과는 다르게요.

137
00:06:09,919 --> 00:06:12,572
코덱스나 클로드 코드에서
토큰을 10배 더 쓰라고

138
00:06:12,572 --> 00:06:15,520
하면, 사실 제가 더 이상
그럴 수 있을지 모르겠어요.

139
00:06:15,520 --> 00:06:17,555
저는 이미 루프에 들어가서
몰입한 상태라, 노트북

140
00:06:17,555 --> 00:06:19,440
앞에 있는 시간 대부분을
코딩하는 데 씁니다.

141
00:06:19,440 --> 00:06:22,153
다만 백그라운드나
능동적으로는 토큰을 얼마나

142
00:06:22,153 --> 00:06:24,639
소비할 수 있을지, 그건 아직 모릅니다.

143
00:06:24,639 --> 00:06:27,349
장기적으로 보면, 올해가
끝날 즈음엔 백그라운드와

144
00:06:27,349 --> 00:06:30,160
실시간 워크로드가 50대
50 정도일 것 같습니다.

145
00:06:30,160 --> 00:06:32,960
하지만 결국엔 백그라운드 쪽으로
90대 10까지 갈 거라고 봅니다.

146
00:06:32,960 --> 00:06:36,971
구체적으로 어떤 게 있을까요? 사람이
계속 개입하는 방식보다 백그라운드

147
00:06:36,971 --> 00:06:40,880
작업으로 처리할 때 훨씬 잘되는,
가장 좋아하는 사례를 꼽으신다면요?

148
00:06:40,880 --> 00:06:45,878
대부분 딥 리서치죠. 출처
100개나 1,000개가 아니라

149
00:06:45,878 --> 00:06:50,720
1만 개 이상을 두고 확정적인
답을 원하는 질문들입니다.

150
00:06:50,720 --> 00:06:53,360
신뢰할 수 있는 정보 인덱스를
구축하려는 경우도 그렇습니다.

151
00:06:53,360 --> 00:06:56,160
예를 들어 저희 고객사인 패럴렐
웹 시스템즈가 하려는 일처럼요.

152
00:06:56,160 --> 00:06:58,813
그들은 인터넷 전체에
대한 인덱스를 구축하고,

153
00:06:58,813 --> 00:07:01,360
실시간으로 변화를
모니터링하고 싶어 합니다.

154
00:07:01,360 --> 00:07:04,818
이런 엑사바이트급 미친
규모의 작업은, 완전히 다른

155
00:07:04,818 --> 00:07:08,400
종류나 다른 규모의 지능이
있어야 해낼 수 있습니다.

156
00:07:08,400 --> 00:07:11,187
딥 리서치는 저희에게
최상위 카테고리이고, 점점

157
00:07:11,187 --> 00:07:13,759
사이버보안도 같은 방향을
따라가고 있습니다.

158
00:07:13,759 --> 00:07:16,880
생각해보면, 물론 생성할
수 있는 코드는 정말 많죠.

159
00:07:16,880 --> 00:07:19,679
하지만 그 코드를 생성하는
방법보다, 깨뜨리는

160
00:07:19,679 --> 00:07:21,919
방법이 지수적으로 훨씬 더 많습니다.

161
00:07:21,919 --> 00:07:25,730
그리고 어떤 소프트웨어든 깨뜨릴 수
있는 에이전트를 찾아서 선제적으로

162
00:07:25,730 --> 00:07:29,039
패치하려고, 정말 열심히 노력하는
훌륭한 고객들이 있습니다.

163
00:07:29,039 --> 00:07:31,658
예를 들어 페이블이나
미토스가 처음 나왔을 때,

164
00:07:31,658 --> 00:07:34,479
사이버보안 커뮤니티에서는
이런 움직임이 있었습니다.

165
00:07:34,479 --> 00:07:37,711
우리가 지금까지 작성한 모든
코드에 페이블을 돌려서,

166
00:07:37,711 --> 00:07:40,720
20가지 다른 방식으로
버그를 찾아보자는 거였죠.

167
00:07:40,720 --> 00:07:43,827
메모리 오류도 찾고,
비즈니스 로직 오류도 찾고,

168
00:07:43,827 --> 00:07:47,280
네트워크 취약점도 찾고, 이
모든 걸 다 보는 겁니다.

169
00:07:47,280 --> 00:07:50,479
이런 것들은 사실 전용 에이전트를
따로 만들어야 하는 일들입니다.

170
00:07:50,479 --> 00:07:53,804
페이블이 소스코드를 한 번 훑어보게
하는 걸로 끝나지 않고, 실제로

171
00:07:53,804 --> 00:07:57,039
이 애플리케이션들을 침투 테스트할
환경까지 구축하게 만드는 거죠.

172
00:07:57,039 --> 00:07:59,585
그러다 어느 순간부터
사람들이, 보안이 작업

173
00:07:59,585 --> 00:08:01,919
증명이 됐다는 농담을 하기 시작했습니다.

174
00:08:01,919 --> 00:08:05,543
안전한 소프트웨어를 원한다면,
결국 앤트로픽 API에 돈을

175
00:08:05,543 --> 00:08:09,280
얼마나 써서 자기 소프트웨어를
뚫어봤는지의 문제라는 거예요.

176
00:08:09,280 --> 00:08:11,158
그게 세상에서 가장
좋은 도구니까, 얼마나

177
00:08:11,158 --> 00:08:13,199
안전한지를 보여주는 가장
좋은 지표인 셈이죠.

178
00:08:13,199 --> 00:08:14,530
그리고 점점 더 확인하고
있는 건, 여기서

179
00:08:14,530 --> 00:08:15,919
지능의 프런티어가 꽤
들쭉날쭉하다는 겁니다.

180
00:08:15,919 --> 00:08:17,900
페이블이 소프트웨어의 모든 버그를 다

181
00:08:17,900 --> 00:08:20,080
포함하는 초집합을 찾아내는 건 아닙니다.

182
00:08:20,080 --> 00:08:23,680
아주 작은 모델로는 찾지만 큰
모델로는 못 찾는 버그도 있습니다.

183
00:08:23,680 --> 00:08:25,250
하이쿠로 찾아내는 버그가 있고 페이블로

184
00:08:25,250 --> 00:08:27,120
찾아내는 버그가 있고,
반대의 경우도 있고요.

185
00:08:27,120 --> 00:08:29,808
그래서 샘플링을 이렇게
다양하게 접근하게 됐고,

186
00:08:29,808 --> 00:08:32,600
소프트웨어를 자율적으로
뚫는 사이버보안 에이전트를

187
00:08:32,600 --> 00:08:35,599
만들어서 패치할 수 있게
하려는 시도로 이어졌습니다.

188
00:08:35,599 --> 00:08:39,917
롱 호라이즌 에이전트, 그것도 아주
저렴하고 아주 오래 실행되는 에이전트가

189
00:08:39,917 --> 00:08:43,919
가능하게 할 것들을 좀 사변적으로,
상상력을 발휘해서 얘기해본다면요.

190
00:08:43,919 --> 00:08:48,720
실용적인 예시들은 이미 얘기했죠 —
딥 리서치, 사이버보안 같은 것들요.

191
00:08:48,720 --> 00:08:52,587
그런데 조금 더 몽상적으로
가서, 이런 추론이 열어줄

192
00:08:52,587 --> 00:08:56,320
새로운 제품 카테고리,
유스케이스를 생각해본다면요.

193
00:08:56,320 --> 00:09:00,259
질문은 결국 이겁니다 —
최대한 성공한다면 어떨까요?

194
00:09:00,259 --> 00:09:03,519
그게 뭘 가능하게 할지
살짝 꿈꿔봐 주세요.

195
00:09:03,519 --> 00:09:04,240
네, 물론이죠.

196
00:09:04,240 --> 00:09:07,464
개인 사용자 입장에서
제가 가장 기대하는 건,

197
00:09:07,464 --> 00:09:10,560
이 능동적인 지능형
에이전트라는 개념입니다.

198
00:09:10,560 --> 00:09:13,218
하루 종일 백그라운드에서
돌아가면서, 그날 받은

199
00:09:13,218 --> 00:09:16,080
이메일을 전부 파악하는 시리
같은 걸 상상해보세요.

200
00:09:16,080 --> 00:09:19,040
그날 받은 문자 메시지도 전부
파악하고, 여러분의 삶을 훨씬

201
00:09:19,040 --> 00:09:22,000
더 백과사전적으로 이해해서 그
삶에 도움이 되는 방식으로요.

202
00:09:22,000 --> 00:09:23,800
지금은 아직 포인트 솔루션들뿐이라서,

203
00:09:23,800 --> 00:09:25,600
결국 프롬프트를 계속 입력하게 되죠.

204
00:09:25,600 --> 00:09:27,040
시리는 별로 능동적이지 않습니다.

205
00:09:27,040 --> 00:09:29,760
그건 풍요로운 추론으로
고칠 수 있는 문제죠.

206
00:09:29,760 --> 00:09:32,375
그 기계를 충분히 신뢰할
수 있다면요 — 믿을

207
00:09:32,375 --> 00:09:35,200
만하고, 프라이버시 면에서도
신뢰할 수 있다면요.

208
00:09:35,200 --> 00:09:38,426
심지어 그 기계가 여러분과 어떻게
상호작용하는지를 스스로 이해해서,

209
00:09:38,426 --> 00:09:42,000
휴대폰을 열 때마다 다음 행동을 먼저
제시해주는 것도 상상할 수 있습니다.

210
00:09:42,000 --> 00:09:44,320
여러분이 다음에 뭘 할지에 대한 좋은
모델을, 우리가 만들 수 있을까요?

211
00:09:44,320 --> 00:09:46,320
제 판단으로는, 네, 충분히 가능합니다.

212
00:09:46,320 --> 00:09:48,560
그리고 그 핵심은 엄청나게
저렴한 지능이에요.

213
00:09:48,560 --> 00:09:52,399
돌아온다는 보장 없이도 기꺼이
토큰을 쓸 수 있어야 합니다.

214
00:09:52,399 --> 00:09:53,760
그게 바로 이걸 가능케 하는 열쇠죠.

215
00:09:53,760 --> 00:09:58,193
좀 더 멀리서 보면,
우리에게는 검증 가능한 문제라면

216
00:09:58,193 --> 00:10:02,320
뭐든 다룰 수 있는 형태의
지능이 있다는 겁니다.

217
00:10:02,320 --> 00:10:05,040
검증 가능한 문제라고 하면
대부분의 소프트웨어가 해당됩니다.

218
00:10:05,040 --> 00:10:09,680
수학 증명 같은 형식적인
것들도 많이 포함되죠.

219
00:10:09,680 --> 00:10:12,080
그리고 과학적 발견도
포함될 수 있습니다.

220
00:10:12,080 --> 00:10:14,880
이것들 전부 상대적으로
검증 가능한 문제들이에요.

221
00:10:14,880 --> 00:10:18,560
그리고 지금은 이 모든 것에 사실상
달러 비용이 붙어 있는 상황이고요.

222
00:10:18,560 --> 00:10:19,360
그게 숨은 비용이에요.

223
00:10:19,360 --> 00:10:22,880
그러니까 이걸 해내려면 토큰을 대체
얼마나 동원해야 하느냐는 거죠.

224
00:10:22,880 --> 00:10:27,348
그런데 실제로 이제 그게 눈에
들어오기 시작했어요. 이런 롱

225
00:10:27,348 --> 00:10:31,680
호라이즌 태스크에 합리적인 달러
비용이 붙기 시작한 거죠.

226
00:10:31,680 --> 00:10:33,415
수백만 달러가 아니라 수천
달러 수준이고, 어쩌면

227
00:10:33,415 --> 00:10:35,279
수백 달러, 심지어 수십
달러까지 갈 수도 있습니다.

228
00:10:35,279 --> 00:10:38,399
가까운 미래에는 어떤
과학적 질문에도, 어떤 연구

229
00:10:38,399 --> 00:10:41,519
문제에도 확정적인 답을
얻을 수 있게 되는 거죠.

230
00:10:41,519 --> 00:10:44,644
[광고] 램프는 재무팀을 더
가볍고 빠르고 낫게 만들도록 설계된

231
00:10:44,644 --> 00:10:47,680
유일한 플랫폼입니다. 기업들은
평균적으로 연 5%를 절감하죠.

232
00:10:47,680 --> 00:10:49,600
그러니 여러분은 성장에만
집중하시면 됩니다.

233
00:10:49,600 --> 00:10:51,880
램프 고객사들은 평균적인 미국 기업보다

234
00:10:51,880 --> 00:10:54,160
매출이 3.2배 더 빠르게 성장합니다.

235
00:10:54,160 --> 00:10:57,290
비자, 버셀, 커서,
스트라이프, 노션, 일레븐랩스,

236
00:10:57,290 --> 00:11:00,959
쇼피파이를 비롯해 7만 개 기업이
지금 램프를 쓰고 있습니다.

237
00:11:00,959 --> 00:11:02,720
저희 회사도 그렇고, 여러분
회사도 그래야 하지 않을까요.

238
00:11:02,720 --> 00:11:06,079
자세한 내용은
ramp.com/invest에서 확인하세요.

239
00:11:06,079 --> 00:11:07,964
[광고] 오픈AI, 커서, 앤트로픽,

240
00:11:07,964 --> 00:11:10,320
퍼플렉시티, 버셀에는
공통점이 하나 있습니다.

241
00:11:10,320 --> 00:11:11,760
모두 WorkOS를 쓴다는 거죠.

242
00:11:11,760 --> 00:11:15,440
대규모 엔터프라이즈 도입을
이루려면 SSO, SCIM,

243
00:11:15,440 --> 00:11:19,120
RBAC, 감사 로그 같은
핵심 기능을 갖춰야 합니다.

244
00:11:19,120 --> 00:11:22,413
이런 필수 기능을 직접
만드느라 몇 달을 쓰는 대신,

245
00:11:22,413 --> 00:11:26,160
WorkOS API만 쓰면
첫날부터 전부 갖출 수 있습니다.

246
00:11:26,160 --> 00:11:28,409
그래서 여러분이 들어본
유수의 AI 팀들이 이미

247
00:11:28,409 --> 00:11:30,399
WorkOS 위에서
돌아가고 있는 겁니다.

248
00:11:30,399 --> 00:11:32,959
WorkOS는 엔터프라이즈
준비를 가장 빠르게 마치고, 정말

249
00:11:32,959 --> 00:11:35,519
중요한 일, 즉 제품에만 집중할
수 있게 해주는 방법입니다.

250
00:11:35,519 --> 00:11:38,240
시작하려면 works.com을
방문하세요.

251
00:11:38,240 --> 00:11:40,876
[광고] 로고(Rogo)의
펠릭스는 프롬프트 하나로 여러분

252
00:11:40,876 --> 00:11:43,759
회사의 템플릿과 맥락, 기준을
활용해 클라이언트에게 바로 전달할

253
00:11:43,759 --> 00:11:46,560
수 있는 완성된 결과물을 만들어주는
개인 금융 에이전트입니다.

254
00:11:46,560 --> 00:11:49,839
펠릭스에게 '이 코멘트들 반영해서
정리해 줘' 같은 이메일을 보내보세요.

255
00:11:49,839 --> 00:11:52,560
아니면 '이 이메일들 내용으로 트래커
업데이트해 줘'라고 보내도 됩니다.

256
00:11:52,560 --> 00:11:54,754
그러면 펠릭스가 완성된
파워포인트 슬라이드,

257
00:11:54,754 --> 00:11:57,040
엑셀 모델, 출처가 달린
리서치를 보내줍니다.

258
00:11:57,040 --> 00:11:59,440
펠릭스는 여러분 팀이 일하는
방식 그대로 일하면서,

259
00:11:59,440 --> 00:12:01,839
24시간 내내 빠르고 정확하게
결과물을 전달합니다.

260
00:12:01,839 --> 00:12:04,720
자세한 내용은
rogo.ai/felix에서 확인하세요.

261
00:12:04,720 --> 00:12:08,159
그러니 그런 미래를 그려본다면,
결국 우리는 사람들이

262
00:12:08,159 --> 00:12:11,360
던질 수 있는 질문만큼만
한계를 갖게 되는 거죠.

263
00:12:11,360 --> 00:12:12,560
기본적으로요.

264
00:12:12,560 --> 00:12:14,639
결국 우리가 던질 수 있는
질문의 문제인 거죠.

265
00:12:14,639 --> 00:12:17,708
모델들은 이제 상위 수준 질문
하나만 던져도 가능한 모든

266
00:12:17,708 --> 00:12:20,480
후속 질문까지 스스로 파고드는
단계에 와 있습니다.

267
00:12:20,480 --> 00:12:23,360
모델이 사실상 그걸 알아서
처리하게 할 수 있는 거죠.

268
00:12:23,360 --> 00:12:25,519
그러면 관건은 토큰
예산이 얼마냐는 겁니다.

269
00:12:25,519 --> 00:12:27,200
그리고 저희가 그 토큰 예산
문제를 해결할 겁니다.

270
00:12:27,200 --> 00:12:29,760
검증 불가능한 태스크는 어떤가요?

271
00:12:29,760 --> 00:12:33,760
저는 인간의 취향이라는 범주
전체를 사실상 거기에 포함시킵니다.

272
00:12:33,760 --> 00:12:35,360
인간의 취향은 아직 풀지 못했습니다.

273
00:12:35,360 --> 00:12:37,600
그리고 근본적으로 풀릴 수
있는 문제인지도 모르겠어요.

274
00:12:37,600 --> 00:12:40,366
여기서 놀라운 반전이
있길 기대하지만, 저희는

275
00:12:40,366 --> 00:12:42,800
아주 정량적인 문제에 집중하고 있습니다.

276
00:12:42,800 --> 00:12:47,200
글의 완성도나 예술의 아름다움 같은
건 사람의 몫으로 남겨둡니다.

277
00:12:47,200 --> 00:12:47,440
좋습니다.

278
00:12:47,440 --> 00:12:52,639
이제 구축하고자 하시는 아주 영리한
솔루션 스택 이야기를 해보죠.

279
00:12:52,639 --> 00:12:55,995
궁극적으로 극도로 저렴한
지능, 그런 지능의 공급자가

280
00:12:55,995 --> 00:12:59,120
되는 이 거대한 토큰
공장을 만들기 위한 거고요.

281
00:12:59,120 --> 00:13:01,368
이걸 층위별로, 즉
소프트웨어, 하드웨어,

282
00:13:01,368 --> 00:13:03,519
전력 순으로 생각하신다고 알고 있는데요.

283
00:13:03,519 --> 00:13:06,600
다른 사람들이 생각하는 방식과는
완전히 다른 이 과제에

284
00:13:06,600 --> 00:13:09,680
접근하기 위한 마스터플랜이
무엇인지 설명해 주시겠어요?

285
00:13:09,680 --> 00:13:11,200
저희는 항상 소프트웨어에서
시작해야 합니다.

286
00:13:11,200 --> 00:13:13,815
오늘날의 칩, 오늘날의 데이터센터에서

287
00:13:13,815 --> 00:13:16,560
효율을 개선할 기회가 어디에 있을까요?

288
00:13:16,560 --> 00:13:20,293
저희가 가장 먼저 한 일은 LM
소프트웨어 스택 전체를 GPU 최대 효율

289
00:13:20,293 --> 00:13:23,839
중심으로 구축하는 것이었습니다. 즉
엔비디아 GPU를 쓴다는 뜻이죠.

290
00:13:23,839 --> 00:13:27,680
같은 칩에서 세상 그 누구보다
더 많은 토큰을 뽑아내고 싶었고,

291
00:13:27,680 --> 00:13:31,120
그건 가장 낮은 수준의 프로그래밍,
즉 커널에서 시작됩니다.

292
00:13:31,120 --> 00:13:33,449
사실 그게 제 배경이기도 한데요, 저는

293
00:13:33,449 --> 00:13:36,000
커리어 내내 GPU와
커널을 다뤄왔습니다.

294
00:13:36,000 --> 00:13:38,399
엔비디아가 대학 재학
중이던 시절 첫 직장이었고,

295
00:13:38,399 --> 00:13:40,872
텐서 코어가 어떻게 칩에 자리를 얻을

296
00:13:40,872 --> 00:13:43,839
자격을 갖추게 됐는지
지켜볼 수 있었습니다.

297
00:13:43,839 --> 00:13:44,959
이게 2016년으로 거슬러
올라가는 얘기입니다.

298
00:13:44,959 --> 00:13:47,120
일반인이 이해하기 쉽게
설명해 주시겠어요?

299
00:13:47,120 --> 00:13:52,079
그러니까, 텐서 코어는 GPU에서 행렬
곱셈을 가속하는 전용 유닛입니다.

300
00:13:52,079 --> 00:13:52,800
간단히 말하면 그렇습니다.

301
00:13:52,800 --> 00:13:54,309
텐서 코어가 시간이 지나며 어떻게

302
00:13:54,309 --> 00:13:56,320
진화해왔는지, 그 긴
역사는 이따 다뤄보죠.

303
00:13:56,320 --> 00:13:58,399
그런데 행렬 곱셈은 왜
그렇게 중요한 건가요?

304
00:13:58,399 --> 00:13:59,199
좋은 질문이네요.

305
00:13:59,199 --> 00:14:02,891
사실 왜 행렬 곱셈이 연산의
원자 단위처럼 보이는지

306
00:14:02,891 --> 00:14:06,320
설명해주는 절대적인 진리
같은 건 없다고 봐요.

307
00:14:06,320 --> 00:14:09,337
다만 제가 들었던 설명
중 하나는, 숫자 두

308
00:14:09,337 --> 00:14:12,480
블록을 아주 간결하게
섞는 방법이라는 거예요,

309
00:14:12,480 --> 00:14:14,639
그 둘이 흥미로운 방식으로
상호작용하게 만드는 거죠.

310
00:14:14,639 --> 00:14:16,160
제가 말씀드릴 수 있는
건 그 정도입니다.

311
00:14:16,160 --> 00:14:18,594
선형대수가 데이터 속 임의의 관계를 아주

312
00:14:18,594 --> 00:14:21,360
압축적으로 표현해낸다는
게 정말 편리한 거죠.

313
00:14:21,360 --> 00:14:25,195
엔비디아는 뛰어난 그래픽
회사로서, GPU와 게이밍

314
00:14:25,195 --> 00:14:29,440
그래픽 시장에서 꽤 오랫동안
점유율 우위를 지켜왔습니다.

315
00:14:29,440 --> 00:14:34,639
그러다 2010년대 중반부터 일종의
비밀 프로젝트들을 시작했어요,

316
00:14:34,639 --> 00:14:36,907
자신들이 주시하던 머신러닝 작업에 그래픽

317
00:14:36,907 --> 00:14:39,279
프로세서를 더 적합하게
만들기 위해서였죠.

318
00:14:39,279 --> 00:14:41,459
제가 엔비디아에 있을 때 매니저 몇 분의

319
00:14:41,459 --> 00:14:43,440
연구 노트를 읽었던 기억이 나는데요.

320
00:14:43,440 --> 00:14:45,859
그분들은 당시 ICML이나 NeurIPS

321
00:14:45,859 --> 00:14:47,839
같은 소규모 학회들을 다니시면서,

322
00:14:47,839 --> 00:14:50,519
이런 논문들을
메모해두시더라고요. '어, 이

323
00:14:50,519 --> 00:14:53,199
딥러닝이라는 게 뜨고
있나 보네' 하면서요,

324
00:14:53,199 --> 00:14:56,524
정말 흥미로운 건, 대학원생들이
자기네 대형 모델을 학습시키는

325
00:14:56,524 --> 00:14:59,360
데 게이밍용 엔비디아 GPU를
쓰고 있었다는 거예요.

326
00:14:59,360 --> 00:15:02,000
'이 부분을 더 파고들어서 무슨
일인지 알아봐야겠다' 싶었던 거죠,

327
00:15:02,000 --> 00:15:05,236
그래서 적어도 2015년,
2016년쯤엔 젠슨 황도

328
00:15:05,236 --> 00:15:08,240
확신을 갖고 이쪽에 더
힘을 싣기 시작했습니다.

329
00:15:08,240 --> 00:15:11,680
'이봐, 우리 칩의 이런 쓰임새는
앞으로 계속 커질 수밖에 없어.'

330
00:15:11,680 --> 00:15:14,706
'이제 막 떠오르는
이 기능에 귀한 실리콘

331
00:15:14,706 --> 00:15:17,600
다이 면적을 점점 더 내주기 시작하자.'

332
00:15:17,600 --> 00:15:20,320
'텐서 코어 첫 버전을 칩에 넣어보자.'

333
00:15:20,320 --> 00:15:24,491
그러니까 화면에 픽셀을
그리도록 설계된 게이밍 칩을

334
00:15:24,491 --> 00:15:28,959
가져다가, 행렬 곱셈을 하도록
개조한다는 얘기인 거죠,

335
00:15:28,959 --> 00:15:33,199
그리고 그때는 초창기였고, 사실상
그래픽 팀과 경쟁하는 셈이었죠

336
00:15:33,199 --> 00:15:34,880
더 많은 실리콘 면적을 요청할 때는요.

337
00:15:34,880 --> 00:15:37,360
그리고 어떤 칩 회사든 그 자리를
놓고 항상 경쟁이 있습니다.

338
00:15:37,360 --> 00:15:40,320
설계자들이 정말 조심스럽게
지키는 부분이죠.

339
00:15:40,320 --> 00:15:43,660
잘못된 기술에 투자하고
싶지 않은 게, 그건

340
00:15:43,660 --> 00:15:47,279
다른 기능에 배분할 수
있었던 기회비용이니까요.

341
00:15:47,279 --> 00:15:49,697
그래서 저희는 이를 악물고 싸워서 아주

342
00:15:49,697 --> 00:15:52,000
작은 다이 면적을 겨우 얻어냈습니다—

343
00:15:52,000 --> 00:15:55,920
이 칩들의 첫 세대에서 아마
5~10% 정도, 그 정도였을 거예요.

344
00:15:55,920 --> 00:16:00,413
당시 컴퓨터 비전 모델의 기본 연산이었던

345
00:16:00,413 --> 00:16:05,519
컨볼루션에 어느 정도
가속을 주기 위해서였죠.

346
00:16:05,519 --> 00:16:08,477
그리고 저희에겐 칩에서
뽑아낼 수 있는 성능을

347
00:16:08,477 --> 00:16:11,199
전부 짜내려는 소프트웨어
팀이 있었습니다.

348
00:16:11,199 --> 00:16:13,039
그 소프트웨어 팀에서
제가 일했는데, 사실

349
00:16:13,039 --> 00:16:14,639
거기서 가장 많이 배웠다고 생각해요,

350
00:16:14,639 --> 00:16:16,639
엔비디아가 가진 정신,
그러니까 '스피드 오브

351
00:16:16,639 --> 00:16:19,120
라이트(이론상 최대 성능)'라고
부르는 용어에 대해서요.

352
00:16:19,120 --> 00:16:22,160
그들은 만드는 모든 하드웨어에 대해
항상 스피드 오브 라이트를 쫓습니다.

353
00:16:22,160 --> 00:16:25,080
머신이 할 수 있는 일이라면
한계까지 밀어붙인다는

354
00:16:25,080 --> 00:16:28,000
생각이 모든 엔지니어의
머릿속에 깊이 박혀 있어요

355
00:16:28,000 --> 00:16:29,440
우리가 생각하는 수준에 도달할 때까지요.

356
00:16:29,440 --> 00:16:31,279
그리고 스피드 오브 라이트는
가능한 것의 한계죠.

357
00:16:31,279 --> 00:16:32,720
스피드 오브 라이트는
가능한 것의 한계군요.

358
00:16:32,720 --> 00:16:33,279
맞습니다.

359
00:16:33,279 --> 00:16:35,401
칩이 이 주파수로 돌고
사이클당 이만큼의 곱셈기를

360
00:16:35,401 --> 00:16:37,759
만들어낼 수 있다고 생각하면,
우리는 거기 도달합니다.

361
00:16:37,759 --> 00:16:41,279
모든 병목을 깨고 그 최고
성능 수준에 도달할 겁니다.

362
00:16:41,279 --> 00:16:43,492
그래서 지금도 저는 모든
엔지니어에게 100%

363
00:16:43,492 --> 00:16:45,440
스피드 오브 라이트를 쫓으라고 말합니다.

364
00:16:45,440 --> 00:16:47,199
경쟁사 대비 상대적인
수치는 신경 쓰지 않아요.

365
00:16:47,199 --> 00:16:48,880
저는 오직 절대적인 수치만 신경 씁니다.

366
00:16:48,880 --> 00:16:51,839
칩에서 우리가 뭘 해낼 수 있고,
그걸 어떻게 달성하는가만요.

367
00:16:51,839 --> 00:16:55,084
엔비디아 시절 이야기를
마무리하기 전에, 그 문화적

368
00:16:55,084 --> 00:16:58,560
지점 말고도 사고방식을 정말
바꿔놓은 게 더 있을까요,

369
00:16:58,560 --> 00:17:00,566
아니면 당시 사업이 돌아가던 방식이나 그

370
00:17:00,566 --> 00:17:02,480
문화에서 가장 인상적이었던 게 있나요?

371
00:17:02,480 --> 00:17:03,680
엔비디아 관련 일화가 정말 많습니다.

372
00:17:03,680 --> 00:17:05,120
몇 가지 말씀드릴 수 있는데요.

373
00:17:05,120 --> 00:17:08,214
제가 제일 좋아하는 건 근속
얘기인데요. 2015, 2016년에

374
00:17:08,214 --> 00:17:11,839
엔비디아에서 저와 같이 일했던 사람들
중 많은 수가 지금도 거기 있습니다.

375
00:17:11,839 --> 00:17:15,079
그 회사는 인력 유지율이 정말
놀랍고, 솔직히 말해 제가 커리어

376
00:17:15,079 --> 00:17:18,319
통틀어 실리콘 쪽에서 함께 일해본
엔지니어 중 최고 수준입니다.

377
00:17:18,319 --> 00:17:20,640
정말, 정말 동기부여가
되어 있고 열정적이죠.

378
00:17:20,640 --> 00:17:23,742
병렬 컴퓨팅이라는 개념을
여러 형태로 거치는 내내

379
00:17:23,742 --> 00:17:26,959
믿어왔고, 칩이 진화하는
걸 보는 걸 좋아했습니다.

380
00:17:26,959 --> 00:17:30,720
이게 그들의 필생의 업이고, 그
방향으로는 정말, 정말 유능하죠.

381
00:17:30,720 --> 00:17:32,400
또 굉장히 검소한 회사이기도 합니다.

382
00:17:32,400 --> 00:17:35,212
엔비디아도, 그리고 아마
2008년 이후 실리콘밸리 회사들

383
00:17:35,212 --> 00:17:37,760
전부도, 복지 같은 데서
좀 줄인 게 있었을 겁니다.

384
00:17:37,760 --> 00:17:38,720
그러니까 무료 점심
같은 건 없었던 거죠.

385
00:17:38,720 --> 00:17:40,960
예를 들어 엔비디아는 한술 더 떴는데요.

386
00:17:40,960 --> 00:17:42,960
냉장고에 공짜 우유도 없었습니다.

387
00:17:42,960 --> 00:17:46,257
그래서 엔비디아에서 커피를
마시려고 우유가 필요하면,

388
00:17:46,257 --> 00:17:49,440
실제로 매달 1달러씩 '밀크
클럽'에 내야 했어요.

389
00:17:49,440 --> 00:17:52,320
그럼 밀크 클럽이 코스트코 우유를
사다가 냉장고에 채워 넣는 거죠.

390
00:17:52,320 --> 00:17:54,480
그게 아직도 또렷이 기억나네요.

391
00:17:54,480 --> 00:17:56,742
세일에서는 그렇게까지 하진 않지만, 그런

392
00:17:56,742 --> 00:17:58,799
검소함이 회사 전체에 배어 있달까요.

393
00:17:58,799 --> 00:18:02,600
그러니까 그 시절을 거치면서,
소프트웨어로 밑단 하드웨어를

394
00:18:02,600 --> 00:18:06,400
더 효율적으로 쓰는 게 어떤
건지 몸으로 체득하신 거네요.

395
00:18:06,400 --> 00:18:06,799
네.

396
00:18:06,799 --> 00:18:10,080
그럼 그걸 오늘날 상황이랑
한번 연결해 볼까요?

397
00:18:10,080 --> 00:18:10,799
네, 그럼요.

398
00:18:10,799 --> 00:18:13,760
그래서 저는 GPU가 근본적으로
처리량 기계라고 봅니다.

399
00:18:13,760 --> 00:18:16,645
GPU는 일감을 잔뜩
줘서 연산 유닛을 최대로

400
00:18:16,645 --> 00:18:19,760
가동하며 그 일을 소화하게
할 때 가장 좋아하죠.

401
00:18:19,760 --> 00:18:21,416
그런데 사실 지난 몇 년간 저희가

402
00:18:21,416 --> 00:18:23,440
AI를 그런 식으로 다루지는 않았습니다.

403
00:18:23,440 --> 00:18:26,720
AI를 정말 대화형 챗봇 도구
쪽으로 밀어붙여 온 거예요.

404
00:18:26,720 --> 00:18:29,520
그게 오늘날 AI 사용의
가장 흔한 형태고요.

405
00:18:29,520 --> 00:18:32,541
그런 세상에서는 키보드
앞의 사용자에게 최대한

406
00:18:32,541 --> 00:18:35,200
빨리 답을 뱉어내는 게 정말 중요합니다.

407
00:18:35,200 --> 00:18:36,880
사용자를 기다리게 하지 말라는 말씀처럼,

408
00:18:36,880 --> 00:18:38,559
저도 뭐든 최대한 빠르게 하고 싶습니다.

409
00:18:38,559 --> 00:18:41,120
그리고 그게 사실 GPU
입장에서는 꽤 흥미로운 지점입니다.

410
00:18:41,120 --> 00:18:44,524
토큰을 빠르게 뱉어내려
하면, GPU를 컴퓨트가

411
00:18:44,524 --> 00:18:48,320
완전히 활용되는 최적 경로에
두기가 매우 어렵습니다.

412
00:18:48,320 --> 00:18:51,283
GPU에는 처리량 중심이냐
레이턴시 최적화냐

413
00:18:51,283 --> 00:18:54,000
사이에 근본적인 트레이드오프가 있습니다.

414
00:18:54,000 --> 00:18:59,679
다들 레이턴시 최적화를 택해왔죠,
사용 형태가 챗봇 중심이었으니까요.

415
00:18:59,679 --> 00:19:02,559
그게 앞으로 1년 안에 보게 될
가장 근본적인 변화라고 생각합니다.

416
00:19:02,559 --> 00:19:04,210
챗봇에서 벗어나 좀 더 능동적인,

417
00:19:04,210 --> 00:19:06,320
백그라운드 에이전트
쪽으로 옮겨갈 겁니다.

418
00:19:06,320 --> 00:19:10,000
그런 세상에서는 처리량 중심으로
스택을 짜는 게 훨씬 더 합리적입니다.

419
00:19:10,000 --> 00:19:12,700
처리량과 레이턴시 사이의
트레이드오프가 왜 절대 깨질

420
00:19:12,700 --> 00:19:15,120
수 없는지, 기술적으로
설명해 주실 수 있나요?

421
00:19:15,120 --> 00:19:17,280
왜 같은 하드웨어에서 둘
다 가질 수는 없는 건가요?

422
00:19:17,280 --> 00:19:20,960
거의 모든 시스템에서 볼 수
있는, 꽤 근본적인 원리입니다.

423
00:19:20,960 --> 00:19:24,959
적은 양의 데이터를 최대한 빨리
통과시키는 것과, 대신 여유

424
00:19:24,959 --> 00:19:29,200
버퍼를 넉넉히 남겨두는 것 사이엔
항상 트레이드오프가 있습니다.

425
00:19:29,200 --> 00:19:32,102
넓고 느리게 갈지, 좁고
빠르게 갈지 — 이건

426
00:19:32,102 --> 00:19:35,120
컴퓨터 과학 전반의 고전적인
트레이드오프입니다.

427
00:19:35,120 --> 00:19:37,667
그런데 GPU만 놓고
보면, 특히 주목할 게

428
00:19:37,667 --> 00:19:40,320
하나 있는데, 바로
GPU의 배칭 개념입니다.

429
00:19:40,320 --> 00:19:43,741
GPU에서 한 번에 다 같이
돌릴 수 있도록, 여러

430
00:19:43,741 --> 00:19:47,039
사용자의 작업을 하나의
배치로 묶고 싶은 겁니다.

431
00:19:47,039 --> 00:19:48,799
그게 바로 GPU의 병렬 처리입니다.

432
00:19:48,799 --> 00:19:51,200
병렬로 처리할 작업이 많으면 좋으니까요.

433
00:19:51,200 --> 00:19:53,226
문제는, 큰 배치를 한꺼번에 돌리면

434
00:19:53,226 --> 00:19:55,679
전체적으로 할 일이
더 많아진다는 겁니다.

435
00:19:55,679 --> 00:19:57,440
그래서 모든 유닛을 다
채우고 있을 수는 있어요.

436
00:19:57,440 --> 00:20:00,874
하지만 배치를 GPU에 태워 나르는 매

437
00:20:00,874 --> 00:20:04,799
단계마다, 처리해야 할
일이 더 많아집니다.

438
00:20:04,799 --> 00:20:08,559
그러니까 그 배치 안의 개별
토큰, 혹은 개별 사용자의 요청은,

439
00:20:08,559 --> 00:20:10,969
다른 사람들의 트래픽과
함께 실려 다니느라

440
00:20:10,969 --> 00:20:12,960
GPU에서 더 오래 머물게 됩니다.

441
00:20:12,960 --> 00:20:15,960
이렇게 비유할 수 있을 것
같은데요, SF 시내로 가고

442
00:20:15,960 --> 00:20:18,960
싶을 때 버스를 탈 수도,
자가용을 탈 수도 있습니다.

443
00:20:18,960 --> 00:20:22,880
자가용은 최단 직선 경로로,
자기만의 길을 곧장 갈 수 있죠.

444
00:20:22,880 --> 00:20:25,600
아니면 원하는 도로만 그대로 타고,
A 지점에서 B 지점까지 가는 거죠.

445
00:20:25,600 --> 00:20:28,470
버스는 훨씬 많은 사람을 태워야 하니,

446
00:20:28,470 --> 00:20:32,159
근본적으로 모두에게 맞는
방식으로 다녀야 합니다.

447
00:20:32,159 --> 00:20:34,497
그래서 더 느린 경로로
가고, 다른 사람들이

448
00:20:34,497 --> 00:20:36,640
타고 내릴 때까지 멈춰서 기다리는 거죠.

449
00:20:36,640 --> 00:20:38,960
버스와 자가용 비유,
꽤 정확한 것 같아요.

450
00:20:38,960 --> 00:20:40,000
정말 좋은 비유네요.

451
00:20:40,000 --> 00:20:43,210
그럼 지금 하려는 일의
1단계는, 엔비디아

452
00:20:43,210 --> 00:20:46,559
GPU 위에서 최고의
버스를 만드는 거네요.

453
00:20:46,559 --> 00:20:49,120
그게 최적화의 첫 단계인 거고요.

454
00:20:49,120 --> 00:20:49,840
정확히 맞습니다.

455
00:20:49,840 --> 00:20:52,480
다양한 병렬화 방식 같은
걸 탐색한다는 뜻입니다.

456
00:20:52,480 --> 00:20:55,919
엔비디아 GPU와 관련해서
또 다른 예를 들어볼게요.

457
00:20:55,919 --> 00:20:58,385
엔비디아가 정말
혁신적으로 잘 해낸 것 중

458
00:20:58,385 --> 00:21:01,280
하나가, GPU 간
NVLink 인터커넥트입니다.

459
00:21:01,280 --> 00:21:04,927
사실 이 NVLink
시스템이 워낙 뛰어나서,

460
00:21:04,927 --> 00:21:08,720
더 빠르게 수행하고 싶은
큰 행렬 곱셈이 있다면

461
00:21:08,720 --> 00:21:12,097
그 행렬 곱셈을 반으로
잘라, 두 개 이상, 최대

462
00:21:12,097 --> 00:21:15,600
8개까지 엔비디아 GPU에
나눠 담을 수 있습니다.

463
00:21:15,600 --> 00:21:17,658
그리고 각 GPU가 그 큰 행렬 곱셈의

464
00:21:17,658 --> 00:21:19,520
일부씩을 맡아 처리하게 하는 거죠.

465
00:21:19,520 --> 00:21:22,159
그렇게 나온 결과들을
마지막에 다시 합치고요.

466
00:21:22,159 --> 00:21:24,400
마지막에 결과들을 리듀스해서
다시 합치는 겁니다.

467
00:21:24,400 --> 00:21:29,760
이건 연산의 최소 레이턴시를
줄이는 훌륭한 방법입니다.

468
00:21:29,760 --> 00:21:32,825
이제 각 GPU가 예를 들어
8분의 1만큼만 작업을

469
00:21:32,825 --> 00:21:36,000
하니, 더 빨리 끝나긴 해도
8배 빨라지진 않습니다.

470
00:21:36,000 --> 00:21:37,280
선형에 못 미치는, 이른바
서브리니어 스케일링인 거죠.

471
00:21:37,280 --> 00:21:40,880
하드웨어는 8배 더 쓰지만,
속도는 8배가 안 나옵니다.

472
00:21:40,880 --> 00:21:43,039
속도는 한 4~5배 정도
나올 수도 있고요.

473
00:21:43,039 --> 00:21:44,559
'스트롱 스케일링'은
얻을 수 없는 거죠.

474
00:21:44,559 --> 00:21:46,320
이건 통신 오버헤드 때문입니다.

475
00:21:46,320 --> 00:21:48,778
큰 작업 덩어리보다 작은
덩어리를 맡을 때,

476
00:21:48,778 --> 00:21:51,440
각 GPU의 효율이 조금씩
떨어지기 때문이에요.

477
00:21:51,440 --> 00:21:53,586
그래서 가능한 최소 레이턴시를 원한다면,

478
00:21:53,586 --> 00:21:55,440
이게 유일한 속도 향상 방법입니다.

479
00:21:55,440 --> 00:21:58,000
그렇게 할 수도 있지만, 저라면
그 선택은 안 할 겁니다.

480
00:21:58,000 --> 00:22:00,800
예를 들어 저는 익스퍼트
병렬화나 파이프라인

481
00:22:00,800 --> 00:22:03,600
병렬화 같은 다른 병렬화
방식을 선호합니다.

482
00:22:03,600 --> 00:22:08,240
통신 레이턴시를 오버랩시켜서 숨기는
재미있는 방법들도 쓸 수 있고요.

483
00:22:08,240 --> 00:22:12,159
저지연 서버에서는 그렇게
할 여지가 훨씬 적죠.

484
00:22:12,159 --> 00:22:16,720
그럼 NVLink는 레이턴시 성능을
개선하는 기술로 이해하면 맞을까요?

485
00:22:16,720 --> 00:22:16,960
네.

486
00:22:16,960 --> 00:22:18,400
레이턴시 성능만요.

487
00:22:18,400 --> 00:22:22,799
그게 저희 회사가 다르게 하는
부분으로 자연스럽게 이어지는데요.

488
00:22:22,799 --> 00:22:26,240
어쨌든 저지연 추론에는
NVLink가 필수라고 봐야 합니다.

489
00:22:26,240 --> 00:22:28,880
그러니까 엔비디아는
저지연 추론에 탁월하죠.

490
00:22:28,880 --> 00:22:31,600
그런데 저희는 저지연 추론에
그렇게 신경 쓰지 않습니다.

491
00:22:31,600 --> 00:22:32,799
그럼 저희 입장은 뭘까요?

492
00:22:32,799 --> 00:22:38,480
다른 회사들이 NVLink를 금방
따라잡을 거라고는 기대하지 않습니다.

493
00:22:38,480 --> 00:22:40,400
구현하기 어려운 기술이거든요.

494
00:22:40,400 --> 00:22:41,280
스케일링하기도 어렵고요.

495
00:22:41,280 --> 00:22:42,480
실제 제품화하기도 어렵습니다.

496
00:22:42,480 --> 00:22:45,906
그래서 다른 벤더의 칩이
있는데 기본 연산 요소는

497
00:22:45,906 --> 00:22:49,840
뛰어나다면, 행렬 곱셈은
여전히 아주 잘할 수 있습니다.

498
00:22:49,840 --> 00:22:53,200
다만 그 결과를 다른 칩들에
빠르게 전달하지는 못하는 거죠.

499
00:22:53,200 --> 00:22:57,278
그렇다면 그 칩도 달러당
연산 성능이 정말 좋은

500
00:22:57,278 --> 00:23:01,200
옵션으로 제 스택에
자리를 잡을 수 있습니다.

501
00:23:01,200 --> 00:23:03,200
실제로 대부분의 경우 제가 최적화하는

502
00:23:03,200 --> 00:23:05,200
건 이 칩이 플롭스를 얼마나 내는지,

503
00:23:05,200 --> 00:23:06,880
그리고 시간당 운영 비용, 즉 소유하고

504
00:23:06,880 --> 00:23:08,640
운영하는 데 드는 비용이 얼마인지입니다.

505
00:23:08,640 --> 00:23:11,653
달러당 플롭스로는 엔비디아보다
확실히 앞서는 칩들도

506
00:23:11,653 --> 00:23:14,559
있지만, 인터커넥트는
그만큼 못 갖췄을 수 있죠.

507
00:23:14,559 --> 00:23:17,569
그러면 이 칩을 추론에 적합하게 만들

508
00:23:17,569 --> 00:23:20,880
병렬화 방식을 찾아내는 게 제 일입니다.

509
00:23:20,880 --> 00:23:22,240
텐서 병렬화는 아닐 겁니다.

510
00:23:22,240 --> 00:23:24,880
텐서 병렬화에는 사실상
엔비디아가 필수니까요.

511
00:23:24,880 --> 00:23:27,039
하지만 다른 기법들이 저한테는
잘 맞을 수도 있습니다.

512
00:23:27,039 --> 00:23:31,782
레이턴시 얘기를 마무리하기
전에, 세레브라스처럼 엄청나게

513
00:23:31,782 --> 00:23:35,760
빠른 연산을 하는 회사들
얘기 좀 해주시겠어요?

514
00:23:35,760 --> 00:23:37,757
그런 접근법들, 그런
회사들에 대해 어떻게

515
00:23:37,757 --> 00:23:39,840
생각하시는지, 앞으로
어떻게 될지 궁금해요.

516
00:23:39,840 --> 00:23:43,919
초저지연에 특화된 하드웨어의
미래를 어떻게 전망하세요?

517
00:23:43,919 --> 00:23:46,880
세레브라스, 그록(Groq),
그리고 최근에 스텔스 모드에서

518
00:23:46,880 --> 00:23:49,840
나온 몇몇 회사들이 아주 흥미로운
베팅을 했다고 생각합니다.

519
00:23:49,840 --> 00:23:53,192
그냥 또 다른 GPU를 만드는
게 아니라, 다른 메모리

520
00:23:53,192 --> 00:23:56,880
계층에 집중한 완전히 다른
방식의 가속기를 만드는 쪽으로요.

521
00:23:56,880 --> 00:24:00,720
칩 위에 SRAM 용량을
최대한 늘려서, 가중치와

522
00:24:00,720 --> 00:24:04,559
KV 캐시용으로 아주 빠른
메모리로 쓰려는 거죠.

523
00:24:04,559 --> 00:24:06,166
그러니까 SRAM 대 DRAM인데, 칩용

524
00:24:06,166 --> 00:24:07,919
메모리를 만드는 방법은
두 가지가 있습니다.

525
00:24:07,919 --> 00:24:10,720
하나는 로직 다이 자체에
메모리를 통합하는 방식입니다.

526
00:24:10,720 --> 00:24:13,756
즉 TSMC에 '이 칩에
이만큼의 메가바이트

527
00:24:13,756 --> 00:24:16,159
용량을 넣어달라'고 요청하는 거죠.

528
00:24:16,159 --> 00:24:18,159
그리고 그걸 만드는 방법이 있습니다.

529
00:24:18,159 --> 00:24:21,127
TSMC에는 쓸 수 있는 표준
셀 라이브러리가 있어서,

530
00:24:21,127 --> 00:24:23,600
SRAM 셀을 그냥 잔뜩
찍어낼 수 있습니다.

531
00:24:23,600 --> 00:24:28,240
문제는 SRAM이 실리콘 다이에서
면적을 많이 차지한다는 겁니다.

532
00:24:28,240 --> 00:24:30,231
그래서 예를 들어 엔비디아 블랙웰처럼

533
00:24:30,231 --> 00:24:32,720
800mm² 크기의 큰
다이를 만든다고 하면,

534
00:24:32,720 --> 00:24:36,470
그 다이 전체를 DRAM으로
만든다면, 아마 한 자릿수

535
00:24:36,470 --> 00:24:40,720
기가바이트 정도일 겁니다. 그렇게
엄청난 저장 용량은 아니죠.

536
00:24:40,720 --> 00:24:44,480
그에 비해, 아예 다른 공정
기술을 쓸 수도 있습니다.

537
00:24:44,480 --> 00:24:46,371
그러면 이제 TSMC가 아니라 마이크론,

538
00:24:46,371 --> 00:24:47,919
SK하이닉스, 삼성이 되는 거죠.

539
00:24:47,919 --> 00:24:51,109
이 회사들은 DRAM을
만드는데, 트랜지스터 셀보다

540
00:24:51,109 --> 00:24:54,640
커패시터에 집중하는 완전히
다른 메모리 제작 방식입니다.

541
00:24:54,640 --> 00:24:56,633
그러니까 SRAM은, 표준적으로 만드는

542
00:24:56,633 --> 00:24:58,720
방식이 이른바 6T 트랜지스터 셀입니다.

543
00:24:58,720 --> 00:25:02,880
비트를 기록할 수 있는
안정적인 트랜지스터 배열이고,

544
00:25:02,880 --> 00:25:06,559
계속 걸어주는지 여부와 상관없이
그 비트 상태를 유지합니다.

545
00:25:06,559 --> 00:25:09,065
음, 전원은 계속
걸어줘야 하지만, 별도의

546
00:25:09,065 --> 00:25:11,679
능동적 관리 없이 그
비트를 유지하는 거죠.

547
00:25:11,679 --> 00:25:12,960
정적(static)인 겁니다.

548
00:25:12,960 --> 00:25:16,470
반면 다이내믹 램,
DRAM은요, 데이터를 쓸 때

549
00:25:16,470 --> 00:25:20,240
커패시터에 전하를 기록하기
때문에 '다이내믹'입니다.

550
00:25:20,240 --> 00:25:23,840
그리고 그 전하를 커패시터에 기록하자마자,
전하가 빠져나가기 시작합니다.

551
00:25:23,840 --> 00:25:24,720
계속 새어 나가고 있는 거죠.

552
00:25:24,720 --> 00:25:28,052
그래서 DRAM의 '다이내믹'한
부분은, 대략 50밀리초마다

553
00:25:28,052 --> 00:25:30,880
기록해둔 모든 비트를
리프레시해줘야 한다는 거예요.

554
00:25:30,880 --> 00:25:33,370
그러니까 계속 수십억 개의 공을
공중에서 저글링하는 셈이죠 —

555
00:25:33,370 --> 00:25:36,080
사실상 수십억 개의 비트를 메모리
컨트롤러가 관리해야 하는 거예요.

556
00:25:36,080 --> 00:25:38,880
그 컨트롤러가 DRAM의 모든
비트를 읽고 리프레시하는 거고요.

557
00:25:38,880 --> 00:25:41,344
대신 얻는 이점은 훨씬 더 높은 밀도고,

558
00:25:41,344 --> 00:25:43,360
아예 다른 공정 기술이기도 해요.

559
00:25:43,360 --> 00:25:44,720
트레이드오프가 정말 많죠.

560
00:25:44,720 --> 00:25:47,185
그래서 DRAM 제조는
마이크론, SK하이닉스,

561
00:25:47,185 --> 00:25:49,840
삼성 같은 완전히 별개
회사로 분리돼 있는 거고요.

562
00:25:49,840 --> 00:25:51,520
이 분야에서 세계 최고의 회사들이에요.

563
00:25:51,520 --> 00:25:52,640
이 회사들이 DRAM을 만드는 거죠.

564
00:25:52,640 --> 00:25:57,039
이 회사들의 DRAM을
가져다가 여러 층으로 쌓고,

565
00:25:57,039 --> 00:26:03,760
엔비디아에서 나온 메인 로직 다이
주변에 인쇄하거나 납땜하듯 붙이면,

566
00:26:03,760 --> 00:26:07,451
이제 수백 GB를 얻을
수 있어요. 블랙웰은 로직

567
00:26:07,451 --> 00:26:11,279
다이 주변에 288GB의
HBM 용량을 갖고 있죠.

568
00:26:11,279 --> 00:26:15,679
그런데 로직 다이 자체에는 SRAM이
500MB 정도밖에 없어요.

569
00:26:15,679 --> 00:26:19,214
그러니까 DRAM과
SRAM의 밀도 차이는 자릿수

570
00:26:19,214 --> 00:26:22,880
여러 개, 어쩌면 3자릿수
정도 차이가 나는 거죠.

571
00:26:22,880 --> 00:26:24,159
자, 그럼 다시 세레브라스
얘기로 돌아가 볼까요?

572
00:26:24,159 --> 00:26:24,880
거긴 뭘 하고 있는 건가요?

573
00:26:24,880 --> 00:26:27,357
음, 세레브라스는 이 문제를
알고 있어요. 칩 위에서

574
00:26:27,357 --> 00:26:29,919
SRAM 밀도를 높일 뚜렷한
방법은 딱히 없다는 거죠.

575
00:26:29,919 --> 00:26:33,096
그런데 SRAM의 특징은,
실제로 연산을 하는

576
00:26:33,096 --> 00:26:36,400
로직 게이트와 물리적으로
아주 가깝다는 거예요.

577
00:26:36,400 --> 00:26:41,039
산술 논리 유닛이 데이터를 가져올
SRAM 바로 옆에 붙어 있는 거죠.

578
00:26:41,039 --> 00:26:44,000
그래서 행렬 곱셈을 하는
연산 유닛들이 SRAM에서

579
00:26:44,000 --> 00:26:46,960
정말 어마어마한 속도로
데이터를 가져올 수 있어요.

580
00:26:46,960 --> 00:26:49,244
세레브라스는 초당 페타바이트
단위를 얘기하는데, 더 나아가

581
00:26:49,244 --> 00:26:51,600
Scale Engine 3
기준으로는 21PB/s라고 하죠.

582
00:26:51,600 --> 00:26:55,123
그걸 엔비디아 블랙웰의
HBM과 비교하면,

583
00:26:55,123 --> 00:26:58,799
대략 10TB/s 정도,
그 정도 범위예요.

584
00:26:58,799 --> 00:27:01,753
그러니까 다시 한번, 자릿수
여러 개가 차이 나는 거죠 —

585
00:27:01,753 --> 00:27:04,799
용량은 더 크지만, 사실상
그만큼 대역폭은 더 적은 거고요.

586
00:27:04,799 --> 00:27:06,959
그래서 세레브라스가 하는 건, 이

587
00:27:06,959 --> 00:27:09,600
다이를 최대한 많이 가져가겠다는 거예요.

588
00:27:09,600 --> 00:27:13,308
TSMC가 부과하는
800mm² 레티클 한계,

589
00:27:13,308 --> 00:27:16,720
그 제한에 스스로를
가두지 않겠다는 거죠.

590
00:27:16,720 --> 00:27:19,522
전체 웨이퍼를 통째로 써서, 모든 다이가

591
00:27:19,522 --> 00:27:22,960
스크라이브 라인을 통해
서로 연결되게 하는 거죠.

592
00:27:22,960 --> 00:27:27,919
그리고 웨이퍼 전체에 최대한 많은
SRAM을 넣으려는 겁니다.

593
00:27:27,919 --> 00:27:31,520
그러면 웨이퍼당 50GB 정도의
SRAM까지 갈 수 있고,

594
00:27:31,520 --> 00:27:34,960
그런 웨이퍼 여러 장을
파이프라인 식으로 쌓아서,

595
00:27:34,960 --> 00:27:40,080
최대 1TB에 달하는, 아주아주
빠른 메모리를 확보하는 겁니다.

596
00:27:40,080 --> 00:27:43,406
이 모든 걸 하는 이유는 결국 웨이퍼당

597
00:27:43,406 --> 00:27:48,000
21PB/s로 SRAM
데이터를 읽어내기 위해서고요,

598
00:27:48,000 --> 00:27:50,257
그래서 이런 언어 모델을
초당 토큰 수 기준으로

599
00:27:50,257 --> 00:27:52,080
극도로 빠르게 서빙할 수 있게 됩니다.

600
00:27:52,080 --> 00:27:56,320
왜냐하면 키미(Kimi) 같은
대형 모델의 전체 파라미터를,

601
00:27:56,320 --> 00:28:00,220
칩 안팎으로, 아니 정정하면
로직 코어 안팎으로

602
00:28:00,220 --> 00:28:03,520
1밀리초 정도 만에 옮길 수 있으니까요.

603
00:28:03,520 --> 00:28:06,960
그렇게 해서 초당 1000토큰으로
가는 길이 열리는 겁니다.

604
00:28:06,960 --> 00:28:09,919
그럼 그 시장 부문은 어떻게 전망하세요?

605
00:28:09,919 --> 00:28:14,120
제 생각엔 결국 일종의
하이브리드로 귀결될 것 같습니다.

606
00:28:14,120 --> 00:28:18,320
세레브라스 칩이 강한 부분과
짝을 지어야 하는 식으로요.

607
00:28:18,320 --> 00:28:20,824
세레브라스는 메모리에
빠르게 접근하는 데는 정말

608
00:28:20,824 --> 00:28:23,520
강하니까, 용량이 더 큰
메모리와 짝을 짓는 거죠.

609
00:28:23,520 --> 00:28:26,810
실제로 키미 같은 1조 파라미터 모델도

610
00:28:26,810 --> 00:28:31,039
세레브라스 웨이퍼 여러
장에 담을 수는 있거든요.

611
00:28:31,039 --> 00:28:34,559
하지만 KV 캐시는 그렇게
쉽게 처리할 수가 없습니다.

612
00:28:34,559 --> 00:28:39,760
KV 캐시는 사람들이 모델을 더 쓸수록
커지는 것이라, 늘 동적이거든요.

613
00:28:39,760 --> 00:28:41,440
KV 캐시가 얼마나 필요할지조차
미리 알 수가 없죠.

614
00:28:41,440 --> 00:28:43,543
사용자가 누구인지, 몇 명인지, 몇 명을

615
00:28:43,543 --> 00:28:45,360
서빙하고 싶은지에 달려 있으니까요.

616
00:28:45,360 --> 00:28:47,520
KV 캐시를 아주 기본적으로
설명해 주실 수 있나요?

617
00:28:47,520 --> 00:28:47,679
네.

618
00:28:47,679 --> 00:28:52,704
KV 캐시란, 언어 모델을 쓸
때 모델에 넣는 토큰 하나하나가

619
00:28:52,704 --> 00:28:58,320
실제로 그 모델의 컨텍스트 윈도우
안에 계속 남아 있는 걸 말합니다.

620
00:28:58,320 --> 00:29:00,559
대화가 이어지는 동안 계속요.

621
00:29:00,559 --> 00:29:04,385
그러니까 10만 토큰 동안
대화했다면, 10만 1번째

622
00:29:04,385 --> 00:29:08,080
토큰에서도 그 앞의 대화는
여전히 남아 있는 거죠.

623
00:29:08,080 --> 00:29:11,600
모델은 다음에 나올 말을 더 잘 예측하기

624
00:29:11,600 --> 00:29:15,120
위해 과거 대화 이력 전체를 참조합니다.

625
00:29:15,120 --> 00:29:18,320
그래서 그 KV 캐시는 결국
메모리 덩어리인 셈이죠.

626
00:29:18,320 --> 00:29:22,559
언어 모델에 통과시키는 토큰마다
표현을 저장해야 합니다.

627
00:29:22,559 --> 00:29:26,880
그리고 그게 모델 가중치
자체보다 커지는 경우가 많죠.

628
00:29:26,880 --> 00:29:29,679
모델 가중치엔 이런 결정화된
지식이 담겨 있고,

629
00:29:29,679 --> 00:29:32,359
지금 나누는 대화의 동적
지식은 KV 캐시에

630
00:29:32,359 --> 00:29:35,039
담깁니다 — 저는 그렇게
생각하는 편입니다.

631
00:29:35,039 --> 00:29:35,200
네.

632
00:29:35,200 --> 00:29:38,452
그래서 대화가 한참 진행되면
가끔 기술적인 문제

633
00:29:38,452 --> 00:29:42,080
때문에 성능이 떨어진다고
느끼는 경우가 있는 거군요.

634
00:29:42,080 --> 00:29:42,240
네, 맞습니다.

635
00:29:42,240 --> 00:29:44,080
그런 점에서 KV
캐시는 꽤 흥미롭습니다.

636
00:29:44,080 --> 00:29:47,279
KV 캐시는 그 이전까지의 모든
것을 정확하게 표현한 값입니다.

637
00:29:47,279 --> 00:29:51,760
대화에서 본 정보를
전부 저장해두는 거죠.

638
00:29:51,760 --> 00:29:54,742
하지만 학습 과정에서 모델은 아주 긴

639
00:29:54,742 --> 00:29:58,320
컨텍스트의 대화로 주로
학습되지 않았습니다.

640
00:29:58,320 --> 00:30:04,559
주로 8,000토큰이나 16,000토큰
정도의 대화로 학습됐죠.

641
00:30:04,559 --> 00:30:08,006
그래서 모델을 20만 토큰까지
끌고 가면, 그 길이에서도

642
00:30:08,006 --> 00:30:11,120
학습이 일부 있었지만 모델의
핵심 강점은 아닙니다.

643
00:30:11,120 --> 00:30:16,880
그래서 프론티어 랩들에게는 늘
과제였습니다 — 모델이 1만 토큰에서도

644
00:30:16,880 --> 00:30:18,799
20만 토큰에서 기대하는 만큼
지능적이도록 만드는 것 말이죠.

645
00:30:18,799 --> 00:30:20,159
그리고 이건 저희에게
계속될 싸움일 겁니다.

646
00:30:20,159 --> 00:30:23,279
100만 토큰 컨텍스트 윈도우라는
개념 자체는 몇 년 전부터 있었죠.

647
00:30:23,279 --> 00:30:24,881
제 생각엔 앤트로픽이 처음으로 100만

648
00:30:24,881 --> 00:30:26,559
컨텍스트 윈도우 길이를 달성했을 겁니다.

649
00:30:26,559 --> 00:30:29,150
그런데도 저는 여전히
100만에 한참 못 미치는

650
00:30:29,150 --> 00:30:31,840
지점에서 클로드 코드의
/compact를 씁니다.

651
00:30:31,840 --> 00:30:34,159
그 최대 길이까지 꽉 채우는 게
그다지 좋다고 생각하지 않거든요.

652
00:30:34,159 --> 00:30:37,331
그래서 극도로 빠르고
레이턴시가 극히 낮은

653
00:30:37,331 --> 00:30:40,640
접근법들도 결국 이
요인에 발목이 잡힙니다.

654
00:30:40,640 --> 00:30:43,120
네, 가중치에 대해서는 뭐든
원하는 대로 할 수 있죠.

655
00:30:43,120 --> 00:30:46,799
가중치 저장에서는 얼마든지
압도적인 성능을 낼 수 있습니다.

656
00:30:46,799 --> 00:30:49,520
하지만 KV 캐시는 계속
큰 골칫거리로 남을 겁니다.

657
00:30:49,520 --> 00:30:51,464
그럼 3년 뒤, 5년 뒤에는 이런

658
00:30:51,464 --> 00:30:53,840
칩들이 어떤 역할을 할 거라고 보시나요?

659
00:30:53,840 --> 00:30:57,279
이런 칩들은 이종 칩 시장에서
점유율이 어느 정도예요?

660
00:30:57,279 --> 00:30:59,044
세레브라스와 그록,
그리고 몇몇 다른 회사들도

661
00:30:59,044 --> 00:31:00,880
있는데요, 이들은 가속기라고
생각하시면 됩니다.

662
00:31:00,880 --> 00:31:05,711
이들이 정말 잘하는 건,
오프칩 메모리를 갖춘 좀

663
00:31:05,711 --> 00:31:10,720
더 전통적인 GPU 형태
장치와 함께 쓰이는 거죠.

664
00:31:10,720 --> 00:31:12,738
용량을 위해서는 오프칩 메모리가, 속도를

665
00:31:12,738 --> 00:31:14,480
위해서는 온칩 메모리가 필요합니다.

666
00:31:14,480 --> 00:31:15,919
이 두 가지를 하이브리드로
결합하고 싶은 거죠.

667
00:31:15,919 --> 00:31:18,303
트랜스포머를 극한까지
밀어붙이면, 그러니까

668
00:31:18,303 --> 00:31:20,480
컨텍스트 길이를 100만까지 늘리면요.

669
00:31:20,480 --> 00:31:24,013
그러면 컴퓨트 바운드
단계가 생기는데, 바로

670
00:31:24,013 --> 00:31:27,840
MLP라고 부르는 부분의
실제 행렬 곱셈입니다.

671
00:31:27,840 --> 00:31:30,960
모델의 세계 지식 대부분이
바로 여기에 인코딩돼 있죠.

672
00:31:30,960 --> 00:31:33,560
그리고 어텐션 레이어가 있는데, 여기서

673
00:31:33,560 --> 00:31:36,159
현재 대화에 동적으로 적응하는 겁니다.

674
00:31:36,159 --> 00:31:39,879
극한에서 어텐션은 대체로
메모리 바운드고, MLP는

675
00:31:39,879 --> 00:31:43,200
배치 크기가 충분히 크면
컴퓨트 바운드입니다.

676
00:31:43,200 --> 00:31:48,723
트랜스포머의 원죄라고 할 수 있는
게, 매우 근본적으로 메모리 바운드인

677
00:31:48,723 --> 00:31:53,679
이 레이어를 컴퓨트 바운드 레이어
바로 옆에 붙여놨다는 겁니다.

678
00:31:53,679 --> 00:31:56,403
컴퓨트 연산과 메모리 연산 둘 다 잘하는

679
00:31:56,403 --> 00:31:58,880
단일 칩을 만들기는 매우 어렵습니다.

680
00:31:58,880 --> 00:32:01,114
GPU는 이 점에서
꽤 균형 잡혀 있지만,

681
00:32:01,114 --> 00:32:02,960
결국 둘 중 하나를 선택해야 하죠.

682
00:32:02,960 --> 00:32:08,000
세레브라스는 행렬 곱셈 같은 연산에서
메모리 접근이 굉장히 빠릅니다.

683
00:32:08,000 --> 00:32:10,448
그래서 MLP, 사실상 가중치를

684
00:32:10,448 --> 00:32:13,760
세레브라스 칩에
올려두기에 정말 좋습니다.

685
00:32:13,760 --> 00:32:17,279
하지만 GPU는 정말 긴 컨텍스트
길이까지 확장할 수 있는 용량이 있죠.

686
00:32:17,279 --> 00:32:20,296
그래서 어텐션은 아마 GPU에, MLP는

687
00:32:20,296 --> 00:32:23,039
세레브라스 칩에 올리고 싶은 겁니다.

688
00:32:23,039 --> 00:32:24,227
그리고 이게 바로 엔비디아와 그록

689
00:32:24,227 --> 00:32:25,679
사이에서 일어나고 있는 일이라고 봅니다.

690
00:32:25,679 --> 00:32:29,279
잠깐 트랜스포머에 대해서 자유롭게
얘기해 주실 수 있어요?

691
00:32:29,279 --> 00:32:33,790
2017년의 이 혁신을
잘 모르는 분들을 위해

692
00:32:33,790 --> 00:32:37,760
핵심 개념을 정말 잘 설명해 주셨잖아요.

693
00:32:37,760 --> 00:32:39,519
그러니까 장점과 단점은 뭔지,

694
00:32:39,519 --> 00:32:42,503
그리고 AI의 미래에서도 계속
지배적인 아키텍처로, 혹은

695
00:32:42,503 --> 00:32:45,679
지배적인 아키텍처 중 하나로
남을 거라고 보시는지 궁금해요.

696
00:32:45,679 --> 00:32:48,039
트랜스포머가 한 일은,
비지도 데이터를 정말

697
00:32:48,039 --> 00:32:50,399
효과적으로 학습할 수
있게 해준 거였습니다.

698
00:32:50,399 --> 00:32:53,712
결국 트랜스포머의
핵심은, 임의의 시퀀스,

699
00:32:53,712 --> 00:32:56,880
그러니까 어떤 데이터 시퀀스든 가져와서,

700
00:32:56,880 --> 00:32:59,039
그 안에서 패턴을 찾아내려는 겁니다.

701
00:32:59,039 --> 00:33:04,320
그리고 결정적으로, 어텐션 연산이
있죠. 트랜스포머의 핵심 요소입니다.

702
00:33:04,320 --> 00:33:08,473
모델이 시퀀스에서 가장
관련 있다고 판단하는

703
00:33:08,473 --> 00:33:11,760
부분에 동적으로 적응하게 해줍니다.

704
00:33:11,760 --> 00:33:14,728
트랜스포머를 한 스텝 지날 때마다,

705
00:33:14,728 --> 00:33:18,320
이전에 봤던 입력의
가중치를 다시 매기고,

706
00:33:18,320 --> 00:33:21,840
다음 예측에 가장 중요한
게 뭔지 찾아내는 겁니다.

707
00:33:21,840 --> 00:33:27,120
그래서 임의의 시퀀스 데이터를
학습하는 데 아주 적합하죠.

708
00:33:27,120 --> 00:33:31,719
우리가 일상적으로 만들어내는
가장 흥미로운 시퀀스 데이터가

709
00:33:31,719 --> 00:33:35,600
언어고, 그렇게 언어
영역을 지배하게 된 겁니다.

710
00:33:35,600 --> 00:33:37,897
그런데 더 크게 보면,
트랜스포머가 정말 잘한

711
00:33:37,897 --> 00:33:39,919
건 스케일이 됐다는 점이라고 생각합니다.

712
00:33:39,919 --> 00:33:41,840
트랜스포머는 그런 인간적인 사전
가정을 전혀 두지 않습니다.

713
00:33:41,840 --> 00:33:44,650
트랜스포머는 그냥 이렇게
말하는 거죠. "데이터 시퀀스에

714
00:33:44,650 --> 00:33:47,279
패턴이 있을 거고, 패턴이
있다면 내가 찾아내겠다."

715
00:33:47,279 --> 00:33:50,720
작동할 때까지 파라미터를
계속 쏟아붓겠다는 겁니다.

716
00:33:50,720 --> 00:33:53,440
그리고 트랜스포머는 컴퓨터 비전
연구에서도 많은 덕을 봤습니다.

717
00:33:53,440 --> 00:33:56,080
예를 들어 컴퓨터 비전의
과제 중 하나는, 수십만 개

718
00:33:56,080 --> 00:33:58,720
파라미터 수준에서 더
나아가기가 어려웠다는 것이었죠.

719
00:33:58,720 --> 00:34:05,519
서포트 벡터 머신 같은 선형 모델이나
다른 구식 머신러닝 모델 얘기인데,

720
00:34:05,519 --> 00:34:07,519
그런 모델들은 파라미터가
수천 개 정도였습니다.

721
00:34:07,519 --> 00:34:09,279
그러다 딥러닝으로 넘어가면서 컴퓨터 비전

722
00:34:09,279 --> 00:34:10,879
파라미터가 수천만 개 수준까지 갔죠.

723
00:34:10,879 --> 00:34:14,159
가장 큰 모델이 파라미터 1억
5천만 개 정도였습니다.

724
00:34:14,159 --> 00:34:16,000
컴퓨터 비전에서는 그게
엄청나게 큰 모델이었죠.

725
00:34:16,000 --> 00:34:18,856
지금은 수조 개 파라미터를
일상적으로 얘기합니다.

726
00:34:18,856 --> 00:34:22,240
트랜스포머가 바로 수백만에서
수조 개로 가는 연결고리였죠.

727
00:34:22,240 --> 00:34:26,480
그래서 스케일링의 핵심 단위가
데이터와 컴퓨트라고 본다면,

728
00:34:26,480 --> 00:34:29,845
트랜스포머가 계속 살아남을
거라 보시는 게, 결국

729
00:34:29,845 --> 00:34:32,960
그 두 가지를 늘리는
데 우리가 강해서인가요?

730
00:34:32,960 --> 00:34:36,079
글쎄요, 데이터는 아직 열린
질문이지만, 컴퓨트는...

731
00:34:36,079 --> 00:34:39,200
네, 트랜스포머는 정말
훌륭한 스펀지 같은 존재예요.

732
00:34:39,200 --> 00:34:42,873
트랜스포머에 쓸 컴퓨트를 10배 늘리면,

733
00:34:42,873 --> 00:34:46,879
어딘가에서 로그 스케일의
개선이 나타납니다.

734
00:34:46,879 --> 00:34:51,200
지금까지는 스케일링 법칙이 정말
잘 통했죠. 꽤 아름다울 정도로요.

735
00:34:51,200 --> 00:34:53,418
그리고 — 아마 —
트랜스포머가 정말 잘하는

736
00:34:53,418 --> 00:34:55,359
게 뭐냐는 얘기로 다시 돌아가 볼까요?

737
00:34:55,359 --> 00:34:59,359
어떤 데이터셋을 던져줘도 거의 다
확장되고, 매우 강력한 범용 학습기죠.

738
00:34:59,359 --> 00:35:03,251
그리고 제가 보기엔,
트랜스포머가 특히 유용한 건,

739
00:35:03,251 --> 00:35:07,005
어텐션을 대체하려 했던
다른 기법들에 비해 원하는

740
00:35:07,005 --> 00:35:10,480
어떤 쌍별 관계든 표현할
수 있다는 점이에요.

741
00:35:10,480 --> 00:35:14,160
시퀀스 내 어떤 토큰이든 다른
모든 토큰에 주목할 수 있습니다.

742
00:35:14,160 --> 00:35:17,520
그러니 시퀀스 안에 어떤 관계가
있든, 트랜스포머로 찾아낼 수 있어요.

743
00:35:17,520 --> 00:35:20,800
물론 굳이 전체-대-전체 모델링이
필요 없을 수도 있습니다.

744
00:35:20,800 --> 00:35:23,839
모든 토큰이 다른 모든 토큰을
다 볼 필요는 없다는 거죠.

745
00:35:23,839 --> 00:35:27,920
하지만 필요하다면, 트랜스포머는
그 선택지를 줍니다.

746
00:35:27,920 --> 00:35:31,839
그리고 그 공간을 더 잘 줄이는 방법,

747
00:35:31,839 --> 00:35:35,295
정보 모델링을 더 선택적으로
만드는 더 나은 방법을 알기

748
00:35:35,295 --> 00:35:38,640
전까지는요 — 어텐션은 정말,
정말 훌륭한 연산입니다.

749
00:35:38,640 --> 00:35:41,280
이건 컴퓨터 비전 시절에
배운 또 다른 요령이에요.

750
00:35:41,280 --> 00:35:44,224
안드레이 카르파티의
오래된 격언 중 하나가,

751
00:35:44,224 --> 00:35:46,800
학습시킬 새 데이터셋이 생겼을 때...

752
00:35:46,800 --> 00:35:49,600
첫 목표는 모델을 과매개변수화해서 갖고

753
00:35:49,600 --> 00:35:52,400
있는 데이터에 오버핏시켜 보는 겁니다,

754
00:35:52,400 --> 00:35:55,119
모델링하거나 암기할 수 있는
관계가 있다는 걸 증명하는 거죠,

755
00:35:55,119 --> 00:35:58,640
학습 알고리즘이 작동한다는 것, 모델에
지식을 주입할 수 있다는 것을요.

756
00:35:58,640 --> 00:36:00,627
일단 오버핏할 수
있으면 그다음 압축할 수

757
00:36:00,627 --> 00:36:02,960
있고, 그 압축이 바로
일반화를 얻는 방법입니다.

758
00:36:02,960 --> 00:36:05,440
눈앞의 데이터를 그대로
암기하고 싶은 게 아니잖아요.

759
00:36:05,440 --> 00:36:10,800
일반화를 원하는 거니까, 데이터셋에
오버핏한 다음엔 거꾸로 작업해서

760
00:36:10,800 --> 00:36:14,160
가능한 가장 적은 파라미터 수에
들어맞는 일반 패턴을 찾아내는 거죠.

761
00:36:14,160 --> 00:36:16,373
데이터의 미래는 어떻게
전망하시나요? 이 전체

762
00:36:16,373 --> 00:36:18,320
이야기에서 데이터의 중요성도 짚어주시죠.

763
00:36:18,320 --> 00:36:22,000
저는 '인터넷은 데이터에 대한 일회성
보조금이었다'는 표현을 좋아합니다.

764
00:36:22,000 --> 00:36:22,960
공짜로 얻은 거죠.

765
00:36:22,960 --> 00:36:26,960
품질이 극도로 높아요 — 고품질
텍스트로 약 30조 토큰 정도죠.

766
00:36:26,960 --> 00:36:32,160
좋은 텍스트의 기준을 넓게
잡으면 300조 토큰이고요.

767
00:36:32,160 --> 00:36:34,720
그리고 사실상 이미
그걸 다 살펴봤습니다.

768
00:36:34,720 --> 00:36:37,520
지금 시점에 모델들은 인터넷 전체를
몇 번이고 이미 본 상태예요.

769
00:36:37,520 --> 00:36:41,520
인터넷의 인간 데이터로는 더
이상 할 게 많지 않습니다.

770
00:36:41,520 --> 00:36:44,760
제 생각에 다음 데이터 단계는 RL 환경

771
00:36:44,760 --> 00:36:48,000
짐(gym)을 통한 모델 자기개선입니다.

772
00:36:48,000 --> 00:36:50,447
사실 이제는 무작위 사용자와 AI의

773
00:36:50,447 --> 00:36:53,280
상호작용이 늘어도 별 도움이 안 됩니다.

774
00:36:53,280 --> 00:36:56,480
예전엔 챗봇을 쓰는 사람들의 상호작용

775
00:36:56,480 --> 00:36:59,680
데이터가 정말 중요한 새 데이터였죠.

776
00:36:59,680 --> 00:37:02,800
좋아요·싫어요로 뭘 좋아하고
싫어하는지 신호를 주는 식이었고요.

777
00:37:02,800 --> 00:37:12,160
지금은 이런 주장이 마음에 듭니다.
우리가 서빙하는 중간 수준 모델이

778
00:37:12,160 --> 00:37:15,708
무작위 인간, 즉 조건
없는 인간 선호보다 훨씬

779
00:37:15,708 --> 00:37:19,119
뛰어나서 그 신호는 이제
가치가 없다는 거죠.

780
00:37:19,119 --> 00:37:20,880
이 시점엔 전문가 수준의
인간 선호가 필요한 겁니다.

781
00:37:20,880 --> 00:37:22,880
모델이 이제 평범한—

782
00:37:22,880 --> 00:37:23,200
일반적인 사람이요?

783
00:37:23,200 --> 00:37:23,359
네.

784
00:37:23,359 --> 00:37:24,000
평범한 사람 수준은 넘어섰죠.

785
00:37:24,000 --> 00:37:24,400
맞아요.

786
00:37:24,400 --> 00:37:26,402
그래서 제가 보는 데이터의 미래는,

787
00:37:26,402 --> 00:37:28,720
모델에 어렵고 검증 가능한 태스크를 주고

788
00:37:28,720 --> 00:37:33,920
이 짐에서 돌리는 겁니다. 일종의
격리된 공간이고, 문제가 하나 있고

789
00:37:33,920 --> 00:37:37,440
거기서 진전을 만들 수 있고, 진전이
있었는지도 측정할 수 있는 거죠.

790
00:37:37,440 --> 00:37:40,160
코딩 문제들이 이 범주에
들어간다고 보시면 됩니다.

791
00:37:40,160 --> 00:37:42,240
수학 문제도 마찬가지고요.

792
00:37:42,240 --> 00:37:45,888
점점 더 에이전트에게
사실상 컴퓨터 한 대를

793
00:37:45,888 --> 00:37:49,839
주고 인간 노동자처럼
행동하게 할 수 있습니다.

794
00:37:49,839 --> 00:37:53,039
목표 결과를 향해 진전하는지 피드백만

795
00:37:53,039 --> 00:37:56,880
주면, 그 환경 자체가
데이터가 되는 거죠.

796
00:37:56,880 --> 00:37:59,607
엄청 독창적인 관점은 아니지만, 지금까지

797
00:37:59,607 --> 00:38:01,839
본 바로는 정말 생산적이었습니다.

798
00:38:01,839 --> 00:38:06,000
그게 정말 오랫동안 이어질 거라고
보세요, 아니면 이것도 또—

799
00:38:06,000 --> 00:38:09,920
인터넷을 하나의 큰 덩어리라고 본다면,
이것도 또 다른 큰 덩어리라서

800
00:38:09,920 --> 00:38:16,000
한동안 반짝하고 다 써버리면 결국
다른 걸로 넘어가야 하는 걸까요?

801
00:38:16,000 --> 00:38:18,160
제 생각엔 그보다 훨씬
더 본질적인 것 같습니다.

802
00:38:18,160 --> 00:38:21,440
기본적인 발상은 이렇습니다. 범용
인공지능, AGI를 원한다면

803
00:38:21,440 --> 00:38:24,046
특화된 지능들을 계속 쌓아서 빈틈이

804
00:38:24,046 --> 00:38:27,200
없어질 때까지 채우는
게 최선이라는 거죠.

805
00:38:27,200 --> 00:38:29,229
여기서 관건은, 이게 작동하게 하려면

806
00:38:29,229 --> 00:38:31,359
딱 하나만 확실히 하면 된다는 겁니다.

807
00:38:31,359 --> 00:38:34,320
바로 그것이 검증 가능한
태스크여야 한다는 거예요.

808
00:38:34,320 --> 00:38:37,040
모델에게 자기 채점
시스템을 줘야 하는 거죠.

809
00:38:37,040 --> 00:38:39,225
그것만 있으면 원하는 어떤 과제에서든

810
00:38:39,225 --> 00:38:41,520
자기 개선 레시피를 갖게 되는 겁니다.

811
00:38:41,520 --> 00:38:45,280
프론티어 랩들이 돈을 쓰는 방식만
봐도 이게 드러난다고 생각해요.

812
00:38:45,280 --> 00:38:46,960
예전엔 데이터에 그만큼 썼었죠.

813
00:38:46,960 --> 00:38:48,960
지금은 RL 환경에
훨씬 더 많이 씁니다.

814
00:38:48,960 --> 00:38:51,974
이 환경들이야말로 검증
가능한 태스크에서의

815
00:38:51,974 --> 00:38:55,119
재귀적 자기 개선 관계를
그대로 담고 있죠.

816
00:38:55,119 --> 00:38:55,440
네. 네.

817
00:38:55,440 --> 00:38:59,200
이렇게 여기저기 곁길로
샌 것도 좋았는데요.

818
00:38:59,200 --> 00:39:02,440
다시 처음 말씀하신
과제로 돌아가 보죠. 기존

819
00:39:02,440 --> 00:39:05,680
하드웨어를 더 효율적으로
만드는 것 말이에요.

820
00:39:05,680 --> 00:39:06,160
네.

821
00:39:06,160 --> 00:39:10,800
소프트웨어로 하드웨어 레벨에서
벌어지는 일을 더 잘 제어함으로써요.

822
00:39:10,800 --> 00:39:13,068
지금까지 해오신 것과 앞으로 하고

823
00:39:13,068 --> 00:39:15,839
싶으신 것, 계속 이어서 말씀해 주세요.

824
00:39:15,839 --> 00:39:18,960
그다음엔 하드웨어로, 마지막엔
에너지로 넘어가 보겠습니다.

825
00:39:18,960 --> 00:39:19,440
좋습니다.

826
00:39:19,440 --> 00:39:20,720
아까 커널 얘기를 꺼냈었죠.

827
00:39:20,720 --> 00:39:22,560
사람들이 커널은 다 끝난 문제라고
생각한다는 게 놀라워요.

828
00:39:22,560 --> 00:39:26,958
트리 다오처럼 훌륭한 커널을 짜는
뛰어난 분들이 있고, 그게 오늘날

829
00:39:26,958 --> 00:39:31,119
딥러닝 전체의 토대를 이룹니다.
플래시어텐션 위에 세워진 거죠.

830
00:39:31,119 --> 00:39:33,280
현대 트랜스포머는 플래시어텐션
위에 세워져 있습니다.

831
00:39:33,280 --> 00:39:35,280
하지만 이 정해진 경로에서
조금이라도 벗어나면,

832
00:39:35,280 --> 00:39:40,079
위치 정보를 조금 다르게 임베딩하는
새 모델이 나온다거나 하면요,

833
00:39:40,079 --> 00:39:42,839
RoPE 시스템이 바뀌는
것처럼요. 그러면 갑자기

834
00:39:42,839 --> 00:39:45,599
기존 커널이 이 새 모델엔
맞지 않게 되는 거죠.

835
00:39:45,599 --> 00:39:48,160
그리고 이 커널에 패치를
해야 할 수도 있습니다.

836
00:39:48,160 --> 00:39:50,880
완전히 새로 커널을 발명해야
하는 단계는 아니라고 봅니다.

837
00:39:50,880 --> 00:39:55,101
다만 기존 GPU 커널을 빠르게
수정할 수 있는 능력은 필요하죠.

838
00:39:55,101 --> 00:39:59,440
참고로 커널이란, GPU에서 실행하는
프로그램을 통칭하는 말입니다.

839
00:39:59,440 --> 00:40:02,976
그래서 전통적으로
커널은 라이브러리 형태로

840
00:40:02,976 --> 00:40:07,280
존재하는데, 각 커널은 아주
좁은 용도만 갖습니다.

841
00:40:07,280 --> 00:40:10,160
보통 행렬 곱셈을 위한
커널이 하나 있고요.

842
00:40:10,160 --> 00:40:12,640
덧셈처럼 단순한 연산에도 또
다른 커널이 따로 있습니다.

843
00:40:12,640 --> 00:40:15,680
텐서 두 개를 더하고 싶다면,
그것도 또 다른 커널이죠.

844
00:40:15,680 --> 00:40:18,800
그런데 점점 이런 커널들을
서로 융합하기 시작했습니다.

845
00:40:18,800 --> 00:40:21,070
그러니까 행렬 곱셈을 한 다음, 역시

846
00:40:21,070 --> 00:40:23,680
곱셈으로 얻은 다른
행렬에 더하고 싶다면,

847
00:40:23,680 --> 00:40:26,420
이 둘이 커널 하나로
합쳐질 수 있습니다.

848
00:40:26,420 --> 00:40:29,280
연산을 융합해서, 데이터를
DRAM에 썼다가

849
00:40:29,280 --> 00:40:33,839
덧셈을 위해 다시 읽어오는 대신,
그냥 손쉽게 처리할 수 있는 거죠.

850
00:40:33,839 --> 00:40:35,119
그런데 왜 아직도 사람이
이 일을 하고 있는 거죠?

851
00:40:35,119 --> 00:40:41,119
더 효율적인 커널을 설계하는 건,
AI가 특히 잘할 법한 일 같은데요.

852
00:40:41,119 --> 00:40:43,599
아마 그쪽으로 가고 있는 건데, 아직
거기까지는 못 간 걸 수도 있죠.

853
00:40:43,599 --> 00:40:46,000
그런데 아직 거기까지 못 갔다면,
정말 그쪽으로 가고 있는 게 맞나요?

854
00:40:46,000 --> 00:40:49,040
아직 아니라면, 왜 사람이 여전히
이 일을 하고 있는 건가요?

855
00:40:49,040 --> 00:40:50,560
트리 다오는 왜 그렇게 유명한 거예요?

856
00:40:50,560 --> 00:40:51,599
음, 저도 아는 이름이죠.

857
00:40:51,599 --> 00:40:54,988
트리를 대신해서 말씀드리긴
조심스럽지만, 그가 제게 가르쳐준

858
00:40:54,988 --> 00:40:58,480
건 이제 커널을 꼭 손으로 직접
짤 필요는 없다는 거였습니다.

859
00:40:58,480 --> 00:41:00,319
저는 이걸 '화이트보드에서
커널을 쓴다'고 표현하곤 합니다.

860
00:41:00,319 --> 00:41:01,915
화이트보드 앞에 가서, 기계가 뭘 해야

861
00:41:01,915 --> 00:41:03,359
한다고 생각하는지를 서술하는 거죠.

862
00:41:03,359 --> 00:41:07,839
그다음 그걸 자연어로 간결하게
정리해서 모델에게 전달합니다.

863
00:41:07,839 --> 00:41:10,159
그러면 모델이 실행을 맡을 수 있습니다

864
00:41:10,159 --> 00:41:12,480
— '자, 여기 입력과 출력이 있다,'

865
00:41:12,480 --> 00:41:16,480
'이 작업을 GPU에 어떻게
분배할지, 그 전략은 이렇다,'

866
00:41:16,480 --> 00:41:17,440
'이제 가서 이걸
구현한다' 하는 식이죠.

867
00:41:17,440 --> 00:41:18,880
그러니까 개념 설계는
저희가 하는 거네요.

868
00:41:18,880 --> 00:41:19,440
맞습니다.

869
00:41:19,440 --> 00:41:21,749
왜 모델들이 아직 이 부분에서 뛰어나지

870
00:41:21,749 --> 00:41:23,839
못한지는 저도 정확히는 모르겠어요.

871
00:41:23,839 --> 00:41:25,680
저희가 리모트 회사라서
그런 건 아닌 것 같고요.

872
00:41:25,680 --> 00:41:29,520
6개월만 지나도 커널 엔지니어링용
모델이 훨씬 좋아질 거라고 확신해요.

873
00:41:29,520 --> 00:41:31,908
그리고 랩들한테 물어보면
이미 커널 엔지니어링의

874
00:41:31,908 --> 00:41:34,480
상당 부분을 완전 자동화로
하고 있다고 할 겁니다.

875
00:41:34,480 --> 00:41:36,880
그러면 소프트웨어 자체가
경쟁 우위라는 것은,

876
00:41:36,880 --> 00:41:40,005
하드웨어를 스피드 오브
라이트에 최대한 가깝게

877
00:41:40,005 --> 00:41:42,880
효율적으로 쓰는 게
소프트웨어라고 본다면,

878
00:41:42,880 --> 00:41:47,520
시간이 갈수록 세일 같은 회사엔
강점이 안 되는 쪽으로 가겠네요.

879
00:41:47,520 --> 00:41:47,839
맞습니다.

880
00:41:47,839 --> 00:41:52,880
미토스나 GPT-5.6 같은 모델이
밀물처럼 다 같이 끌어올리는 거죠.

881
00:41:52,880 --> 00:41:53,680
정말 그렇습니다.

882
00:41:53,680 --> 00:41:57,405
사실 저희만 따로 커널
엔지니어링용으로 모델을

883
00:41:57,405 --> 00:42:01,280
특화시키는 게 의미가
있다고는 생각하지 않아요.

884
00:42:01,280 --> 00:42:04,713
코딩 전반에서 봐도, 커널 엔지니어링이

885
00:42:04,713 --> 00:42:08,800
특별히 더 의미 있는
영역은 아니라고 봅니다.

886
00:42:08,800 --> 00:42:11,845
프롬프트에 저희만 아는
정보를 좀 넣어서 모델이

887
00:42:11,845 --> 00:42:15,359
커널을 더 잘 짜도록 유도하는
정도는 있을 수 있겠죠.

888
00:42:15,359 --> 00:42:18,628
하지만 크게 보면, 이
역량에 관한 한 저희

889
00:42:18,628 --> 00:42:21,760
모두 프론티어 모델에
의존하고 있는 거죠.

890
00:42:21,760 --> 00:42:25,119
저는 에너지 역사에서 나온
이 얘기를 늘 좋아하는데요.

891
00:42:25,119 --> 00:42:29,760
원재료, 이를테면 석탄과,

892
00:42:29,760 --> 00:42:33,360
그 석탄 한 덩어리 안에 있는
에너지 중 실제로 뽑아 쓸

893
00:42:33,360 --> 00:42:36,960
수 있는 비율 사이엔 늘
시계추 같은 움직임이 있거든요.

894
00:42:36,960 --> 00:42:39,627
에너지 역사의 많은 부분이 그 수치를

895
00:42:39,627 --> 00:42:42,960
10%에서 95%쯤으로
끌어올리는 과정이었죠.

896
00:42:42,960 --> 00:42:44,079
그렇죠? 지금 저흰 그중
어디쯤 와 있을까요?

897
00:42:44,079 --> 00:42:46,400
그냥 생각해보면,
블랙웰 같은 걸 놓고 볼

898
00:42:46,400 --> 00:42:48,720
때 블랙웰이 그 석탄
한 덩어리인 셈이죠.

899
00:42:48,720 --> 00:42:50,960
몇 퍼센트 정도 와 있다고 보세요?

900
00:42:50,960 --> 00:42:55,200
지금 있는 칩 하나를 우리가 얼마나
효율적으로 쓸 수 있느냐는 거죠.

901
00:42:55,200 --> 00:42:56,800
그건 분석하는 방법이
여러 가지가 있어요.

902
00:42:56,800 --> 00:43:00,724
어떤 면에서는, GPU가 가장
좋아하는 작업을 할 때는

903
00:43:00,724 --> 00:43:05,040
저희가 성능 최적화를 정말
효율적으로 하고 있다고 생각해요,

904
00:43:05,040 --> 00:43:08,095
그게 바로 큰 차원의 행렬
곱셈인데요, 그 연산은

905
00:43:08,095 --> 00:43:11,264
피크 활용률의 70~80%
정도로 돌아갑니다. 그건

906
00:43:11,264 --> 00:43:14,319
소프트웨어가 아니라 전력에
의해 제한되는 거고요.

907
00:43:14,319 --> 00:43:17,119
엔비디아가 피크 플롭스를 표기하는
방식은 약간 낙관적이에요.

908
00:43:17,119 --> 00:43:20,319
그 수치를 못 찍는 이유는 전력
스로틀링이 아니라 발열 때문이죠.

909
00:43:20,319 --> 00:43:21,440
네, 맞아요 — 열이죠.

910
00:43:21,440 --> 00:43:24,480
70, 80%라고 치면, 포화
상태고, 꽤 괜찮은 거예요.

911
00:43:24,480 --> 00:43:28,453
하지만 실제로는, 트랜스포머에서
대부분의 시간을 그 '해피 패스',

912
00:43:28,453 --> 00:43:32,319
그러니까 큰 배치로 행렬 곱셈을
하는 구간에서 보내지는 않습니다.

913
00:43:32,319 --> 00:43:36,211
그래서 저희가 하는 일은,
칩 주변에 엔진을 구축해서

914
00:43:36,211 --> 00:43:40,640
GPU에 항상 이런 큰 배치의
작업을 계속 공급하는 겁니다.

915
00:43:40,640 --> 00:43:43,357
그리고 지난 1년간 GPU
세계에서 일어난 가장

916
00:43:43,357 --> 00:43:45,760
근본적인 전환 중
하나가 바로 이겁니다 —

917
00:43:45,760 --> 00:43:48,880
이제는 GPU 하나씩
프로그래밍하지 않는다는 거예요.

918
00:43:48,880 --> 00:43:51,336
랙 전체를 생각해야 하고,
어쩌면 클러스터 전체,

919
00:43:51,336 --> 00:43:53,520
데이터센터 전체를 한
번에 생각해야 합니다.

920
00:43:53,520 --> 00:43:57,258
그리고 엔비디아도, GPU
하나나 메인보드 하나가 아니라,

921
00:43:57,258 --> 00:44:00,880
랙 시스템 전체를 규격으로
정해서 출하하기 시작했습니다.

922
00:44:00,880 --> 00:44:02,560
그걸 NVL72라고 부르죠.

923
00:44:02,560 --> 00:44:08,800
최신 칩인 그레이스 블랙웰 300은
72개짜리 랙 단위로 출시됩니다.

924
00:44:08,800 --> 00:44:12,325
그리고 이 랙 스케일 컴퓨터 전체를
누가 가장 효율적으로 프로그래밍할

925
00:44:12,325 --> 00:44:15,200
수 있는지를 두고 지금 치열한
경쟁이 벌어지고 있습니다.

926
00:44:15,200 --> 00:44:20,560
제 생각엔, 그런 형태의 컴퓨트가
효율성과 속도 양쪽 모두의 미래입니다.

927
00:44:20,560 --> 00:44:22,841
실제로 엔비디아는 정말 잘
해내고 있어요 — 가능한

928
00:44:22,841 --> 00:44:25,040
최저 레이턴시를 원한다면,
그 칩을 써야 합니다.

929
00:44:25,040 --> 00:44:27,040
그리고 가능한 최고
처리량을 원해도, 지금

930
00:44:27,040 --> 00:44:29,040
시점에서는 아마 그
칩을 써야 할 겁니다.

931
00:44:29,040 --> 00:44:32,240
결국 다 이겁니다 — 이건 아주
새로운 프로그래밍 패러다임이라는 거죠.

932
00:44:32,240 --> 00:44:35,862
요즘 자주 듣는 얘기 중
하나가, 최고급 칩, 그러니까

933
00:44:35,862 --> 00:44:38,880
블랙웰 시장이 지금 마약
시장 같다는 거예요.

934
00:44:38,880 --> 00:44:41,688
다들 물량이 너무 부족하다
보니, 최대한 많이

935
00:44:41,688 --> 00:44:44,720
확보하려고 별의별 흥미로운
일들이 벌어지고 있죠.

936
00:44:44,720 --> 00:44:48,160
그 비유에 대해 반응을 듣고 싶은데요
— 실제로 그런 느낌인가요?

937
00:44:48,160 --> 00:44:51,839
그리고 최첨단이 아닌 칩들의 시장은
어떤지도 얘기해 주셨으면 하는데요 —

938
00:44:51,839 --> 00:44:54,613
제가 조금, 혹은 어느 정도 성능이

939
00:44:54,613 --> 00:44:57,680
떨어지는 칩을 받아들일 용의가 있다면,

940
00:44:57,680 --> 00:45:00,800
그 시장은 어떤가요? 그 세계로
저희를 좀 안내해 주세요.

941
00:45:00,800 --> 00:45:03,787
네, 몇 가지가 있는데요
— 첫 번째로, 엔비디아는

942
00:45:03,787 --> 00:45:07,200
기본적으로 모든 칩에 대해
장기적인 관점을 갖고 있습니다.

943
00:45:07,200 --> 00:45:09,680
블랙웰 칩에 대한 이
엄청난 수요를 보면서,

944
00:45:09,680 --> 00:45:15,280
예전에 다른 공급사들이 했던 것처럼
그냥 가격을 확 올려서 시장이—

945
00:45:15,280 --> 00:45:17,881
수급 곡선이 알아서 맞춰지게
둘 수도 있죠. 어느 지점에서

946
00:45:17,881 --> 00:45:20,319
교차하고, 기술적으로는 모두가
더 나아지는 셈이니까요.

947
00:45:20,319 --> 00:45:23,416
하지만 엔비디아는, 자금력이
제일 센 곳이 칩을 다 사가게

948
00:45:23,416 --> 00:45:26,319
두면 오히려 자기들한테 손해일
수 있다고 보는 거예요.

949
00:45:26,319 --> 00:45:29,359
장기적으로 그 고객이 힘을
훨씬 더 많이 갖게 되면요.

950
00:45:29,359 --> 00:45:32,640
요즘 컴퓨트가 곧
권력이라는 걸 아니까요...

951
00:45:32,640 --> 00:45:36,160
컴퓨트를 배분하는
방식에 꽤 전략적입니다.

952
00:45:36,160 --> 00:45:37,200
이게 첫 번째 생각이고요.

953
00:45:37,200 --> 00:45:39,599
두 번째는, 관계가 정말
중요하다는 겁니다.

954
00:45:39,599 --> 00:45:42,688
"저희가 블랙웰 1만
개를 3년이나 5년 동안

955
00:45:42,688 --> 00:45:45,900
빌리겠습니다"라고 하는
신생 스타트업한테서 대량

956
00:45:45,900 --> 00:45:49,359
칩 대여 주문이 들어오는
걸 아무도 원하지 않아요.

957
00:45:49,359 --> 00:45:52,240
그 스타트업은 보통 창업한
지 몇 달밖에 안 됐으니까요.

958
00:45:52,240 --> 00:45:54,079
돈을 제대로 낼지 누가 알겠어요?

959
00:45:54,079 --> 00:45:59,599
요즘 누군가한테 컴퓨트 접근권을
얻어내는 게 꽤 어렵습니다.

960
00:45:59,599 --> 00:46:06,400
탄탄한 인맥이든 압도적인 자금력이든,
둘 중 하나는 있어야 가능하죠.

961
00:46:06,400 --> 00:46:07,440
엔비디아 쪽에서요?

962
00:46:07,440 --> 00:46:12,800
이게 다 희소성이 워낙 높고 수요가
그야말로 폭발적이기 때문이에요.

963
00:46:12,800 --> 00:46:15,040
그런데 다른 칩들은, 저는
열등하다고 부르지도 않아요.

964
00:46:15,040 --> 00:46:16,480
저는 늘 이렇게 말합니다
— 나쁜 칩은 없다고요.

965
00:46:16,480 --> 00:46:17,680
정말 나쁜 가격이 있을 뿐이죠.

966
00:46:17,680 --> 00:46:20,160
그리고 가격만 맞으면 어떤 칩이든
쓸모 있게 만들 수 있어요.

967
00:46:20,160 --> 00:46:22,160
이게 저희 회사의 철학
중 하나라고 할 수 있죠.

968
00:46:22,160 --> 00:46:23,760
AMD 얘기를 좀 해볼까요.

969
00:46:23,760 --> 00:46:26,720
AMD는, 전반적으로
훌륭한 칩이라고 생각해요.

970
00:46:26,720 --> 00:46:30,720
문제는 사람들이 이걸 어떻게
프로그래밍해야 할지 잘 모른다는 거죠.

971
00:46:30,720 --> 00:46:34,000
저희가 정말 훌륭한 커널 팀을 갖고
있다는 얘기를 계속 해왔는데요.

972
00:46:34,000 --> 00:46:36,640
하드웨어에서 성능을 최대한
짜내는 데 정말 진심입니다.

973
00:46:36,640 --> 00:46:38,640
엔비디아는 자사 칩에 대해서는
이걸 꽤 잘 해줍니다.

974
00:46:38,640 --> 00:46:41,004
솔직히 거기서도 짜낼 수
있는 알파가 있긴 하지만,

975
00:46:41,004 --> 00:46:43,200
사실 다른 칩들에서 할
일이 훨씬 더 많습니다.

976
00:46:43,200 --> 00:46:48,240
다른 벤더는 엔비디아만큼 기본 커널
최적화에 공을 들이지 않거든요.

977
00:46:48,240 --> 00:46:51,496
저한테는 오히려 잘된 일이죠,
알파가 있다는 뜻이니까요. 다들

978
00:46:51,496 --> 00:46:55,040
AMD가 엔비디아보다 못하다는
인식을 갖고 있는 것도 마찬가지고요.

979
00:46:55,040 --> 00:46:56,079
저한테는 반가운 소리입니다.

980
00:46:56,079 --> 00:46:59,520
다들 이 칩을 외면하는 동안 저는
최대한 사들이면 좋겠다는 마음입니다.

981
00:46:59,520 --> 00:47:01,839
사실 지금은 그게 딱히
맞는 얘기는 아닙니다.

982
00:47:01,839 --> 00:47:04,108
AMD는 일부 대형 구매자들 사이에서는

983
00:47:04,108 --> 00:47:06,160
어느 정도 인기가 있는 것 같아요.

984
00:47:06,160 --> 00:47:10,183
공개적으로 알려진 것만 봐도 메타와
오픈AI가 AMD 칩을 엄청나게

985
00:47:10,183 --> 00:47:14,640
사들였고, 그래서 AMD 공급도 점점
다 할당되고 있는 걸 보고 있습니다.

986
00:47:14,640 --> 00:47:15,951
하지만 그 뒤로 롱테일에 해당하는 여러

987
00:47:15,951 --> 00:47:17,200
신생 업체들이 계속 등장하고 있어요.

988
00:47:17,200 --> 00:47:20,838
에치드나 삼바노바,
디매트릭스 같은 완전히 새로운

989
00:47:20,838 --> 00:47:24,880
회사들도 좋죠. 이런 회사들이
계속 나타나고 있습니다.

990
00:47:24,880 --> 00:47:27,760
그리고 이들의 가장 큰
과제는 규모라고 생각합니다.

991
00:47:27,760 --> 00:47:30,388
TSMC에서 웨이퍼 할당을 충분히

992
00:47:30,388 --> 00:47:33,599
받아서 칩을 시장에 쏟아낼 수 있을까요?

993
00:47:33,599 --> 00:47:38,000
하지만 새로운 칩이 나오면 저는
최대한 빨리 알고 싶고요.

994
00:47:38,000 --> 00:47:41,040
그 공급 물량의 상당 부분을 저희가
살 수 있는지 검토해보고 싶습니다.

995
00:47:41,040 --> 00:47:42,880
그러니까 본질적으로는
일종의 차익거래인 거네요.

996
00:47:42,880 --> 00:47:48,560
주목을 덜 받은 칩에서 성능을
훨씬 더 잘 짜낼 수 있다면,

997
00:47:48,560 --> 00:47:52,240
그걸 마진을 붙여 되팔 수 있고,
좋은 사업이 될 수 있겠네요.

998
00:47:52,240 --> 00:47:53,119
맞습니다. 정확히 그렇습니다.

999
00:47:53,119 --> 00:47:56,704
그리고 다른 사람들이 실력이
부족해서 이 칩들을 잘

1000
00:47:56,704 --> 00:48:00,160
못 쓰는 거다, 그런
얘기는 아니라고 생각합니다.

1001
00:48:00,160 --> 00:48:01,599
저희가 이 분야에서 꽤
실력이 있다고 생각해요.

1002
00:48:01,599 --> 00:48:03,477
여러 실리콘 아키텍처를
다루는 데 있어서는

1003
00:48:03,477 --> 00:48:05,599
저희가 세계 최고 수준의
팀 중 하나일 겁니다.

1004
00:48:05,599 --> 00:48:09,680
그리고 의외의 곳에서 성능을 집요하게
파고드는 데도 상당히 공격적이고요.

1005
00:48:09,680 --> 00:48:12,747
그런데 결국 핵심은,
저희가 새 칩을 중심으로

1006
00:48:12,747 --> 00:48:15,200
스택을 구축하는 속도인 것 같습니다.

1007
00:48:15,200 --> 00:48:18,216
저희 자체엔 그런 기득권이
별로 없는데 — 음, 저희

1008
00:48:18,216 --> 00:48:21,440
데이터센터 사업자들이 이 칩
클래스에만 묶여 있다 보니,

1009
00:48:21,440 --> 00:48:23,528
완전히 새로운 칩들을 배포하는 게

1010
00:48:23,528 --> 00:48:26,079
저희로선 정말 큰 골칫거리가 되는 거죠.

1011
00:48:26,079 --> 00:48:28,750
빠르게 움직여줄 의향이 있는 아주
창의적인 데이터센터 파트너들도

1012
00:48:28,750 --> 00:48:31,040
있고요, 그중엔 나중에 얘기할
새로운 부류도 있습니다.

1013
00:48:31,040 --> 00:48:33,359
그리고 가장 중요한 건, 저희는
그 도전을 피하지 않는다는 겁니다.

1014
00:48:33,359 --> 00:48:35,961
솔직히 그게 핵심 중 하나인데요
— 그냥 이렇게 말하는 거죠.

1015
00:48:35,961 --> 00:48:38,640
네, 저희는 TPU를 좋아하고,
TPU가 돌아가게 만들 겁니다.

1016
00:48:38,640 --> 00:48:39,520
네, 트레이니엄도 좋아합니다.

1017
00:48:39,520 --> 00:48:40,640
트레이니엄도 돌아가게 만들 겁니다.

1018
00:48:40,640 --> 00:48:46,720
쉽게 안 되면, 이기종 서빙 시스템
안에 끼워 맞출 방법을 찾을 겁니다.

1019
00:48:46,720 --> 00:48:47,680
분명 자리가 있을 겁니다.

1020
00:48:47,680 --> 00:48:49,680
모든 칩에는 비교우위가 있습니다.

1021
00:48:49,680 --> 00:48:52,240
그 강점을 찾아내서 그 방향으로
최대한 짜내야 하는 거죠.

1022
00:48:52,240 --> 00:48:56,180
하드웨어, 데이터센터,
에너지 얘기로 넘어가기 전에

1023
00:48:56,180 --> 00:48:59,839
— 정말 재밌을 대목인데
— 잠깐 짚고 갈게요.

1024
00:48:59,839 --> 00:49:05,200
투자자들의 우려를 어떻게
보시는지 듣고 싶어요.

1025
00:49:05,200 --> 00:49:05,440
네.

1026
00:49:05,440 --> 00:49:07,200
예를 들어 메모리 주식들을 보면요.

1027
00:49:07,200 --> 00:49:10,330
아니면 요즘 제가 제일
좋아하는 건, S&P

1028
00:49:10,330 --> 00:49:13,200
500에서 반도체 비중을 그린 차트예요.

1029
00:49:13,200 --> 00:49:15,119
역사적으로는 2, 3, 4% 정도였는데.

1030
00:49:15,119 --> 00:49:17,440
지금은 19, 20, 21%예요.

1031
00:49:17,440 --> 00:49:20,480
시장 역사를 좀 아는
사람이라면 낯익은 그림이죠.

1032
00:49:20,480 --> 00:49:24,215
시간이 지나면서 단기적으로
말도 안 되게 치솟았다가,

1033
00:49:24,215 --> 00:49:28,079
결국 장기 평균으로 되돌아가는
일들이 계속 있었잖아요.

1034
00:49:28,079 --> 00:49:30,960
그게 투자자들을 얼마나
불안하게 만드는지 궁금해요.

1035
00:49:30,960 --> 00:49:31,359
네.

1036
00:49:31,359 --> 00:49:34,522
그러니까 많은 분들이
마이크론이나 SK하이닉스

1037
00:49:34,522 --> 00:49:36,800
같은 회사에서 큰돈을 버셨습니다.

1038
00:49:36,800 --> 00:49:39,133
그런데 다들 장기적으로는, 컴퓨트가 결국

1039
00:49:39,133 --> 00:49:41,359
범용재가 될 거라고 느끼고 있는 거죠.

1040
00:49:41,359 --> 00:49:44,419
그리고 전 세계 시가총액의 4분의 1이나

1041
00:49:44,419 --> 00:49:47,200
5분의 1을 차지하지도 않을 거고요.

1042
00:49:47,200 --> 00:49:49,680
그래서 다들 겁을 먹는
거고, 그게 지금 상황이죠.

1043
00:49:49,680 --> 00:49:52,319
엄청난 공급 부족이 있다는
건 다들 인정합니다.

1044
00:49:52,319 --> 00:49:55,800
하지만 결국 다 해결되고,
이런 것들도 자본시장에서

1045
00:49:55,800 --> 00:49:59,280
원래 자리로 돌아갈 거라고
다들 느끼는 것 같아요.

1046
00:49:59,280 --> 00:50:02,160
그 서사에 대해 어떻게
생각하시는지 궁금해요.

1047
00:50:02,160 --> 00:50:04,101
한 가지는, 저는 역사를
공부하는 사람이라기보다

1048
00:50:04,101 --> 00:50:05,520
역사의 일원에 더 가깝다는 겁니다.

1049
00:50:05,520 --> 00:50:07,440
저는 1997년생이에요.

1050
00:50:07,440 --> 00:50:10,875
어머니가 2000년을
앞둔 시기, 그러니까

1051
00:50:10,875 --> 00:50:14,160
닷컴 붐과 붕괴 때 인텔에서 근무하셨죠.

1052
00:50:14,160 --> 00:50:16,760
시스코가 전 세계에서 가장
가치 있는 기업이었고

1053
00:50:16,760 --> 00:50:18,960
인텔이 바로 뒤를 쫓던 시절이 기억나요.

1054
00:50:18,960 --> 00:50:23,680
그러니까, 저는 25년 전 그 시기와
지금을 주로 겹쳐서 보는 편입니다.

1055
00:50:23,680 --> 00:50:26,951
가장 큰 차이는, 과거
네트워킹 장비 투자

1056
00:50:26,951 --> 00:50:30,079
상당수가 투기적이었다는 점이라고 봅니다.

1057
00:50:30,079 --> 00:50:34,400
결국 오지 않은 미래의 사용자
수요를 미리 예상하고 투자한 거였죠.

1058
00:50:34,400 --> 00:50:37,349
토큰 소비, 좀 더 넓게는
AI 소비에서 흥미로운

1059
00:50:37,349 --> 00:50:40,079
점은 이게 더 이상
투기적이지 않다는 겁니다.

1060
00:50:40,079 --> 00:50:42,720
사람들이 토큰을 사는 건 그게 당장
자신에게 가치가 있기 때문이에요.

1061
00:50:42,720 --> 00:50:45,680
토큰을 쌓아두는 게 아니라
바로 써버리는 거죠.

1062
00:50:45,680 --> 00:50:49,173
이건 2년 전, 그러니까
2023, 2024년에

1063
00:50:49,173 --> 00:50:52,800
호퍼 세대 칩 공급난이
있었던 상황과도 다릅니다.

1064
00:50:52,800 --> 00:50:57,440
그 시기엔 지출이 전부 학습 중심이었고,
학습은 본질적으로 투기적이죠.

1065
00:50:57,440 --> 00:51:01,040
지금은 다들 클로드 코드에 얼마나
쓸 수 있는지 한도를 두고 있잖아요.

1066
00:51:01,040 --> 00:51:03,309
추론 지출을 이야기하고
그게 계속 늘어날 거라

1067
00:51:03,309 --> 00:51:05,760
예측하는 건, 정말 완전히
다른 세계의 얘기예요.

1068
00:51:05,760 --> 00:51:08,640
저는 추론 지출이 계속 꾸준히
늘어나기만 할 거라고 봅니다.

1069
00:51:08,640 --> 00:51:11,520
추론 지출에는 투기적인 요소가 없어요.

1070
00:51:11,520 --> 00:51:14,107
[광고] 밴타(Vanta)는 램프,
커서(Cursor), 하비 같은

1071
00:51:14,107 --> 00:51:16,833
빠르게 성장하는 16,000개 이상의
기업을 위해 보안과 컴플라이언스를

1072
00:51:16,833 --> 00:51:19,280
자동화해, 언제든 감사에 대응할
수 있는 상태를 유지해 줍니다.

1073
00:51:19,280 --> 00:51:21,280
업계 1위 에이전틱 트러스트 플랫폼이죠.

1074
00:51:21,280 --> 00:51:25,052
이제는 여러분 같은 기업이 감사와
감사 사이에 벤더, AI 도구,

1075
00:51:25,052 --> 00:51:28,720
전체 환경 전반에서 나타나는
리스크를 감시하도록 돕고 있습니다.

1076
00:51:28,720 --> 00:51:31,935
팀이 새로 가입하는 도구
하나하나, AI 기능을 켜는

1077
00:51:31,935 --> 00:51:35,040
벤더 하나하나가 문제가 생길
기회가 될 수 있어요.

1078
00:51:35,040 --> 00:51:38,559
대부분의 보안 프로그램은 AI의 성장
속도에 맞춰 만들어지지 않았습니다.

1079
00:51:38,559 --> 00:51:41,657
밴타 에이전트는 백그라운드에서
24시간 상주하는 GRC

1080
00:51:41,657 --> 00:51:44,239
엔지니어처럼 작동해,
문제를 찾아내고 수정안을

1081
00:51:44,239 --> 00:51:47,440
작성해주며 벤더 평가 시간을
최대 50%까지 줄여줍니다.

1082
00:51:47,440 --> 00:51:49,993
빠르게 성장하는 스타트업이든
글로벌 기업이든,

1083
00:51:49,993 --> 00:51:52,240
밴타는 신뢰를 얻고 입증하도록 돕습니다.

1084
00:51:52,240 --> 00:51:55,897
인베스트 라이크 더 베스트 청취자는
vanta.com/invest에서

1085
00:51:55,897 --> 00:51:58,880
밴타 1,000달러 할인 특별
혜택을 받을 수 있습니다.

1086
00:51:58,880 --> 00:52:02,610
Ridgeline은 투자운용사를
위한 최초의 엔드투엔드 시스템

1087
00:52:02,610 --> 00:52:06,779
오브 레코드로, AI가 내장돼 있어
포트폴리오 회계, 대사, 리포팅,

1088
00:52:06,779 --> 00:52:10,400
트레이딩, 컴플라이언스를 하나의
통합 플랫폼에서 처리합니다.

1089
00:52:10,400 --> 00:52:13,187
투자운용사들이 레거시 기술에서
Ridgeline으로

1090
00:52:13,187 --> 00:52:15,675
옮겨가는 이유는, 다른
투자운용 소프트웨어보다

1091
00:52:15,675 --> 00:52:18,960
Ridgeline의 AI 기능이
훨씬 앞서 있기 때문입니다.

1092
00:52:18,960 --> 00:52:20,841
많은 투자운용사 관계자들에게서 AI

1093
00:52:20,841 --> 00:52:23,119
얘기를 듣는데, 대략
두 부류로 나뉩니다.

1094
00:52:23,119 --> 00:52:26,000
어디서부터 시작해야 할지조차 막막한
쪽이 있고, 주문관리 시스템을

1095
00:52:26,000 --> 00:52:28,720
그저 주말 동안 직접 만들 수
있다고 확신하는 쪽이 있습니다.

1096
00:52:28,720 --> 00:52:31,335
현실은, 투자운용사를
운영하려면 언제나 거버넌스와

1097
00:52:31,335 --> 00:52:34,240
통제, 그리고 단일한 데이터
소스가 필요하다는 겁니다.

1098
00:52:34,240 --> 00:52:37,200
AI에 대한 열정이 아무리 커도
이 요건은 바뀌지 않습니다.

1099
00:52:37,200 --> 00:52:39,200
회사의 AI 전략을
진지하게 고민하고 있다면,

1100
00:52:39,200 --> 00:52:41,280
그 논의에 Ridgeline이
포함돼야 합니다.

1101
00:52:41,280 --> 00:52:44,480
데모는 ridgeline.ai에서
신청할 수 있습니다.

1102
00:52:44,480 --> 00:52:47,920
이제 다시 하드웨어
얘기로 돌아가 볼게요.

1103
00:52:47,920 --> 00:52:51,512
단위 수준이 흥미로운데요
— 칩 얘기도 했고,

1104
00:52:51,512 --> 00:52:54,960
랙 얘기도 했고, 클러스터
얘기도 했잖아요.

1105
00:52:54,960 --> 00:52:56,880
데이터센터 얘기도 해보고 싶어요.

1106
00:52:56,880 --> 00:53:00,240
흥미로운 파트너들이 멋진
일을 하고 있다고 하셨죠.

1107
00:53:00,240 --> 00:53:04,640
보시기에 데이터센터의 현재와
미래가 어떤지 말씀해 주시겠어요?

1108
00:53:04,640 --> 00:53:09,119
이 모든 추론을 서비스하는 데 분명
핵심적인 부분일 것 같아서요.

1109
00:53:09,119 --> 00:53:10,917
이 영역에 혁신이 많이 일어나고 있고,

1110
00:53:10,917 --> 00:53:12,800
확실히 집중하고 계신 부분이기도 하고요.

1111
00:53:12,800 --> 00:53:15,487
저희 대화의 한 주제가 계속
학습과 추론의 차이로 돌아온

1112
00:53:15,487 --> 00:53:18,000
것 같아요 — 이 두 범주가
뭐가 다른가 하는 거요.

1113
00:53:18,000 --> 00:53:20,301
그리고 2년 전에는 학습
중심이었는데, 오늘날은

1114
00:53:20,301 --> 00:53:22,160
추론 중심이 된 게 뭐가 다른 걸까요?

1115
00:53:22,160 --> 00:53:27,040
AI 스택 전체에서 가장 보수적인
플레이어는 인프라 쪽이라고 생각합니다.

1116
00:53:27,040 --> 00:53:31,440
데이터센터든, 더 보수적으로는
TSMC 같은 칩 인프라 쪽이든요.

1117
00:53:31,440 --> 00:53:35,850
그래서 역사적으로 데이터센터는,
AI 데이터센터는 학습을 위해

1118
00:53:35,850 --> 00:53:40,000
지어졌습니다. 학습은 추론을
포함하는 상위 워크로드거든요.

1119
00:53:40,000 --> 00:53:41,838
학습용 클러스터는 어떤
것이든 추론에 쓸 수

1120
00:53:41,838 --> 00:53:43,599
있지만, 그 반대는
안 될 수도 있습니다.

1121
00:53:43,599 --> 00:53:47,161
그 차이가 바로 네트워킹이에요.
칩 간 대역폭에 얼마나

1122
00:53:47,161 --> 00:53:50,960
투자하느냐, 클러스터를 얼마나
크게 잡아야 하느냐는 거죠.

1123
00:53:50,960 --> 00:53:54,640
사실 데이터센터에는 일종의
규모의 비경제가 있습니다.

1124
00:53:54,640 --> 00:53:58,258
GPU 10만 개짜리 데이터센터를
짓는 건 1만 개보다,

1125
00:53:58,258 --> 00:54:01,760
1만 개는 또 1천 개보다
훨씬 더 비싸고 어렵거든요.

1126
00:54:01,760 --> 00:54:03,804
그래서 이제는 그냥
메가와트(MW)가 몇이냐,

1127
00:54:03,804 --> 00:54:05,440
기가와트(GW)가 몇이냐로 얘기하죠.

1128
00:54:05,440 --> 00:54:09,030
그리고 이제 미국에서
1GW급 데이터센터를

1129
00:54:09,030 --> 00:54:11,839
쉽게 지을 방법은 사실상 없어요.

1130
00:54:11,839 --> 00:54:14,640
100MW조차 점점
더 어려워지고 있고요.

1131
00:54:14,640 --> 00:54:18,000
아주 특별한 고객이 아니면
사실상 불가능합니다.

1132
00:54:18,000 --> 00:54:21,200
10MW 정도가 지금 가능한
한계에 가까울 거예요.

1133
00:54:21,200 --> 00:54:24,000
반면 1MW는, 제가 보기엔
얼마든지 있는 수준이고요.

1134
00:54:24,000 --> 00:54:27,467
그래서 시장엔 이런 놀라운
이야기가 있어요. 합산하면 엄청난

1135
00:54:27,467 --> 00:54:31,040
전력을 찾을 수 있지만, 그게
한곳에 몰려 있진 않다는 거죠.

1136
00:54:31,040 --> 00:54:33,069
그런데 그건 학습용 데이터센터를 짓는

1137
00:54:33,069 --> 00:54:35,200
사람들한텐 전혀 관심거리가 아니었어요.

1138
00:54:35,200 --> 00:54:37,685
다들 그냥 전력이 한곳에 다
모여 있을 거라 가정하거든요.

1139
00:54:37,685 --> 00:54:40,480
데이터센터를 넘나들며 학습을 돌리고
싶어 하는 사람은 없으니까요.

1140
00:54:40,480 --> 00:54:42,720
그래서 시장에는 일종의
지연이 있는 거죠.

1141
00:54:42,720 --> 00:54:46,058
제 생각엔 시장은 여전히 100MW,
10MW짜리 데이터센터를

1142
00:54:46,058 --> 00:54:49,200
어디서든 찾아내서 싹 확보해야
한다고 가정하는 것 같아요.

1143
00:54:49,200 --> 00:54:52,079
그게 제가 지금도 많은 데이터센터
개발업자들한테서 듣는 태도고요.

1144
00:54:52,079 --> 00:54:56,280
하지만 점점 더 몇몇 새로운
시각을 가진 이들이 깨닫고 있어요.

1145
00:54:56,280 --> 00:55:00,240
추론은 이런 분산된 1MW급
데이터센터에 딱 맞는다는 걸요.

1146
00:55:00,240 --> 00:55:02,640
저희도 그 생각에 상당히 동의하고요.

1147
00:55:02,640 --> 00:55:05,476
그래서 저희는 미국 전역에서
작은 컴퓨트 풀들을

1148
00:55:05,476 --> 00:55:08,640
사들여서 그걸 추론용 함대로
쓰는 걸 아주 반깁니다.

1149
00:55:08,640 --> 00:55:10,674
1MW와 10MW가 실제로 물리적 크기가

1150
00:55:10,674 --> 00:55:12,800
어느 정도인지 감을
좀 주실 수 있을까요?

1151
00:55:12,800 --> 00:55:16,720
네, 이게 액체 냉각이 나오면서
얘기가 좀 이상해졌어요.

1152
00:55:16,720 --> 00:55:18,862
이제는 랙 하나에 말도 안 되는 수준의

1153
00:55:18,862 --> 00:55:20,800
전력 밀도를 욱여넣을 수 있거든요.

1154
00:55:20,800 --> 00:55:23,680
1MW짜리 컴퓨트라고 하면
다들 이런 걸 상상하잖아요.

1155
00:55:23,680 --> 00:55:26,559
거대한 데이터 홀, 그러니까
커다란 창고 같은 곳이요.

1156
00:55:26,559 --> 00:55:33,599
그런데 지금은 그걸 랙 여덟
개 정도에 다 담을 수 있어요.

1157
00:55:33,599 --> 00:55:35,599
랙 하나가 냉장고 정도 크기예요.

1158
00:55:35,599 --> 00:55:37,440
그게 여덟 개 나란히 서
있다고 상상하시면 됩니다.

1159
00:55:37,440 --> 00:55:39,040
그게 1메가와트군요.

1160
00:55:39,040 --> 00:55:42,800
그러니까 대표님이 만들고 싶은 미래는

1161
00:55:42,800 --> 00:55:46,559
여러 다른 칩들을 함께 쓰는 거네요?

1162
00:55:46,559 --> 00:55:46,960
네.

1163
00:55:46,960 --> 00:55:52,000
칩을 사들이는 구매자로서, 칩
하나당 최대한 뽑아내려는 거고요.

1164
00:55:52,000 --> 00:55:58,400
그 칩들을 아주 작은 데이터센터에
묶어서 추론만 돌리는 거고요.

1165
00:55:58,400 --> 00:56:01,520
그리고 이 두 단계,
그러니까 되는대로 모은

1166
00:56:01,520 --> 00:56:04,640
컴퓨트 중 일부를 원래보다
싸게 손에 넣고—

1167
00:56:04,640 --> 00:56:08,231
거기서 더 많이 뽑아내는
능력에다 데이터센터 단위의

1168
00:56:08,231 --> 00:56:12,079
소규모 구현을 더하면, 훨씬
싼 지능이 나온다는 거죠.

1169
00:56:12,079 --> 00:56:13,200
저는 확실히 그렇다고 생각합니다.

1170
00:56:13,200 --> 00:56:15,113
네, 무엇을 받아들일지
창의적으로 고를 수

1171
00:56:15,113 --> 00:56:17,359
있다면 더 싼 플롭스에
접근하는 방법은 많습니다.

1172
00:56:17,359 --> 00:56:21,239
그래서 저희가 하는 일을
설명하는 방법 중 하나는, 세계

1173
00:56:21,239 --> 00:56:25,119
어디서든 어떤 칩이든 기간에
상관없이 사들인다는 겁니다.

1174
00:56:25,119 --> 00:56:29,280
이 정도의 유연성과 유동성은 지금
다른 어디에도 없다고 생각합니다.

1175
00:56:29,280 --> 00:56:32,319
저희는 말한 대로 실제로
실행하는 데 아주 적극적입니다.

1176
00:56:32,319 --> 00:56:34,954
정말 어떤 용량이든
받아들여서 저희 플릿에서

1177
00:56:34,954 --> 00:56:37,040
돌아가게 만드는 방법을 찾아냅니다.

1178
00:56:37,040 --> 00:56:40,781
그게 오늘날 저희 강점의 큰
부분이고, 장기적으로는 이런

1179
00:56:40,781 --> 00:56:44,160
데이터센터에 투자해서 그
강점을 더 키워야 했습니다

1180
00:56:44,160 --> 00:56:47,147
다른 사람들은 회의적으로
볼 텐데, 소형 데이터센터

1181
00:56:47,147 --> 00:56:50,880
1,000개짜리 군단을 세우면
무슨 일이 벌어질지 아실 테니까요

1182
00:56:50,880 --> 00:56:53,040
거대한 1기가와트 데이터센터
하나와 비교하면요.

1183
00:56:53,040 --> 00:56:54,079
음, 몇 가지가 있습니다.

1184
00:56:54,079 --> 00:56:56,480
솔직히 전력 이중화는
꽤 자주 없을 겁니다.

1185
00:56:56,480 --> 00:56:58,160
현장에 예비 디젤 발전기도 없을 거고요.

1186
00:56:58,160 --> 00:56:59,040
그런 건 전부 비용이 많이 들거든요.

1187
00:56:59,040 --> 00:57:00,160
저희는 그런 오버헤드를 전부 걷어냅니다.

1188
00:57:00,160 --> 00:57:02,559
많은 경우 네트워킹
이중화조차 없을 겁니다.

1189
00:57:02,559 --> 00:57:04,770
전력 접근성이 좋은 시설, 그러니까 단일

1190
00:57:04,770 --> 00:57:06,880
전원만 있는 곳에 이런 걸 둘 거고요,

1191
00:57:06,880 --> 00:57:10,079
이 데이터센터들까지 광섬유
한 줄만 매설할 거고요,

1192
00:57:10,079 --> 00:57:14,319
이중화·페일오버·SLA까지 갖춘
광섬유 세 줄 같은 건 없을 겁니다.

1193
00:57:14,319 --> 00:57:15,920
가끔은 그냥 다운될 수밖에 없어요.

1194
00:57:15,920 --> 00:57:19,359
실제로 어떤 곳은 가동률이 95%까지
떨어져도 저는 놀라지 않을 겁니다.

1195
00:57:19,359 --> 00:57:20,160
그건 나쁜 거죠.

1196
00:57:20,160 --> 00:57:20,720
아주 안 좋아요.

1197
00:57:20,720 --> 00:57:22,960
다른 누구에게든 그건
치명적이고 끔찍한 수준이죠.

1198
00:57:22,960 --> 00:57:25,680
큰 판에서 살아남으려면—

1199
00:57:25,680 --> 00:57:29,200
가동률 95%짜리 데이터센터를
살 사람은 사실상 없을 겁니다.

1200
00:57:29,200 --> 00:57:30,480
제가 바로 그 첫 구매자예요.

1201
00:57:30,480 --> 00:57:32,079
저는 95% 가동률을 사겠습니다.

1202
00:57:32,079 --> 00:57:34,807
그러니까 이유가 이 백그라운드
엔진 같은 것 때문인가요?

1203
00:57:34,807 --> 00:57:37,359
백그라운드에서 돌아가는 거면
신경 안 쓰시는 거고요?

1204
00:57:37,359 --> 00:57:39,040
부분적으로는요. 사실
이유는 두 가지입니다.

1205
00:57:39,040 --> 00:57:42,443
첫째, 저희에게는 아주 견고한
컨트롤 플레인이 있어서 데이터센터

1206
00:57:42,443 --> 00:57:45,359
한 곳에서 장애가 하나 나도
충분히 처리할 수 있어요.

1207
00:57:45,359 --> 00:57:47,937
다른 데이터센터와 얽힌
장애만 아니라면요. 워크로드를

1208
00:57:47,937 --> 00:57:50,160
다른 곳으로 옮기면
그만이니 저는 괜찮습니다.

1209
00:57:50,160 --> 00:57:54,138
장애는 어느 정도 비율로
일어나는데, 저는 가동률이

1210
00:57:54,138 --> 00:57:58,400
95%든 98%든 99%든
거의 선형적으로 만족합니다.

1211
00:57:58,400 --> 00:58:01,040
저한테는 그냥 선형적으로
좋고 나쁜 거죠.

1212
00:58:01,040 --> 00:58:01,760
음.

1213
00:58:01,760 --> 00:58:04,480
그리고 이제 아까 말씀드린 그
비동기적인 부분이 필요한데요

1214
00:58:04,480 --> 00:58:07,200
— 저희가 서빙하는 게 이 롱
호라이즌 에이전트들이잖아요—

1215
00:58:07,200 --> 00:58:10,204
요청이 실패하면 저희는 그 요청을 처리할

1216
00:58:10,204 --> 00:58:12,799
새 GPU를 다시 찾아야 하거든요.

1217
00:58:12,799 --> 00:58:17,280
그러면 에이전트가 한 시간
동안 진행하던 그 한 턴이,

1218
00:58:17,280 --> 00:58:21,520
GPU가 빠지면서 갑자기
막혀버리는 거예요.

1219
00:58:21,520 --> 00:58:24,795
그 순간 에이전트는
1~2분, 3분, 심하면

1220
00:58:24,795 --> 00:58:28,480
10분 정도 레이턴시가
추가로 생길 수 있습니다.

1221
00:58:28,480 --> 00:58:30,842
하지만 제 요지는, 고객들은
신경 안 쓴다는 거예요.

1222
00:58:30,842 --> 00:58:32,960
에이전트가 어차피 몇
시간씩 돌고 있었으니까요.

1223
00:58:32,960 --> 00:58:33,920
고객들은 잠들어 있잖아요.

1224
00:58:33,920 --> 00:58:34,319
상관없죠.

1225
00:58:34,319 --> 00:58:38,640
한 턴이 가끔 조금
길어진다고 해도 문제없습니다.

1226
00:58:38,640 --> 00:58:38,960
네.

1227
00:58:38,960 --> 00:58:43,380
그래서 고객들에게 말합니다. 평균
처리량은 매우 경쟁력 있을 거다,

1228
00:58:43,380 --> 00:58:47,920
하지만 P99, 즉 99번째 백분위수
레이턴시는 통제되지 않을 거다.

1229
00:58:47,920 --> 00:58:48,799
통제될 수가 없죠.

1230
00:58:48,799 --> 00:58:51,280
대신 압도적인 경제성을
드리겠다는 겁니다.

1231
00:58:51,280 --> 00:58:52,960
이게 백그라운드 에이전트에
딱 맞는 방식이라고 봅니다.

1232
00:58:52,960 --> 00:58:54,240
전력을 하나의 카테고리로 얘기해보죠.

1233
00:58:54,240 --> 00:58:57,119
흥미롭고 혁신적인 부분이 뭔가요?
이게 어디로 간다고 보세요?

1234
00:58:57,119 --> 00:59:01,440
네, 제가 데이터센터 가동률을
95%로 원한다고 했었죠.

1235
00:59:01,440 --> 00:59:04,079
적절한 가격이라면 가동률 80%도
받아들일 수 있지 않을까요?

1236
00:59:04,079 --> 00:59:04,880
아마도요.

1237
00:59:04,880 --> 00:59:06,079
그게 무슨 의미냐면요.

1238
00:59:06,079 --> 00:59:07,760
저는 캘리포니아 토박이입니다.

1239
00:59:07,760 --> 00:59:09,040
태양광과 풍력을 정말 좋아하고요.

1240
00:59:09,040 --> 00:59:11,920
미국에서 태양광·풍력 발전이 훨씬
덜 활용되고 있다고 봅니다.

1241
00:59:11,920 --> 00:59:14,319
늘 문제였던 건 이 간헐성이었죠.

1242
00:59:14,319 --> 00:59:17,687
태양광·풍력은 데이터센터엔 아예
안 맞는다고 볼 수도 있어요.

1243
00:59:17,687 --> 00:59:20,559
지속적인 기저 부하가 필요한데
전원은 간헐적이니까요.

1244
00:59:20,559 --> 00:59:21,520
그럼 어떻게 하실 건가요?

1245
00:59:21,520 --> 00:59:24,640
사실 그 문제를 푸는 데서 그리
멀지 않았다고 생각합니다.

1246
00:59:24,640 --> 00:59:28,080
제 데이터센터라면 며칠, 심지어 몇 주

1247
00:59:28,080 --> 00:59:31,520
단위 정전도 충분히 감내할 수 있어요.

1248
00:59:31,520 --> 00:59:33,760
데이터센터 입장에선
최악의 악몽 시나리오죠.

1249
00:59:33,760 --> 00:59:37,280
바람이 안 불어서 장기 정전이 온다거나

1250
00:59:37,280 --> 00:59:40,720
구름이 끼고, 계곡에 안개가
한동안 자욱하다거나 하는 거요.

1251
00:59:40,720 --> 00:59:41,760
그게 최악의 시나리오입니다.

1252
00:59:41,760 --> 00:59:44,951
사실 이건 예측이 꽤
잘 됩니다. 그럴 때마다

1253
00:59:44,951 --> 00:59:47,760
세계 다른 곳의 용량을 끌어오면 되고요.

1254
00:59:47,760 --> 00:59:51,200
날씨를 모델링해서 제 데이터센터가
언제 오프라인이 될지 파악하고,

1255
00:59:51,200 --> 00:59:54,240
제 워크로드를 다른 곳으로
옮기면 되고, 그걸로 끝입니다.

1256
00:59:54,240 --> 00:59:56,154
핵심은, 그렇게 하면
다른 누구도 손대지 않는

1257
00:59:56,154 --> 00:59:57,839
전력에 더 잘 접근할 수 있다는 겁니다.

1258
00:59:57,839 --> 01:00:01,599
그런 정전을 처리하는 게
너무 번거롭기 때문이죠.

1259
01:00:01,599 --> 01:00:04,960
그리고 제 칩이 충분히 저렴하다면,
아마 엔비디아 랙은 아닐 겁니다.

1260
01:00:04,960 --> 01:00:07,432
제 칩이 충분히 저렴하다면, 칩이 놀아도

1261
01:00:07,432 --> 01:00:09,680
그 자본 비용은 신경 쓰지 않습니다.

1262
01:00:09,680 --> 01:00:10,240
네.

1263
01:00:10,240 --> 01:00:13,920
이 시스템 전체를 스캐빈저
전략이라고 부르신다고 들었어요.

1264
01:00:13,920 --> 01:00:14,319
맞습니다.

1265
01:00:14,319 --> 01:00:16,559
네, 그 비유를 좀
풀어서 설명해주시겠어요?

1266
01:00:16,559 --> 01:00:21,280
우선 칩을 수거하고, 그다음 그
칩들을 위한 전력을 수거합니다.

1267
01:00:21,280 --> 01:00:24,022
핵심은, 두 경우 모두
앤트로픽이나 오픈AI와 컴퓨팅

1268
01:00:24,022 --> 01:00:26,480
용량을 두고 경쟁 입찰하고
싶지 않다는 겁니다.

1269
01:00:26,480 --> 01:00:28,319
그들을 이길 수도 없고,
이기고 싶지도 않습니다.

1270
01:00:28,319 --> 01:00:30,339
저는 더 창의적으로,
그들이 아직 알아보지

1271
01:00:30,339 --> 01:00:31,920
못하는 공급을 활용하고 싶습니다.

1272
01:00:31,920 --> 01:00:35,520
그렇게 시간이 지나면서 충분한
총합 공급을 쌓아갑니다.

1273
01:00:35,520 --> 01:00:36,880
집중된 공급은 절대 얻지 못할 겁니다.

1274
01:00:36,880 --> 01:00:38,960
오직 총합 공급만 얻게 되죠.

1275
01:00:38,960 --> 01:00:41,172
그리고 시간이 지나면,
경제성 면에서 누구도

1276
01:00:41,172 --> 01:00:43,200
이길 수 없는 총합 공장을 짓게 됩니다.

1277
01:00:43,200 --> 01:00:44,319
저희는 공장을 짓고 있습니다.

1278
01:00:44,319 --> 01:00:46,480
세계 최고의 제철
공장을 지으려는 겁니다.

1279
01:00:46,480 --> 01:00:52,400
다만 그건 대형 일관제철소가 아니라
미니밀을 통해 이뤄질 겁니다.

1280
01:00:52,400 --> 01:00:54,962
이걸 여러 버전으로 상상해보면, 얼마나

1281
01:00:54,962 --> 01:00:57,280
수직계열화할 수 있는지도 그렇고요.

1282
01:00:57,280 --> 01:00:57,839
네.

1283
01:00:57,839 --> 01:01:01,040
한 버전은 극단적으로, 모든
걸 직접 소유하는 겁니다.

1284
01:01:01,040 --> 01:01:03,520
그러면 자본 집약도가
매우 높은 사업이 되죠.

1285
01:01:03,520 --> 01:01:05,520
전력원을 직접 소유하는 거고요.

1286
01:01:05,520 --> 01:01:07,280
데이터센터도 직접 짓고,

1287
01:01:07,280 --> 01:01:09,119
칩도 직접 설계하고,

1288
01:01:09,119 --> 01:01:12,880
그 칩에서 가장 많은 자원을 잡아먹는
소프트웨어까지 직접 통제하고,

1289
01:01:12,880 --> 01:01:15,680
그리고 완성된 최종 토큰을 팔죠 —

1290
01:01:15,680 --> 01:01:18,400
사용자에게요 — 저 같은 사용자한테 —

1291
01:01:18,400 --> 01:01:20,319
그러면 스택 전체를
통째로 소유하는 거예요.

1292
01:01:20,319 --> 01:01:23,760
그런데 이 사업의 다른 조합도
얼마든지 상상할 수 있잖아요,

1293
01:01:23,760 --> 01:01:27,901
선을 어디에든 그을 수 있죠 —
자본은 극도로 가볍게 가져가면서

1294
01:01:27,901 --> 01:01:32,160
아무것도 소유하지 않고 그냥 조정
계층이 되는 것도 가능하고요 —

1295
01:01:32,160 --> 01:01:34,480
이 모든 걸 아우르는,
가상의 스캐빈저처럼요.

1296
01:01:34,480 --> 01:01:35,119
맞아요.

1297
01:01:35,119 --> 01:01:39,920
이 중 어떤 유형의 사업이
될지는 어떻게 생각하세요?

1298
01:01:39,920 --> 01:01:42,000
사실 그 질문을 받는 저는
두 가지 자아로 나뉩니다.

1299
01:01:42,000 --> 01:01:45,931
하나는 매일 돌아가야
하고, 최대한 지속 가능하고

1300
01:01:45,931 --> 01:01:49,280
빠르게 성장시켜야 하는
회사의 CEO고요.

1301
01:01:49,280 --> 01:01:51,618
다른 하나는 창업자인데,
창업자 쪽이 훨씬

1302
01:01:51,618 --> 01:01:54,160
더 상상력이 풍부하고
이런 걸 그냥 좋아하죠.

1303
01:01:54,160 --> 01:01:56,079
제 안의 창업자는 모든
걸 다 하고 싶어 합니다.

1304
01:01:56,079 --> 01:01:57,040
이게 제 인생 전부거든요.

1305
01:01:57,040 --> 01:01:59,839
평생을 칩, 전력, 에너지
생각만 하면서 살았습니다.

1306
01:01:59,839 --> 01:02:01,359
제가 신경 쓰는 건 이것뿐이에요.

1307
01:02:01,359 --> 01:02:03,040
그러니까 당연히 최대한 야심 차고 싶죠.

1308
01:02:03,040 --> 01:02:04,160
절대 멈추고 싶지 않습니다.

1309
01:02:04,160 --> 01:02:06,411
밑바닥부터 끝까지 가장 효율적인 시스템을

1310
01:02:06,411 --> 01:02:08,559
만들 때까지 절대 멈추지 않을 거예요.

1311
01:02:08,559 --> 01:02:10,559
말 그대로 현실판 팩토리오를
하고 계시는 거네요.

1312
01:02:10,559 --> 01:02:12,240
정말 그렇습니다, 정말 그래요.

1313
01:02:12,240 --> 01:02:14,240
그게 좀 감정적인 답변이었고,
냉정한 답은 아니었죠.

1314
01:02:14,240 --> 01:02:17,520
CEO 입장에서는 좀 더
실용적이어야 한다고 생각합니다.

1315
01:02:17,520 --> 01:02:20,124
모든 걸 직접 소유하는 데 드는 자본

1316
01:02:20,124 --> 01:02:23,119
규모는, 말씀하신 대로
정말 어마어마하죠.

1317
01:02:23,119 --> 01:02:25,680
네, 소프트웨어는 레버리지가 크니까
소프트웨어부터 시작해야 합니다.

1318
01:02:25,680 --> 01:02:28,880
결국 발전을 직접 소유해야
할까요, 아니면 유틸리티

1319
01:02:28,880 --> 01:02:32,079
회사와 좋은 전력구매계약(PPA)을
맺으면 될까요?

1320
01:02:32,079 --> 01:02:35,850
저는 다른 사람들이 원래 잘하던
분야에 계속 특화하게 두고,

1321
01:02:35,850 --> 01:02:40,079
우리가 그 규모까지 갈 수 있는지
지켜보는 쪽에 더 마음이 갑니다.

1322
01:02:40,079 --> 01:02:42,159
이걸 직접 품을 자격을 얻을 만한 규모에

1323
01:02:42,159 --> 01:02:44,240
도달하고 싶다, 저는 그렇게 생각합니다.

1324
01:02:44,240 --> 01:02:48,079
스택 전체 곳곳에서 얻을 수 있는
효율이 분명히 있다고 봅니다.

1325
01:02:48,079 --> 01:02:50,588
제가 물건을 사려는 상대방이 자기 고객이

1326
01:02:50,588 --> 01:02:53,440
누굴지에 대해 세워둔
가정을 깰 수 있다면요.

1327
01:02:53,440 --> 01:02:56,160
그리고 어쩌면 제가 바로 그
가정들을 깨는 쪽일 수도 있고요.

1328
01:02:56,160 --> 01:02:57,760
꽤 낙관적인 시각이긴 합니다.

1329
01:02:57,760 --> 01:03:00,933
이게 가능한 이유는, 저희가
컴퓨팅 역사상 가장 큰

1330
01:03:00,933 --> 01:03:04,559
컴퓨트 시장을 뒷받침하려 하고
있기 때문이라고 생각합니다.

1331
01:03:04,559 --> 01:03:10,559
실제로 추론에 수천억, 수조 달러
규모의 투자를 쏟아붓게 될 겁니다.

1332
01:03:10,559 --> 01:03:12,880
그렇게 집중하고 있기
때문에, 추론에 맞춘

1333
01:03:12,880 --> 01:03:15,200
커스텀 제품을 많이
만드는 게 합리적이죠.

1334
01:03:15,200 --> 01:03:18,720
그런 지점들을 전부
찾아내는 게 제 일입니다.

1335
01:03:18,720 --> 01:03:22,339
그게 저와 파트너들에게
명확해지면, 파트너들에게

1336
01:03:22,339 --> 01:03:25,680
저를 위한 커스텀 제품을
만들게 할 겁니다.

1337
01:03:25,680 --> 01:03:27,680
만약 그들이 해줄 수 없다면,
제가 직접 하겠습니다.

1338
01:03:27,680 --> 01:03:29,618
이 시스템 전체를 넓게 봐서요,

1339
01:03:29,618 --> 01:03:32,240
소프트웨어, 하드웨어,
에너지까지 전부요,

1340
01:03:32,240 --> 01:03:36,028
오늘날 유용하고 똑똑한 토큰을 만드는 데

1341
01:03:36,028 --> 01:03:40,160
가장 비효율적인 지점들을
순위 매겨본다면요?

1342
01:03:40,160 --> 01:03:40,640
네.

1343
01:03:40,640 --> 01:03:42,000
그 목록은 어떤 모습일까요?

1344
01:03:42,000 --> 01:03:45,599
컴퓨트 스케일링은 사실 굉장히
효율적이라고 생각합니다.

1345
01:03:45,599 --> 01:03:48,720
그러니까, 플롭스를 더 주면
저는 그만큼 다 쓴다는 거죠.

1346
01:03:48,720 --> 01:03:50,360
그리고 저희는 이미 플롭스 사용에 있어

1347
01:03:50,360 --> 01:03:52,079
꽤 신중한 편이라고 말씀드리고 싶습니다.

1348
01:03:52,079 --> 01:03:56,640
요즘 모델들을 보면, 밀집도가
10%를 넘는 모델은 거의 없습니다,

1349
01:03:56,640 --> 01:03:58,633
활성화할 수 있는 전문가(expert)

1350
01:03:58,633 --> 01:04:00,720
중 10%만 실제로 활성화된다는 뜻이죠.

1351
01:04:00,720 --> 01:04:03,359
프론티어 모델들은 1%에 더
가까울 거라고 생각합니다.

1352
01:04:03,359 --> 01:04:05,599
그러니까, 이미 상당히 희소한 거죠.

1353
01:04:05,599 --> 01:04:09,359
MoE 쪽에서 낭비가 그렇게
크다고는 생각 안 해요.

1354
01:04:09,359 --> 01:04:11,039
다들 이걸 꽤 오랫동안 다뤄왔으니까요.

1355
01:04:11,039 --> 01:04:12,799
짜낼 건 이미 꽤 잘 짜내고 있습니다.

1356
01:04:12,799 --> 01:04:16,480
우리가 못하는 건 어텐션,
그리고 그 메모리 사용이에요.

1357
01:04:16,480 --> 01:04:20,960
구체적으로 말하면, KV 캐시가
지금 거의 압축이 안 돼 있어요.

1358
01:04:20,960 --> 01:04:23,224
KV 캐시의 엔트로피를 보면, 그 정도

1359
01:04:23,224 --> 01:04:25,920
값어치가 전혀— 제 몫을
못 하고 있는 거죠.

1360
01:04:25,920 --> 01:04:30,240
토큰 하나당 KV 캐시에 수
킬로바이트씩 저장하고 있습니다.

1361
01:04:30,240 --> 01:04:34,160
그건 아마 한두 자릿수는
과한 걸 거예요.

1362
01:04:34,160 --> 01:04:37,898
프론티어 랩들이 뭘 하는지는
모르겠지만, 딥시크는 그걸

1363
01:04:37,898 --> 01:04:41,760
계속 더 압축하는 정말 흥미로운
연구를 발표하고 있어요.

1364
01:04:41,760 --> 01:04:42,799
성과도 꽤 좋고요.

1365
01:04:42,799 --> 01:04:46,225
매년 한 번씩 자릿수
단위로 진전이 있다는 건,

1366
01:04:46,225 --> 01:04:49,520
갈 길이 아직 많이
남았다는 신호라고 봅니다.

1367
01:04:49,520 --> 01:04:51,200
이건 다 마이크로 스케일 얘기고요.

1368
01:04:51,200 --> 01:04:53,285
더 줌아웃해서 보면,
사실 우리는 컴퓨트를

1369
01:04:53,285 --> 01:04:55,280
전혀 효율적으로 동원하지 못하고 있어요.

1370
01:04:55,280 --> 01:04:56,799
세상엔 이렇게 많은
컴퓨트가 있는데 말이죠.

1371
01:04:56,799 --> 01:04:59,280
엔비디아가 올해 블랙웰 칩을
500만 개나 쏟아내고 있어요.

1372
01:04:59,280 --> 01:05:00,000
그게 다 어디로 가는 걸까요?

1373
01:05:00,000 --> 01:05:01,760
그게 정말 늘, 항상 쓰이고 있을까요?

1374
01:05:01,760 --> 01:05:02,640
저는 분명 의심스럽습니다.

1375
01:05:02,640 --> 01:05:04,515
어느 수준에서는, 전 세계 컴퓨트를 더

1376
01:05:04,515 --> 01:05:06,480
잘 오케스트레이션할 필요가 있다고 봐요.

1377
01:05:06,480 --> 01:05:08,742
이게 정말 어려운 이유는, 많은 컴퓨트가

1378
01:05:08,742 --> 01:05:10,799
사설 풀 속으로 사라져버리기 때문인데

1379
01:05:10,799 --> 01:05:12,951
그런 컴퓨트는 세상 빛을 볼 일이 없고,

1380
01:05:12,951 --> 01:05:15,200
그 GPU들은 슬프게도
그냥 놀고 있어요.

1381
01:05:15,200 --> 01:05:18,834
그 GPU들에 실리콘과
전력이 들어갔는데 그냥 놀고

1382
01:05:18,834 --> 01:05:22,079
있는 걸 보면, 저는
몸으로 아플 지경이에요.

1383
01:05:22,079 --> 01:05:25,802
그걸 고치고 싶어요— 세상의
컴퓨트를 공유 자원으로 조직하고

1384
01:05:25,802 --> 01:05:28,960
오케스트레이션해서, 더
효율적으로 채워 넣는 거죠.

1385
01:05:28,960 --> 01:05:33,418
제 생각엔, 다들 xAI가
클러스터 전체 플롭

1386
01:05:33,418 --> 01:05:37,520
활용률에 어려움을
겪는다고 놀리곤 하는데,

1387
01:05:37,520 --> 01:05:40,720
하지만 나머지 세계의 현실은
훨씬, 훨씬 더 심각합니다.

1388
01:05:40,720 --> 01:05:43,901
수많은 GPU가 창고에
쌓여 있거나, 특정

1389
01:05:43,901 --> 01:05:47,359
고객 전용 풀에 갇힌
채 그냥 놀고 있습니다.

1390
01:05:47,359 --> 01:05:49,920
그 비효율을 아주 직접적으로
공략하시는 거네요.

1391
01:05:49,920 --> 01:05:50,960
그게 훨씬 더 효과적이네요.

1392
01:05:50,960 --> 01:05:51,119
네.

1393
01:05:51,119 --> 01:05:53,359
음, 팹은 어때요?

1394
01:05:53,359 --> 01:05:56,559
팹 자체의 미래는 어떻게 보세요?

1395
01:05:56,559 --> 01:06:01,839
다들 궁금해하는 게, 메모리
회사들이나 TSMC, 인텔 같은

1396
01:06:01,839 --> 01:06:07,440
곳들이... 생산 능력을 대체
어떻게 늘릴 수 있을지 아닐까요?

1397
01:06:07,440 --> 01:06:07,760
네.

1398
01:06:07,760 --> 01:06:09,520
그걸 미국에서 해낼 수 있을까요?

1399
01:06:09,520 --> 01:06:10,160
네.

1400
01:06:10,160 --> 01:06:12,480
칩 제조 자체 얘기도 한번 해주시죠.

1401
01:06:12,480 --> 01:06:16,394
손가락 한 번 튕겨서
지금보다 칩이 100배

1402
01:06:16,394 --> 01:06:20,960
많아진다면, 토큰 가격도
훨씬, 훨씬 저렴해지겠죠.

1403
01:06:20,960 --> 01:06:25,920
그래서 이 부분에 대한
의견도 꼭 듣고 싶었어요.

1404
01:06:25,920 --> 01:06:26,079
네.

1405
01:06:26,079 --> 01:06:26,960
음, 흥미로운 지점인데요.

1406
01:06:26,960 --> 01:06:28,720
모든 게 서로 균형을
맞추면서 성장하는 거죠.

1407
01:06:28,720 --> 01:06:31,486
손가락을 튕겨서 그 모든 걸
두 배로 늘려도, TSMC

1408
01:06:31,486 --> 01:06:34,160
병목 하나를 풀면 곧바로
다른 병목에 부딪힐 겁니다.

1409
01:06:34,160 --> 01:06:36,640
칩을 20% 더 만들면, 바로
또 다른 병목이 생기죠.

1410
01:06:36,640 --> 01:06:42,720
다만 흥미로운 건, 이들이 뭘 '반드시
지켜야 할 것'으로 보느냐입니다.

1411
01:06:42,720 --> 01:06:46,485
고객이 항상 원할 거라고
여기는 불변의 조건으로 보는

1412
01:06:46,485 --> 01:06:50,640
것과, 제가 생각하는 좀 더
유동적인 관계 사이의 차이죠.

1413
01:06:50,640 --> 01:06:55,480
팹이 그 트레이드오프를 저한테
더 많이 공개해 줄수록, 제가

1414
01:06:55,480 --> 01:07:00,319
뭘 할 수 있을지 더 똑똑한
판단을 내릴 수 있다고 봅니다.

1415
01:07:00,319 --> 01:07:03,517
가장 흥미로운 예 중
하나가, 어떤 팹이든 생산

1416
01:07:03,517 --> 01:07:06,960
라인에서 나오는 최악의 칩엔
편차가 크다는 겁니다.

1417
01:07:06,960 --> 01:07:08,400
그리고 최상의 칩 사이의 격차도요.

1418
01:07:08,400 --> 01:07:10,480
칩이 만들어지는 과정에는
변동성이 꽤 있습니다.

1419
01:07:10,480 --> 01:07:13,801
그러면 이런 질문이 나옵니다.
TSMC 같은 회사는

1420
01:07:13,801 --> 01:07:17,359
이른바 공정 코너를 좁히려고
정말 열심히 노력하거든요.

1421
01:07:17,359 --> 01:07:21,188
최악의 칩도 최고의 칩과
특성이 최대한 비슷하길 원하고,

1422
01:07:21,188 --> 01:07:24,400
그걸 가능케 하는 훌륭한
기술력을 갖추고 있죠.

1423
01:07:24,400 --> 01:07:26,347
하지만 그건 제겐 어쩌면 필요 없는 통제

1424
01:07:26,347 --> 01:07:28,559
장치를 공정에 잔뜩
더한다는 뜻이기도 합니다.

1425
01:07:28,559 --> 01:07:31,599
어쩌면 저는 오히려 그 최악의 칩한테도
자리를 찾아줄 용의가 있거든요.

1426
01:07:31,599 --> 01:07:33,650
공정 통제를 그렇게까지 조일 필요가

1427
01:07:33,650 --> 01:07:36,240
없어지고, 그만큼 시간과
비용이 줄어듭니다.

1428
01:07:36,240 --> 01:07:38,880
어쩌면 저는 불량품도 훨씬 더
많이 받아들일 용의가 있고요.

1429
01:07:38,880 --> 01:07:41,533
저희 입장에선 좀 더 전체적인 최적화

1430
01:07:41,533 --> 01:07:44,319
문제예요. 다이의 비용, 다이의 공급,

1431
01:07:44,319 --> 01:07:47,119
그리고 전력 비용과 그걸
설치할 장소까지 포함해서요.

1432
01:07:47,119 --> 01:07:54,079
제 목표는 결국 미국 전역의
전력 공급을 극적으로 확대해서,

1433
01:07:54,079 --> 01:07:56,800
원래라면 데이터센터에 자리를 못 얻었을

1434
01:07:56,800 --> 01:07:59,520
칩들에게도 갈 곳을 만들어주는 겁니다.

1435
01:07:59,520 --> 01:08:03,280
본인 사업의 시스템을 어떻게
설계했는지 이야기해볼까요?

1436
01:08:03,280 --> 01:08:04,319
어떤 교훈을 얻으셨나요?

1437
01:08:04,319 --> 01:08:06,240
엔비디아에서 얻은 흥미로운
교훈들을 말씀해주셨잖아요.

1438
01:08:06,240 --> 01:08:06,559
네.

1439
01:08:06,559 --> 01:08:09,440
이게 북극성 같은 원칙일
때, 팀과 사업을 어떻게

1440
01:08:09,440 --> 01:08:12,000
짜는지 그 문화 속으로
들어가 보고 싶어요.

1441
01:08:12,000 --> 01:08:15,599
저희는 결국 어디로 수렴할지를
놓고 생각을 많이 하는 편입니다.

1442
01:08:15,599 --> 01:08:21,279
모델 작업을 처음 시작할 때 당장의
상태는 크게 신경 쓰지 않아요.

1443
01:08:21,279 --> 01:08:23,120
효율이 처음부터 좋을 리는 없으니까요.

1444
01:08:23,120 --> 01:08:29,679
대신 한 달, 여섯 달, 1년 뒤에
어디까지 갈 수 있을지를 생각하죠.

1445
01:08:29,679 --> 01:08:33,199
우리가 다루는 기계의 상태를
고정된 것으로 받아들이지 않습니다.

1446
01:08:33,199 --> 01:08:37,179
블랙웰 칩 같은 것도 마찬가지예요. 어떤

1447
01:08:37,179 --> 01:08:41,520
병목이 우리 성능 발목을
잡는다고 판단되면,

1448
01:08:41,520 --> 01:08:43,567
그걸 제대로 이해하고 특성을 규명해서

1449
01:08:43,567 --> 01:08:45,920
문서로 남기는 게
제게는 정말 중요합니다.

1450
01:08:45,920 --> 01:08:49,273
엔비디아나 지인들에게
알려줄 수도 있고, 앞으로

1451
01:08:49,273 --> 01:08:52,239
살 칩을 고를 때도
참고할 수 있으니까요.

1452
01:08:52,239 --> 01:08:56,324
저희로서는, 회사 입장에서
장기적으로 변하지

1453
01:08:56,324 --> 01:09:00,239
않을 본질적인 것들을
배우고 싶은 거예요.

1454
01:09:00,239 --> 01:09:03,600
그리고 그걸 앞으로의
의사결정에 녹여내는 거고요.

1455
01:09:03,600 --> 01:09:04,480
저희는 굉장히 협업 중심입니다.

1456
01:09:04,480 --> 01:09:07,457
저희가 중요하게 보는 자질
중 하나는 좋은 학생이면서

1457
01:09:07,457 --> 01:09:09,920
동시에 훌륭한 선생님인
사람인 것 같습니다.

1458
01:09:09,920 --> 01:09:13,669
저희 팀원 다수가 대학
시절 조교(TA)를 했고,

1459
01:09:13,669 --> 01:09:17,279
그렇게 지식을 나누는
경험을 정말 좋아했습니다.

1460
01:09:17,279 --> 01:09:19,199
화이트보드 세션도 항상 하고요.

1461
01:09:19,199 --> 01:09:22,050
모두가 서로 가르칠 것도
있고 배울 것도 있는,

1462
01:09:22,050 --> 01:09:25,120
그런 동료적인 환경이
저희에게는 굉장히 중요합니다.

1463
01:09:25,120 --> 01:09:29,759
어떤 사람을 채용하고 싶으신가요
— 앞으로도 잘 버틸,

1464
01:09:29,759 --> 01:09:35,040
3년 후, 기계가 더 많은 일을
처리할 업무 환경에서도요.

1465
01:09:35,040 --> 01:09:37,279
호기심입니다 — 100% 호기심이죠.

1466
01:09:37,279 --> 01:09:40,960
제가 가르칠 수 없는 단 한 가지는
퍼포먼스에 대한 애정입니다 —

1467
01:09:40,960 --> 01:09:44,971
기계가 돌아가는 매 마이크로초를
파고들어서, 그 순간

1468
01:09:44,971 --> 01:09:49,120
기계 안에서 무슨 일이
벌어지는지 이해하려는 애정이요.

1469
01:09:49,120 --> 01:09:51,408
저는 그게 퍼포먼스
엔지니어에게 가장 중요한

1470
01:09:51,408 --> 01:09:53,600
자질이라고 생각하고,
그걸 보고 뽑습니다.

1471
01:09:53,600 --> 01:09:55,280
AI 경험이 많은지는 보지 않습니다.

1472
01:09:55,280 --> 01:09:58,000
CUDA 경험도 전혀 보지 않고요.

1473
01:09:58,000 --> 01:09:59,280
사실 그건 완전히 헛다리짚는 기준입니다.

1474
01:09:59,280 --> 01:10:01,233
CUDA라는 개념도, GPU라는 개념도

1475
01:10:01,233 --> 01:10:03,280
지난 5년 동안 정말 많이 바뀌었거든요.

1476
01:10:03,280 --> 01:10:05,120
10년 경력을 요구하는
건 의미가 없습니다.

1477
01:10:05,120 --> 01:10:07,029
그런 건 제가 가르치면 되지만, 퍼포먼스

1478
01:10:07,029 --> 01:10:09,199
엔지니어링에 대한 애정은
가르칠 수 없습니다.

1479
01:10:09,199 --> 01:10:10,239
그게 제가 찾는 겁니다.

1480
01:10:10,239 --> 01:10:14,880
주요 랩들을 하나씩
평가해 주실 수 있나요,

1481
01:10:14,880 --> 01:10:19,280
그리고 클로즈드 소스와 오픈소스,
이 두 카테고리의 관계도요,

1482
01:10:19,280 --> 01:10:21,520
지금 어떤 일이 일어나고 있고,
앞으로 어떻게 될지도요 —

1483
01:10:21,520 --> 01:10:22,080
한 줄씩요.

1484
01:10:22,080 --> 01:10:24,944
랩들은 다른 모두보다 3~6개월 앞서기

1485
01:10:24,944 --> 01:10:28,080
위해 엄청난 프리미엄을
지불한다고 봅니다.

1486
01:10:28,080 --> 01:10:30,080
그리고 그건 아마 여전히 그만한
가치가 있는 것 같습니다.

1487
01:10:30,080 --> 01:10:33,760
오픈AI와 앤트로픽이 지금 하는
방식은 충분히 납득이 됩니다.

1488
01:10:33,760 --> 01:10:36,945
증류를 둘러싼 민감한 주제가
있는데요, 폐쇄형과 오픈

1489
01:10:36,945 --> 01:10:40,239
프론티어 관계에서 아주 핵심적인
부분이라고 생각합니다.

1490
01:10:40,239 --> 01:10:42,800
그것에 대해 다른 관점을
하나 제시해보고 싶은데요.

1491
01:10:42,800 --> 01:10:46,382
증류가 절도라는 인식이
있죠. 프론티어 모델

1492
01:10:46,382 --> 01:10:50,560
출력물로 증류하면 뭔가를
가져가는 셈이라는 거예요.

1493
01:10:50,560 --> 01:10:56,320
사실 그럴 의도가 없어도요. 앤트로픽
데이터를 스크래핑 안 해도 말이죠.

1494
01:10:56,320 --> 01:10:59,479
한 가지 짚고 싶은 건,
우리가 인터넷에 올리는

1495
01:10:59,479 --> 01:11:02,880
결과물 중 AI 생성 비중이
점점 커진다는 겁니다.

1496
01:11:02,880 --> 01:11:05,800
GitHub만 봐도,
지난 1년간 생성된 레포

1497
01:11:05,800 --> 01:11:08,719
중 클로드 코드로 만든
비율이 얼마나 될까요?

1498
01:11:08,719 --> 01:11:10,640
그것도 증류라고 봐야 할까요?

1499
01:11:10,640 --> 01:11:11,840
그것만으로도 충분할 테니까요.

1500
01:11:11,840 --> 01:11:15,208
GitHub 오픈소스 코드 중
괜찮다고 판단되는 출력물만으로도

1501
01:11:15,208 --> 01:11:18,080
프론티어급 모델을 학습시켜도
놀랍지 않을 것 같아요.

1502
01:11:18,080 --> 01:11:23,520
AI와 상호작용한 결과물의 소유권이
사용자에게 있다는 입장을 취한다면,

1503
01:11:23,520 --> 01:11:26,640
많은 사람들이 그렇듯 그걸
GitHub에 올리면,

1504
01:11:26,640 --> 01:11:29,360
잠재적인 증류는 오랫동안 계속될 겁니다.

1505
01:11:29,360 --> 01:11:31,520
제가 보기엔 근본적으로
불가능한 것 같아요.

1506
01:11:31,520 --> 01:11:34,782
정보나 모델 역량의 확산을 막는 게

1507
01:11:34,782 --> 01:11:38,560
근본적으로 가능하다고 생각하지 않습니다.

1508
01:11:38,560 --> 01:11:39,120
일어날 일이에요.

1509
01:11:39,120 --> 01:11:40,320
문제는 그저 얼마나 빠르냐는 거죠.

1510
01:11:40,320 --> 01:11:44,018
그러면 질문은 이렇게 되는
거죠. 스케일링과 성능 개선

1511
01:11:44,018 --> 01:11:47,840
법칙이 영원히, 아니면 아주
오랫동안 유지되느냐는 거죠.

1512
01:11:47,840 --> 01:11:50,960
만약 그렇다면 3개월, 6개월
앞서 있는 것에 가치가 있고,

1513
01:11:50,960 --> 01:11:52,560
그 가치는 유지되는
동안만 유지되는 거고,

1514
01:11:52,560 --> 01:11:54,644
아주 저렴한 오픈소스 토큰에 비해 그

1515
01:11:54,644 --> 01:11:57,040
토큰엔 엄청난 프리미엄을
매길 수 있겠죠.

1516
01:11:57,040 --> 01:11:58,159
이렇게 생각하는 게 맞을까요?

1517
01:11:58,159 --> 01:11:58,960
가능하다고 생각해요.

1518
01:11:58,960 --> 01:12:03,920
3개월에서 6개월 앞서는 프리미엄이
그렇게 오래갈지는 잘 모르겠습니다.

1519
01:12:03,920 --> 01:12:09,040
엔터프라이즈 도입 사례를 보면 3개월,
6개월 속도로 움직이지 않거든요.

1520
01:12:09,040 --> 01:12:13,360
많은 기업들이 아직 오퍼스 4.6이나
4.7 정도에 머물러 있을 겁니다.

1521
01:12:13,360 --> 01:12:16,320
기업들은 최신 기술을
빠르게 도입하지 않습니다.

1522
01:12:16,320 --> 01:12:20,239
어떤 변화든 일단 롤아웃하는
것 자체에 의문이 많고요.

1523
01:12:20,239 --> 01:12:23,172
지금은 겉핥기 수준일 정도로 초기라, 이

1524
01:12:23,172 --> 01:12:26,239
경쟁의 승자를 가릴
방법이 없다고 봅니다.

1525
01:12:26,239 --> 01:12:29,679
사실 이건 애초에 결판날 수 있는
경쟁도 아니라고 생각하고요.

1526
01:12:29,679 --> 01:12:31,598
계속 이어지는 과정이고, 근본적으로

1527
01:12:31,598 --> 01:12:33,920
오픈소스는 절대 사라지지
않는다고 봅니다.

1528
01:12:33,920 --> 01:12:37,280
한 리더가 빠져서 공백이 생기면,
새로운 리더가 들어올 거예요.

1529
01:12:37,280 --> 01:12:40,239
인센티브가 너무 크고, 순풍도 많죠.

1530
01:12:40,239 --> 01:12:44,080
프론티어급 모델을 학습시키는 게
날이 갈수록 쉬워지고 있고요.

1531
01:12:44,080 --> 01:12:49,760
그럼 바라시는 미래는 폐쇄형과
오픈 사이에 어떤 균형인가요,

1532
01:12:49,760 --> 01:12:52,290
스택을 통째로 소유한
이점으로 모델 회사가

1533
01:12:52,290 --> 01:12:55,040
모든 걸 다 하는 것과는
또 어떤 균형이고요?

1534
01:12:55,040 --> 01:12:56,320
앤트로픽은 그렇게 할 수 있잖아요.

1535
01:12:56,320 --> 01:12:57,520
그게 새로운 구글 같은 건가요?

1536
01:12:57,520 --> 01:12:59,679
구글도 그냥 그렇게 할 수 있는 거고요?

1537
01:12:59,679 --> 01:13:01,920
미래가 어떤 모습이길 바라세요?

1538
01:13:01,920 --> 01:13:04,719
저는 풍요로운 토큰과
다양한 하네스를 원합니다.

1539
01:13:04,719 --> 01:13:08,138
모두가, 모든 회사와 모든
사용자가 자기만의 하네스를

1540
01:13:08,138 --> 01:13:11,440
만들면 좋겠어요. 에이전트도
자기 것으로 만들고요.

1541
01:13:11,440 --> 01:13:16,400
그 정도 수준의 커스터마이징과
성능에서 그리 멀지 않았다고 봅니다.

1542
01:13:16,400 --> 01:13:18,239
사람들이 자신의 지능을
소유했으면 하고요,

1543
01:13:18,239 --> 01:13:21,239
그 지능이 커스터마이징되길
바라는데, 아마 가중치

1544
01:13:21,239 --> 01:13:24,239
파인튜닝보다는 인컨텍스트
러닝을 통해서일 거예요.

1545
01:13:24,239 --> 01:13:25,520
좀 더 기술적인 디테일이긴 한데요.

1546
01:13:25,520 --> 01:13:31,920
하지만 이 풍요로운 미래의 근본적인
투입 요소는 결국 저렴한 토큰입니다.

1547
01:13:31,920 --> 01:13:34,159
제 일은 토큰을 인간이 할 수 있는
한 최대한 저렴하게 만드는 거고요.

1548
01:13:34,159 --> 01:13:38,000
그걸 해낼 거고, 제게 있는 스택의
모든 레이어를 통해서 해낼 겁니다.

1549
01:13:38,000 --> 01:13:39,280
저는 공급 측 레버들을 정말 좋아하고요.

1550
01:13:39,280 --> 01:13:40,080
모든 칩을 다 쓸 겁니다.

1551
01:13:40,080 --> 01:13:42,436
모든 전력원을 쓸 거고, 이 용도에

1552
01:13:42,436 --> 01:13:45,040
적합한 미국 내 모든 땅을 쓸 겁니다.

1553
01:13:45,040 --> 01:13:48,145
그 대가로 사람들은
풍요로운 지능을 가진다는

1554
01:13:48,145 --> 01:13:51,120
게 어떤 건지 탐구할
동기를 갖게 되겠죠.

1555
01:13:51,120 --> 01:13:54,119
우리는 여전히 에이전트를
상담 비용이 비싼 사람처럼

1556
01:13:54,119 --> 01:13:57,440
취급합니다. 어려운 질문이
있을 때나 물어보라는 식이죠.

1557
01:13:57,440 --> 01:13:58,960
지능을 그런 식으로 생각해선 안 됩니다.

1558
01:13:58,960 --> 01:14:01,451
기계가 생각할 수 있다는 건 정말
놀라운 일입니다. 그리고 우리는

1559
01:14:01,451 --> 01:14:04,080
그걸 최대한 많은 사람의 손에,
최대한 많은 사람에게 전해야 합니다.

1560
01:14:04,080 --> 01:14:05,440
정말 독특한 자리에 계신데요,

1561
01:14:05,440 --> 01:14:08,000
이 미래를 현실로
만들기 위해 하시는 일에

1562
01:14:08,000 --> 01:14:10,560
대해서도 정말 독특한
관점을 갖고 계시죠.

1563
01:14:10,560 --> 01:14:14,024
이 분야를 잘 알고 관심
많은 친구들과 비교하면,

1564
01:14:14,024 --> 01:14:17,360
세상을 보는 시각 중 가장
다른 부분은 뭔가요?

1565
01:14:17,360 --> 01:14:21,760
어떤 생각을 말하면 친구들이 머리
세 개 달린 사람 보듯 쳐다보나요?

1566
01:14:21,760 --> 01:14:23,360
칩에 관한 아이디어
대부분이 그런 것 같아요.

1567
01:14:23,360 --> 01:14:27,120
커스텀 칩을 만드는 얘기를 하면 다들
묻죠. "뭐가 다른데?"라고요.

1568
01:14:27,120 --> 01:14:31,470
기본적으로는 HBM 부족을
우회해서, 플래시 같은 다른

1569
01:14:31,470 --> 01:14:36,400
메모리로 훨씬 더 극단적으로
오프로드하는 데 집중하는 겁니다.

1570
01:14:36,400 --> 01:14:38,640
저는 이 아이디어에 꽤 진심이에요.

1571
01:14:38,640 --> 01:14:41,120
저희 팀원들은 제가 이 얘기를
계속 반복한다는 걸 다 알아요.

1572
01:14:41,120 --> 01:14:44,167
KV 캐시를 플래시로
오프로드하는 걸 훨씬 더 큰

1573
01:14:44,167 --> 01:14:47,440
규모로 하려면, 모델
아키텍처를 어떻게 바꿔야 할까?

1574
01:14:47,440 --> 01:14:49,679
이걸 화이트보드에 계속 그려보고 있죠.

1575
01:14:49,679 --> 01:14:51,840
추론 업계 사람들
사이에서도 그런 편이에요.

1576
01:14:51,840 --> 01:14:55,913
초당 1~10토큰 정도로 서빙하는
걸 중심으로 시스템을 설계하면

1577
01:14:55,913 --> 01:14:59,520
뭘 할 수 있는지, 저희는
좀 다른 시각을 갖고 있어요.

1578
01:14:59,520 --> 01:15:01,280
그게 저희의 궁극적인 목표죠.

1579
01:15:01,280 --> 01:15:04,680
더 넓게 보면, 사람들이
하루에 1조 토큰을 어떻게

1580
01:15:04,680 --> 01:15:08,080
소비하게 만들지에 대한 더
큰 그림이 있다고 봐요.

1581
01:15:08,080 --> 01:15:09,720
그게 저희가 만들고 싶은 세상이에요.

1582
01:15:09,720 --> 01:15:11,360
사람들이 그걸 할 수 있는 역량이요.

1583
01:15:11,360 --> 01:15:12,320
1조 토큰이면 어느 정도인가요?

1584
01:15:12,320 --> 01:15:13,760
감이 오게 좀 설명해 주세요.

1585
01:15:13,760 --> 01:15:17,190
1조 토큰이요? 오픈AI 가격으로
치면, GPT-5.5나 5.6

1586
01:15:17,190 --> 01:15:20,719
기준으로 최소 500만 달러는 될
겁니다. 정말 최소로 잡아도요.

1587
01:15:20,719 --> 01:15:23,360
네, 아무래도 달러가 가장
좋은 지표인 것 같아요.

1588
01:15:23,360 --> 01:15:24,480
네, 수백만 달러 단위죠.

1589
01:15:24,480 --> 01:15:26,771
그럼 지금 1인당 하루 500만 달러가

1590
01:15:26,771 --> 01:15:29,280
드는 걸 소비하는
세상은 어떤 모습일까요?

1591
01:15:29,280 --> 01:15:36,800
네, 저희는 토큰당 비용이 최소
3~6자릿수는 개선돼야 한다고 봤습니다.

1592
01:15:36,800 --> 01:15:39,679
그걸 5,000달러 선까지 낮추면
아마 고객이 좀 생길 겁니다.

1593
01:15:39,679 --> 01:15:44,360
사실 특정 규모의
모델이라면, 1조 토큰이

1594
01:15:44,360 --> 01:15:49,040
수만 달러 수준에
근접하고 있다고 봅니다.

1595
01:15:49,040 --> 01:15:51,760
그 정도면 작업 하나에 그냥
돌려볼 수 있는 수준이죠.

1596
01:15:51,760 --> 01:15:55,110
일반인들은 지금 자기
머리로도 그렇게 안 하는데,

1597
01:15:55,110 --> 01:15:57,840
못 하고 안 할 거란 걱정은 없으신가요?

1598
01:15:57,840 --> 01:16:01,199
사실 세상에는 지능에 대한
수요가 그리 많지 않습니다.

1599
01:16:01,199 --> 01:16:02,640
저는 그 말은 절대 믿지 않습니다.

1600
01:16:02,640 --> 01:16:04,560
세상에는 지능에 대한
수요가 항상 존재합니다.

1601
01:16:04,560 --> 01:16:07,560
그 지능으로 들어가는 길,
즉 온램프를 만드는 게

1602
01:16:07,560 --> 01:16:10,560
프로덕트 커뮤니티로서
우리의 과제라고 생각합니다.

1603
01:16:10,560 --> 01:16:12,040
저는 프로덕트 쪽
사람이 아니라서, 최고의

1604
01:16:12,040 --> 01:16:13,520
비전을 갖고 있다고는
말씀 못 드리겠네요.

1605
01:16:13,520 --> 01:16:14,560
그 사람들을 가능하게
해주고 싶으신 거군요.

1606
01:16:14,560 --> 01:16:15,360
네, 그 사람들을 가능하게
해주고 싶습니다.

1607
01:16:15,360 --> 01:16:18,854
'무료 등급 사용자는 이걸 못
쓴다', '이만큼 토큰을 줄

1608
01:16:18,854 --> 01:16:22,239
여유가 없다' 같은 이유로
발목 잡히지 않았으면 합니다.

1609
01:16:22,239 --> 01:16:24,400
고객들에게 이런 얘기를 항상 듣습니다.

1610
01:16:24,400 --> 01:16:25,840
저희는 그걸 해결하고 싶습니다.

1611
01:16:25,840 --> 01:16:26,880
반대되는 질문은 어떨까요?

1612
01:16:26,880 --> 01:16:31,199
가장 미친 생각이 아니라, 컨센서스인데
틀렸다고 생각하는 건 뭔가요?

1613
01:16:31,199 --> 01:16:34,800
제가 계속 돌아가게 되는 질문
중 하나가 엔비디아 문제입니다.

1614
01:16:34,800 --> 01:16:37,199
단기적으로는 엔비디아에
대해 낙관적입니다.

1615
01:16:37,199 --> 01:16:39,600
그리고 아시다시피, 엔비디아에는
절대 반대로 배팅하면 안 됩니다.

1616
01:16:39,600 --> 01:16:40,960
항상 스스로를 재창조해낼 테니까요.

1617
01:16:40,960 --> 01:16:43,450
하지만 근본적으로, 제가 이 얘기를 하면

1618
01:16:43,450 --> 01:16:45,600
사람들이 놀라는 게 하나 있는데요.

1619
01:16:45,600 --> 01:16:50,640
호퍼에서 블랙웰, 루빈으로 가는
걸 동일 조건으로 비교해보면,

1620
01:16:50,640 --> 01:16:53,222
BF16 곱셈의 와트당 성능이 얼마나

1621
01:16:53,222 --> 01:16:56,320
되는지 보면, 사실 별로
개선되지 않았어요.

1622
01:16:56,320 --> 01:16:58,880
아니면 한발 더 나가서,
TSMC를 보죠.

1623
01:16:58,880 --> 01:17:02,641
TSMC 5나노와 4나노,
3나노, 2나노를 비교해보면,

1624
01:17:02,641 --> 01:17:06,159
칩들의 와트당 성능이 그렇게
크게 달라지지 않습니다.

1625
01:17:06,159 --> 01:17:09,572
그래서 결과적으로 사람들은
지정학 얘기만 나오면 과민해지죠

1626
01:17:09,572 --> 01:17:13,199
— 어떤 이유로든 TSMC 접근이
막히면 어떡하냐는 식으로요.

1627
01:17:13,199 --> 01:17:17,440
근데 제 반대 의견은, 그렇게
나쁘지 않을 거라는 겁니다.

1628
01:17:17,440 --> 01:17:21,280
공급에 충격은 분명 있겠지만,
서구가 가진 최고 수준의 공정들은 —

1629
01:17:21,280 --> 01:17:24,289
인텔 같은 경우, 그렇게
많이 뒤처지지 않았어요.

1630
01:17:24,289 --> 01:17:27,520
최악이어도 와트당 성능이
2배 정도 나쁜 수준입니다.

1631
01:17:27,520 --> 01:17:30,104
그리고 그 격차는 칩 트위터 담론만

1632
01:17:30,104 --> 01:17:32,960
따라가면 생각하는 것보다 훨씬 작아요.

1633
01:17:32,960 --> 01:17:36,800
AI 업계에서 일어나는 일 중에,
당신의 길은 아닌 건 뭐가 있을까요?

1634
01:17:36,800 --> 01:17:39,637
그러니까 지금 이 시스템의
일부는 아니지만, 가장

1635
01:17:39,637 --> 01:17:42,159
흥미를 느껴서 뭔가
해보고 싶은 그런 거요.

1636
01:17:42,159 --> 01:17:44,239
음, 저희는 완전히 모델의
다운스트림이잖아요, 그렇죠?

1637
01:17:44,239 --> 01:17:49,360
그러니까 모델을 만드는 쪽에서 아키텍처를
어떻게 설계할지 결정하는 거죠.

1638
01:17:49,360 --> 01:17:52,347
그리고 저는 거의 —
아니, 사실 오픈AI나

1639
01:17:52,347 --> 01:17:54,960
앤트로픽에 어떤 의견도 낼 수 없어요.

1640
01:17:54,960 --> 01:17:58,080
그저 저한테 영향이 최소가 되는
방향으로 가주길 바랄 뿐이죠.

1641
01:17:58,080 --> 01:18:00,794
그래서 저는 그들이
어디로 향할지 최선을 다해

1642
01:18:00,794 --> 01:18:04,159
예측하고, 거기에 맞춰 서빙
아키텍처를 구축해야 합니다.

1643
01:18:04,159 --> 01:18:06,400
그들이 내리는 소프트웨어와
하드웨어 선택 모두요.

1644
01:18:06,400 --> 01:18:09,349
어떤 면에서 가장 흥미로운
게임은 — 다시 말하지만,

1645
01:18:09,349 --> 01:18:12,400
기계가 사고한다는 것의 그
심오함으로 돌아가는 겁니다.

1646
01:18:12,400 --> 01:18:15,158
희소(sparse) 어텐션을
쓸지, 밀집(dense)

1647
01:18:15,158 --> 01:18:17,440
어텐션을 쓸지가 얼마나
중대한 결정인지도요.

1648
01:18:17,440 --> 01:18:22,000
아니면 다른 데이터 타입을 쓰는
게 얼마나 중대한 일인지도요.

1649
01:18:22,000 --> 01:18:24,640
예전엔 BF16으로
학습했지만, 이제는 FP8이나

1650
01:18:24,640 --> 01:18:27,280
FP4 같은 더 낮은
정밀도로도 학습할 수 있죠.

1651
01:18:27,280 --> 01:18:29,479
그냥 임의적인 선택처럼
느껴지지만, 제가 어떤

1652
01:18:29,479 --> 01:18:31,679
칩을 쓸 수 있는지에
심오한 영향을 미칩니다.

1653
01:18:31,679 --> 01:18:33,471
그리고 제가 하드웨어를
어떻게 구축해야 할지,

1654
01:18:33,471 --> 01:18:35,120
컴퓨트의 미래를 어떻게
그려야 할지에도요.

1655
01:18:35,120 --> 01:18:37,837
방 안에 새로운 컴퓨트 스타트업을 만들고

1656
01:18:37,837 --> 01:18:40,800
싶어 하는 창업가
100명이 있다고 해보죠.

1657
01:18:40,800 --> 01:18:41,520
네—

1658
01:18:41,520 --> 01:18:43,763
그리고 이들이 구체적으로
하드웨어 칩이나 시스템,

1659
01:18:43,763 --> 01:18:45,840
랙, 뭐 그런 걸 만들고
싶어 한다고 해보죠.

1660
01:18:45,840 --> 01:18:48,161
그분들한테 회사를 어떻게
포지셔닝할지, 어떤 유형의

1661
01:18:48,161 --> 01:18:50,400
회사여야 할지 조언을
주신다면 뭐라고 하시겠어요—

1662
01:18:50,400 --> 01:18:53,920
기술 베팅에서 구체적으로 어떤
선택을 하느냐 같은 게 아니라요,

1663
01:18:53,920 --> 01:18:56,960
결국 우리는 다 시도해볼 것 같고,
그게 세상에는 좋은 일일 테니까요.

1664
01:18:56,960 --> 01:18:58,320
그중 일부는 통하겠죠.

1665
01:18:58,320 --> 01:19:01,520
하지만 이 다가올 세상에서
성공하려면 사업을

1666
01:19:01,520 --> 01:19:04,719
어떻게 포지셔닝해야 할지
조언을 주신다면요?

1667
01:19:04,719 --> 01:19:07,199
결국은 공급망의 병목 지점이 전부입니다.

1668
01:19:07,199 --> 01:19:10,454
그러니 먼저 저를, 혹은
투자자를 설득해야 합니다. 현대

1669
01:19:10,454 --> 01:19:13,920
칩 공급을 좌우하는 3~5개의
병목을 이해하고 있다는 걸요.

1670
01:19:13,920 --> 01:19:17,076
TSMC 웨이퍼 생산량,
HBM 생산량, 그리고

1671
01:19:17,076 --> 01:19:20,960
어드밴스드 패키징이 있고, 아마
네 번째는 전력일 겁니다.

1672
01:19:20,960 --> 01:19:22,159
전력은 어디서 확보할 건가요?

1673
01:19:22,159 --> 01:19:23,600
이 랙들은 어떻게 만들 건가요?

1674
01:19:23,600 --> 01:19:25,980
이 네 가지 병목 각각에 훌륭한 답을

1675
01:19:25,980 --> 01:19:28,480
갖고 있어야 한다는 걸 듣고 싶습니다.

1676
01:19:28,480 --> 01:19:31,920
그리고 그걸 어떻게 우회할지도요.
결국 다 차익거래니까요.

1677
01:19:31,920 --> 01:19:34,646
칩을 만드는 이유는
엔비디아가 바꾸기 어려운

1678
01:19:34,646 --> 01:19:37,600
선택들을 했다고 생각해서겠죠.
그건 사실입니다.

1679
01:19:37,600 --> 01:19:39,840
엔비디아는 바꾸기 어려운
선택을 많이 합니다.

1680
01:19:39,840 --> 01:19:40,880
완벽하지는 않아요.

1681
01:19:40,880 --> 01:19:42,480
그냥 정말 균형이 잘 잡혀 있는 거죠.

1682
01:19:42,480 --> 01:19:43,920
그러니 뾰족해져야 합니다.

1683
01:19:43,920 --> 01:19:46,442
뭔가를 골라서 이렇게
말해야죠. '엔비디아가

1684
01:19:46,442 --> 01:19:49,280
HBM 부족이 미칠 영향을
저평가했다고 봅니다.'

1685
01:19:49,280 --> 01:19:51,760
우리는 대신 이 다른 방향으로
세게 밀어붙이겠다고요.

1686
01:19:51,760 --> 01:19:53,906
사실 곁다리로 말하자면, 아마 그게 가장

1687
01:19:53,906 --> 01:19:55,760
공략할 만한 지점이라고 생각합니다.

1688
01:19:55,760 --> 01:19:56,960
왜죠?

1689
01:19:56,960 --> 01:20:02,080
메모리 팹을 더 많이 늘릴 쉬운 방법이
없거든요. 그리고 그쪽 사람들은—

1690
01:20:02,080 --> 01:20:04,159
그럼 한동안은 저희가—

1691
01:20:04,159 --> 01:20:04,960
네. 네.

1692
01:20:04,960 --> 01:20:10,400
마이크론 쪽은 경기순환형 사업에
대규모 자본 지출을 좋아하지 않죠.

1693
01:20:10,400 --> 01:20:12,000
그런 일로 이미 여러 번 데었으니까요.

1694
01:20:12,000 --> 01:20:15,416
하지만 어쩌면 그 부족 때문에,
시스템의 나머지 부분을

1695
01:20:15,416 --> 01:20:18,719
더 효율적으로 만들어서 그냥
우회하게 되지 않을까요?

1696
01:20:18,719 --> 01:20:20,560
저는 오히려 나머지 모든 게
더 비싸질 거라고 봅니다.

1697
01:20:20,560 --> 01:20:22,000
아이폰이 메모리를 줄일 거라고 보세요?

1698
01:20:22,000 --> 01:20:23,520
아이폰 가격이 오르는 거죠. 그리고

1699
01:20:23,520 --> 01:20:25,199
우리는 그냥 그걸 감수하게 될 거고요.

1700
01:20:25,199 --> 01:20:29,280
엔비디아는 왜 아예 끝까지 가서
토큰을 팔지 않는 걸까요?

1701
01:20:29,280 --> 01:20:30,000
혹시 엔비디아가

1702
01:20:30,000 --> 01:20:31,679
이 부분에서 정말 영리한 걸까요?

1703
01:20:31,679 --> 01:20:33,280
그들은 자기 고객과 경쟁하지 않으니까요.

1704
01:20:33,280 --> 01:20:35,120
엔비디아는 모든 일에서
장기적으로 접근합니다.

1705
01:20:35,120 --> 01:20:37,679
왜 네오클라우드부터라도
시작하지 않는 걸까요?

1706
01:20:37,679 --> 01:20:40,239
그냥 뒷문으로 컴퓨트를 팔면 안 되나요?

1707
01:20:40,239 --> 01:20:41,679
음, 엔비디아가 정말 잘하는 게 있죠.

1708
01:20:41,679 --> 01:20:43,840
젠슨 황은 자기 친구들을 억만장자로
만드는 데 정말 능합니다.

1709
01:20:43,840 --> 01:20:45,251
코어위브를 10억 달러 규모 회사로

1710
01:20:45,251 --> 01:20:46,960
만들었죠 — 그런
회사가 한둘이 아니고요.

1711
01:20:46,960 --> 01:20:50,880
그리고 굳이 그 신뢰 관계를
깨뜨릴 이유가 없는 거죠.

1712
01:20:50,880 --> 01:20:54,293
그는 다양한 네오클라우드와 추론
제공업체들이 서로 경쟁하며

1713
01:20:54,293 --> 01:20:57,280
엔비디아 수요를 만들어내는
생태계를 원하는 겁니다.

1714
01:20:57,280 --> 01:21:00,124
그러니 그중 누군가 수직 계열화를

1715
01:21:00,124 --> 01:21:03,600
하거나 AMD나 다른 선택지로 가더라도,

1716
01:21:03,600 --> 01:21:05,360
그 자리를 채우고 싶어 하는, 준비된

1717
01:21:05,360 --> 01:21:07,120
다른 셋이 항상 대기하고 있는 거죠.

1718
01:21:07,120 --> 01:21:09,520
구매자들 사이에 경쟁이
있는 게 좋은 거고요.

1719
01:21:09,520 --> 01:21:11,403
제가 모두에게 즐겨 하는
마지막 질문인데요,

1720
01:21:11,403 --> 01:21:13,600
누군가 해준 것 중 가장
친절했던 일은 무엇인가요?

1721
01:21:13,600 --> 01:21:18,239
가장 친절했던 일이라면... 바로
떠오르는 건 그동안 만난 멘토들이에요.

1722
01:21:18,239 --> 01:21:22,159
자기 시간을 많이
내어주는 사람은 드물죠.

1723
01:21:22,159 --> 01:21:25,199
그걸 사실상 자신의
개인적인 관심사로 삼아서,

1724
01:21:25,199 --> 01:21:28,480
당신이 뭔가를 확실히 이해하게
해주거나, 뭔가를 가르쳐주는,

1725
01:21:28,480 --> 01:21:33,600
당신이 거의 이해할 뻔한
가치를 심어주거나,

1726
01:21:33,600 --> 01:21:36,080
이해의 문턱을 넘게 밀어주는 거죠.

1727
01:21:36,080 --> 01:21:38,265
앞서 말씀드린 엔비디아의
여러 분들이 제게

1728
01:21:38,265 --> 01:21:40,640
퍼포먼스 엔지니어링에
대한 애정을 심어주셨고,

1729
01:21:40,640 --> 01:21:45,520
대학 시절 교수님들도 기억나요
— 2학년 때 지도교수님이요.

1730
01:21:45,520 --> 01:21:47,500
저는 꽤 성격이 급한 학생이어서,

1731
01:21:47,500 --> 01:21:49,920
오피스아워에 찾아가 이렇게 말하곤 했죠.

1732
01:21:49,920 --> 01:21:52,080
AI 칩을 만들고 싶다고요.
제가 뭘 하고 싶은지 안다고요.

1733
01:21:52,080 --> 01:21:56,639
왜 네트워킹이니 운영체제니 하는
기초 과목에 시간을 낭비하냐고요.

1734
01:21:56,639 --> 01:21:59,840
그러자 교수님은 절 보시더니, 스택
전체를 쭉 펼쳐 보여주셨습니다.

1735
01:21:59,840 --> 01:22:05,600
퍼즐의 모든 조각을 이해하는 깊이,
그 아름다움을 보여주신 거죠.

1736
01:22:05,600 --> 01:22:10,239
제가 시스템의 한 조각에만
집중하려던 태도를 짚으시며,

1737
01:22:10,239 --> 01:22:13,760
전체 스택을 이해하는 사람은
정말 드물다고 하셨습니다.

1738
01:22:13,760 --> 01:22:19,120
게이트 단위 실리콘부터 인터넷
규모 서비스 구축까지 말이죠.

1739
01:22:19,120 --> 01:22:25,760
평생에 걸쳐 그런 이해에 도달하는
사람이 되길 지향해야 한다고요.

1740
01:22:25,760 --> 01:22:28,640
그건 정말 드문 자질이고,
그 정도 전문성은

1741
01:22:28,640 --> 01:22:31,040
좇을 가치가 있는 숭고한 일이라고요.

1742
01:22:31,040 --> 01:22:33,040
그 말이 지금도 제게
많이 남아 있습니다.

1743
01:22:33,040 --> 01:22:34,960
흔치 않은 조언이었네요.

1744
01:22:34,960 --> 01:22:36,239
닐, 정말 멋진 대화였어요.

1745
01:22:36,239 --> 01:22:37,120
시간 내주셔서 정말 감사해요.

1746
01:22:37,120 --> 01:22:40,620
초대해 주셔서 정말 감사합니다.

1747
01:22:42,800 --> 01:22:45,280
작은 우위가 시간이 지나며
어떻게 복리로 쌓이는지 아시죠?

1748
01:22:45,280 --> 01:22:48,239
투자에서도 그렇고, 회사 운영
방식에서도 마찬가지입니다.

1749
01:22:48,239 --> 01:22:51,120
지출 시스템이 곧 여러분의
자본 배분 전략입니다.

1750
01:22:51,120 --> 01:22:52,960
램프는 이를 기본값부터 더
스마트하게 만들어 줍니다.

1751
01:22:52,960 --> 01:22:54,597
더 나은 데이터, 더 나은 결정, 시간이

1752
01:22:54,597 --> 01:22:56,159
지날수록 더 나은 경제성으로 이어지죠.

1753
01:22:56,159 --> 01:22:59,600
자세한 내용은
ramp.com/invest에서 확인하세요.

1754
01:22:59,600 --> 01:23:01,600
비즈니스가 성장하면,
밴타도 함께 확장됩니다.

1755
01:23:01,600 --> 01:23:03,328
컴플라이언스를 자동화하고, 보안과

1756
01:23:03,328 --> 01:23:05,440
리스크의 단일 진실 공급원을 제공합니다.

1757
01:23:05,440 --> 01:23:08,072
자세한 내용은
vanta.com/invest에서 확인하세요.

1758
01:23:08,800 --> 01:23:10,305
오픈AI부터 커서(Cursor),

1759
01:23:10,305 --> 01:23:12,480
퍼플렉시티까지, 최고의
AI·소프트웨어 기업들은

1760
01:23:12,480 --> 01:23:15,760
WorkOS로 몇 달이 아닌 하룻밤
만에 엔터프라이즈 준비를 마칩니다.

1761
01:23:15,760 --> 01:23:18,546
workos.com에서 번거로운 인프라

1762
01:23:18,546 --> 01:23:21,199
작업은 건너뛰고 제품에만 집중하세요.

1763
01:23:21,199 --> 01:23:23,737
Ridgeline은 단순
소프트웨어 벤더가 아닌

1764
01:23:23,737 --> 01:23:26,080
진짜 파트너로 자산운용
기술을 재정의합니다.

1765
01:23:26,080 --> 01:23:28,632
이들은 기업들의 5배 성장과
사업 확장을 도왔고, 더

1766
01:23:28,632 --> 01:23:31,360
빠른 성장과 똑똑한 운영,
경쟁 우위를 가능케 했습니다.

1767
01:23:31,360 --> 01:23:36,700
ridgeline.ai에서 무엇을
이뤄낼 수 있는지 확인해 보세요.

1768
01:23:37,200 --> 01:23:41,200
한글 자막 — Junwon Lee (romaanj.github.io/talks)
원본: Invest Like The Best 채널 (YouTube) · 기계번역 보조, 오류 제보 환영