1
00:00:00,000 --> 00:00:02,240
제 일은 토큰을 인간이 할 수 있는
한 가장 싸게 만드는 겁니다.
My job is to make the tokens as cheap as humanly possible.

2
00:00:02,240 --> 00:00:03,949
그걸 해낼 거고, 제가 손댈 수 있는
I will achieve that, and I will do it through every layer in the stack available to me.

3
00:00:03,949 --> 00:00:06,000
스택의 모든 레이어를
동원해서 해낼 겁니다.

4
00:00:06,000 --> 00:00:07,359
저는 공급 측 레버들을 정말 좋아합니다.
I love the supply side levers.

5
00:00:07,359 --> 00:00:08,160
모든 칩을 쓸 겁니다.
I will use every chip.

6
00:00:08,160 --> 00:00:09,200
모든 전력원을 쓸 거고,
I'll use every source of power,

7
00:00:09,200 --> 00:00:12,960
이 용도에 적합한 미국
내 모든 땅을 쓸 겁니다.
and I will use every piece of land in the United States that's suitable for this.

8
00:00:12,960 --> 00:00:15,959
우리는 여전히 에이전트를
상담 비용이 비싼 사람처럼
We still treat the agent as a person that is expensive to consult, and you should ask them when you have a hard question.

9
00:00:15,959 --> 00:00:19,279
취급합니다. 어려운 질문이
있을 때나 물어보라는 식이죠.

10
00:00:19,279 --> 00:00:20,800
지능을 그런 식으로 생각해선 안 됩니다.
That's not the way to think about intelligence.

11
00:00:20,800 --> 00:00:22,400
기계가 생각할 수 있다는
건 정말 놀라운 일입니다.
It's incredible that the machine can think.

12
00:00:22,400 --> 00:00:28,184
그리고 우리는 그걸 최대한 많은 사람의
And we should try to get that into as many hands, as many people as possible.

13
00:00:28,184 --> 00:00:34,795
손에, 최대한 많은
사람에게 전해야 합니다.

14
00:00:38,079 --> 00:00:41,114
이런 대화 초반에는 있는 그대로
말하는 게 중요한 것 같아요.
I think it's important early in these conversations to just say the thing, like literally what you're building and what it does today.

15
00:00:41,114 --> 00:00:44,239
정확히 지금 뭘 만들고 계신지,
그게 오늘 무슨 일을 하는지요.

16
00:00:44,239 --> 00:00:47,822
그러니까 간단한 설명으로 방향을
좀 잡아주시겠어요? 정확히 어떤
So maybe just orient us there with a brief description, like literally what the system is that you're building and why it should exist.

17
00:00:47,822 --> 00:00:51,200
시스템을 만들고 계신지, 그리고
그게 왜 존재해야 하는지요.

18
00:00:51,200 --> 00:00:52,800
세일 리서치는 토큰 공장입니다.
Sail Research is a token factory.

19
00:00:52,800 --> 00:00:55,400
누구나 요청을 보낼 수
있는 API가 있습니다.
We have an API where anyone can send us requests, where they can use large language models,

20
00:00:55,400 --> 00:00:57,600
거기서 대형 언어 모델을 쓸 수 있는데,

21
00:00:57,600 --> 00:01:00,480
오픈소스 대형 언어 모델을, 원하는
어떤 작업에든 쓸 수 있습니다.
open source large language models, for any task they want.

22
00:01:00,480 --> 00:01:05,280
저희는 그 토큰들을 시장에서 따라올
수 없는 가격에 제공할 겁니다.
We will serve those tokens to them at a price that is unbeatable in the market.

23
00:01:05,280 --> 00:01:08,560
그 위에서 에이전트를 만들
수 있도록 지원하기도 합니다.
We also support their ability to build agents on top of this.

24
00:01:08,560 --> 00:01:11,558
저희는 '샌드박스'라고 부르는
걸 호스팅하는데, 클라우드에서
We host what we call sandboxes, which are long-running agent virtual machines hosted in the cloud

25
00:01:11,558 --> 00:01:13,920
돌아가는 롱 호라이즌
에이전트용 가상머신입니다.

26
00:01:13,920 --> 00:01:17,439
몇 시간, 며칠, 몇 주씩 실행되는
에이전트를 위해 설계됐습니다.
that are designed for agents that run for hours, days, or weeks.

27
00:01:17,439 --> 00:01:20,132
그러니까 다른 종류의 추론을 제공하는
And so you should think about you as a peer company to others that serve different kinds of inference.

28
00:01:20,132 --> 00:01:22,960
회사들과 동급으로 보면 될 것 같아요.

29
00:01:22,960 --> 00:01:25,280
특정한 한 종류의
추론을 제공하시는 거고,
You're serving one specific kind of inference,

30
00:01:25,280 --> 00:01:28,040
목표는 특정 방식의 지능
활용에서 절대적으로
and your goal is to be the absolute cheapest provider and enabler of a certain kind of use of intelligence.

31
00:01:28,040 --> 00:01:30,799
가장 저렴한 공급자이자
조력자가 되는 거죠.

32
00:01:30,799 --> 00:01:31,200
맞습니다.
Exactly.

33
00:01:31,200 --> 00:01:33,119
저희 회사의 테마는 풍요입니다.
The theme of our company is abundance.

34
00:01:33,119 --> 00:01:37,184
지능이라는 이 새로운 상품을,
거의 모든 산업이 감당할
We want to deliver this new commodity of intelligence to as many people as possible, at a cost that is sustainable for almost every industry.

35
00:01:37,184 --> 00:01:41,520
수 있는 비용으로 최대한 많은
사람에게 전달하고 싶습니다.

36
00:01:41,520 --> 00:01:44,160
무언가를 10배 저렴하게 만들면
그건 새로운 제품 카테고리가
We think that whenever you make something 10 times cheaper, it's a new product category, and we aspire to do that for tokens.

37
00:01:44,160 --> 00:01:46,560
된다고 봅니다. 저희는 토큰에서
그걸 해내고 싶습니다.

38
00:01:46,560 --> 00:01:49,040
기계가 생각할 수 있다는 것
자체가 정말 심오하다고 생각합니다.
We think it's so profound that the machine can think,

39
00:01:49,040 --> 00:01:51,160
이제 저희 일은 세상의
최대한 많은 기계가
and now our job is to make as many machines as possible in the world work towards thinking.

40
00:01:51,160 --> 00:01:53,280
생각하는 방향으로
작동하게 만드는 것이죠.

41
00:01:53,280 --> 00:01:56,880
오늘 주제가 토큰 비용이라고 하면,
So if you think about the theme of the day being token costs,

42
00:01:56,880 --> 00:01:58,799
토큰 비용이 이걸
바라보는 맞는 틀일까요,
is token cost the right way to think about this,

43
00:01:58,799 --> 00:02:01,680
아니면 처음부터 다르게 표현하시겠어요?
or is there some other way you'd put it, to start with?

44
00:02:01,680 --> 00:02:02,079
물론이죠.
Absolutely.

45
00:02:02,079 --> 00:02:04,655
지금은 토큰 비용이
맞습니다. 제 목표는 업계에서
Token cost today — my North Star is I want to have the lowest cost per token in the industry, and do that by a mile.

46
00:02:04,655 --> 00:02:07,040
토큰당 비용을 압도적으로
가장 낮추는 겁니다.

47
00:02:07,040 --> 00:02:10,651
토큰이 작업이나 지능의 최종
단위라고는 생각하지 않지만,
I don't think tokens are the final unit of work or intelligence, but they are what we use today, and so it's very straightforward.

48
00:02:10,651 --> 00:02:13,680
지금 우리가 쓰는 단위니까
이야기는 단순합니다.

49
00:02:13,680 --> 00:02:16,761
토큰 다음 단계는 점점
결과 쪽으로 옮겨갈
I think after tokens, you start to move more towards more outcomes, which is like a vague direction.

50
00:02:16,761 --> 00:02:19,440
텐데, 아직은 다소 모호한 방향이죠.

51
00:02:19,440 --> 00:02:23,120
예를 들어 지금 에이전트를 통해
토큰을 쓸 때, 에이전트가
You can imagine, for example, today when you consume tokens through an agent, you don't actually control how many tokens the agent reasons for.

52
00:02:23,120 --> 00:02:26,800
추론에 토큰을 몇 개나 쓸지는
사용자가 통제하지 못합니다.

53
00:02:26,800 --> 00:02:28,560
일정 시간 동안 추론할 수도 있고,
It can reason for a certain amount of time,

54
00:02:28,560 --> 00:02:30,319
일정 횟수만큼 툴을 호출할 수도 있죠.
or it can call a certain number of tools,

55
00:02:30,319 --> 00:02:33,123
점점 더 에이전트가 어떤
작업 단위를 맡아,
and increasingly I think we will have agents do some unit of work, take as many shots on goal as they can,

56
00:02:33,123 --> 00:02:36,160
가능한 한 여러 번 시도하게
될 거라고 봅니다.

57
00:02:36,160 --> 00:02:39,219
거기까지 가는 데 토큰을
얼마나 쓰는지는 결국
and however many tokens they use to get there is going to be kind of a dependent variable depending on the task.

58
00:02:39,219 --> 00:02:42,400
태스크에 따라 결정되는
종속 변수가 될 거고요.

59
00:02:42,400 --> 00:02:45,760
그러니까 에이전트가 스스로 토큰
예산을 관리한다는 거네요,
So you think about agents that self-administer a token budget,

60
00:02:45,760 --> 00:02:50,480
회사가 엔지니어들이 한 달에 쓸 토큰
예산을 정해주는 것과는 다르게요.
as opposed to a company setting a budget for how many tokens engineers can spend per month.

61
00:02:50,480 --> 00:02:53,760
왜 이걸 공략할 기회가 있다고 보시나요?
Why is there an opportunity that you can tackle it?

62
00:02:53,760 --> 00:02:56,482
전 세계가 온통 더 많고,
더 좋고, 더 빠르고,
It seems like the entire world is oriented around more, better, faster, cheaper tokens.

63
00:02:56,482 --> 00:02:58,800
더 저렴한 토큰을 향해
있는 것 같은데요.

64
00:02:58,800 --> 00:03:03,200
지금 다들 이 문제를 정말
공격적으로 풀려고 하는 것 같아요.
Right now it seems like the world is trying to solve this problem very aggressively.

65
00:03:03,200 --> 00:03:05,916
어떤 독특한 빈틈을 보신 건가요? 시장이
What was the unique opening that you saw — maybe the market's not being efficient in its attempt to tackle this?

66
00:03:05,916 --> 00:03:08,879
이 문제를 효율적으로
풀지 못하고 있다든가.

67
00:03:08,879 --> 00:03:12,159
저희 회사에 순풍이 되는
요인이 두 가지 있다고 봅니다.
So I think there's two things that are tailwinds for our company.

68
00:03:12,159 --> 00:03:14,560
하나는, 역시 오픈소스의 부상이죠.
One is, got to be the rise of open source.

69
00:03:14,560 --> 00:03:15,760
이건 먼저 짚고 넘어가야겠네요.
I had to talk about that first.

70
00:03:15,760 --> 00:03:18,784
점점 더 많은 고객들,
그리고 더 넓은 시장이 지능을
I think we are starting to see an increasing number of our customers and the broader market care about owning intelligence.

71
00:03:18,784 --> 00:03:21,599
소유하는 것 자체에 신경
쓰기 시작했다고 봅니다.

72
00:03:21,599 --> 00:03:25,200
의존하는 대상에 대해 통제권,
주권을 갖고 싶어 하는 거죠.
They want to have control, sovereignty over the thing that they depend on.

73
00:03:25,200 --> 00:03:28,480
그래서 커스텀 모델 시장이
훨씬 더 탄탄해졌습니다.
And so that created a much more robust market for customized models,

74
00:03:28,480 --> 00:03:30,328
혹은 그냥 바닐라 오픈소스 모델이라도,
Or even just these vanilla open source models that no one can ever take away from you.

75
00:03:30,328 --> 00:03:32,000
누구도 빼앗아 갈 수 없는 것이죠.

76
00:03:32,000 --> 00:03:32,720
가중치는 항상 내 손에 있습니다.
You always have the weights.

77
00:03:32,720 --> 00:03:35,360
원하는 방식대로 배포할
권리도 항상 있고요.
You always have the right to deploy them however you like.

78
00:03:35,360 --> 00:03:38,388
그런 세상에서 이 모델들을
대규모로 서빙하는
In that world, there's been a reasonably robust market for the past couple years serving these models at large scale.

79
00:03:38,388 --> 00:03:41,920
시장이 지난 몇 년간 꽤
탄탄하게 형성돼 왔습니다.

80
00:03:41,920 --> 00:03:45,520
문제는 그런 회사들 —
베이스텐이든 파이어웍스든 투게더
The challenge is all those companies — you could take your pick, Baseten, Fireworks, Together — they all focus on low latency inference.

81
00:03:45,520 --> 00:03:49,599
AI든 어디를 골라도 — 전부
저지연 추론에 집중한다는 거죠.

82
00:03:49,599 --> 00:03:51,755
그리고 업계를 그 방향으로
이끈 아주 중요한 고객이
And they were pulled in that direction by one very important customer, Cursor.

83
00:03:51,755 --> 00:03:53,680
하나 있었죠. 바로
커서(Cursor)입니다.

84
00:03:53,680 --> 00:03:57,519
1년 전쯤엔 그게 맞는
선택이었다고 생각합니다.
And I think that that was the right choice about a year ago,

85
00:03:57,519 --> 00:03:59,836
그런데 6개월 전쯤부터는,
에이전트에게 필요한 게
And as of six months ago, it started to look like maybe low latency wasn't the only thing you wanted from an agent.

86
00:03:59,836 --> 00:04:02,239
저지연만은 아닐 수도 있다는
게 보이기 시작했어요.

87
00:04:02,239 --> 00:04:05,200
더 필요한 건 지속성, 더
롱 호라이즌 태스크였죠.
You wanted more persistence, more long horizon tasks.

88
00:04:05,200 --> 00:04:07,895
그리고 지금은, 제가
보기엔 에이전틱 추론의
And now, it's, to me, very obvious that the future of agentic inference is long horizon tasks.

89
00:04:07,895 --> 00:04:11,040
미래가 롱 호라이즌 태스크라는
게 아주 명백합니다.

90
00:04:11,040 --> 00:04:14,239
몇 시간, 며칠씩 기계를
돌리게 될 겁니다.
You're going to run the machine for hours or days at a time.

91
00:04:14,239 --> 00:04:17,680
초당 100토큰으로
뱉어내든 말든 상관없어요.
It doesn't matter if it spits out tokens at 100 tokens per second.

92
00:04:17,680 --> 00:04:19,280
초당 10토큰이어도 충분할 수 있습니다.
Maybe 10 is just fine.

93
00:04:19,280 --> 00:04:22,079
그리고 그만큼 효율성
면에서 이점이 따라오죠.
That comes with corresponding advantages and efficiency.

94
00:04:22,079 --> 00:04:23,840
왜 그렇게 확신하시나요?
Why are you so confident in that?

95
00:04:23,840 --> 00:04:27,759
제가 봐도, 다들 뭐든 최대한
빠르길 원하는 것처럼 보이긴 합니다.
It's, to me, it seems like I want everything as fast as possible.

96
00:04:27,759 --> 00:04:30,800
뭔가를 기다리고 있을 때는, 당연히
가장 빠른 답을 받을 자격이 있죠.
When you're waiting on it, you absolutely deserve the fastest answer possible.

97
00:04:30,800 --> 00:04:32,479
제 트릭은, 애초에 기다리게
하지 않는 겁니다.
My trick is I don't want you to be waiting on it.

98
00:04:32,479 --> 00:04:33,440
선제적으로 움직이게 하고 싶은 거죠.
I want it to be proactive.

99
00:04:33,440 --> 00:04:34,479
백그라운드에서 돌아가게 하고 싶고요.
I want it to be in the background.

100
00:04:34,479 --> 00:04:37,520
한마디로 하면, 최고의 레이턴시는
레이턴시가 아예 없는 것입니다.
One way to say it is the best latency is no latency at all.

101
00:04:37,520 --> 00:04:39,840
아침에 일어나면, 이미 밤새
작업이 끝나 있는 거죠.
When you wake up in the morning, the work's already been done overnight.

102
00:04:39,840 --> 00:04:41,440
부탁조차 하지 않았는데도 말입니다.
You didn't even have to ask for it.

103
00:04:41,440 --> 00:04:42,479
그게 꿈이죠.
That's the dream.

104
00:04:42,479 --> 00:04:43,680
아직 거기까진 못 갔습니다.
We're not quite there yet.

105
00:04:43,680 --> 00:04:46,637
근데 더 중요한 건요, 제
생각엔 에이전트에 프롬프트를
But more importantly, I think the more you're in the loop as you prompt agents and wait for a response.

106
00:04:46,637 --> 00:04:49,199
주고 응답을 기다리면서
계속 루프 안에 있을수록

107
00:04:49,199 --> 00:04:53,360
사실 당신이 에이전트가 일을 얼마나
할지를 가로막는 병목이 되는 거죠.
In fact, you're the bottleneck in having the agent do more or less work.

108
00:04:53,360 --> 00:04:54,880
저희가 원하는 건 에이전트가 좀 더
What we'd like is the agent to operate on more human time scales.

109
00:04:54,880 --> 00:04:56,560
인간적인 시간 단위로 움직이는 겁니다.

110
00:04:56,560 --> 00:04:58,639
동료를 5분마다 관리하진 않잖아요.
You don't manage your colleagues every 5 minutes.

111
00:04:58,639 --> 00:05:01,297
상위 수준 과업을
맡기고, 매일, 아니 더
You ask them to do a high level task and you come back and check in maybe every day, but more likely once a week.

112
00:05:01,297 --> 00:05:03,840
흔하게는 일주일에 한 번 확인하러 오죠.

113
00:05:03,840 --> 00:05:05,950
제가 보기엔 그게 인간-에이전트 협업의
And that, to me, is the future of human agent collaboration — more like human time scales.

114
00:05:05,950 --> 00:05:08,160
미래입니다. 더 인간적인 시간 단위로요.

115
00:05:08,160 --> 00:05:10,580
그게 실제로 일어나고
있다는, 그래서 이 회사를
Say more about the early indications that this is happening, and therefore you should be building this company.

116
00:05:10,580 --> 00:05:13,280
만들어야 한다는 초기 징후를
좀 더 말씀해주시겠어요?

117
00:05:13,280 --> 00:05:14,762
가장 먼저, 가장 중요한 건 테스트
Well, so the first and most important thing is the idea of test time compute scaling.

118
00:05:14,762 --> 00:05:16,400
타임 컴퓨트 스케일링이라는 개념입니다.

119
00:05:16,400 --> 00:05:20,160
에이전트에게 시간을 더 주면
더 나은 답을 준다는 발상이죠.
The idea that you can give an agent more time and it will give you a better answer.

120
00:05:20,160 --> 00:05:23,039
이론화된 건 이제 한 2년 전쯤인데,
So that was theorized about 2 years ago now,

121
00:05:23,039 --> 00:05:25,920
실제로 베팅할 수 있게 된 건, 작년 말
But it wasn't really something that we could actually bet on until, I would say, late last year with Opus 4.5.

122
00:05:25,920 --> 00:05:28,800
오퍼스 4.5가 나오면서부터였다고 봐요.

123
00:05:28,800 --> 00:05:32,280
오퍼스 4.5가 롱 호라이즌
태스크에 그나마 맞는
Opus 4.5 was the first agent that was at all suitable for longer horizon tasks, and, you know, it was pretty mediocre when it first came out.

124
00:05:32,280 --> 00:05:35,759
첫 에이전트였는데, 처음
나왔을 땐 꽤 별로였죠.

125
00:05:35,759 --> 00:05:39,360
그런데 최근 모델들을 보면, 저희가
오픈소스로 해온 것들도 그렇고,
But you look at the more recent models, and what we've done on open source as well,

126
00:05:39,360 --> 00:05:43,360
에이전트가 한 번에 한 시간씩
돌아갈 수 있다는 게 보입니다.
And you see that agents are capable of running for an hour at a time.

127
00:05:43,360 --> 00:05:46,720
며칠까지는 아니지만, 한 시간
정도는 지금 확실히 무리 없어요.
I wouldn't say it's days, but definitely an hour is quite suitable today.

128
00:05:46,720 --> 00:05:51,840
그렇게 평균 턴이나 태스크
길이가 점점 길어지는 걸 보면,
And so just seeing that average turn or task length get longer and longer,

129
00:05:51,840 --> 00:05:55,052
몇 개 점만 있어도 지수
곡선을 그려서, 에이전트를
It doesn't take many points to have you kind of draw out the exponential and see that agents are worth running for longer periods.

130
00:05:55,052 --> 00:05:57,919
더 오래 돌릴 가치가
있다는 걸 알 수 있죠.

131
00:05:57,919 --> 00:06:00,581
3년쯤 뒤엔 롱 호라이즌 에이전트의 시장
What do you think will be the market share of long-running agents in 3 years or something like this?

132
00:06:00,581 --> 00:06:02,880
점유율이 어느 정도일 거라 보세요?

133
00:06:02,880 --> 00:06:04,720
이 시장이 좋은 이유는
상한이 없다는 겁니다.
You know, I love this market because it's unbounded.

134
00:06:04,720 --> 00:06:05,680
루프 안에 사람이 없거든요.
There's no human in the loop.

135
00:06:05,680 --> 00:06:08,479
그래서 백그라운드에선 원하는 만큼
토큰을 얼마든지 쓸 수 있죠.
So, you can consume as many tokens as you like in the background.

136
00:06:08,479 --> 00:06:09,919
인간의 주의 지속 시간과는 다르게요.
Versus human attention span.

137
00:06:09,919 --> 00:06:12,572
코덱스나 클로드 코드에서
토큰을 10배 더 쓰라고
If you tell me to consume 10x as many tokens at Codex or at Claude Code, I'm actually not sure if I can anymore.

138
00:06:12,572 --> 00:06:15,520
하면, 사실 제가 더 이상
그럴 수 있을지 모르겠어요.

139
00:06:15,520 --> 00:06:17,555
저는 이미 루프에 들어가서
몰입한 상태라, 노트북
I'm already in a loop and locked in, coding for most of the day that I'm at the laptop.

140
00:06:17,555 --> 00:06:19,440
앞에 있는 시간 대부분을
코딩하는 데 씁니다.

141
00:06:19,440 --> 00:06:22,153
다만 백그라운드나
능동적으로는 토큰을 얼마나
What is unknown is how many tokens can be consumed in the background or proactively.

142
00:06:22,153 --> 00:06:24,639
소비할 수 있을지, 그건 아직 모릅니다.

143
00:06:24,639 --> 00:06:27,349
장기적으로 보면, 올해가
끝날 즈음엔 백그라운드와
So long-term, I think we're going to end this year at maybe 50/50 background and real-time workloads.

144
00:06:27,349 --> 00:06:30,160
실시간 워크로드가 50대
50 정도일 것 같습니다.

145
00:06:30,160 --> 00:06:32,960
하지만 결국엔 백그라운드 쪽으로
90대 10까지 갈 거라고 봅니다.
But I see this going to 90/10 in favor of background.

146
00:06:32,960 --> 00:06:36,971
구체적으로 어떤 게 있을까요? 사람이
계속 개입하는 방식보다 백그라운드
What are the sorts of things — like, what are your favorite examples of something that gets accomplished much better as a background task than as a human-in-the-loop task?

147
00:06:36,971 --> 00:06:40,880
작업으로 처리할 때 훨씬 잘되는,
가장 좋아하는 사례를 꼽으신다면요?

148
00:06:40,880 --> 00:06:45,878
대부분 딥 리서치죠. 출처
100개나 1,000개가 아니라
Most deep research, most questions where you want to have a definitive answer over not 100 sources, not a thousand sources, but 10,000 sources or more.

149
00:06:45,878 --> 00:06:50,720
1만 개 이상을 두고 확정적인
답을 원하는 질문들입니다.

150
00:06:50,720 --> 00:06:53,360
신뢰할 수 있는 정보 인덱스를
구축하려는 경우도 그렇습니다.
If you want to build an authoritative index of information, like for example one of our customers, Parallel Web Systems, seeks to do.

151
00:06:53,360 --> 00:06:56,160
예를 들어 저희 고객사인 패럴렐
웹 시스템즈가 하려는 일처럼요.

152
00:06:56,160 --> 00:06:58,813
그들은 인터넷 전체에
대한 인덱스를 구축하고,
They want to build an index over the whole internet, and they want to monitor the internet in real time for changes.

153
00:06:58,813 --> 00:07:01,360
실시간으로 변화를
모니터링하고 싶어 합니다.

154
00:07:01,360 --> 00:07:04,818
이런 엑사바이트급 미친
규모의 작업은, 완전히 다른
That is the kind of crazy, exabyte-scale task that you need a very different kind of intelligence, or scale of intelligence, to achieve.

155
00:07:04,818 --> 00:07:08,400
종류나 다른 규모의 지능이
있어야 해낼 수 있습니다.

156
00:07:08,400 --> 00:07:11,187
딥 리서치는 저희에게
최상위 카테고리이고, 점점
Deep research is a top category for us, and then increasingly we see cybersecurity following this direction.

157
00:07:11,187 --> 00:07:13,759
사이버보안도 같은 방향을
따라가고 있습니다.

158
00:07:13,759 --> 00:07:16,880
생각해보면, 물론 생성할
수 있는 코드는 정말 많죠.
If you think about it, yes, there's so much code you can generate,

159
00:07:16,880 --> 00:07:19,679
하지만 그 코드를 생성하는
방법보다, 깨뜨리는
but there's exponentially more ways to break that same code than it is to generate that code.

160
00:07:19,679 --> 00:07:21,919
방법이 지수적으로 훨씬 더 많습니다.

161
00:07:21,919 --> 00:07:25,730
그리고 어떤 소프트웨어든 깨뜨릴 수
있는 에이전트를 찾아서 선제적으로
And there are some great customers out there who are working very hard to find agents that can break any piece of software and proactively patch them.

162
00:07:25,730 --> 00:07:29,039
패치하려고, 정말 열심히 노력하는
훌륭한 고객들이 있습니다.

163
00:07:29,039 --> 00:07:31,658
예를 들어 페이블이나
미토스가 처음 나왔을 때,
So when Fable first came out, for example, or Mythos first came out, basically there was this push in the cybersecurity community

164
00:07:31,658 --> 00:07:34,479
사이버보안 커뮤니티에서는
이런 움직임이 있었습니다.

165
00:07:34,479 --> 00:07:37,711
우리가 지금까지 작성한 모든
코드에 페이블을 돌려서,
to run Fable against every line of code we've ever written and look for bugs in 20 different ways.

166
00:07:37,711 --> 00:07:40,720
20가지 다른 방식으로
버그를 찾아보자는 거였죠.

167
00:07:40,720 --> 00:07:43,827
메모리 오류도 찾고,
비즈니스 로직 오류도 찾고,
Meaning you're looking for both memory errors, you're looking for business logic errors, and looking for network vulnerabilities — all these things.

168
00:07:43,827 --> 00:07:47,280
네트워크 취약점도 찾고, 이
모든 걸 다 보는 겁니다.

169
00:07:47,280 --> 00:07:50,479
이런 것들은 사실 전용 에이전트를
따로 만들어야 하는 일들입니다.
And these are all actually things that you would write specialized agents for.

170
00:07:50,479 --> 00:07:53,804
페이블이 소스코드를 한 번 훑어보게
하는 걸로 끝나지 않고, 실제로
You wouldn't just have Fable look at the source code once — you'd have it actually set up environments where you can pentest these applications.

171
00:07:53,804 --> 00:07:57,039
이 애플리케이션들을 침투 테스트할
환경까지 구축하게 만드는 거죠.

172
00:07:57,039 --> 00:07:59,585
그러다 어느 순간부터
사람들이, 보안이 작업
And at some point, people started to make this joke that security has become proof of work.

173
00:07:59,585 --> 00:08:01,919
증명이 됐다는 농담을 하기 시작했습니다.

174
00:08:01,919 --> 00:08:05,543
안전한 소프트웨어를 원한다면,
결국 앤트로픽 API에 돈을
When you want secure software, it's really a question of how many dollars did you spend on Anthropic's APIs trying to break into your software.

175
00:08:05,543 --> 00:08:09,280
얼마나 써서 자기 소프트웨어를
뚫어봤는지의 문제라는 거예요.

176
00:08:09,280 --> 00:08:11,158
그게 세상에서 가장
좋은 도구니까, 얼마나
That is the best indication for how secure it is, because that's the best tool in the world.

177
00:08:11,158 --> 00:08:13,199
안전한지를 보여주는 가장
좋은 지표인 셈이죠.

178
00:08:13,199 --> 00:08:14,530
그리고 점점 더 확인하고
있는 건, 여기서
And increasingly we found that the frontier of intelligence here is quite jagged.

179
00:08:14,530 --> 00:08:15,919
지능의 프런티어가 꽤
들쭉날쭉하다는 겁니다.

180
00:08:15,919 --> 00:08:17,900
페이블이 소프트웨어의 모든 버그를 다
It's not the case that Fable finds a superset of all bugs in software.

181
00:08:17,900 --> 00:08:20,080
포함하는 초집합을 찾아내는 건 아닙니다.

182
00:08:20,080 --> 00:08:23,680
아주 작은 모델로는 찾지만 큰
모델로는 못 찾는 버그도 있습니다.
You would find some bugs with a very small model that you don't find with the large model.

183
00:08:23,680 --> 00:08:25,250
하이쿠로 찾아내는 버그가 있고 페이블로
You'd find some bugs with Haiku that you would find with Fable, and vice versa.

184
00:08:25,250 --> 00:08:27,120
찾아내는 버그가 있고,
반대의 경우도 있고요.

185
00:08:27,120 --> 00:08:29,808
그래서 샘플링을 이렇게
다양하게 접근하게 됐고,
So it encouraged this very diverse approach to sampling, and trying to build cybersecurity agents that break software autonomously, such that you can patch them.

186
00:08:29,808 --> 00:08:32,600
소프트웨어를 자율적으로
뚫는 사이버보안 에이전트를

187
00:08:32,600 --> 00:08:35,599
만들어서 패치할 수 있게
하려는 시도로 이어졌습니다.

188
00:08:35,599 --> 00:08:39,917
롱 호라이즌 에이전트, 그것도 아주
저렴하고 아주 오래 실행되는 에이전트가
If you were to get sort of speculative and imaginative about the sorts of things that long-running, very cheap, very long-running agents can enable.

189
00:08:39,917 --> 00:08:43,919
가능하게 할 것들을 좀 사변적으로,
상상력을 발휘해서 얘기해본다면요.

190
00:08:43,919 --> 00:08:48,720
실용적인 예시들은 이미 얘기했죠 —
딥 리서치, 사이버보안 같은 것들요.
We talked about some very practical examples — deep research, cybersecurity, etc.

191
00:08:48,720 --> 00:08:52,587
그런데 조금 더 몽상적으로
가서, 이런 추론이 열어줄
But if you get a little bit dreamier about the use cases, new product category, that this sort of inference will unlock,

192
00:08:52,587 --> 00:08:56,320
새로운 제품 카테고리,
유스케이스를 생각해본다면요.

193
00:08:56,320 --> 00:09:00,259
질문은 결국 이겁니다 —
최대한 성공한다면 어떨까요?
and I guess the question is just, so what — like, what if you're maximally successful? Dream a little bit about what that might enable.

194
00:09:00,259 --> 00:09:03,519
그게 뭘 가능하게 할지
살짝 꿈꿔봐 주세요.

195
00:09:03,519 --> 00:09:04,240
네, 물론이죠.
Yeah, absolutely.

196
00:09:04,240 --> 00:09:07,464
개인 사용자 입장에서
제가 가장 기대하는 건,
So I think for individual users, what I'm excited about most is this idea of proactive intelligent agents.

197
00:09:07,464 --> 00:09:10,560
이 능동적인 지능형
에이전트라는 개념입니다.

198
00:09:10,560 --> 00:09:13,218
하루 종일 백그라운드에서
돌아가면서, 그날 받은
You can imagine Siri that is running in the background all the time to understand what's all the emails you received in a day,

199
00:09:13,218 --> 00:09:16,080
이메일을 전부 파악하는 시리
같은 걸 상상해보세요.

200
00:09:16,080 --> 00:09:19,040
그날 받은 문자 메시지도 전부
파악하고, 여러분의 삶을 훨씬
all the text messages you receive in a day, and has a much more encyclopedic view of your life and how to be helpful in that life.

201
00:09:19,040 --> 00:09:22,000
더 백과사전적으로 이해해서 그
삶에 도움이 되는 방식으로요.

202
00:09:22,000 --> 00:09:23,800
지금은 아직 포인트 솔루션들뿐이라서,
Right now there's still point solutions, and so you end up doing a lot of prompting.

203
00:09:23,800 --> 00:09:25,600
결국 프롬프트를 계속 입력하게 되죠.

204
00:09:25,600 --> 00:09:27,040
시리는 별로 능동적이지 않습니다.
Siri is not very proactive.

205
00:09:27,040 --> 00:09:29,760
그건 풍요로운 추론으로
고칠 수 있는 문제죠.
That's something we can fix with abundant inference.

206
00:09:29,760 --> 00:09:32,375
그 기계를 충분히 신뢰할
수 있다면요 — 믿을
If you trust the machine enough that it's reliable and also trustworthy, as in private.

207
00:09:32,375 --> 00:09:35,200
만하고, 프라이버시 면에서도
신뢰할 수 있다면요.

208
00:09:35,200 --> 00:09:38,426
심지어 그 기계가 여러분과 어떻게
상호작용하는지를 스스로 이해해서,
You might even imagine the machine can understand how you interact with it and proactively surface your next action whenever you open your phone.

209
00:09:38,426 --> 00:09:42,000
휴대폰을 열 때마다 다음 행동을 먼저
제시해주는 것도 상상할 수 있습니다.

210
00:09:42,000 --> 00:09:44,320
여러분이 다음에 뭘 할지에 대한 좋은
모델을, 우리가 만들 수 있을까요?
Can we build a good model of what you're going to do next?

211
00:09:44,320 --> 00:09:46,320
제 판단으로는, 네, 충분히 가능합니다.
My estimation is yes, we totally can.

212
00:09:46,320 --> 00:09:48,560
그리고 그 핵심은 엄청나게
저렴한 지능이에요.
And the key to that is incredibly cheap intelligence.

213
00:09:48,560 --> 00:09:52,399
돌아온다는 보장 없이도 기꺼이
토큰을 쓸 수 있어야 합니다.
You have to be willing to spend tokens without any promise of return.

214
00:09:52,399 --> 00:09:53,760
그게 바로 이걸 가능케 하는 열쇠죠.
That's the unlock.

215
00:09:53,760 --> 00:09:58,193
좀 더 멀리서 보면,
우리에게는 검증 가능한 문제라면
The long lens view to take on this is that we have a form of intelligence that can tackle any verifiable problem.

216
00:09:58,193 --> 00:10:02,320
뭐든 다룰 수 있는 형태의
지능이 있다는 겁니다.

217
00:10:02,320 --> 00:10:05,040
검증 가능한 문제라고 하면
대부분의 소프트웨어가 해당됩니다.
Any verifiable problem means most software.

218
00:10:05,040 --> 00:10:09,680
수학 증명 같은 형식적인
것들도 많이 포함되죠.
It means a lot of formal, like math proofs and similar.

219
00:10:09,680 --> 00:10:12,080
그리고 과학적 발견도
포함될 수 있습니다.
And it could also mean scientific discovery.

220
00:10:12,080 --> 00:10:14,880
이것들 전부 상대적으로
검증 가능한 문제들이에요.
These are all relatively verifiable problems.

221
00:10:14,880 --> 00:10:18,560
그리고 지금은 이 모든 것에 사실상
달러 비용이 붙어 있는 상황이고요.
And all those things currently have a dollar cost attached to them, essentially.

222
00:10:18,560 --> 00:10:19,360
그게 숨은 비용이에요.
That's a hidden one.

223
00:10:19,360 --> 00:10:22,880
그러니까 이걸 해내려면 토큰을 대체
얼마나 동원해야 하느냐는 거죠.
It's like, how many tokens could you possibly harness to make this work?

224
00:10:22,880 --> 00:10:27,348
그런데 실제로 이제 그게 눈에
들어오기 시작했어요. 이런 롱
And we have actually started to bring it within view — a dollar cost for these long horizon tasks that is reasonable.

225
00:10:27,348 --> 00:10:31,680
호라이즌 태스크에 합리적인 달러
비용이 붙기 시작한 거죠.

226
00:10:31,680 --> 00:10:33,415
수백만 달러가 아니라 수천
달러 수준이고, 어쩌면
It's not millions, it's thousands, and maybe it could be hundreds or even tens of dollars.

227
00:10:33,415 --> 00:10:35,279
수백 달러, 심지어 수십
달러까지 갈 수도 있습니다.

228
00:10:35,279 --> 00:10:38,399
가까운 미래에는 어떤
과학적 질문에도, 어떤 연구
In the near future, to have a definitive answer to any scientific question, to any research problem.

229
00:10:38,399 --> 00:10:41,519
문제에도 확정적인 답을
얻을 수 있게 되는 거죠.

230
00:10:41,519 --> 00:10:44,644
[광고] 램프는 재무팀을 더
가볍고 빠르고 낫게 만들도록 설계된
Ramp is the only platform built to make your finance team leaner, faster, and better, saving businesses 5% annually on average.

231
00:10:44,644 --> 00:10:47,680
유일한 플랫폼입니다. 기업들은
평균적으로 연 5%를 절감하죠.

232
00:10:47,680 --> 00:10:49,600
그러니 여러분은 성장에만
집중하시면 됩니다.
So you can stay focused on growth.

233
00:10:49,600 --> 00:10:51,880
램프 고객사들은 평균적인 미국 기업보다
Ramp customers grow revenue 3.2 times faster than the average American business.

234
00:10:51,880 --> 00:10:54,160
매출이 3.2배 더 빠르게 성장합니다.

235
00:10:54,160 --> 00:10:57,290
비자, 버셀, 커서,
스트라이프, 노션, 일레븐랩스,
Visa, Vercel, Cursor, Stripe, Notion, ElevenLabs, Shopify, and 70,000 other businesses all now run on Ramp.

236
00:10:57,290 --> 00:11:00,959
쇼피파이를 비롯해 7만 개 기업이
지금 램프를 쓰고 있습니다.

237
00:11:00,959 --> 00:11:02,720
저희 회사도 그렇고, 여러분
회사도 그래야 하지 않을까요.
Mine does too, and so should yours.

238
00:11:02,720 --> 00:11:06,079
자세한 내용은
ramp.com/invest에서 확인하세요.
Learn more at ramp.com/invest.

239
00:11:06,079 --> 00:11:07,964
[광고] 오픈AI, 커서, 앤트로픽,
OpenAI, Cursor, Anthropic, Perplexity, and Vercel all have something in common.

240
00:11:07,964 --> 00:11:10,320
퍼플렉시티, 버셀에는
공통점이 하나 있습니다.

241
00:11:10,320 --> 00:11:11,760
모두 WorkOS를 쓴다는 거죠.
They all use WorkOS.

242
00:11:11,760 --> 00:11:15,440
대규모 엔터프라이즈 도입을
이루려면 SSO, SCIM,
To achieve enterprise adoption at scale, you have to deliver on core capabilities like SSO, SCIM, RBAC, and audit logs.

243
00:11:15,440 --> 00:11:19,120
RBAC, 감사 로그 같은
핵심 기능을 갖춰야 합니다.

244
00:11:19,120 --> 00:11:22,413
이런 필수 기능을 직접
만드느라 몇 달을 쓰는 대신,
Instead of spending months building these mission-critical capabilities yourself, you can just use WorkOS APIs to gain all of them on day zero.

245
00:11:22,413 --> 00:11:26,160
WorkOS API만 쓰면
첫날부터 전부 갖출 수 있습니다.

246
00:11:26,160 --> 00:11:28,409
그래서 여러분이 들어본
유수의 AI 팀들이 이미
That's why so many of the top AI teams you hear about already run on WorkOS.

247
00:11:28,409 --> 00:11:30,399
WorkOS 위에서
돌아가고 있는 겁니다.

248
00:11:30,399 --> 00:11:32,959
WorkOS는 엔터프라이즈
준비를 가장 빠르게 마치고, 정말
WorkOS is the fastest way to become enterprise ready and stay focused on what matters most — your product.

249
00:11:32,959 --> 00:11:35,519
중요한 일, 즉 제품에만 집중할
수 있게 해주는 방법입니다.

250
00:11:35,519 --> 00:11:38,240
시작하려면 works.com을
방문하세요.
Visit works.com to get started.

251
00:11:38,240 --> 00:11:40,876
[광고] 로고(Rogo)의
펠릭스는 프롬프트 하나로 여러분
Felix by Rogo is a personal finance agent that turns a single prompt into finished, client-ready work using your firm's own templates, context, and standards.

252
00:11:40,876 --> 00:11:43,759
회사의 템플릿과 맥락, 기준을
활용해 클라이언트에게 바로 전달할

253
00:11:43,759 --> 00:11:46,560
수 있는 완성된 결과물을 만들어주는
개인 금융 에이전트입니다.

254
00:11:46,560 --> 00:11:49,839
펠릭스에게 '이 코멘트들 반영해서
정리해 줘' 같은 이메일을 보내보세요.
Send Felix an email like, 'Take these comments and turn them for me.'

255
00:11:49,839 --> 00:11:52,560
아니면 '이 이메일들 내용으로 트래커
업데이트해 줘'라고 보내도 됩니다.
Or, 'Update my tracker with the context of these emails.'

256
00:11:52,560 --> 00:11:54,754
그러면 펠릭스가 완성된
파워포인트 슬라이드,
And Felix sends back finished PowerPoint decks, Excel models, and sourced research.

257
00:11:54,754 --> 00:11:57,040
엑셀 모델, 출처가 달린
리서치를 보내줍니다.

258
00:11:57,040 --> 00:11:59,440
펠릭스는 여러분 팀이 일하는
방식 그대로 일하면서,
Felix works the way your team already does, delivering work quickly and accurately around the clock.

259
00:11:59,440 --> 00:12:01,839
24시간 내내 빠르고 정확하게
결과물을 전달합니다.

260
00:12:01,839 --> 00:12:04,720
자세한 내용은
rogo.ai/felix에서 확인하세요.
Learn more at robo.ai/felix.

261
00:12:04,720 --> 00:12:08,159
그러니 그런 미래를 그려본다면,
결국 우리는 사람들이
And so, if we dream about that future, we then become limited just by the questions that people can ask.

262
00:12:08,159 --> 00:12:11,360
던질 수 있는 질문만큼만
한계를 갖게 되는 거죠.

263
00:12:11,360 --> 00:12:12,560
기본적으로요.
Basically.

264
00:12:12,560 --> 00:12:14,639
결국 우리가 던질 수 있는
질문의 문제인 거죠.
Pretty much the questions we can ask.

265
00:12:14,639 --> 00:12:17,708
모델들은 이제 상위 수준 질문
하나만 던져도 가능한 모든
The models are on the cusp of basically taking even a high-level question and chasing it down every possible follow-up.

266
00:12:17,708 --> 00:12:20,480
후속 질문까지 스스로 파고드는
단계에 와 있습니다.

267
00:12:20,480 --> 00:12:23,360
모델이 사실상 그걸 알아서
처리하게 할 수 있는 거죠.
You can have the model essentially take that on its own.

268
00:12:23,360 --> 00:12:25,519
그러면 관건은 토큰
예산이 얼마냐는 겁니다.
And the question is, what is your token budget?

269
00:12:25,519 --> 00:12:27,200
그리고 저희가 그 토큰 예산
문제를 해결할 겁니다.
And we will solve the token budget problem.

270
00:12:27,200 --> 00:12:29,760
검증 불가능한 태스크는 어떤가요?
What about non-verifiable tasks?

271
00:12:29,760 --> 00:12:33,760
저는 인간의 취향이라는 범주
전체를 사실상 거기에 포함시킵니다.
I put basically the entire category of human taste into that category.

272
00:12:33,760 --> 00:12:35,360
인간의 취향은 아직 풀지 못했습니다.
We have not solved human taste yet.

273
00:12:35,360 --> 00:12:37,600
그리고 근본적으로 풀릴 수
있는 문제인지도 모르겠어요.
And I don't know that it fundamentally can be.

274
00:12:37,600 --> 00:12:40,366
여기서 놀라운 반전이
있길 기대하지만, 저희는
I'm excited to be surprised here, but we are focused on very quantitative problems.

275
00:12:40,366 --> 00:12:42,800
아주 정량적인 문제에 집중하고 있습니다.

276
00:12:42,800 --> 00:12:47,200
글의 완성도나 예술의 아름다움 같은
건 사람의 몫으로 남겨둡니다.
We leave the quality of writing, the beauty of art, to people.

277
00:12:47,200 --> 00:12:47,440
좋습니다.
All right.

278
00:12:47,440 --> 00:12:52,639
이제 구축하고자 하시는 아주 영리한
솔루션 스택 이야기를 해보죠.
Now, let's talk about the very clever stack of solutions that you hope to build.

279
00:12:52,639 --> 00:12:55,995
궁극적으로 극도로 저렴한
지능, 그런 지능의 공급자가
Ultimately, to have this giant token factory — extremely low-cost intelligence, supplier of extremely low-cost intelligence.

280
00:12:55,995 --> 00:12:59,120
되는 이 거대한 토큰
공장을 만들기 위한 거고요.

281
00:12:59,120 --> 00:13:01,368
이걸 층위별로, 즉
소프트웨어, 하드웨어,
I think you think about this in terms of level, software, hardware, and power.

282
00:13:01,368 --> 00:13:03,519
전력 순으로 생각하신다고 알고 있는데요.

283
00:13:03,519 --> 00:13:06,600
다른 사람들이 생각하는 방식과는
완전히 다른 이 과제에
Talk through what your master plan is to approach this challenge that's so different from what others are thinking about doing.

284
00:13:06,600 --> 00:13:09,680
접근하기 위한 마스터플랜이
무엇인지 설명해 주시겠어요?

285
00:13:09,680 --> 00:13:11,200
저희는 항상 소프트웨어에서
시작해야 합니다.
You know, we always have to start with software.

286
00:13:11,200 --> 00:13:13,815
오늘날의 칩, 오늘날의 데이터센터에서
You know, where is the opportunity on today's chips, with today's data centers, to improve efficiency?

287
00:13:13,815 --> 00:13:16,560
효율을 개선할 기회가 어디에 있을까요?

288
00:13:16,560 --> 00:13:20,293
저희가 가장 먼저 한 일은 LM
소프트웨어 스택 전체를 GPU 최대 효율
And the first thing we did was we tried to build the entire LM software stack around peak GPU efficiency, meaning we're using Nvidia GPUs.

289
00:13:20,293 --> 00:13:23,839
중심으로 구축하는 것이었습니다. 즉
엔비디아 GPU를 쓴다는 뜻이죠.

290
00:13:23,839 --> 00:13:27,680
같은 칩에서 세상 그 누구보다
더 많은 토큰을 뽑아내고 싶었고,
We wanted to squeeze out more tokens from the same chip than anyone else in the world,

291
00:13:27,680 --> 00:13:31,120
그건 가장 낮은 수준의 프로그래밍,
즉 커널에서 시작됩니다.
and that starts with the lowest level of programming: kernels.

292
00:13:31,120 --> 00:13:33,449
사실 그게 제 배경이기도 한데요, 저는
It's actually my background — I spent my whole professional life working on GPUs and kernels.

293
00:13:33,449 --> 00:13:36,000
커리어 내내 GPU와
커널을 다뤄왔습니다.

294
00:13:36,000 --> 00:13:38,399
엔비디아가 대학 재학
중이던 시절 첫 직장이었고,
Nvidia was my first job while I was in college,

295
00:13:38,399 --> 00:13:40,872
텐서 코어가 어떻게 칩에 자리를 얻을
and I got to see how the tensor cores got to earn their right to be on the chip.

296
00:13:40,872 --> 00:13:43,839
자격을 갖추게 됐는지
지켜볼 수 있었습니다.

297
00:13:43,839 --> 00:13:44,959
이게 2016년으로 거슬러
올라가는 얘기입니다.
This is back in 2016.

298
00:13:44,959 --> 00:13:47,120
일반인이 이해하기 쉽게
설명해 주시겠어요?
Just describe what that means for the lay person.

299
00:13:47,120 --> 00:13:52,079
그러니까, 텐서 코어는 GPU에서 행렬
곱셈을 가속하는 전용 유닛입니다.
So, okay, a tensor core is a specialized unit on the GPU that accelerates matrix multiplication.

300
00:13:52,079 --> 00:13:52,800
간단히 말하면 그렇습니다.
Simple as that.

301
00:13:52,800 --> 00:13:54,309
텐서 코어가 시간이 지나며 어떻게
There's been a long history of how we evolved the tensor core over time that we'll get into.

302
00:13:54,309 --> 00:13:56,320
진화해왔는지, 그 긴
역사는 이따 다뤄보죠.

303
00:13:56,320 --> 00:13:58,399
그런데 행렬 곱셈은 왜
그렇게 중요한 건가요?
And why is matrix multiplication so important?

304
00:13:58,399 --> 00:13:59,199
좋은 질문이네요.
That's a great question.

305
00:13:59,199 --> 00:14:02,891
사실 왜 행렬 곱셈이 연산의
원자 단위처럼 보이는지
I actually cannot say that there is a divine truth of the inverse that explains why matrix multiplies seem to be the atomic unit of computation.

306
00:14:02,891 --> 00:14:06,320
설명해주는 절대적인 진리
같은 건 없다고 봐요.

307
00:14:06,320 --> 00:14:09,337
다만 제가 들었던 설명
중 하나는, 숫자 두
But one way I've heard it described to me is, well, it's a really succinct way to mix two blocks of numbers together,

308
00:14:09,337 --> 00:14:12,480
블록을 아주 간결하게
섞는 방법이라는 거예요,

309
00:14:12,480 --> 00:14:14,639
그 둘이 흥미로운 방식으로
상호작용하게 만드는 거죠.
and have them interact in some interesting way.

310
00:14:14,639 --> 00:14:16,160
제가 말씀드릴 수 있는
건 그 정도입니다.
That's as much as I can say about it.

311
00:14:16,160 --> 00:14:18,594
선형대수가 데이터 속 임의의 관계를 아주
It is really convenient that linear algebra turns out to be a very compact representation of arbitrary relationships in data.

312
00:14:18,594 --> 00:14:21,360
압축적으로 표현해낸다는
게 정말 편리한 거죠.

313
00:14:21,360 --> 00:14:25,195
엔비디아는 뛰어난 그래픽
회사로서, GPU와 게이밍
So Nvidia, a great graphics company, obviously has had market share dominance in GPUs and gaming graphics for quite some time.

314
00:14:25,195 --> 00:14:29,440
그래픽 시장에서 꽤 오랫동안
점유율 우위를 지켜왔습니다.

315
00:14:29,440 --> 00:14:34,639
그러다 2010년대 중반부터 일종의
비밀 프로젝트들을 시작했어요,
And then, starting in the mid-2010s, they started these skunkworks projects,

316
00:14:34,639 --> 00:14:36,907
자신들이 주시하던 머신러닝 작업에 그래픽
to make the graphics processor more suitable for machine learning tasks that they were tracking.

317
00:14:36,907 --> 00:14:39,279
프로세서를 더 적합하게
만들기 위해서였죠.

318
00:14:39,279 --> 00:14:41,459
제가 엔비디아에 있을 때 매니저 몇 분의
I remember actually reading some of the lab notebooks of some of my managers when I was at Nvidia.

319
00:14:41,459 --> 00:14:43,440
연구 노트를 읽었던 기억이 나는데요.

320
00:14:43,440 --> 00:14:45,859
그분들은 당시 ICML이나 NeurIPS
They would visit these small ML conferences like ICML or NeurIPS at the time,

321
00:14:45,859 --> 00:14:47,839
같은 소규모 학회들을 다니시면서,

322
00:14:47,839 --> 00:14:50,519
이런 논문들을
메모해두시더라고요. '어, 이
and they would just take note of these papers, like, oh, this deep learning thing seems to be catching on,

323
00:14:50,519 --> 00:14:53,199
딥러닝이라는 게 뜨고
있나 보네' 하면서요,

324
00:14:53,199 --> 00:14:56,524
정말 흥미로운 건, 대학원생들이
자기네 대형 모델을 학습시키는
and what's really interesting is that these grad students are using gaming Nvidia GPUs in order to train their large models.

325
00:14:56,524 --> 00:14:59,360
데 게이밍용 엔비디아 GPU를
쓰고 있었다는 거예요.

326
00:14:59,360 --> 00:15:02,000
'이 부분을 더 파고들어서 무슨
일인지 알아봐야겠다' 싶었던 거죠,
We should double-click on this and figure out what's going on here,

327
00:15:02,000 --> 00:15:05,236
그래서 적어도 2015년,
2016년쯤엔 젠슨 황도
and by 2015, 2016 at least, Jensen had the conviction to kind of double down on:

328
00:15:05,236 --> 00:15:08,240
확신을 갖고 이쪽에 더
힘을 싣기 시작했습니다.

329
00:15:08,240 --> 00:15:11,680
'이봐, 우리 칩의 이런 쓰임새는
앞으로 계속 커질 수밖에 없어.'
'Hey, this usage of our models — of our chips — is only going to grow.'

330
00:15:11,680 --> 00:15:14,706
'이제 막 떠오르는
이 기능에 귀한 실리콘
Let's start allocating more and more precious silicon die area to this capability that seems to be emerging.

331
00:15:14,706 --> 00:15:17,600
다이 면적을 점점 더 내주기 시작하자.'

332
00:15:17,600 --> 00:15:20,320
'텐서 코어 첫 버전을 칩에 넣어보자.'
Let's put the first version of tensor cores on the chip.

333
00:15:20,320 --> 00:15:24,491
그러니까 화면에 픽셀을
그리도록 설계된 게이밍 칩을
So, we're talking about, you know, taking this gaming chip, which is designed for painting pixels on a screen, and adapting it to do matrix multiplies,

334
00:15:24,491 --> 00:15:28,959
가져다가, 행렬 곱셈을 하도록
개조한다는 얘기인 거죠,

335
00:15:28,959 --> 00:15:33,199
그리고 그때는 초창기였고, 사실상
그래픽 팀과 경쟁하는 셈이었죠
and it was early, and you would be competing against the graphics teams essentially

336
00:15:33,199 --> 00:15:34,880
더 많은 실리콘 면적을 요청할 때는요.
when you ask for more silicon area.

337
00:15:34,880 --> 00:15:37,360
그리고 어떤 칩 회사든 그 자리를
놓고 항상 경쟁이 있습니다.
And any chip company — there's always competition for that.

338
00:15:37,360 --> 00:15:40,320
설계자들이 정말 조심스럽게
지키는 부분이죠.
It is something that the designers guard so carefully.

339
00:15:40,320 --> 00:15:43,660
잘못된 기술에 투자하고
싶지 않은 게, 그건
You don't ever want to invest in the wrong technology, because that's opportunity cost that you could have allocated to some other functionality.

340
00:15:43,660 --> 00:15:47,279
다른 기능에 배분할 수
있었던 기회비용이니까요.

341
00:15:47,279 --> 00:15:49,697
그래서 저희는 이를 악물고 싸워서 아주
And so we kind of fought tooth and nail and got just a tiny bit of die area —

342
00:15:49,697 --> 00:15:52,000
작은 다이 면적을 겨우 얻어냈습니다—

343
00:15:52,000 --> 00:15:55,920
이 칩들의 첫 세대에서 아마
5~10% 정도, 그 정도였을 거예요.
maybe like 5, 10%, something like that, for the first generation of these chips,

344
00:15:55,920 --> 00:16:00,413
당시 컴퓨터 비전 모델의 기본 연산이었던
to get some amount of acceleration for basic convolutions, which were the fundamental operation for computer vision models in the day.

345
00:16:00,413 --> 00:16:05,519
컨볼루션에 어느 정도
가속을 주기 위해서였죠.

346
00:16:05,519 --> 00:16:08,477
그리고 저희에겐 칩에서
뽑아낼 수 있는 성능을
And then we had a software team that was trying to squeeze all the performance we could out of the chip.

347
00:16:08,477 --> 00:16:11,199
전부 짜내려는 소프트웨어
팀이 있었습니다.

348
00:16:11,199 --> 00:16:13,039
그 소프트웨어 팀에서
제가 일했는데, 사실
And I think on that software team, which is where I work, that's what actually taught me the most,

349
00:16:13,039 --> 00:16:14,639
거기서 가장 많이 배웠다고 생각해요,

350
00:16:14,639 --> 00:16:16,639
엔비디아가 가진 정신,
그러니까 '스피드 오브
about the ethos that Nvidia has around — they have this term called 'speed of light.'

351
00:16:16,639 --> 00:16:19,120
라이트(이론상 최대 성능)'라고
부르는 용어에 대해서요.

352
00:16:19,120 --> 00:16:22,160
그들은 만드는 모든 하드웨어에 대해
항상 스피드 오브 라이트를 쫓습니다.
They always chase the speed of light for any piece of hardware that they make.

353
00:16:22,160 --> 00:16:25,080
머신이 할 수 있는 일이라면
한계까지 밀어붙인다는
It is so ingrained in every engineer's mind that if the machine can do it, we're going to push the machine to the frontier

354
00:16:25,080 --> 00:16:28,000
생각이 모든 엔지니어의
머릿속에 깊이 박혀 있어요

355
00:16:28,000 --> 00:16:29,440
우리가 생각하는 수준에 도달할 때까지요.
until it does what we think is.

356
00:16:29,440 --> 00:16:31,279
그리고 스피드 오브 라이트는
가능한 것의 한계죠.
And the speed of light is the edge of what's possible.

357
00:16:31,279 --> 00:16:32,720
스피드 오브 라이트는
가능한 것의 한계군요.
The speed of light is the edge of what's possible.

358
00:16:32,720 --> 00:16:33,279
맞습니다.
Exactly.

359
00:16:33,279 --> 00:16:35,401
칩이 이 주파수로 돌고
사이클당 이만큼의 곱셈기를
If we think the chip can run at this frequency and produce this many multipliers per cycle, we're going to get there.

360
00:16:35,401 --> 00:16:37,759
만들어낼 수 있다고 생각하면,
우리는 거기 도달합니다.

361
00:16:37,759 --> 00:16:41,279
모든 병목을 깨고 그 최고
성능 수준에 도달할 겁니다.
We're going to break every bottleneck and get to that peak level of performance.

362
00:16:41,279 --> 00:16:43,492
그래서 지금도 저는 모든
엔지니어에게 100%
And so to this day, I tell all my engineers we're chasing 100% speed of light.

363
00:16:43,492 --> 00:16:45,440
스피드 오브 라이트를 쫓으라고 말합니다.

364
00:16:45,440 --> 00:16:47,199
경쟁사 대비 상대적인
수치는 신경 쓰지 않아요.
I don't care about relative numbers versus the competition.

365
00:16:47,199 --> 00:16:48,880
저는 오직 절대적인 수치만 신경 씁니다.
I only care about absolute numbers.

366
00:16:48,880 --> 00:16:51,839
칩에서 우리가 뭘 해낼 수 있고,
그걸 어떻게 달성하는가만요.
What are we able to do on the chip and how do we achieve that?

367
00:16:51,839 --> 00:16:55,084
엔비디아 시절 이야기를
마무리하기 전에, 그 문화적
Before we leave that chapter of your time at NVIDIA, anything else beyond that cultural touch point that really changed the way you think about things,

368
00:16:55,084 --> 00:16:58,560
지점 말고도 사고방식을 정말
바꿔놓은 게 더 있을까요,

369
00:16:58,560 --> 00:17:00,566
아니면 당시 사업이 돌아가던 방식이나 그
or that stood out the most about how the business ran back then, or its culture?

370
00:17:00,566 --> 00:17:02,480
문화에서 가장 인상적이었던 게 있나요?

371
00:17:02,480 --> 00:17:03,680
엔비디아 관련 일화가 정말 많습니다.
I have a ton of stories about Nvidia.

372
00:17:03,680 --> 00:17:05,120
몇 가지 말씀드릴 수 있는데요.
I can tell you a few of them.

373
00:17:05,120 --> 00:17:08,214
제가 제일 좋아하는 건 근속
얘기인데요. 2015, 2016년에
One of my favorites is that on the tenure side, a lot of people I worked with in Nvidia in 2015, 2016 are still there today.

374
00:17:08,214 --> 00:17:11,839
엔비디아에서 저와 같이 일했던 사람들
중 많은 수가 지금도 거기 있습니다.

375
00:17:11,839 --> 00:17:15,079
그 회사는 인력 유지율이 정말
놀랍고, 솔직히 말해 제가 커리어
That company has incredible retention, and these are the best engineers, frankly, on the silicon side, at least I've worked with in my whole career.

376
00:17:15,079 --> 00:17:18,319
통틀어 실리콘 쪽에서 함께 일해본
엔지니어 중 최고 수준입니다.

377
00:17:18,319 --> 00:17:20,640
정말, 정말 동기부여가
되어 있고 열정적이죠.
They're extremely, extremely motivated and passionate.

378
00:17:20,640 --> 00:17:23,742
병렬 컴퓨팅이라는 개념을
여러 형태로 거치는 내내
They've believed in parallel computing as a concept through its various incarnations and have loved seeing the chip evolve.

379
00:17:23,742 --> 00:17:26,959
믿어왔고, 칩이 진화하는
걸 보는 걸 좋아했습니다.

380
00:17:26,959 --> 00:17:30,720
이게 그들의 필생의 업이고, 그
방향으로는 정말, 정말 유능하죠.
This is their life's work, and they're extremely, extremely competent in that direction.

381
00:17:30,720 --> 00:17:32,400
또 굉장히 검소한 회사이기도 합니다.
They're also a very frugal company.

382
00:17:32,400 --> 00:17:35,212
엔비디아도, 그리고 아마
2008년 이후 실리콘밸리 회사들
Nvidia, and I guess all the Silicon Valley companies after 2008, had some cutbacks, like perks.

383
00:17:35,212 --> 00:17:37,760
전부도, 복지 같은 데서
좀 줄인 게 있었을 겁니다.

384
00:17:37,760 --> 00:17:38,720
그러니까 무료 점심
같은 건 없었던 거죠.
So, no free lunch.

385
00:17:38,720 --> 00:17:40,960
예를 들어 엔비디아는 한술 더 떴는데요.
For example, Nvidia took it one step further.

386
00:17:40,960 --> 00:17:42,960
냉장고에 공짜 우유도 없었습니다.
There was no free milk in the fridge.

387
00:17:42,960 --> 00:17:46,257
그래서 엔비디아에서 커피를
마시려고 우유가 필요하면,
So, if you wanted to drink coffee at Nvidia and you wanted some milk, you actually had to chip in a dollar every month to the milk club,

388
00:17:46,257 --> 00:17:49,440
실제로 매달 1달러씩 '밀크
클럽'에 내야 했어요.

389
00:17:49,440 --> 00:17:52,320
그럼 밀크 클럽이 코스트코 우유를
사다가 냉장고에 채워 넣는 거죠.
and the milk club would stock Costco milk in the fridge.

390
00:17:52,320 --> 00:17:54,480
그게 아직도 또렷이 기억나네요.
And I remember that distinctly.

391
00:17:54,480 --> 00:17:56,742
세일에서는 그렇게까지 하진 않지만, 그런
We don't do that at Sail, but it's a frugality that permeates the company.

392
00:17:56,742 --> 00:17:58,799
검소함이 회사 전체에 배어 있달까요.

393
00:17:58,799 --> 00:18:02,600
그러니까 그 시절을 거치면서,
소프트웨어로 밑단 하드웨어를
And so, coming out of this time there, you get this experience of what it's like to develop more efficient usage of the underlying hardware through software.

394
00:18:02,600 --> 00:18:06,400
더 효율적으로 쓰는 게 어떤
건지 몸으로 체득하신 거네요.

395
00:18:06,400 --> 00:18:06,799
네.
Yes.

396
00:18:06,799 --> 00:18:10,080
그럼 그걸 오늘날 상황이랑
한번 연결해 볼까요?
And so link that to, you know, today's environment.

397
00:18:10,080 --> 00:18:10,799
네, 그럼요.
Yeah, absolutely.

398
00:18:10,799 --> 00:18:13,760
그래서 저는 GPU가 근본적으로
처리량 기계라고 봅니다.
So, I think the GPU is fundamentally a throughput machine.

399
00:18:13,760 --> 00:18:16,645
GPU는 일감을 잔뜩
줘서 연산 유닛을 최대로
The GPU is happiest when you give it a lot of work to do and let it chew through that work at peak utilization of its compute units.

400
00:18:16,645 --> 00:18:19,760
가동하며 그 일을 소화하게
할 때 가장 좋아하죠.

401
00:18:19,760 --> 00:18:21,416
그런데 사실 지난 몇 년간 저희가
But that's actually not the way that we've taken AI in the last couple years.

402
00:18:21,416 --> 00:18:23,440
AI를 그런 식으로 다루지는 않았습니다.

403
00:18:23,440 --> 00:18:26,720
AI를 정말 대화형 챗봇 도구
쪽으로 밀어붙여 온 거예요.
We've really pushed AI to be an interactive chatbot tool.

404
00:18:26,720 --> 00:18:29,520
그게 오늘날 AI 사용의
가장 흔한 형태고요.
It's the most common form of AI usage today.

405
00:18:29,520 --> 00:18:32,541
그런 세상에서는 키보드
앞의 사용자에게 최대한
And in that world, you care a lot about actually spitting answers out to the person at the keyboard as quickly as possible.

406
00:18:32,541 --> 00:18:35,200
빨리 답을 뱉어내는 게 정말 중요합니다.

407
00:18:35,200 --> 00:18:36,880
사용자를 기다리게 하지 말라는 말씀처럼,
To your point about don't make the user wait, I want things as fast as possible.

408
00:18:36,880 --> 00:18:38,559
저도 뭐든 최대한 빠르게 하고 싶습니다.

409
00:18:38,559 --> 00:18:41,120
그리고 그게 사실 GPU
입장에서는 꽤 흥미로운 지점입니다.
And so that's actually quite interesting for the GPU.

410
00:18:41,120 --> 00:18:44,524
토큰을 빠르게 뱉어내려
하면, GPU를 컴퓨트가
It's very difficult to put the GPU in its happy path of being fully compute utilized when you're trying to spit out tokens quickly.

411
00:18:44,524 --> 00:18:48,320
완전히 활용되는 최적 경로에
두기가 매우 어렵습니다.

412
00:18:48,320 --> 00:18:51,283
GPU에는 처리량 중심이냐
레이턴시 최적화냐
There's a fundamental trade-off on the GPU between being throughput oriented or latency optimized,

413
00:18:51,283 --> 00:18:54,000
사이에 근본적인 트레이드오프가 있습니다.

414
00:18:54,000 --> 00:18:59,679
다들 레이턴시 최적화를 택해왔죠,
사용 형태가 챗봇 중심이었으니까요.
and everyone has chosen latency optimization because the shape of usage was chatbot oriented.

415
00:18:59,679 --> 00:19:02,559
그게 앞으로 1년 안에 보게 될
가장 근본적인 변화라고 생각합니다.
I believe that's the most profound change we're going to see in the next year.

416
00:19:02,559 --> 00:19:04,210
챗봇에서 벗어나 좀 더 능동적인,
We're going to move away from chatbots to more proactive or background agents.

417
00:19:04,210 --> 00:19:06,320
백그라운드 에이전트
쪽으로 옮겨갈 겁니다.

418
00:19:06,320 --> 00:19:10,000
그런 세상에서는 처리량 중심으로
스택을 짜는 게 훨씬 더 합리적입니다.
And in that world, it makes a lot more sense to build a stack around throughput.

419
00:19:10,000 --> 00:19:12,700
처리량과 레이턴시 사이의
트레이드오프가 왜 절대 깨질
Can you explain technically why the trade-off between throughput and latency is unbreakable?

420
00:19:12,700 --> 00:19:15,120
수 없는지, 기술적으로
설명해 주실 수 있나요?

421
00:19:15,120 --> 00:19:17,280
왜 같은 하드웨어에서 둘
다 가질 수는 없는 건가요?
Why can't we have both from the same hardware?

422
00:19:17,280 --> 00:19:20,960
거의 모든 시스템에서 볼 수
있는, 꽤 근본적인 원리입니다.
It's quite foundational in almost every system that you could ever possibly look at.

423
00:19:20,960 --> 00:19:24,959
적은 양의 데이터를 최대한 빨리
통과시키는 것과, 대신 여유
There's always a trade-off between getting a small amount of data through the system as quickly as possible and leaving a lot of buffer room for that.

424
00:19:24,959 --> 00:19:29,200
버퍼를 넉넉히 남겨두는 것 사이엔
항상 트레이드오프가 있습니다.

425
00:19:29,200 --> 00:19:32,102
넓고 느리게 갈지, 좁고
빠르게 갈지 — 이건
Or trying to run wide and slow, narrow and fast, or wide and slow, is like a classic trade-off in all computer science.

426
00:19:32,102 --> 00:19:35,120
컴퓨터 과학 전반의 고전적인
트레이드오프입니다.

427
00:19:35,120 --> 00:19:37,667
그런데 GPU만 놓고
보면, 특히 주목할 게
But for GPU specifically, I think there's one thing to focus on, which is there's this concept of batching on the GPU.

428
00:19:37,667 --> 00:19:40,320
하나 있는데, 바로
GPU의 배칭 개념입니다.

429
00:19:40,320 --> 00:19:43,741
GPU에서 한 번에 다 같이
돌릴 수 있도록, 여러
We want to group many users' work together into a batch that we can run all at once on the GPU.

430
00:19:43,741 --> 00:19:47,039
사용자의 작업을 하나의
배치로 묶고 싶은 겁니다.

431
00:19:47,039 --> 00:19:48,799
그게 바로 GPU의 병렬 처리입니다.
That's the parallel processing of the GPU.

432
00:19:48,799 --> 00:19:51,200
병렬로 처리할 작업이 많으면 좋으니까요.
We'd like to have a lot of parallel work to do.

433
00:19:51,200 --> 00:19:53,226
문제는, 큰 배치를 한꺼번에 돌리면
The thing is though, you're doing net more work when you run a large batch of compute together.

434
00:19:53,226 --> 00:19:55,679
전체적으로 할 일이
더 많아진다는 겁니다.

435
00:19:55,679 --> 00:19:57,440
그래서 모든 유닛을 다
채우고 있을 수는 있어요.
And so you might be filling all the units.

436
00:19:57,440 --> 00:20:00,874
하지만 배치를 GPU에 태워 나르는 매
But every step along the way, as you carry a batch of work through the GPU, there's more work to be done.

437
00:20:00,874 --> 00:20:04,799
단계마다, 처리해야 할
일이 더 많아집니다.

438
00:20:04,799 --> 00:20:08,559
그러니까 그 배치 안의 개별
토큰, 혹은 개별 사용자의 요청은,
And so any individual token, or any individual user's request in that batch,

439
00:20:08,559 --> 00:20:10,969
다른 사람들의 트래픽과
함께 실려 다니느라
it's going to spend a longer time on the GPU, being carried with other people's traffic.

440
00:20:10,969 --> 00:20:12,960
GPU에서 더 오래 머물게 됩니다.

441
00:20:12,960 --> 00:20:15,960
이렇게 비유할 수 있을 것
같은데요, SF 시내로 가고
Maybe the way to say it is, if you want to get downtown in SF, you can take the bus or you can take a private transit.

442
00:20:15,960 --> 00:20:18,960
싶을 때 버스를 탈 수도,
자가용을 탈 수도 있습니다.

443
00:20:18,960 --> 00:20:22,880
자가용은 최단 직선 경로로,
자기만의 길을 곧장 갈 수 있죠.
And the private transit is going to have its own direct path, as the crow flies.

444
00:20:22,880 --> 00:20:25,600
아니면 원하는 도로만 그대로 타고,
A 지점에서 B 지점까지 가는 거죠.
Or, using exactly the roads that you want, from point A to point B.

445
00:20:25,600 --> 00:20:28,470
버스는 훨씬 많은 사람을 태워야 하니,
A bus, it's going to have to serve many more people, and it has to fundamentally do something that works for everyone.

446
00:20:28,470 --> 00:20:32,159
근본적으로 모두에게 맞는
방식으로 다녀야 합니다.

447
00:20:32,159 --> 00:20:34,497
그래서 더 느린 경로로
가고, 다른 사람들이
And so it takes a slower path, and it stops and waits for other people to get on and off.

448
00:20:34,497 --> 00:20:36,640
타고 내릴 때까지 멈춰서 기다리는 거죠.

449
00:20:36,640 --> 00:20:38,960
버스와 자가용 비유,
꽤 정확한 것 같아요.
I think the bus versus car analogy is pretty accurate.

450
00:20:38,960 --> 00:20:40,000
정말 좋은 비유네요.
And it's a great analogy.

451
00:20:40,000 --> 00:20:43,210
그럼 지금 하려는 일의
1단계는, 엔비디아
And so step one for what you're trying to do is create the best possible bus on top of Nvidia GPUs.

452
00:20:43,210 --> 00:20:46,559
GPU 위에서 최고의
버스를 만드는 거네요.

453
00:20:46,559 --> 00:20:49,120
그게 최적화의 첫 단계인 거고요.
That's step one of your optimization.

454
00:20:49,120 --> 00:20:49,840
정확히 맞습니다.
That's exactly right.

455
00:20:49,840 --> 00:20:52,480
다양한 병렬화 방식 같은
걸 탐색한다는 뜻입니다.
It means we explore things like different parallelism schemes.

456
00:20:52,480 --> 00:20:55,919
엔비디아 GPU와 관련해서
또 다른 예를 들어볼게요.
Maybe that's another example I can give you is with Nvidia GPUs.

457
00:20:55,919 --> 00:20:58,385
엔비디아가 정말
혁신적으로 잘 해낸 것 중
One of the things that they've really innovated on and done a great job with is the NVLink interconnect between GPUs.

458
00:20:58,385 --> 00:21:01,280
하나가, GPU 간
NVLink 인터커넥트입니다.

459
00:21:01,280 --> 00:21:04,927
사실 이 NVLink
시스템이 워낙 뛰어나서,
And in fact, that NVLink system is so good that you can, if you have a large matrix multiply that you want to perform faster.

460
00:21:04,927 --> 00:21:08,720
더 빠르게 수행하고 싶은
큰 행렬 곱셈이 있다면

461
00:21:08,720 --> 00:21:12,097
그 행렬 곱셈을 반으로
잘라, 두 개 이상, 최대
You can actually cut that matrix multiply in half and shard it across two or more, up to eight, let's say, Nvidia GPUs.

462
00:21:12,097 --> 00:21:15,600
8개까지 엔비디아 GPU에
나눠 담을 수 있습니다.

463
00:21:15,600 --> 00:21:17,658
그리고 각 GPU가 그 큰 행렬 곱셈의
And have them all work on pieces of that larger matrix multiply.

464
00:21:17,658 --> 00:21:19,520
일부씩을 맡아 처리하게 하는 거죠.

465
00:21:19,520 --> 00:21:22,159
그렇게 나온 결과들을
마지막에 다시 합치고요.
And have them connect their results together at the end.

466
00:21:22,159 --> 00:21:24,400
마지막에 결과들을 리듀스해서
다시 합치는 겁니다.
Reduce their results back together at the end.

467
00:21:24,400 --> 00:21:29,760
이건 연산의 최소 레이턴시를
줄이는 훌륭한 방법입니다.
And this is a great way to cut the minimum latency of an operation.

468
00:21:29,760 --> 00:21:32,825
이제 각 GPU가 예를 들어
8분의 1만큼만 작업을
Each GPU is now doing 1/8 as much work, let's say, and therefore it can finish faster, but not eight times faster.

469
00:21:32,825 --> 00:21:36,000
하니, 더 빨리 끝나긴 해도
8배 빨라지진 않습니다.

470
00:21:36,000 --> 00:21:37,280
선형에 못 미치는, 이른바
서브리니어 스케일링인 거죠.
It's sublinear scaling.

471
00:21:37,280 --> 00:21:40,880
하드웨어는 8배 더 쓰지만,
속도는 8배가 안 나옵니다.
You'll use eight times more hardware, but you won't get eight times the speed.

472
00:21:40,880 --> 00:21:43,039
속도는 한 4~5배 정도
나올 수도 있고요.
You might get like four to five-x the speed.

473
00:21:43,039 --> 00:21:44,559
'스트롱 스케일링'은
얻을 수 없는 거죠.
You're not going to get strong scaling.

474
00:21:44,559 --> 00:21:46,320
이건 통신 오버헤드 때문입니다.
And this is because of communication overhead.

475
00:21:46,320 --> 00:21:48,778
큰 작업 덩어리보다 작은
덩어리를 맡을 때,
It's because every GPU is going to be a little bit less efficient working on a smaller tile of work than a larger tile of work.

476
00:21:48,778 --> 00:21:51,440
각 GPU의 효율이 조금씩
떨어지기 때문이에요.

477
00:21:51,440 --> 00:21:53,586
그래서 가능한 최소 레이턴시를 원한다면,
And so it's the only way to speed up, if you want the minimum latency possible.

478
00:21:53,586 --> 00:21:55,440
이게 유일한 속도 향상 방법입니다.

479
00:21:55,440 --> 00:21:58,000
그렇게 할 수도 있지만, 저라면
그 선택은 안 할 겁니다.
You can do that, but it is not the choice I would make.

480
00:21:58,000 --> 00:22:00,800
예를 들어 저는 익스퍼트
병렬화나 파이프라인
For example, I would prefer to use a different parallelism scheme, like expert parallelism or pipeline parallelism.

481
00:22:00,800 --> 00:22:03,600
병렬화 같은 다른 병렬화
방식을 선호합니다.

482
00:22:03,600 --> 00:22:08,240
통신 레이턴시를 오버랩시켜서 숨기는
재미있는 방법들도 쓸 수 있고요.
And we may do interesting things to overlap and hide the communication latency.

483
00:22:08,240 --> 00:22:12,159
저지연 서버에서는 그렇게
할 여지가 훨씬 적죠.
In a way that you would have less ability to do that for a low latency server.

484
00:22:12,159 --> 00:22:16,720
그럼 NVLink는 레이턴시 성능을
개선하는 기술로 이해하면 맞을까요?
So is the right way to think about NVLink as a technology which improves latency performance?

485
00:22:16,720 --> 00:22:16,960
네.
Yes.

486
00:22:16,960 --> 00:22:18,400
레이턴시 성능만요.
And only latency performance.

487
00:22:18,400 --> 00:22:22,799
그게 저희 회사가 다르게 하는
부분으로 자연스럽게 이어지는데요.
Which will segue into the next segment of what we do differently as a company.

488
00:22:22,799 --> 00:22:26,240
어쨌든 저지연 추론에는
NVLink가 필수라고 봐야 합니다.
But yes, NVLink is mandatory, I would say, for low latency inference.

489
00:22:26,240 --> 00:22:28,880
그러니까 엔비디아는
저지연 추론에 탁월하죠.
So Nvidia is excellent at low latency inference.

490
00:22:28,880 --> 00:22:31,600
그런데 저희는 저지연 추론에
그렇게 신경 쓰지 않습니다.
And I'm telling you that we don't really care that much about low latency inference.

491
00:22:31,600 --> 00:22:32,799
그럼 저희 입장은 뭘까요?
So where does that leave us?

492
00:22:32,799 --> 00:22:38,480
다른 회사들이 NVLink를 금방
따라잡을 거라고는 기대하지 않습니다.
Well, I think I'm not holding my breath for other companies broadly to figure out NVLink quickly.

493
00:22:38,480 --> 00:22:40,400
구현하기 어려운 기술이거든요.
It's a challenging technology to figure out.

494
00:22:40,400 --> 00:22:41,280
스케일링하기도 어렵고요.
It's hard to scale.

495
00:22:41,280 --> 00:22:42,480
실제 제품화하기도 어렵습니다.
It's hard to productionize.

496
00:22:42,480 --> 00:22:45,906
그래서 다른 벤더의 칩이
있는데 기본 연산 요소는
And so, if I do have some other vendor's chip and it is good at the foundational compute components, it can still do matrix multiplies really well.

497
00:22:45,906 --> 00:22:49,840
뛰어나다면, 행렬 곱셈은
여전히 아주 잘할 수 있습니다.

498
00:22:49,840 --> 00:22:53,200
다만 그 결과를 다른 칩들에
빠르게 전달하지는 못하는 거죠.
It just can't communicate those results across its peers quickly.

499
00:22:53,200 --> 00:22:57,278
그렇다면 그 칩도 달러당
연산 성능이 정말 좋은
Well, maybe there's a room for that other chip in my stack as a really, really good compute-per-dollar option.

500
00:22:57,278 --> 00:23:01,200
옵션으로 제 스택에
자리를 잡을 수 있습니다.

501
00:23:01,200 --> 00:23:03,200
실제로 대부분의 경우 제가 최적화하는
And that's what I actually optimize for in most cases is how many flops does this chip have,

502
00:23:03,200 --> 00:23:05,200
건 이 칩이 플롭스를 얼마나 내는지,

503
00:23:05,200 --> 00:23:06,880
그리고 시간당 운영 비용, 즉 소유하고
and how much is it going to cost me per hour to operate, to own and operate.

504
00:23:06,880 --> 00:23:08,640
운영하는 데 드는 비용이 얼마인지입니다.

505
00:23:08,640 --> 00:23:11,653
달러당 플롭스로는 엔비디아보다
확실히 앞서는 칩들도
And so there are other chips that definitely rank higher than Nvidia on flops per dollar, but they may not have as much interconnect.

506
00:23:11,653 --> 00:23:14,559
있지만, 인터커넥트는
그만큼 못 갖췄을 수 있죠.

507
00:23:14,559 --> 00:23:17,569
그러면 이 칩을 추론에 적합하게 만들
And so it's my job to figure out what parallelism scheme am I going to use that's going to make this chip suitable for inference.

508
00:23:17,569 --> 00:23:20,880
병렬화 방식을 찾아내는 게 제 일입니다.

509
00:23:20,880 --> 00:23:22,240
텐서 병렬화는 아닐 겁니다.
It's not going to be tensor parallelism.

510
00:23:22,240 --> 00:23:24,880
텐서 병렬화에는 사실상
엔비디아가 필수니까요.
Nvidia is basically mandatory for that.

511
00:23:24,880 --> 00:23:27,039
하지만 다른 기법들이 저한테는
잘 맞을 수도 있습니다.
But other techniques may work well for me.

512
00:23:27,039 --> 00:23:31,782
레이턴시 얘기를 마무리하기
전에, 세레브라스처럼 엄청나게
So before we leave the latency part of the story, can you comment on companies like Cerebras or others that can perform incredibly fast operations?

513
00:23:31,782 --> 00:23:35,760
빠른 연산을 하는 회사들
얘기 좀 해주시겠어요?

514
00:23:35,760 --> 00:23:37,757
그런 접근법들, 그런
회사들에 대해 어떻게
I'm curious what you think about those approaches, those companies, what might happen in the future.

515
00:23:37,757 --> 00:23:39,840
생각하시는지, 앞으로
어떻게 될지 궁금해요.

516
00:23:39,840 --> 00:23:43,919
초저지연에 특화된 하드웨어의
미래를 어떻게 전망하세요?
What is your prediction for the future of very low latency focused hardware?

517
00:23:43,919 --> 00:23:46,880
세레브라스, 그록(Groq),
그리고 최근에 스텔스 모드에서
Cerebras, Groq, and a couple others that are coming out of stealth now, I think, have made a very interesting bet

518
00:23:46,880 --> 00:23:49,840
나온 몇몇 회사들이 아주 흥미로운
베팅을 했다고 생각합니다.

519
00:23:49,840 --> 00:23:53,192
그냥 또 다른 GPU를 만드는
게 아니라, 다른 메모리
on not just building another GPU, but actually building a different kind of accelerator that focuses on a different memory hierarchy.

520
00:23:53,192 --> 00:23:56,880
계층에 집중한 완전히 다른
방식의 가속기를 만드는 쪽으로요.

521
00:23:56,880 --> 00:24:00,720
칩 위에 SRAM 용량을
최대한 늘려서, 가중치와
They want to maximize the amount of SRAM on the chip and use that as very, very fast memory for weights and KV cache.

522
00:24:00,720 --> 00:24:04,559
KV 캐시용으로 아주 빠른
메모리로 쓰려는 거죠.

523
00:24:04,559 --> 00:24:06,166
그러니까 SRAM 대 DRAM인데, 칩용
So, SRAM versus DRAM — there's two ways to make memory for a chip.

524
00:24:06,166 --> 00:24:07,919
메모리를 만드는 방법은
두 가지가 있습니다.

525
00:24:07,919 --> 00:24:10,720
하나는 로직 다이 자체에
메모리를 통합하는 방식입니다.
One is to integrate the memory on the logic die itself.

526
00:24:10,720 --> 00:24:13,756
즉 TSMC에 '이 칩에
이만큼의 메가바이트
Meaning, you tell TSMC, I want this many megabytes of storage on my chip.

527
00:24:13,756 --> 00:24:16,159
용량을 넣어달라'고 요청하는 거죠.

528
00:24:16,159 --> 00:24:18,159
그리고 그걸 만드는 방법이 있습니다.
And there's a way to build that.

529
00:24:18,159 --> 00:24:21,127
TSMC에는 쓸 수 있는 표준
셀 라이브러리가 있어서,
TSMC has a standard cell library you can use, and you can just print out a bunch of cells of SRAM.

530
00:24:21,127 --> 00:24:23,600
SRAM 셀을 그냥 잔뜩
찍어낼 수 있습니다.

531
00:24:23,600 --> 00:24:28,240
문제는 SRAM이 실리콘 다이에서
면적을 많이 차지한다는 겁니다.
The problem with SRAM is it takes a lot of area on the silicon die.

532
00:24:28,240 --> 00:24:30,231
그래서 예를 들어 엔비디아 블랙웰처럼
So if you want to build a large die, like let's say the Nvidia Blackwell at 800 mm²,

533
00:24:30,231 --> 00:24:32,720
800mm² 크기의 큰
다이를 만든다고 하면,

534
00:24:32,720 --> 00:24:36,470
그 다이 전체를 DRAM으로
만든다면, 아마 한 자릿수
if you made that whole DRAM, it would be maybe like single-digit gigabytes — it's not a crazy amount of data storage.

535
00:24:36,470 --> 00:24:40,720
기가바이트 정도일 겁니다. 그렇게
엄청난 저장 용량은 아니죠.

536
00:24:40,720 --> 00:24:44,480
그에 비해, 아예 다른 공정
기술을 쓸 수도 있습니다.
Compare that to if you're willing to take a different process technology entirely.

537
00:24:44,480 --> 00:24:46,371
그러면 이제 TSMC가 아니라 마이크론,
So not TSMC anymore, but now Micron, SK Hynix, Samsung.

538
00:24:46,371 --> 00:24:47,919
SK하이닉스, 삼성이 되는 거죠.

539
00:24:47,919 --> 00:24:51,109
이 회사들은 DRAM을
만드는데, 트랜지스터 셀보다
They build DRAM, which is a whole different way to build memory that's more focused on capacitors than transistor cells.

540
00:24:51,109 --> 00:24:54,640
커패시터에 집중하는 완전히
다른 메모리 제작 방식입니다.

541
00:24:54,640 --> 00:24:56,633
그러니까 SRAM은, 표준적으로 만드는
So, SRAM — the standard way to build SRAM is what's called the 6T transistor cell.

542
00:24:56,633 --> 00:24:58,720
방식이 이른바 6T 트랜지스터 셀입니다.

543
00:24:58,720 --> 00:25:02,880
비트를 기록할 수 있는
안정적인 트랜지스터 배열이고,
It's a stable transistor arrangement that allows you to write a bit to it,

544
00:25:02,880 --> 00:25:06,559
계속 걸어주는지 여부와 상관없이
그 비트 상태를 유지합니다.
and then it holds that state in that bit regardless of whether you keep applying.

545
00:25:06,559 --> 00:25:09,065
음, 전원은 계속
걸어줘야 하지만, 별도의
Well, you had to apply some power, but it's holding that bit without any sort of active management.

546
00:25:09,065 --> 00:25:11,679
능동적 관리 없이 그
비트를 유지하는 거죠.

547
00:25:11,679 --> 00:25:12,960
정적(static)인 겁니다.
It's static.

548
00:25:12,960 --> 00:25:16,470
반면 다이내믹 램,
DRAM은요, 데이터를 쓸 때
Now, dynamic RAM, DRAM — it's dynamic because what you do to write some data is you write a charge onto a capacitor,

549
00:25:16,470 --> 00:25:20,240
커패시터에 전하를 기록하기
때문에 '다이내믹'입니다.

550
00:25:20,240 --> 00:25:23,840
그리고 그 전하를 커패시터에 기록하자마자,
전하가 빠져나가기 시작합니다.
and as soon as you write that charge into that capacitor, the charge is dissipating.

551
00:25:23,840 --> 00:25:24,720
계속 새어 나가고 있는 거죠.
It's been leaking.

552
00:25:24,720 --> 00:25:28,052
그래서 DRAM의 '다이내믹'한
부분은, 대략 50밀리초마다
And so the dynamic part of DRAM is that you must, every 50 milliseconds or so, refresh every bit you've written.

553
00:25:28,052 --> 00:25:30,880
기록해둔 모든 비트를
리프레시해줘야 한다는 거예요.

554
00:25:30,880 --> 00:25:33,370
그러니까 계속 수십억 개의 공을
공중에서 저글링하는 셈이죠 —
So you're constantly juggling billions of balls in the air — essentially, billions of bits have to be managed by a memory controller,

555
00:25:33,370 --> 00:25:36,080
사실상 수십억 개의 비트를 메모리
컨트롤러가 관리해야 하는 거예요.

556
00:25:36,080 --> 00:25:38,880
그 컨트롤러가 DRAM의 모든
비트를 읽고 리프레시하는 거고요.
which is reading and refreshing every bit on the DRAM.

557
00:25:38,880 --> 00:25:41,344
대신 얻는 이점은 훨씬 더 높은 밀도고,
Now the benefit of that is you can get much much higher density, and it's a whole different process technology.

558
00:25:41,344 --> 00:25:43,360
아예 다른 공정 기술이기도 해요.

559
00:25:43,360 --> 00:25:44,720
트레이드오프가 정말 많죠.
There's a ton of different trade-offs.

560
00:25:44,720 --> 00:25:47,185
그래서 DRAM 제조는
마이크론, SK하이닉스,
Hence why we split the DRAM manufacturing into an entirely different company, like Micron, SK Hynix, and Samsung.

561
00:25:47,185 --> 00:25:49,840
삼성 같은 완전히 별개
회사로 분리돼 있는 거고요.

562
00:25:49,840 --> 00:25:51,520
이 분야에서 세계 최고의 회사들이에요.
These are the best companies in the world to do this.

563
00:25:51,520 --> 00:25:52,640
이 회사들이 DRAM을 만드는 거죠.
They build DRAM.

564
00:25:52,640 --> 00:25:57,039
이 회사들의 DRAM을
가져다가 여러 층으로 쌓고,
And if you take DRAM from those companies and you stack it into many layers,

565
00:25:57,039 --> 00:26:03,760
엔비디아에서 나온 메인 로직 다이
주변에 인쇄하거나 납땜하듯 붙이면,
and you kind of print them or solder them around the main logic die that you get from Nvidia,

566
00:26:03,760 --> 00:26:07,451
이제 수백 GB를 얻을
수 있어요. 블랙웰은 로직
you can now get hundreds of gigabytes, like Blackwell has 288 GB of HBM capacity around the logic die.

567
00:26:07,451 --> 00:26:11,279
다이 주변에 288GB의
HBM 용량을 갖고 있죠.

568
00:26:11,279 --> 00:26:15,679
그런데 로직 다이 자체에는 SRAM이
500MB 정도밖에 없어요.
And the logic die itself maybe only has like 500 megabytes of SRAM.

569
00:26:15,679 --> 00:26:19,214
그러니까 DRAM과
SRAM의 밀도 차이는 자릿수
So it's possibly multiple orders of magnitude, three orders of magnitude difference in density for DRAM versus SRAM.

570
00:26:19,214 --> 00:26:22,880
여러 개, 어쩌면 3자릿수
정도 차이가 나는 거죠.

571
00:26:22,880 --> 00:26:24,159
자, 그럼 다시 세레브라스
얘기로 돌아가 볼까요?
Okay, so let's go back to Cerebras.

572
00:26:24,159 --> 00:26:24,880
거긴 뭘 하고 있는 건가요?
What are they doing?

573
00:26:24,880 --> 00:26:27,357
음, 세레브라스는 이 문제를
알고 있어요. 칩 위에서
Well, they see this problem, there's not really an obvious way to increase SRAM density on the chip.

574
00:26:27,357 --> 00:26:29,919
SRAM 밀도를 높일 뚜렷한
방법은 딱히 없다는 거죠.

575
00:26:29,919 --> 00:26:33,096
그런데 SRAM의 특징은,
실제로 연산을 하는
But the thing with SRAM is, because it's so physically close to the logic gates that actually do the computation,

576
00:26:33,096 --> 00:26:36,400
로직 게이트와 물리적으로
아주 가깝다는 거예요.

577
00:26:36,400 --> 00:26:41,039
산술 논리 유닛이 데이터를 가져올
SRAM 바로 옆에 붙어 있는 거죠.
the arithmetic logic units are right next to the SRAM that they're going to pull from,

578
00:26:41,039 --> 00:26:44,000
그래서 행렬 곱셈을 하는
연산 유닛들이 SRAM에서
the compute units that are doing the matrix multiplies can pull data from SRAM at just mind-boggling speeds.

579
00:26:44,000 --> 00:26:46,960
정말 어마어마한 속도로
데이터를 가져올 수 있어요.

580
00:26:46,960 --> 00:26:49,244
세레브라스는 초당 페타바이트
단위를 얘기하는데, 더 나아가
You know, Cerebras quotes petabytes per second, 21 petabytes per second, further away, for Scale Engine 3.

581
00:26:49,244 --> 00:26:51,600
Scale Engine 3
기준으로는 21PB/s라고 하죠.

582
00:26:51,600 --> 00:26:55,123
그걸 엔비디아 블랙웰의
HBM과 비교하면,
And so compare that to HBM on an Nvidia Blackwell, it's, you know, 10 terabytes per second or so, in that range.

583
00:26:55,123 --> 00:26:58,799
대략 10TB/s 정도,
그 정도 범위예요.

584
00:26:58,799 --> 00:27:01,753
그러니까 다시 한번, 자릿수
여러 개가 차이 나는 거죠 —
So once again, many orders of magnitude difference, more capacity, but proportionally less bandwidth, essentially.

585
00:27:01,753 --> 00:27:04,799
용량은 더 크지만, 사실상
그만큼 대역폭은 더 적은 거고요.

586
00:27:04,799 --> 00:27:06,959
그래서 세레브라스가 하는 건, 이
And so what Cerebras does is they say that we're going to take as many of these dies as we can.

587
00:27:06,959 --> 00:27:09,600
다이를 최대한 많이 가져가겠다는 거예요.

588
00:27:09,600 --> 00:27:13,308
TSMC가 부과하는
800mm² 레티클 한계,
We're not going to limit ourselves to the 800 millimeter reticle limit, the TSMC 800 square millimeter limit that TSMC imposes on us.

589
00:27:13,308 --> 00:27:16,720
그 제한에 스스로를
가두지 않겠다는 거죠.

590
00:27:16,720 --> 00:27:19,522
전체 웨이퍼를 통째로 써서, 모든 다이가
We're going to take the entire wafer and have actually every die connect to every other die over scribe lines.

591
00:27:19,522 --> 00:27:22,960
스크라이브 라인을 통해
서로 연결되게 하는 거죠.

592
00:27:22,960 --> 00:27:27,919
그리고 웨이퍼 전체에 최대한 많은
SRAM을 넣으려는 겁니다.
And we're just going to try to get as much SRAM as we can on the whole wafer.

593
00:27:27,919 --> 00:27:31,520
그러면 웨이퍼당 50GB 정도의
SRAM까지 갈 수 있고,
And we can get to, let's say, 50 gigabytes of SRAM per wafer,

594
00:27:31,520 --> 00:27:34,960
그런 웨이퍼 여러 장을
파이프라인 식으로 쌓아서,
and then we're going to stack many wafers together in a pipeline or similar,

595
00:27:34,960 --> 00:27:40,080
최대 1TB에 달하는, 아주아주
빠른 메모리를 확보하는 겁니다.
and now we can have, you know, up to a terabyte of memory, very very fast memory,

596
00:27:40,080 --> 00:27:43,406
이 모든 걸 하는 이유는 결국 웨이퍼당
and you do all that work just to get to the ability to read data from SRAM at, yeah, 21 petabytes per second per wafer,

597
00:27:43,406 --> 00:27:48,000
21PB/s로 SRAM
데이터를 읽어내기 위해서고요,

598
00:27:48,000 --> 00:27:50,257
그래서 이런 언어 모델을
초당 토큰 수 기준으로
therefore you can now serve these language models at extremely high tokens per second,

599
00:27:50,257 --> 00:27:52,080
극도로 빠르게 서빙할 수 있게 됩니다.

600
00:27:52,080 --> 00:27:56,320
왜냐하면 키미(Kimi) 같은
대형 모델의 전체 파라미터를,
because you can move the entire parameter count of a large model like Kimi,

601
00:27:56,320 --> 00:28:00,220
칩 안팎으로, 아니 정정하면
로직 코어 안팎으로
you can move all that data in and off the chip, or sorry, in and off the logic cores, in about a millisecond or something like that.

602
00:28:00,220 --> 00:28:03,520
1밀리초 정도 만에 옮길 수 있으니까요.

603
00:28:03,520 --> 00:28:06,960
그렇게 해서 초당 1000토큰으로
가는 길이 열리는 겁니다.
So there you go, you have a path to a thousand tokens per second.

604
00:28:06,960 --> 00:28:09,919
그럼 그 시장 부문은 어떻게 전망하세요?
And so what is your prediction for that segment of the market?

605
00:28:09,919 --> 00:28:14,120
제 생각엔 결국 일종의
하이브리드로 귀결될 것 같습니다.
Okay, so I think what happens to them is some hybrid sort of outcome, like we had to pair the Cerebras chip where it's very strong.

606
00:28:14,120 --> 00:28:18,320
세레브라스 칩이 강한 부분과
짝을 지어야 하는 식으로요.

607
00:28:18,320 --> 00:28:20,824
세레브라스는 메모리에
빠르게 접근하는 데는 정말
It's very, very good at fast access to memory, with something that has more capacity for memory,

608
00:28:20,824 --> 00:28:23,520
강하니까, 용량이 더 큰
메모리와 짝을 짓는 거죠.

609
00:28:23,520 --> 00:28:26,810
실제로 키미 같은 1조 파라미터 모델도
because it's true that you can take a one trillion parameter model like Kimi and fit it on a large number of Cerebras wafers.

610
00:28:26,810 --> 00:28:31,039
세레브라스 웨이퍼 여러
장에 담을 수는 있거든요.

611
00:28:31,039 --> 00:28:34,559
하지만 KV 캐시는 그렇게
쉽게 처리할 수가 없습니다.
But you can't do something about the KV cache very easily.

612
00:28:34,559 --> 00:28:39,760
KV 캐시는 사람들이 모델을 더 쓸수록
커지는 것이라, 늘 동적이거든요.
The KV cache is something that grows as people use the model more, and that is always dynamic.

613
00:28:39,760 --> 00:28:41,440
KV 캐시가 얼마나 필요할지조차
미리 알 수가 없죠.
You don't even know how much KV cache you're going to need.

614
00:28:41,440 --> 00:28:43,543
사용자가 누구인지, 몇 명인지, 몇 명을
It depends on what your users, how many users you have and how many users you want to serve.

615
00:28:43,543 --> 00:28:45,360
서빙하고 싶은지에 달려 있으니까요.

616
00:28:45,360 --> 00:28:47,520
KV 캐시를 아주 기본적으로
설명해 주실 수 있나요?
Can you explain KV cache just like in basic?

617
00:28:47,520 --> 00:28:47,679
네.
Yeah.

618
00:28:47,679 --> 00:28:52,704
KV 캐시란, 언어 모델을 쓸
때 모델에 넣는 토큰 하나하나가
So KV cache, whenever you use a language model, every token you send through the language model actually stays in the context window of the language model,

619
00:28:52,704 --> 00:28:58,320
실제로 그 모델의 컨텍스트 윈도우
안에 계속 남아 있는 걸 말합니다.

620
00:28:58,320 --> 00:29:00,559
대화가 이어지는 동안 계속요.
for as long as you're having a conversation.

621
00:29:00,559 --> 00:29:04,385
그러니까 10만 토큰 동안
대화했다면, 10만 1번째
So if we talk for 100,000 tokens, the 100,001st token is still in the conversation behind us.

622
00:29:04,385 --> 00:29:08,080
토큰에서도 그 앞의 대화는
여전히 남아 있는 거죠.

623
00:29:08,080 --> 00:29:11,600
모델은 다음에 나올 말을 더 잘 예측하기
And the model is referencing all the past conversation history in order to make better predictions about what the next thing we're going to say is.

624
00:29:11,600 --> 00:29:15,120
위해 과거 대화 이력 전체를 참조합니다.

625
00:29:15,120 --> 00:29:18,320
그래서 그 KV 캐시는 결국
메모리 덩어리인 셈이죠.
And so that KV cache is a bunch of memory.

626
00:29:18,320 --> 00:29:22,559
언어 모델에 통과시키는 토큰마다
표현을 저장해야 합니다.
You have to store a representation for every token that you send through the language model.

627
00:29:22,559 --> 00:29:26,880
그리고 그게 모델 가중치
자체보다 커지는 경우가 많죠.
And it frequently gets to be larger than the weights of the model themselves.

628
00:29:26,880 --> 00:29:29,679
모델 가중치엔 이런 결정화된
지식이 담겨 있고,
You have this crystallized knowledge in the model weights.

629
00:29:29,679 --> 00:29:32,359
지금 나누는 대화의 동적
지식은 KV 캐시에
And you have the dynamic knowledge of the exact conversation we're having in the KV cache — that's the way I like to think about it.

630
00:29:32,359 --> 00:29:35,039
담깁니다 — 저는 그렇게
생각하는 편입니다.

631
00:29:35,039 --> 00:29:35,200
네.
Yep.

632
00:29:35,200 --> 00:29:38,452
그래서 대화가 한참 진행되면
가끔 기술적인 문제
And this is why sometimes people would observe, deep in a conversation, things start to degrade because there's some sort of technical problem.

633
00:29:38,452 --> 00:29:42,080
때문에 성능이 떨어진다고
느끼는 경우가 있는 거군요.

634
00:29:42,080 --> 00:29:42,240
네, 맞습니다.
Yeah.

635
00:29:42,240 --> 00:29:44,080
그런 점에서 KV
캐시는 꽤 흥미롭습니다.
So the KV cache is quite interesting in that regard.

636
00:29:44,080 --> 00:29:47,279
KV 캐시는 그 이전까지의 모든
것을 정확하게 표현한 값입니다.
The KV cache is an exact representation of everything that came before.

637
00:29:47,279 --> 00:29:51,760
대화에서 본 정보를
전부 저장해두는 거죠.
We store all the information that we've seen in the conversation.

638
00:29:51,760 --> 00:29:54,742
하지만 학습 과정에서 모델은 아주 긴
However, during training, the model did not get trained primarily on very long context conversations.

639
00:29:54,742 --> 00:29:58,320
컨텍스트의 대화로 주로
학습되지 않았습니다.

640
00:29:58,320 --> 00:30:04,559
주로 8,000토큰이나 16,000토큰
정도의 대화로 학습됐죠.
It got trained primarily on, let's say, 8,000 token conversations or 16,000 token conversations.

641
00:30:04,559 --> 00:30:08,006
그래서 모델을 20만 토큰까지
끌고 가면, 그 길이에서도
So if you take the model to 200,000 tokens, there was some training that happened at that context length, but it's not the model's core strength.

642
00:30:08,006 --> 00:30:11,120
학습이 일부 있었지만 모델의
핵심 강점은 아닙니다.

643
00:30:11,120 --> 00:30:16,880
그래서 프론티어 랩들에게는 늘
과제였습니다 — 모델이 1만 토큰에서도
And so there's always been a challenge for the Frontier Labs to figure out how do we make the model exactly as intelligent at 10,000 tokens

644
00:30:16,880 --> 00:30:18,799
20만 토큰에서 기대하는 만큼
지능적이도록 만드는 것 말이죠.
as we expect them to be at 200,000 tokens.

645
00:30:18,799 --> 00:30:20,159
그리고 이건 저희에게
계속될 싸움일 겁니다.
And it's going to be a perennial battle for us.

646
00:30:20,159 --> 00:30:23,279
100만 토큰 컨텍스트 윈도우라는
개념 자체는 몇 년 전부터 있었죠.
We've had 1 million context windows as a concept for years now.

647
00:30:23,279 --> 00:30:24,881
제 생각엔 앤트로픽이 처음으로 100만
Anthropic was, I think, the first to hit the 1 million context window length.

648
00:30:24,881 --> 00:30:26,559
컨텍스트 윈도우 길이를 달성했을 겁니다.

649
00:30:26,559 --> 00:30:29,150
그런데도 저는 여전히
100만에 한참 못 미치는
I still, you know, use /compact in my Claude Code well before 1 million context length.

650
00:30:29,150 --> 00:30:31,840
지점에서 클로드 코드의
/compact를 씁니다.

651
00:30:31,840 --> 00:30:34,159
그 최대 길이까지 꽉 채우는 게
그다지 좋다고 생각하지 않거든요.
I don't think it's actually great to hit the full length.

652
00:30:34,159 --> 00:30:37,331
그래서 극도로 빠르고
레이턴시가 극히 낮은
And so these extremely fast, extremely low latency approaches ultimately are limited by this factor.

653
00:30:37,331 --> 00:30:40,640
접근법들도 결국 이
요인에 발목이 잡힙니다.

654
00:30:40,640 --> 00:30:43,120
네, 가중치에 대해서는 뭐든
원하는 대로 할 수 있죠.
Yes, you can do whatever you want for the weights.

655
00:30:43,120 --> 00:30:46,799
가중치 저장에서는 얼마든지
압도적인 성능을 낼 수 있습니다.
It's very possible to have just unbeatable performance on weight storage.

656
00:30:46,799 --> 00:30:49,520
하지만 KV 캐시는 계속
큰 골칫거리로 남을 겁니다.
However, the KV cache is going to be a big thorn on your side.

657
00:30:49,520 --> 00:30:51,464
그럼 3년 뒤, 5년 뒤에는 이런
And so three years from now, five years from now, what role do you think these kinds of chips play?

658
00:30:51,464 --> 00:30:53,840
칩들이 어떤 역할을 할 거라고 보시나요?

659
00:30:53,840 --> 00:30:57,279
이런 칩들은 이종 칩 시장에서
점유율이 어느 정도예요?
What sort of market share do they have in the heterogeneous chip market?

660
00:30:57,279 --> 00:30:59,044
세레브라스와 그록,
그리고 몇몇 다른 회사들도
Cerebras and Groq, and maybe a couple others — you should think of them as accelerators.

661
00:30:59,044 --> 00:31:00,880
있는데요, 이들은 가속기라고
생각하시면 됩니다.

662
00:31:00,880 --> 00:31:05,711
이들이 정말 잘하는 건,
오프칩 메모리를 갖춘 좀
What they are really good at is being used in conjunction with a more traditional GPU-like device that critically has this off-chip memory built in.

663
00:31:05,711 --> 00:31:10,720
더 전통적인 GPU 형태
장치와 함께 쓰이는 거죠.

664
00:31:10,720 --> 00:31:12,738
용량을 위해서는 오프칩 메모리가, 속도를
You want off-chip memory for capacity and on-chip memory for speed.

665
00:31:12,738 --> 00:31:14,480
위해서는 온칩 메모리가 필요합니다.

666
00:31:14,480 --> 00:31:15,919
이 두 가지를 하이브리드로
결합하고 싶은 거죠.
We want to hybridize these two things.

667
00:31:15,919 --> 00:31:18,303
트랜스포머를 극한까지
밀어붙이면, 그러니까
So if you take transformers in the limit, you take a transformer to a million context length.

668
00:31:18,303 --> 00:31:20,480
컨텍스트 길이를 100만까지 늘리면요.

669
00:31:20,480 --> 00:31:24,013
그러면 컴퓨트 바운드
단계가 생기는데, 바로
What ends up happening is you have this compute-bound stage, which is the actual matrix multiplies for what we call the MLP.

670
00:31:24,013 --> 00:31:27,840
MLP라고 부르는 부분의
실제 행렬 곱셈입니다.

671
00:31:27,840 --> 00:31:30,960
모델의 세계 지식 대부분이
바로 여기에 인코딩돼 있죠.
Which is where most of the model's world knowledge is encoded.

672
00:31:30,960 --> 00:31:33,560
그리고 어텐션 레이어가 있는데, 여기서
And then you have the attention layer, which is where we're kind of dynamically adapting to the current conversation.

673
00:31:33,560 --> 00:31:36,159
현재 대화에 동적으로 적응하는 겁니다.

674
00:31:36,159 --> 00:31:39,879
극한에서 어텐션은 대체로
메모리 바운드고, MLP는
Attention in the limit is usually memory-bound, and the MLP in the limit is compute-bound at large enough batch size.

675
00:31:39,879 --> 00:31:43,200
배치 크기가 충분히 크면
컴퓨트 바운드입니다.

676
00:31:43,200 --> 00:31:48,723
트랜스포머의 원죄라고 할 수 있는
게, 매우 근본적으로 메모리 바운드인
And I would say the original sin of transformers is that you've taken this extremely fundamentally memory-bound layer and juxtaposed it right next to a compute-bound layer.

677
00:31:48,723 --> 00:31:53,679
이 레이어를 컴퓨트 바운드 레이어
바로 옆에 붙여놨다는 겁니다.

678
00:31:53,679 --> 00:31:56,403
컴퓨트 연산과 메모리 연산 둘 다 잘하는
It is very difficult to have a single chip that is good at both compute operations and memory operations.

679
00:31:56,403 --> 00:31:58,880
단일 칩을 만들기는 매우 어렵습니다.

680
00:31:58,880 --> 00:32:01,114
GPU는 이 점에서
꽤 균형 잡혀 있지만,
The GPU is quite balanced in this regard, but you have to choose one or the other.

681
00:32:01,114 --> 00:32:02,960
결국 둘 중 하나를 선택해야 하죠.

682
00:32:02,960 --> 00:32:08,000
세레브라스는 행렬 곱셈 같은 연산에서
메모리 접근이 굉장히 빠릅니다.
Cerebras has a very fast memory access for something like a matrix multiply.

683
00:32:08,000 --> 00:32:10,448
그래서 MLP, 사실상 가중치를
And it's really good to host the MLP, the weights essentially, on the Cerebras chip.

684
00:32:10,448 --> 00:32:13,760
세레브라스 칩에
올려두기에 정말 좋습니다.

685
00:32:13,760 --> 00:32:17,279
하지만 GPU는 정말 긴 컨텍스트
길이까지 확장할 수 있는 용량이 있죠.
But the GPU has the capacity to scale to really long context lengths.

686
00:32:17,279 --> 00:32:20,296
그래서 어텐션은 아마 GPU에, MLP는
And so you would like to put the attention possibly on the GPU and the MLP on the Cerebras chip.

687
00:32:20,296 --> 00:32:23,039
세레브라스 칩에 올리고 싶은 겁니다.

688
00:32:23,039 --> 00:32:24,227
그리고 이게 바로 엔비디아와 그록
And I believe this is what's happening with Nvidia and Groq.

689
00:32:24,227 --> 00:32:25,679
사이에서 일어나고 있는 일이라고 봅니다.

690
00:32:25,679 --> 00:32:29,279
잠깐 트랜스포머에 대해서 자유롭게
얘기해 주실 수 있어요?
Can you riff for a minute just on transformers?

691
00:32:29,279 --> 00:32:33,790
2017년의 이 혁신을
잘 모르는 분들을 위해
You've been so good at explaining some of the core concepts just for people that aren't deeply familiar with what this innovation was in 2017.

692
00:32:33,790 --> 00:32:37,760
핵심 개념을 정말 잘 설명해 주셨잖아요.

693
00:32:37,760 --> 00:32:39,519
그러니까 장점과 단점은 뭔지,
Like, what its strengths and weaknesses are,

694
00:32:39,519 --> 00:32:42,503
그리고 AI의 미래에서도 계속
지배적인 아키텍처로, 혹은
and whether or not you think it will remain the dominant architecture, or a dominant architecture, for the future of AI?

695
00:32:42,503 --> 00:32:45,679
지배적인 아키텍처 중 하나로
남을 거라고 보시는지 궁금해요.

696
00:32:45,679 --> 00:32:48,039
트랜스포머가 한 일은,
비지도 데이터를 정말
What it did was, it allowed us to learn unsupervised data really effectively.

697
00:32:48,039 --> 00:32:50,399
효과적으로 학습할 수
있게 해준 거였습니다.

698
00:32:50,399 --> 00:32:53,712
결국 트랜스포머의
핵심은, 임의의 시퀀스,
Because transformers, what they're all about at the end of the day, is taking any sequence, any arbitrary sequence of data,

699
00:32:53,712 --> 00:32:56,880
그러니까 어떤 데이터 시퀀스든 가져와서,

700
00:32:56,880 --> 00:32:59,039
그 안에서 패턴을 찾아내려는 겁니다.
and trying to find patterns in that data.

701
00:32:59,039 --> 00:33:04,320
그리고 결정적으로, 어텐션 연산이
있죠. 트랜스포머의 핵심 요소입니다.
And, critically, the attention operation, which is the headline component of transformers.

702
00:33:04,320 --> 00:33:08,473
모델이 시퀀스에서 가장
관련 있다고 판단하는
It allows the model to dynamically adapt to what it thinks is the most relevant component of the sequence.

703
00:33:08,473 --> 00:33:11,760
부분에 동적으로 적응하게 해줍니다.

704
00:33:11,760 --> 00:33:14,728
트랜스포머를 한 스텝 지날 때마다,
Every step you take through a transformer, you are essentially reweighting the input that you looked at before,

705
00:33:14,728 --> 00:33:18,320
이전에 봤던 입력의
가중치를 다시 매기고,

706
00:33:18,320 --> 00:33:21,840
다음 예측에 가장 중요한
게 뭔지 찾아내는 겁니다.
and figuring out which is most relevant for your next prediction.

707
00:33:21,840 --> 00:33:27,120
그래서 임의의 시퀀스 데이터를
학습하는 데 아주 적합하죠.
And so it's extremely amenable to learning arbitrary sequence data.

708
00:33:27,120 --> 00:33:31,719
우리가 일상적으로 만들어내는
가장 흥미로운 시퀀스 데이터가
And the most interesting sequence of data that we produce on a regular basis is language, and that's how we got to dominance in the language regime.

709
00:33:31,719 --> 00:33:35,600
언어고, 그렇게 언어
영역을 지배하게 된 겁니다.

710
00:33:35,600 --> 00:33:37,897
그런데 더 크게 보면,
트랜스포머가 정말 잘한
But to zoom out even further, I think what transformers really did well is that they scaled.

711
00:33:37,897 --> 00:33:39,919
건 스케일이 됐다는 점이라고 생각합니다.

712
00:33:39,919 --> 00:33:41,840
트랜스포머는 그런 인간적인 사전
가정을 전혀 두지 않습니다.
Transformers make no such human prior.

713
00:33:41,840 --> 00:33:44,650
트랜스포머는 그냥 이렇게
말하는 거죠. "데이터 시퀀스에
Transformers just say, "Well, there's going to be a pattern in the sequence of data, and if there is a pattern, I'm going to find it."

714
00:33:44,650 --> 00:33:47,279
패턴이 있을 거고, 패턴이
있다면 내가 찾아내겠다."

715
00:33:47,279 --> 00:33:50,720
작동할 때까지 파라미터를
계속 쏟아붓겠다는 겁니다.
I'm going to throw more and more parameters at this problem until it works.

716
00:33:50,720 --> 00:33:53,440
그리고 트랜스포머는 컴퓨터 비전
연구에서도 많은 덕을 봤습니다.
And transformers benefit from a lot of the computer vision work, too.

717
00:33:53,440 --> 00:33:56,080
예를 들어 컴퓨터 비전의
과제 중 하나는, 수십만 개
For example, one of the challenges in computer vision was we had a hard time going from hundreds of thousands of parameters,

718
00:33:56,080 --> 00:33:58,720
파라미터 수준에서 더
나아가기가 어려웠다는 것이었죠.

719
00:33:58,720 --> 00:34:05,519
서포트 벡터 머신 같은 선형 모델이나
다른 구식 머신러닝 모델 얘기인데,
which you get for linear models like support vector machines or other legacy machine learning models.

720
00:34:05,519 --> 00:34:07,519
그런 모델들은 파라미터가
수천 개 정도였습니다.
Those had, you know, on the thousands of parameters.

721
00:34:07,519 --> 00:34:09,279
그러다 딥러닝으로 넘어가면서 컴퓨터 비전
Then we got to deep learning and got to tens of millions of parameters with computer vision.

722
00:34:09,279 --> 00:34:10,879
파라미터가 수천만 개 수준까지 갔죠.

723
00:34:10,879 --> 00:34:14,159
가장 큰 모델이 파라미터 1억
5천만 개 정도였습니다.
The biggest models were, you know, around 150 million parameters.

724
00:34:14,159 --> 00:34:16,000
컴퓨터 비전에서는 그게
엄청나게 큰 모델이었죠.
That was a huge model for computer vision.

725
00:34:16,000 --> 00:34:18,856
지금은 수조 개 파라미터를
일상적으로 얘기합니다.
And now we routinely talk about trillions of parameters, and transformers are the link to go from millions to trillions of parameters.

726
00:34:18,856 --> 00:34:22,240
트랜스포머가 바로 수백만에서
수조 개로 가는 연결고리였죠.

727
00:34:22,240 --> 00:34:26,480
그래서 스케일링의 핵심 단위가
데이터와 컴퓨트라고 본다면,
And so if I think about the important units of scaling being data and compute,

728
00:34:26,480 --> 00:34:29,845
트랜스포머가 계속 살아남을
거라 보시는 게, 결국
does it stand to reason then that you think transformers will just stick around, because that's the thing that we're good at getting more of — those two things?

729
00:34:29,845 --> 00:34:32,960
그 두 가지를 늘리는
데 우리가 강해서인가요?

730
00:34:32,960 --> 00:34:36,079
글쎄요, 데이터는 아직 열린
질문이지만, 컴퓨트는...
Well, data is an open question, but compute...

731
00:34:36,079 --> 00:34:39,200
네, 트랜스포머는 정말
훌륭한 스펀지 같은 존재예요.
Yeah, transformers are just such great sponges.

732
00:34:39,200 --> 00:34:42,873
트랜스포머에 쓸 컴퓨트를 10배 늘리면,
You increase the compute available to a transformer by 10x, and you'll get some log improvement somewhere.

733
00:34:42,873 --> 00:34:46,879
어딘가에서 로그 스케일의
개선이 나타납니다.

734
00:34:46,879 --> 00:34:51,200
지금까지는 스케일링 법칙이 정말
잘 통했죠. 꽤 아름다울 정도로요.
And so far, the scaling laws really work — they're really quite beautiful.

735
00:34:51,200 --> 00:34:53,418
그리고 — 아마 —
트랜스포머가 정말 잘하는
And, to the point about — I guess — what do transformers do really well?

736
00:34:53,418 --> 00:34:55,359
게 뭐냐는 얘기로 다시 돌아가 볼까요?

737
00:34:55,359 --> 00:34:59,359
어떤 데이터셋을 던져줘도 거의 다
확장되고, 매우 강력한 범용 학습기죠.
They extend to almost any data set you can throw at them, and they're extremely powerful general learners.

738
00:34:59,359 --> 00:35:03,251
그리고 제가 보기엔,
트랜스포머가 특히 유용한 건,
And I think what's especially useful about transformers, over other techniques that we've tried to replace attention, is transformers represent any pairwise relationship that you want.

739
00:35:03,251 --> 00:35:07,005
어텐션을 대체하려 했던
다른 기법들에 비해 원하는

740
00:35:07,005 --> 00:35:10,480
어떤 쌍별 관계든 표현할
수 있다는 점이에요.

741
00:35:10,480 --> 00:35:14,160
시퀀스 내 어떤 토큰이든 다른
모든 토큰에 주목할 수 있습니다.
Any token in the sequence can attend to any other token in the sequence.

742
00:35:14,160 --> 00:35:17,520
그러니 시퀀스 안에 어떤 관계가
있든, 트랜스포머로 찾아낼 수 있어요.
So if there's any relationship that's in the sequence at all, you're going to find it with a transformer.

743
00:35:17,520 --> 00:35:20,800
물론 굳이 전체-대-전체 모델링이
필요 없을 수도 있습니다.
Now, it may be the case that you don't need all-to-all modeling.

744
00:35:20,800 --> 00:35:23,839
모든 토큰이 다른 모든 토큰을
다 볼 필요는 없다는 거죠.
You don't need every token to look at every other token.

745
00:35:23,839 --> 00:35:27,920
하지만 필요하다면, 트랜스포머는
그 선택지를 줍니다.
But if you need to, transformers give you that option.

746
00:35:27,920 --> 00:35:31,839
그리고 그 공간을 더 잘 줄이는 방법,
And until we know a better way to prune that space down,

747
00:35:31,839 --> 00:35:35,295
정보 모델링을 더 선택적으로
만드는 더 나은 방법을 알기
a better way to have information modeling be more selective — attention is a very, very good operation.

748
00:35:35,295 --> 00:35:38,640
전까지는요 — 어텐션은 정말,
정말 훌륭한 연산입니다.

749
00:35:38,640 --> 00:35:41,280
이건 컴퓨터 비전 시절에
배운 또 다른 요령이에요.
This is another kind of trick that we learned in the computer vision days.

750
00:35:41,280 --> 00:35:44,224
안드레이 카르파티의
오래된 격언 중 하나가,
Like, one of the old Karpathy sayings is, you know, if you have a new data set that you want to train a model for...

751
00:35:44,224 --> 00:35:46,800
학습시킬 새 데이터셋이 생겼을 때...

752
00:35:46,800 --> 00:35:49,600
첫 목표는 모델을 과매개변수화해서 갖고
Your first goal should be to overparameterize the model and try to overfit the data that you have,

753
00:35:49,600 --> 00:35:52,400
있는 데이터에 오버핏시켜 보는 겁니다,

754
00:35:52,400 --> 00:35:55,119
모델링하거나 암기할 수 있는
관계가 있다는 걸 증명하는 거죠,
to prove that there is a relationship that you can model or memorize,

755
00:35:55,119 --> 00:35:58,640
학습 알고리즘이 작동한다는 것, 모델에
지식을 주입할 수 있다는 것을요.
that your learning algorithm works — that you can instill knowledge into the model.

756
00:35:58,640 --> 00:36:00,627
일단 오버핏할 수
있으면 그다음 압축할 수
Once you can overfit, then you can compress, and the compression is how you get generalization.

757
00:36:00,627 --> 00:36:02,960
있고, 그 압축이 바로
일반화를 얻는 방법입니다.

758
00:36:02,960 --> 00:36:05,440
눈앞의 데이터를 그대로
암기하고 싶은 게 아니잖아요.
You don't want to actually memorize the data that you have in front of you.

759
00:36:05,440 --> 00:36:10,800
일반화를 원하는 거니까, 데이터셋에
오버핏한 다음엔 거꾸로 작업해서
You want to generalize, and therefore, once you overfit the data set, then you can kind of work backwards

760
00:36:10,800 --> 00:36:14,160
가능한 가장 적은 파라미터 수에
들어맞는 일반 패턴을 찾아내는 거죠.
and try to find the general patterns that fit into the smallest parameter count possible.

761
00:36:14,160 --> 00:36:16,373
데이터의 미래는 어떻게
전망하시나요? 이 전체
What's your prediction for the future of data, and riff on the importance of data in this whole story?

762
00:36:16,373 --> 00:36:18,320
이야기에서 데이터의 중요성도 짚어주시죠.

763
00:36:18,320 --> 00:36:22,000
저는 '인터넷은 데이터에 대한 일회성
보조금이었다'는 표현을 좋아합니다.
I like the phrase that the internet was a one-time subsidy on data.

764
00:36:22,000 --> 00:36:22,960
공짜로 얻은 거죠.
We got it for free.

765
00:36:22,960 --> 00:36:26,960
품질이 극도로 높아요 — 고품질
텍스트로 약 30조 토큰 정도죠.
It's extremely high quality — about 30 trillion tokens of high-quality text.

766
00:36:26,960 --> 00:36:32,160
좋은 텍스트의 기준을 넓게
잡으면 300조 토큰이고요.
300 trillion tokens if you take a wider view on what qualifies as good text.

767
00:36:32,160 --> 00:36:34,720
그리고 사실상 이미
그걸 다 살펴봤습니다.
And we've basically looked at it all already.

768
00:36:34,720 --> 00:36:37,520
지금 시점에 모델들은 인터넷 전체를
몇 번이고 이미 본 상태예요.
Models have seen the entire internet many times over at this point.

769
00:36:37,520 --> 00:36:41,520
인터넷의 인간 데이터로는 더
이상 할 게 많지 않습니다.
And there is not a whole lot more to be done on human data from the internet.

770
00:36:41,520 --> 00:36:44,760
제 생각에 다음 데이터 단계는 RL 환경
The next phase of data, in my mind, is model self-improvement through RL environment gyms.

771
00:36:44,760 --> 00:36:48,000
짐(gym)을 통한 모델 자기개선입니다.

772
00:36:48,000 --> 00:36:50,447
사실 이제는 무작위 사용자와 AI의
Basically, in fact, we don't even benefit from getting more random user interactions with AI.

773
00:36:50,447 --> 00:36:53,280
상호작용이 늘어도 별 도움이 안 됩니다.

774
00:36:53,280 --> 00:36:56,480
예전엔 챗봇을 쓰는 사람들의 상호작용
It used to be that the new type of data we cared about a lot was the interaction data from people using chatbots

775
00:36:56,480 --> 00:36:59,680
데이터가 정말 중요한 새 데이터였죠.

776
00:36:59,680 --> 00:37:02,800
좋아요·싫어요로 뭘 좋아하고
싫어하는지 신호를 주는 식이었고요.
and giving thumbs-up/thumbs-down signals on what they liked and didn't like.

777
00:37:02,800 --> 00:37:12,160
지금은 이런 주장이 마음에 듭니다.
우리가 서빙하는 중간 수준 모델이
I like the argument now that the median model we serve is so much more advanced than a random human giving feedback

778
00:37:12,160 --> 00:37:15,708
무작위 인간, 즉 조건
없는 인간 선호보다 훨씬
that the signal you get from random human preference, or unconditioned human preference, is not actually worth anything anymore.

779
00:37:15,708 --> 00:37:19,119
뛰어나서 그 신호는 이제
가치가 없다는 거죠.

780
00:37:19,119 --> 00:37:20,880
이 시점엔 전문가 수준의
인간 선호가 필요한 겁니다.
You want expert human preference at this point.

781
00:37:20,880 --> 00:37:22,880
모델이 이제 평범한—
The model has outgrown everyday—

782
00:37:22,880 --> 00:37:23,200
일반적인 사람이요?
Generic?

783
00:37:23,200 --> 00:37:23,359
네.
Yeah.

784
00:37:23,359 --> 00:37:24,000
평범한 사람 수준은 넘어섰죠.
Everyday Joe.

785
00:37:24,000 --> 00:37:24,400
맞아요.
Exactly.

786
00:37:24,400 --> 00:37:26,402
그래서 제가 보는 데이터의 미래는,
So the future of data, to me, is giving the model a hard, verifiable task

787
00:37:26,402 --> 00:37:28,720
모델에 어렵고 검증 가능한 태스크를 주고

788
00:37:28,720 --> 00:37:33,920
이 짐에서 돌리는 겁니다. 일종의
격리된 공간이고, 문제가 하나 있고
and letting it run in this gym, where it's kind of isolated, and it just has a problem

789
00:37:33,920 --> 00:37:37,440
거기서 진전을 만들 수 있고, 진전이
있었는지도 측정할 수 있는 거죠.
that it can make progress on and get measurement of whether it made progress on that problem or not.

790
00:37:37,440 --> 00:37:40,160
코딩 문제들이 이 범주에
들어간다고 보시면 됩니다.
You can imagine coding problems are in this category.

791
00:37:40,160 --> 00:37:42,240
수학 문제도 마찬가지고요.
Math problems are also in this category,

792
00:37:42,240 --> 00:37:45,888
점점 더 에이전트에게
사실상 컴퓨터 한 대를
and increasingly, more and more, we can just give the agent a computer, essentially, and have it act like it's a human worker,

793
00:37:45,888 --> 00:37:49,839
주고 인간 노동자처럼
행동하게 할 수 있습니다.

794
00:37:49,839 --> 00:37:53,039
목표 결과를 향해 진전하는지 피드백만
and just give it feedback on whether it's making progress towards the target outcome — that environment becomes the data.

795
00:37:53,039 --> 00:37:56,880
주면, 그 환경 자체가
데이터가 되는 거죠.

796
00:37:56,880 --> 00:37:59,607
엄청 독창적인 관점은 아니지만, 지금까지
I think this is not a super differentiated take, but it's been really, really productive from what I've seen so far.

797
00:37:59,607 --> 00:38:01,839
본 바로는 정말 생산적이었습니다.

798
00:38:01,839 --> 00:38:06,000
그게 정말 오랫동안 이어질 거라고
보세요, 아니면 이것도 또—
And you think that just goes on for a really long period of time, or is that another—

799
00:38:06,000 --> 00:38:09,920
인터넷을 하나의 큰 덩어리라고 본다면,
이것도 또 다른 큰 덩어리라서
if I think about the internet as this one big block, this is another big block

800
00:38:09,920 --> 00:38:16,000
한동안 반짝하고 다 써버리면 결국
다른 걸로 넘어가야 하는 걸까요?
that will have its day in the sun, and we'll kind of get it all, and then we'll have to move on to something else.

801
00:38:16,000 --> 00:38:18,160
제 생각엔 그보다 훨씬
더 본질적인 것 같습니다.
I think it's actually more profound than that.

802
00:38:18,160 --> 00:38:21,440
기본적인 발상은 이렇습니다. 범용
인공지능, AGI를 원한다면
Basically, the idea is that if you want artificial general intelligence, the best way to get there

803
00:38:21,440 --> 00:38:24,046
특화된 지능들을 계속 쌓아서 빈틈이
is to just keep stacking specialized intelligences until you have no more gaps to fill.

804
00:38:24,046 --> 00:38:27,200
없어질 때까지 채우는
게 최선이라는 거죠.

805
00:38:27,200 --> 00:38:29,229
여기서 관건은, 이게 작동하게 하려면
And the test here — the only thing you need to make sure you do to make this work —

806
00:38:29,229 --> 00:38:31,359
딱 하나만 확실히 하면 된다는 겁니다.

807
00:38:31,359 --> 00:38:34,320
바로 그것이 검증 가능한
태스크여야 한다는 거예요.
is you must make sure that your task is verifiable.

808
00:38:34,320 --> 00:38:37,040
모델에게 자기 채점
시스템을 줘야 하는 거죠.
You need to give the model a self-grading system.

809
00:38:37,040 --> 00:38:39,225
그것만 있으면 원하는 어떤 과제에서든
If you have that, you have the recipe for self-improvement on any task you like.

810
00:38:39,225 --> 00:38:41,520
자기 개선 레시피를 갖게 되는 겁니다.

811
00:38:41,520 --> 00:38:45,280
프론티어 랩들이 돈을 쓰는 방식만
봐도 이게 드러난다고 생각해요.
And I think you've seen this held up by the way frontier labs spend.

812
00:38:45,280 --> 00:38:46,960
예전엔 데이터에 그만큼 썼었죠.
They used to spend that much on data.

813
00:38:46,960 --> 00:38:48,960
지금은 RL 환경에
훨씬 더 많이 씁니다.
Now they spend a lot more on RL environments.

814
00:38:48,960 --> 00:38:51,974
이 환경들이야말로 검증
가능한 태스크에서의
And these environments absolutely capture that relationship of recursive self-improvement on a verifiable task.

815
00:38:51,974 --> 00:38:55,119
재귀적 자기 개선 관계를
그대로 담고 있죠.

816
00:38:55,119 --> 00:38:55,440
네. 네.
Okay. Okay.

817
00:38:55,440 --> 00:38:59,200
이렇게 여기저기 곁길로
샌 것도 좋았는데요.
Now, I like that we've veered off in different little side cars here.

818
00:38:59,200 --> 00:39:02,440
다시 처음 말씀하신
과제로 돌아가 보죠. 기존
But coming back to your initial task of making existing hardware more efficient.

819
00:39:02,440 --> 00:39:05,680
하드웨어를 더 효율적으로
만드는 것 말이에요.

820
00:39:05,680 --> 00:39:06,160
네.
Yes.

821
00:39:06,160 --> 00:39:10,800
소프트웨어로 하드웨어 레벨에서
벌어지는 일을 더 잘 제어함으로써요.
By being more in control of what's going on at the hardware level through software.

822
00:39:10,800 --> 00:39:13,068
지금까지 해오신 것과 앞으로 하고
Just keep going on what you've done so far and what you want to do.

823
00:39:13,068 --> 00:39:15,839
싶으신 것, 계속 이어서 말씀해 주세요.

824
00:39:15,839 --> 00:39:18,960
그다음엔 하드웨어로, 마지막엔
에너지로 넘어가 보겠습니다.
And then we're going to jump to hardware and then jump to energy finally.

825
00:39:18,960 --> 00:39:19,440
좋습니다.
Sounds good.

826
00:39:19,440 --> 00:39:20,720
아까 커널 얘기를 꺼냈었죠.
So, I mentioned kernels.

827
00:39:20,720 --> 00:39:22,560
사람들이 커널은 다 끝난 문제라고
생각한다는 게 놀라워요.
It's surprising people think kernels are done.

828
00:39:22,560 --> 00:39:26,958
트리 다오처럼 훌륭한 커널을 짜는
뛰어난 분들이 있고, 그게 오늘날
There are great people like Tri Dao who write excellent kernels, and they form the bedrock of all of our modern deep learning — it's built on flash attention.

829
00:39:26,958 --> 00:39:31,119
딥러닝 전체의 토대를 이룹니다.
플래시어텐션 위에 세워진 거죠.

830
00:39:31,119 --> 00:39:33,280
현대 트랜스포머는 플래시어텐션
위에 세워져 있습니다.
Modern transformers are built on flash attention.

831
00:39:33,280 --> 00:39:35,280
하지만 이 정해진 경로에서
조금이라도 벗어나면,
But if you deviate from the happy path at all,

832
00:39:35,280 --> 00:39:40,079
위치 정보를 조금 다르게 임베딩하는
새 모델이 나온다거나 하면요,
if there's a new model that comes out that has a slightly different way to embed positional information,

833
00:39:40,079 --> 00:39:42,839
RoPE 시스템이 바뀌는
것처럼요. 그러면 갑자기
like the change of the RoPE system — suddenly the kernel that we had is not suitable for this new model.

834
00:39:42,839 --> 00:39:45,599
기존 커널이 이 새 모델엔
맞지 않게 되는 거죠.

835
00:39:45,599 --> 00:39:48,160
그리고 이 커널에 패치를
해야 할 수도 있습니다.
And we may have to make a patch to this kernel.

836
00:39:48,160 --> 00:39:50,880
완전히 새로 커널을 발명해야
하는 단계는 아니라고 봅니다.
I wouldn't say we're in the phase where we had to invent new kernels from scratch,

837
00:39:50,880 --> 00:39:55,101
다만 기존 GPU 커널을 빠르게
수정할 수 있는 능력은 필요하죠.
But having the ability to quickly modify an existing GPU kernel — a kernel, by the way, is a general term for any program you run on the GPU.

838
00:39:55,101 --> 00:39:59,440
참고로 커널이란, GPU에서 실행하는
프로그램을 통칭하는 말입니다.

839
00:39:59,440 --> 00:40:02,976
그래서 전통적으로
커널은 라이브러리 형태로
And so, historically, kernels tend to be put into a library where every kernel has a very, very scoped purpose.

840
00:40:02,976 --> 00:40:07,280
존재하는데, 각 커널은 아주
좁은 용도만 갖습니다.

841
00:40:07,280 --> 00:40:10,160
보통 행렬 곱셈을 위한
커널이 하나 있고요.
Typically, you have a kernel for a matrix multiply.

842
00:40:10,160 --> 00:40:12,640
덧셈처럼 단순한 연산에도 또
다른 커널이 따로 있습니다.
You have another kernel for even something as simple as addition.

843
00:40:12,640 --> 00:40:15,680
텐서 두 개를 더하고 싶다면,
그것도 또 다른 커널이죠.
You want to add two tensors together, that's another kernel.

844
00:40:15,680 --> 00:40:18,800
그런데 점점 이런 커널들을
서로 융합하기 시작했습니다.
And then, increasingly, we've started to fuse those kernels together.

845
00:40:18,800 --> 00:40:21,070
그러니까 행렬 곱셈을 한 다음, 역시
So if I do a matrix multiply and then I want to add it to another matrix that I've also multiplied,

846
00:40:21,070 --> 00:40:23,680
곱셈으로 얻은 다른
행렬에 더하고 싶다면,

847
00:40:23,680 --> 00:40:26,420
이 둘이 커널 하나로
합쳐질 수 있습니다.
Maybe those two become one kernel, and I just fuse the operations, where instead of writing the data out to DRAM,

848
00:40:26,420 --> 00:40:29,280
연산을 융합해서, 데이터를
DRAM에 썼다가

849
00:40:29,280 --> 00:40:33,839
덧셈을 위해 다시 읽어오는 대신,
그냥 손쉽게 처리할 수 있는 거죠.
and then reading it back in just to do the addition, maybe I can just do this easily.

850
00:40:33,839 --> 00:40:35,119
그런데 왜 아직도 사람이
이 일을 하고 있는 거죠?
Why are humans still doing this?

851
00:40:35,119 --> 00:40:41,119
더 효율적인 커널을 설계하는 건,
AI가 특히 잘할 법한 일 같은데요.
It seems like the sort of thing that AIs would be exceptionally good at — engineering more efficient kernels.

852
00:40:41,119 --> 00:40:43,599
아마 그쪽으로 가고 있는 건데, 아직
거기까지는 못 간 걸 수도 있죠.
Maybe that's where we're going, and we're just not quite there yet.

853
00:40:43,599 --> 00:40:46,000
그런데 아직 거기까지 못 갔다면,
정말 그쪽으로 가고 있는 게 맞나요?
But if we aren't there yet, is that where we're going?

854
00:40:46,000 --> 00:40:49,040
아직 아니라면, 왜 사람이 여전히
이 일을 하고 있는 건가요?
If we're not there yet, why are humans still doing this?

855
00:40:49,040 --> 00:40:50,560
트리 다오는 왜 그렇게 유명한 거예요?
Why is Tri Dao so well known?

856
00:40:50,560 --> 00:40:51,599
음, 저도 아는 이름이죠.
You know, it's a name I know.

857
00:40:51,599 --> 00:40:54,988
트리를 대신해서 말씀드리긴
조심스럽지만, 그가 제게 가르쳐준
I don't want to speak for Tri, but what he taught me was you shouldn't write kernels by hand anymore, necessarily.

858
00:40:54,988 --> 00:40:58,480
건 이제 커널을 꼭 손으로 직접
짤 필요는 없다는 거였습니다.

859
00:40:58,480 --> 00:41:00,319
저는 이걸 '화이트보드에서
커널을 쓴다'고 표현하곤 합니다.
I like to say we write kernels on the whiteboard.

860
00:41:00,319 --> 00:41:01,915
화이트보드 앞에 가서, 기계가 뭘 해야
We go to the whiteboard, we describe what we think the machine should be doing,

861
00:41:01,915 --> 00:41:03,359
한다고 생각하는지를 서술하는 거죠.

862
00:41:03,359 --> 00:41:07,839
그다음 그걸 자연어로 간결하게
정리해서 모델에게 전달합니다.
Then we succinctly describe that in natural language to a model.

863
00:41:07,839 --> 00:41:10,159
그러면 모델이 실행을 맡을 수 있습니다
And then the model is able to do the execution of — okay, here is my input and output.

864
00:41:10,159 --> 00:41:12,480
— '자, 여기 입력과 출력이 있다,'

865
00:41:12,480 --> 00:41:16,480
'이 작업을 GPU에 어떻게
분배할지, 그 전략은 이렇다,'
Here is the strategy of how we want to dispatch this work onto the GPU.

866
00:41:16,480 --> 00:41:17,440
'이제 가서 이걸
구현한다' 하는 식이죠.
I'm gonna go implement this.

867
00:41:17,440 --> 00:41:18,880
그러니까 개념 설계는
저희가 하는 거네요.
So, we're doing the conceptual design.

868
00:41:18,880 --> 00:41:19,440
맞습니다.
Exactly.

869
00:41:19,440 --> 00:41:21,749
왜 모델들이 아직 이 부분에서 뛰어나지
And I think I'm not sure exactly why models are not superb at doing this.

870
00:41:21,749 --> 00:41:23,839
못한지는 저도 정확히는 모르겠어요.

871
00:41:23,839 --> 00:41:25,680
저희가 리모트 회사라서
그런 건 아닌 것 같고요.
I don't think this is like our remote or anything like that.

872
00:41:25,680 --> 00:41:29,520
6개월만 지나도 커널 엔지니어링용
모델이 훨씬 좋아질 거라고 확신해요.
I'm sure in six months' time we'll have much better models on kernel engineering.

873
00:41:29,520 --> 00:41:31,908
그리고 랩들한테 물어보면
이미 커널 엔지니어링의
And I'm sure the labs would tell you that they already do a lot of their kernel engineering in a fully automated way.

874
00:41:31,908 --> 00:41:34,480
상당 부분을 완전 자동화로
하고 있다고 할 겁니다.

875
00:41:34,480 --> 00:41:36,880
그러면 소프트웨어 자체가
경쟁 우위라는 것은,
And so, software as an edge.

876
00:41:36,880 --> 00:41:40,005
하드웨어를 스피드 오브
라이트에 최대한 가깝게
If I think about software as maximally near speed of light, efficient usage of an underlying piece of hardware,

877
00:41:40,005 --> 00:41:42,880
효율적으로 쓰는 게
소프트웨어라고 본다면,

878
00:41:42,880 --> 00:41:47,520
시간이 갈수록 세일 같은 회사엔
강점이 안 되는 쪽으로 가겠네요.
Is going to trend towards not being an advantage for a company like yours over time.

879
00:41:47,520 --> 00:41:47,839
맞습니다.
That's right.

880
00:41:47,839 --> 00:41:52,880
미토스나 GPT-5.6 같은 모델이
밀물처럼 다 같이 끌어올리는 거죠.
The rising tide of something like Mythos or GPT-5.6 Sol that lifts all boats.

881
00:41:52,880 --> 00:41:53,680
정말 그렇습니다.
It really does.

882
00:41:53,680 --> 00:41:57,405
사실 저희만 따로 커널
엔지니어링용으로 모델을
I actually don't think there's a point in specializing to say we work on making the model better for just kernel engineering.

883
00:41:57,405 --> 00:42:01,280
특화시키는 게 의미가
있다고는 생각하지 않아요.

884
00:42:01,280 --> 00:42:04,713
코딩 전반에서 봐도, 커널 엔지니어링이
I think that's actually not the most meaningful subset of coding in general, kernel engineering in particular.

885
00:42:04,713 --> 00:42:08,800
특별히 더 의미 있는
영역은 아니라고 봅니다.

886
00:42:08,800 --> 00:42:11,845
프롬프트에 저희만 아는
정보를 좀 넣어서 모델이
Maybe there's some privilege information you inject into the prompt that's a useful way to steer the model to be better at writing kernels.

887
00:42:11,845 --> 00:42:15,359
커널을 더 잘 짜도록 유도하는
정도는 있을 수 있겠죠.

888
00:42:15,359 --> 00:42:18,628
하지만 크게 보면, 이
역량에 관한 한 저희
But broadly speaking, yes, we're all downstream of the frontier in terms of this capability.

889
00:42:18,628 --> 00:42:21,760
모두 프론티어 모델에
의존하고 있는 거죠.

890
00:42:21,760 --> 00:42:25,119
저는 에너지 역사에서 나온
이 얘기를 늘 좋아하는데요.
I always love this from the history of energy.

891
00:42:25,119 --> 00:42:29,760
원재료, 이를테면 석탄과,
There's always this pendulum between the raw source — let's say coal —

892
00:42:29,760 --> 00:42:33,360
그 석탄 한 덩어리 안에 있는
에너지 중 실제로 뽑아 쓸
and then, if there's a certain amount of energy available inside a chunk of coal, what percent of it we can harness and use.

893
00:42:33,360 --> 00:42:36,960
수 있는 비율 사이엔 늘
시계추 같은 움직임이 있거든요.

894
00:42:36,960 --> 00:42:39,627
에너지 역사의 많은 부분이 그 수치를
And a big part of the history of energy was getting that number from 10% to 95%, or whatever.

895
00:42:39,627 --> 00:42:42,960
10%에서 95%쯤으로
끌어올리는 과정이었죠.

896
00:42:42,960 --> 00:42:44,079
그렇죠? 지금 저흰 그중
어디쯤 와 있을까요?
Right? Where are we in that?

897
00:42:44,079 --> 00:42:46,400
그냥 생각해보면,
블랙웰 같은 걸 놓고 볼
If I just think about it — at Blackwell, or something — Blackwell is the piece of coal.

898
00:42:46,400 --> 00:42:48,720
때 블랙웰이 그 석탄
한 덩어리인 셈이죠.

899
00:42:48,720 --> 00:42:50,960
몇 퍼센트 정도 와 있다고 보세요?
What percent do you think we're at?

900
00:42:50,960 --> 00:42:55,200
지금 있는 칩 하나를 우리가 얼마나
효율적으로 쓸 수 있느냐는 거죠.
How efficiently can we use an existing piece today?

901
00:42:55,200 --> 00:42:56,800
그건 분석하는 방법이
여러 가지가 있어요.
There's a lot of different ways to analyze that.

902
00:42:56,800 --> 00:43:00,724
어떤 면에서는, GPU가 가장
좋아하는 작업을 할 때는
I think, at some level, we are really efficient at optimizing the performance when the GPU is doing the thing that it's most happy doing,

903
00:43:00,724 --> 00:43:05,040
저희가 성능 최적화를 정말
효율적으로 하고 있다고 생각해요,

904
00:43:05,040 --> 00:43:08,095
그게 바로 큰 차원의 행렬
곱셈인데요, 그 연산은
which is a large-dimension matrix multiply — that operation runs at, you know, 70 to 80% of peak utilization, and it's limited not by software but by power.

905
00:43:08,095 --> 00:43:11,264
피크 활용률의 70~80%
정도로 돌아갑니다. 그건

906
00:43:11,264 --> 00:43:14,319
소프트웨어가 아니라 전력에
의해 제한되는 거고요.

907
00:43:14,319 --> 00:43:17,119
엔비디아가 피크 플롭스를 표기하는
방식은 약간 낙관적이에요.
The way Nvidia quotes peak flops is a little optimistic.

908
00:43:17,119 --> 00:43:20,319
그 수치를 못 찍는 이유는 전력
스로틀링이 아니라 발열 때문이죠.
You never hit that because of power throttling, but because of heat.

909
00:43:20,319 --> 00:43:21,440
네, 맞아요 — 열이죠.
Yeah, exactly — thermals.

910
00:43:21,440 --> 00:43:24,480
70, 80%라고 치면, 포화
상태고, 꽤 괜찮은 거예요.
Let's say 70, 80% — it's saturated, it's pretty good.

911
00:43:24,480 --> 00:43:28,453
하지만 실제로는, 트랜스포머에서
대부분의 시간을 그 '해피 패스',
But in practice, you don't spend the majority of your time in a transformer, in that happy path where you're doing a large batch matrix multiply.

912
00:43:28,453 --> 00:43:32,319
그러니까 큰 배치로 행렬 곱셈을
하는 구간에서 보내지는 않습니다.

913
00:43:32,319 --> 00:43:36,211
그래서 저희가 하는 일은,
칩 주변에 엔진을 구축해서
And so, our job is to basically build the engine around the chip such that we are feeding the GPU these large batches of work at all times.

914
00:43:36,211 --> 00:43:40,640
GPU에 항상 이런 큰 배치의
작업을 계속 공급하는 겁니다.

915
00:43:40,640 --> 00:43:43,357
그리고 지난 1년간 GPU
세계에서 일어난 가장
And one of the most profound transitions we've had in the GPU world in the last year has been this —

916
00:43:43,357 --> 00:43:45,760
근본적인 전환 중
하나가 바로 이겁니다 —

917
00:43:45,760 --> 00:43:48,880
이제는 GPU 하나씩
프로그래밍하지 않는다는 거예요.
you don't program one GPU at a time anymore.

918
00:43:48,880 --> 00:43:51,336
랙 전체를 생각해야 하고,
어쩌면 클러스터 전체,
You should think about the whole rack, and maybe you should think about the whole cluster, the entire data center, at a time.

919
00:43:51,336 --> 00:43:53,520
데이터센터 전체를 한
번에 생각해야 합니다.

920
00:43:53,520 --> 00:43:57,258
그리고 엔비디아도, GPU
하나나 메인보드 하나가 아니라,
And with Nvidia, again, they've started shipping not just a single GPU or a single motherboard, but actually the whole rack system is something that they prescribe.

921
00:43:57,258 --> 00:44:00,880
랙 시스템 전체를 규격으로
정해서 출하하기 시작했습니다.

922
00:44:00,880 --> 00:44:02,560
그걸 NVL72라고 부르죠.
They call it NVL72.

923
00:44:02,560 --> 00:44:08,800
최신 칩인 그레이스 블랙웰 300은
72개짜리 랙 단위로 출시됩니다.
Their latest chip, the Grace Blackwell 300, ships as a rack of 72 units.

924
00:44:08,800 --> 00:44:12,325
그리고 이 랙 스케일 컴퓨터 전체를
누가 가장 효율적으로 프로그래밍할
And it's an open race to figure out who can program the whole rack-scale computer as efficiently as possible.

925
00:44:12,325 --> 00:44:15,200
수 있는지를 두고 지금 치열한
경쟁이 벌어지고 있습니다.

926
00:44:15,200 --> 00:44:20,560
제 생각엔, 그런 형태의 컴퓨트가
효율성과 속도 양쪽 모두의 미래입니다.
And my belief is that that shape of compute is the future of both efficiency and speed.

927
00:44:20,560 --> 00:44:22,841
실제로 엔비디아는 정말 잘
해내고 있어요 — 가능한
In fact, Nvidia does a great job — if you want the lowest possible latency, you should be using that chip.

928
00:44:22,841 --> 00:44:25,040
최저 레이턴시를 원한다면,
그 칩을 써야 합니다.

929
00:44:25,040 --> 00:44:27,040
그리고 가능한 최고
처리량을 원해도, 지금
And if you want the highest possible throughput, you should probably also be using that chip, as of right now.

930
00:44:27,040 --> 00:44:29,040
시점에서는 아마 그
칩을 써야 할 겁니다.

931
00:44:29,040 --> 00:44:32,240
결국 다 이겁니다 — 이건 아주
새로운 프로그래밍 패러다임이라는 거죠.
And it all comes down to: this is a very new paradigm of programming.

932
00:44:32,240 --> 00:44:35,862
요즘 자주 듣는 얘기 중
하나가, 최고급 칩, 그러니까
One of the things you hear is that the market for the best chips — Blackwells, let's say — is like a drug market or something, right now.

933
00:44:35,862 --> 00:44:38,880
블랙웰 시장이 지금 마약
시장 같다는 거예요.

934
00:44:38,880 --> 00:44:41,688
다들 물량이 너무 부족하다
보니, 최대한 많이
There's all sorts of fascinating things happening to get as many of them as possible, because everyone's so short.

935
00:44:41,688 --> 00:44:44,720
확보하려고 별의별 흥미로운
일들이 벌어지고 있죠.

936
00:44:44,720 --> 00:44:48,160
그 비유에 대해 반응을 듣고 싶은데요
— 실제로 그런 느낌인가요?
I'd love you to react to that analogy — is that what it feels like?

937
00:44:48,160 --> 00:44:51,839
그리고 최첨단이 아닌 칩들의 시장은
어떤지도 얘기해 주셨으면 하는데요 —
But then, also, to talk about what the market is like for chips that aren't the bleeding edge —

938
00:44:51,839 --> 00:44:54,613
제가 조금, 혹은 어느 정도 성능이
if I'm willing to accept a slightly, or moderately, inferior chip,

939
00:44:54,613 --> 00:44:57,680
떨어지는 칩을 받아들일 용의가 있다면,

940
00:44:57,680 --> 00:45:00,800
그 시장은 어떤가요? 그 세계로
저희를 좀 안내해 주세요.
what's that market like? Let us into that world.

941
00:45:00,800 --> 00:45:03,787
네, 몇 가지가 있는데요
— 첫 번째로, 엔비디아는
Yeah, okay, a couple things — number one, yes, basically Nvidia has a long-term view on all their chips.

942
00:45:03,787 --> 00:45:07,200
기본적으로 모든 칩에 대해
장기적인 관점을 갖고 있습니다.

943
00:45:07,200 --> 00:45:09,680
블랙웰 칩에 대한 이
엄청난 수요를 보면서,
They see this immense demand for the Blackwell chips,

944
00:45:09,680 --> 00:45:15,280
예전에 다른 공급사들이 했던 것처럼
그냥 가격을 확 올려서 시장이—
and they can do what other suppliers have done in the past, which is just crank prices and made the market —

945
00:45:15,280 --> 00:45:17,881
수급 곡선이 알아서 맞춰지게
둘 수도 있죠. 어느 지점에서
you know, supply and demand curves will correct — they'll intersect at some point, and everyone will be technically happier —

946
00:45:17,881 --> 00:45:20,319
교차하고, 기술적으로는 모두가
더 나아지는 셈이니까요.

947
00:45:20,319 --> 00:45:23,416
하지만 엔비디아는, 자금력이
제일 센 곳이 칩을 다 사가게
but Nvidia sees that if they just let the deepest pockets buy all the chips, that maybe hurts them,

948
00:45:23,416 --> 00:45:26,319
두면 오히려 자기들한테 손해일
수 있다고 보는 거예요.

949
00:45:26,319 --> 00:45:29,359
장기적으로 그 고객이 힘을
훨씬 더 많이 갖게 되면요.
in the long term, if that customer ends up accruing a lot more power.

950
00:45:29,359 --> 00:45:32,640
요즘 컴퓨트가 곧
권력이라는 걸 아니까요...
They understand that compute is power today, and so...

951
00:45:32,640 --> 00:45:36,160
컴퓨트를 배분하는
방식에 꽤 전략적입니다.
They're quite strategic about how they allocate compute.

952
00:45:36,160 --> 00:45:37,200
이게 첫 번째 생각이고요.
That's the first thought.

953
00:45:37,200 --> 00:45:39,599
두 번째는, 관계가 정말
중요하다는 겁니다.
The second thought is that relationships matter a lot.

954
00:45:39,599 --> 00:45:42,688
"저희가 블랙웰 1만
개를 3년이나 5년 동안
Nobody wants to have a huge order of a chip rental come in from this new startup that says, "Oh yeah, I'm going to rent 10,000 Blackwells for three years or 5 years."

955
00:45:42,688 --> 00:45:45,900
빌리겠습니다"라고 하는
신생 스타트업한테서 대량

956
00:45:45,900 --> 00:45:49,359
칩 대여 주문이 들어오는
걸 아무도 원하지 않아요.

957
00:45:49,359 --> 00:45:52,240
그 스타트업은 보통 창업한
지 몇 달밖에 안 됐으니까요.
The startup has only been operating for months typically.

958
00:45:52,240 --> 00:45:54,079
돈을 제대로 낼지 누가 알겠어요?
Who knows they're good for the money?

959
00:45:54,079 --> 00:45:59,599
요즘 누군가한테 컴퓨트 접근권을
얻어내는 게 꽤 어렵습니다.
The way you convince someone to give you access to compute is quite challenging these days,

960
00:45:59,599 --> 00:46:06,400
탄탄한 인맥이든 압도적인 자금력이든,
둘 중 하나는 있어야 가능하죠.
and requires some pretty either great relationships or just incredible financial backing to make this happen.

961
00:46:06,400 --> 00:46:07,440
엔비디아 쪽에서요?
On the Nvidia side?

962
00:46:07,440 --> 00:46:12,800
이게 다 희소성이 워낙 높고 수요가
그야말로 폭발적이기 때문이에요.
And it's all because the scarcity is so high and demand is just off the charts.

963
00:46:12,800 --> 00:46:15,040
그런데 다른 칩들은, 저는
열등하다고 부르지도 않아요.
Now, for other chips, I wouldn't even call them inferior.

964
00:46:15,040 --> 00:46:16,480
저는 늘 이렇게 말합니다
— 나쁜 칩은 없다고요.
I like to say there's no bad chips.

965
00:46:16,480 --> 00:46:17,680
정말 나쁜 가격이 있을 뿐이죠.
There's really bad pricing.

966
00:46:17,680 --> 00:46:20,160
그리고 가격만 맞으면 어떤 칩이든
쓸모 있게 만들 수 있어요.
And I will make any chip work at the right price.

967
00:46:20,160 --> 00:46:22,160
이게 저희 회사의 철학
중 하나라고 할 수 있죠.
That's kind of one of the ethoses of the company.

968
00:46:22,160 --> 00:46:23,760
AMD 얘기를 좀 해볼까요.
And let's talk about AMD.

969
00:46:23,760 --> 00:46:26,720
AMD는, 전반적으로
훌륭한 칩이라고 생각해요.
AMD, I think, great chips overall.

970
00:46:26,720 --> 00:46:30,720
문제는 사람들이 이걸 어떻게
프로그래밍해야 할지 잘 모른다는 거죠.
The challenge is that people don't understand how to program them very well.

971
00:46:30,720 --> 00:46:34,000
저희가 정말 훌륭한 커널 팀을 갖고
있다는 얘기를 계속 해왔는데요.
So, you know, I've been talking to you about how we have such a great kernel team.

972
00:46:34,000 --> 00:46:36,640
하드웨어에서 성능을 최대한
짜내는 데 정말 진심입니다.
We're so serious about squeezing the performance out of the hardware.

973
00:46:36,640 --> 00:46:38,640
엔비디아는 자사 칩에 대해서는
이걸 꽤 잘 해줍니다.
Nvidia is pretty good at doing that for their own chips.

974
00:46:38,640 --> 00:46:41,004
솔직히 거기서도 짜낼 수
있는 알파가 있긴 하지만,
Frankly, there's some alpha that we can squeeze out, but actually there's a lot more to be done on other chips,

975
00:46:41,004 --> 00:46:43,200
사실 다른 칩들에서 할
일이 훨씬 더 많습니다.

976
00:46:43,200 --> 00:46:48,240
다른 벤더는 엔비디아만큼 기본 커널
최적화에 공을 들이지 않거든요.
because the vendor does a little bit less work than Nvidia does to make the best kernels out of the box,

977
00:46:48,240 --> 00:46:51,496
저한테는 오히려 잘된 일이죠,
알파가 있다는 뜻이니까요. 다들
or even better for me, there is alpha, and just like other people have this perception that AMD is not as good as Nvidia.

978
00:46:51,496 --> 00:46:55,040
AMD가 엔비디아보다 못하다는
인식을 갖고 있는 것도 마찬가지고요.

979
00:46:55,040 --> 00:46:56,079
저한테는 반가운 소리입니다.
That's music to my ears.

980
00:46:56,079 --> 00:46:59,520
다들 이 칩을 외면하는 동안 저는
최대한 사들이면 좋겠다는 마음입니다.
I'm very happy for them to sleep on this chip and for me to buy as much as I can.

981
00:46:59,520 --> 00:47:01,839
사실 지금은 그게 딱히
맞는 얘기는 아닙니다.
Now, I think that's not actually super true anymore.

982
00:47:01,839 --> 00:47:04,108
AMD는 일부 대형 구매자들 사이에서는
I think AMD is actually somewhat popular amongst some large buyers.

983
00:47:04,108 --> 00:47:06,160
어느 정도 인기가 있는 것 같아요.

984
00:47:06,160 --> 00:47:10,183
공개적으로 알려진 것만 봐도 메타와
오픈AI가 AMD 칩을 엄청나게
I think publicly, Meta and OpenAI have bought a ton of AMD chips, and so we're increasingly seeing that all the AMD supply is also being allocated,

985
00:47:10,183 --> 00:47:14,640
사들였고, 그래서 AMD 공급도 점점
다 할당되고 있는 걸 보고 있습니다.

986
00:47:14,640 --> 00:47:15,951
하지만 그 뒤로 롱테일에 해당하는 여러
but there's a long tail of other companies that are popping up.

987
00:47:15,951 --> 00:47:17,200
신생 업체들이 계속 등장하고 있어요.

988
00:47:17,200 --> 00:47:20,838
에치드나 삼바노바,
디매트릭스 같은 완전히 새로운
Yet net new companies are great, such as Etched, or SambaNova, or d-Matrix — all these companies are popping up.

989
00:47:20,838 --> 00:47:24,880
회사들도 좋죠. 이런 회사들이
계속 나타나고 있습니다.

990
00:47:24,880 --> 00:47:27,760
그리고 이들의 가장 큰
과제는 규모라고 생각합니다.
And I think the main challenge for them is scale.

991
00:47:27,760 --> 00:47:30,388
TSMC에서 웨이퍼 할당을 충분히
Can they actually get enough wafer allocation from TSMC to pump out chips to make it into the market?

992
00:47:30,388 --> 00:47:33,599
받아서 칩을 시장에 쏟아낼 수 있을까요?

993
00:47:33,599 --> 00:47:38,000
하지만 새로운 칩이 나오면 저는
최대한 빨리 알고 싶고요.
But certainly, if there's a new chip, I'd like to know about it as quickly as possible,

994
00:47:38,000 --> 00:47:41,040
그 공급 물량의 상당 부분을 저희가
살 수 있는지 검토해보고 싶습니다.
and evaluate whether we can buy a good fraction of that supply.

995
00:47:41,040 --> 00:47:42,880
그러니까 본질적으로는
일종의 차익거래인 거네요.
And so it's fundamentally an arbitrage for you.

996
00:47:42,880 --> 00:47:48,560
주목을 덜 받은 칩에서 성능을
훨씬 더 잘 짜낼 수 있다면,
Like if you can be much better at eking out performance from chips that have received less attention,

997
00:47:48,560 --> 00:47:52,240
그걸 마진을 붙여 되팔 수 있고,
좋은 사업이 될 수 있겠네요.
you can then resell that at a margin, and it could be a great business.

998
00:47:52,240 --> 00:47:53,119
맞습니다. 정확히 그렇습니다.
Exactly. Exactly.

999
00:47:53,119 --> 00:47:56,704
그리고 다른 사람들이 실력이
부족해서 이 칩들을 잘
And I think that it's not the case that everyone else just has a skill issue that they can't make these chips work as well.

1000
00:47:56,704 --> 00:48:00,160
못 쓰는 거다, 그런
얘기는 아니라고 생각합니다.

1001
00:48:00,160 --> 00:48:01,599
저희가 이 분야에서 꽤
실력이 있다고 생각해요.
I think we're quite competent in this.

1002
00:48:01,599 --> 00:48:03,477
여러 실리콘 아키텍처를
다루는 데 있어서는
I think we're probably one of the best teams in the world to use multiple silicon architectures,

1003
00:48:03,477 --> 00:48:05,599
저희가 세계 최고 수준의
팀 중 하나일 겁니다.

1004
00:48:05,599 --> 00:48:09,680
그리고 의외의 곳에서 성능을 집요하게
파고드는 데도 상당히 공격적이고요.
and be quite aggressive in chasing down performance in unlikely places.

1005
00:48:09,680 --> 00:48:12,747
그런데 결국 핵심은,
저희가 새 칩을 중심으로
But yeah, I think it's the speed at which we're willing to build our stack around a new chip.

1006
00:48:12,747 --> 00:48:15,200
스택을 구축하는 속도인 것 같습니다.

1007
00:48:15,200 --> 00:48:18,216
저희 자체엔 그런 기득권이
별로 없는데 — 음, 저희
We don't have a huge amount of incumbency around — well, our data center providers are only stuck with this class of chip,

1008
00:48:18,216 --> 00:48:21,440
데이터센터 사업자들이 이 칩
클래스에만 묶여 있다 보니,

1009
00:48:21,440 --> 00:48:23,528
완전히 새로운 칩들을 배포하는 게
and it's going to be a huge pain for us to deploy these net new chips.

1010
00:48:23,528 --> 00:48:26,079
저희로선 정말 큰 골칫거리가 되는 거죠.

1011
00:48:26,079 --> 00:48:28,750
빠르게 움직여줄 의향이 있는 아주
창의적인 데이터센터 파트너들도
We have some very creative data center partners who are willing to move very quickly, and there's a new class of those that we can talk about.

1012
00:48:28,750 --> 00:48:31,040
있고요, 그중엔 나중에 얘기할
새로운 부류도 있습니다.

1013
00:48:31,040 --> 00:48:33,359
그리고 가장 중요한 건, 저희는
그 도전을 피하지 않는다는 겁니다.
And most importantly, we don't shy away from the challenge.

1014
00:48:33,359 --> 00:48:35,961
솔직히 그게 핵심 중 하나인데요
— 그냥 이렇게 말하는 거죠.
That's frankly a big part of this — just saying, yes, we love TPUs, we're going to make TPUs work.

1015
00:48:35,961 --> 00:48:38,640
네, 저희는 TPU를 좋아하고,
TPU가 돌아가게 만들 겁니다.

1016
00:48:38,640 --> 00:48:39,520
네, 트레이니엄도 좋아합니다.
Yes, we love Trainium.

1017
00:48:39,520 --> 00:48:40,640
트레이니엄도 돌아가게 만들 겁니다.
We're going to make Trainium work.

1018
00:48:40,640 --> 00:48:46,720
쉽게 안 되면, 이기종 서빙 시스템
안에 끼워 맞출 방법을 찾을 겁니다.
And if it doesn't work easily, we're going to find a way to fit it in with the heterogeneous serving system.

1019
00:48:46,720 --> 00:48:47,680
분명 자리가 있을 겁니다.
It will have a place.

1020
00:48:47,680 --> 00:48:49,680
모든 칩에는 비교우위가 있습니다.
Every chip has a comparative advantage.

1021
00:48:49,680 --> 00:48:52,240
그 강점을 찾아내서 그 방향으로
최대한 짜내야 하는 거죠.
We have to find that advantage and then squeeze it in that direction.

1022
00:48:52,240 --> 00:48:56,180
하드웨어, 데이터센터,
에너지 얘기로 넘어가기 전에
Just as an interlude before we get to hardware, data centers, energy, etc., which will be a really fun part of the conversation.

1023
00:48:56,180 --> 00:48:59,839
— 정말 재밌을 대목인데
— 잠깐 짚고 갈게요.

1024
00:48:59,839 --> 00:49:05,200
투자자들의 우려를 어떻게
보시는지 듣고 싶어요.
I'd love you to talk about your perception of the investor class's worry.

1025
00:49:05,200 --> 00:49:05,440
네.
Yeah.

1026
00:49:05,440 --> 00:49:07,200
예를 들어 메모리 주식들을 보면요.
Like, you look at memory stocks.

1027
00:49:07,200 --> 00:49:10,330
아니면 요즘 제가 제일
좋아하는 건, S&P
Or my current favorite is you look at the chart that plots the percent of the S&P 500 that's semiconductors.

1028
00:49:10,330 --> 00:49:13,200
500에서 반도체 비중을 그린 차트예요.

1029
00:49:13,200 --> 00:49:15,119
역사적으로는 2, 3, 4% 정도였는데.
Historically it was like 2, 3, 4%.

1030
00:49:15,119 --> 00:49:17,440
지금은 19, 20, 21%예요.
Now it's 19, 20, 21%.

1031
00:49:17,440 --> 00:49:20,480
시장 역사를 좀 아는
사람이라면 낯익은 그림이죠.
And it just sort of looks like, if you're a student of market history.

1032
00:49:20,480 --> 00:49:24,215
시간이 지나면서 단기적으로
말도 안 되게 치솟았다가,
You get all these things through time that sort of reached some crazy near-term peak and then collapsed back to long-term norms.

1033
00:49:24,215 --> 00:49:28,079
결국 장기 평균으로 되돌아가는
일들이 계속 있었잖아요.

1034
00:49:28,079 --> 00:49:30,960
그게 투자자들을 얼마나
불안하게 만드는지 궁금해요.
And I'm curious how that has all investors worried.

1035
00:49:30,960 --> 00:49:31,359
네.
Yeah.

1036
00:49:31,359 --> 00:49:34,522
그러니까 많은 분들이
마이크론이나 SK하이닉스
So, you know, a lot of people made a lot of money in Micron and SK Hynix and companies like this.

1037
00:49:34,522 --> 00:49:36,800
같은 회사에서 큰돈을 버셨습니다.

1038
00:49:36,800 --> 00:49:39,133
그런데 다들 장기적으로는, 컴퓨트가 결국
But everyone feels like these, you know, on the long term, compute's a commodity.

1039
00:49:39,133 --> 00:49:41,359
범용재가 될 거라고 느끼고 있는 거죠.

1040
00:49:41,359 --> 00:49:44,419
그리고 전 세계 시가총액의 4분의 1이나
And it will not represent a quarter or a fifth of the entire market capitalization of the world.

1041
00:49:44,419 --> 00:49:47,200
5분의 1을 차지하지도 않을 거고요.

1042
00:49:47,200 --> 00:49:49,680
그래서 다들 겁을 먹는
거고, 그게 지금 상황이죠.
And so they're scared, and that's the setup.

1043
00:49:49,680 --> 00:49:52,319
엄청난 공급 부족이 있다는
건 다들 인정합니다.
Everyone acknowledges that there's a huge shortage.

1044
00:49:52,319 --> 00:49:55,800
하지만 결국 다 해결되고,
이런 것들도 자본시장에서
But everyone sort of feels like we'll figure it out, and these things will revert back down to their normal place in capital markets.

1045
00:49:55,800 --> 00:49:59,280
원래 자리로 돌아갈 거라고
다들 느끼는 것 같아요.

1046
00:49:59,280 --> 00:50:02,160
그 서사에 대해 어떻게
생각하시는지 궁금해요.
I'm curious what you think about that narrative.

1047
00:50:02,160 --> 00:50:04,101
한 가지는, 저는 역사를
공부하는 사람이라기보다
One thing, I'm less of a student of history as more of a member of history.

1048
00:50:04,101 --> 00:50:05,520
역사의 일원에 더 가깝다는 겁니다.

1049
00:50:05,520 --> 00:50:07,440
저는 1997년생이에요.
I was born in 1997.

1050
00:50:07,440 --> 00:50:10,875
어머니가 2000년을
앞둔 시기, 그러니까
And my mom worked at Intel in the run-up to the year 2000 and the dot-com boom and crash, you know.

1051
00:50:10,875 --> 00:50:14,160
닷컴 붐과 붕괴 때 인텔에서 근무하셨죠.

1052
00:50:14,160 --> 00:50:16,760
시스코가 전 세계에서 가장
가치 있는 기업이었고
I remember the time where Cisco was the most valuable company in the world, and Intel was close behind.

1053
00:50:16,760 --> 00:50:18,960
인텔이 바로 뒤를 쫓던 시절이 기억나요.

1054
00:50:18,960 --> 00:50:23,680
그러니까, 저는 25년 전 그 시기와
지금을 주로 겹쳐서 보는 편입니다.
I mean, I mostly draw parallels to that period of history from 25 years ago to today.

1055
00:50:23,680 --> 00:50:26,951
가장 큰 차이는, 과거
네트워킹 장비 투자
And I think the main difference is that a lot of the investment in networking equipment historically was speculative.

1056
00:50:26,951 --> 00:50:30,079
상당수가 투기적이었다는 점이라고 봅니다.

1057
00:50:30,079 --> 00:50:34,400
결국 오지 않은 미래의 사용자
수요를 미리 예상하고 투자한 거였죠.
We anticipated this future demand for users that never came.

1058
00:50:34,400 --> 00:50:37,349
토큰 소비, 좀 더 넓게는
AI 소비에서 흥미로운
And I think what's interesting about token consumption, or AI consumption broadly, is that it's no longer speculative.

1059
00:50:37,349 --> 00:50:40,079
점은 이게 더 이상
투기적이지 않다는 겁니다.

1060
00:50:40,079 --> 00:50:42,720
사람들이 토큰을 사는 건 그게 당장
자신에게 가치가 있기 때문이에요.
People buy tokens because they're immediately valuable to them.

1061
00:50:42,720 --> 00:50:45,680
토큰을 쌓아두는 게 아니라
바로 써버리는 거죠.
You don't hoard tokens, you use them immediately.

1062
00:50:45,680 --> 00:50:49,173
이건 2년 전, 그러니까
2023, 2024년에
This is also even different from what we had 2 years ago, where there was a supply crunch for Hopper generation chips in 2023, 2024.

1063
00:50:49,173 --> 00:50:52,800
호퍼 세대 칩 공급난이
있었던 상황과도 다릅니다.

1064
00:50:52,800 --> 00:50:57,440
그 시기엔 지출이 전부 학습 중심이었고,
학습은 본질적으로 투기적이죠.
In that period it was all training-oriented spend, and training is inherently speculative.

1065
00:50:57,440 --> 00:51:01,040
지금은 다들 클로드 코드에 얼마나
쓸 수 있는지 한도를 두고 있잖아요.
Now everyone is instituting caps on how much you can spend on cloud code.

1066
00:51:01,040 --> 00:51:03,309
추론 지출을 이야기하고
그게 계속 늘어날 거라
It's a very, very different world to be talking about inference spend and predicting inference spend to go up.

1067
00:51:03,309 --> 00:51:05,760
예측하는 건, 정말 완전히
다른 세계의 얘기예요.

1068
00:51:05,760 --> 00:51:08,640
저는 추론 지출이 계속 꾸준히
늘어나기만 할 거라고 봅니다.
I do think inference spend monotonically increases.

1069
00:51:08,640 --> 00:51:11,520
추론 지출에는 투기적인 요소가 없어요.
There's no speculation on inference spend.

1070
00:51:11,520 --> 00:51:14,107
[광고] 밴타(Vanta)는 램프,
커서(Cursor), 하비 같은
Vanta automates security and compliance for over 16,000 fast-moving companies like Ramp, Cursor, and Harvey, keeping them audit-ready around the clock.

1071
00:51:14,107 --> 00:51:16,833
빠르게 성장하는 16,000개 이상의
기업을 위해 보안과 컴플라이언스를

1072
00:51:16,833 --> 00:51:19,280
자동화해, 언제든 감사에 대응할
수 있는 상태를 유지해 줍니다.

1073
00:51:19,280 --> 00:51:21,280
업계 1위 에이전틱 트러스트 플랫폼이죠.
It's the number one Agentic Trust platform.

1074
00:51:21,280 --> 00:51:25,052
이제는 여러분 같은 기업이 감사와
감사 사이에 벤더, AI 도구,
And it now helps companies like yours watch for the risks that show up between audits across your vendors, your AI tools, and your whole environment.

1075
00:51:25,052 --> 00:51:28,720
전체 환경 전반에서 나타나는
리스크를 감시하도록 돕고 있습니다.

1076
00:51:28,720 --> 00:51:31,935
팀이 새로 가입하는 도구
하나하나, AI 기능을 켜는
Every new tool your team signs up for, every vendor that turns on AI features, is an opportunity for something to go wrong.

1077
00:51:31,935 --> 00:51:35,040
벤더 하나하나가 문제가 생길
기회가 될 수 있어요.

1078
00:51:35,040 --> 00:51:38,559
대부분의 보안 프로그램은 AI의 성장
속도에 맞춰 만들어지지 않았습니다.
And most security programs weren't built for AI's pace of growth.

1079
00:51:38,559 --> 00:51:41,657
밴타 에이전트는 백그라운드에서
24시간 상주하는 GRC
The Vanta agent works like a 24/7 GRC engineer in the background, finding issues, drafting fixes for you, and cutting vendor assessment time by up to 50%.

1080
00:51:41,657 --> 00:51:44,239
엔지니어처럼 작동해,
문제를 찾아내고 수정안을

1081
00:51:44,239 --> 00:51:47,440
작성해주며 벤더 평가 시간을
최대 50%까지 줄여줍니다.

1082
00:51:47,440 --> 00:51:49,993
빠르게 성장하는 스타트업이든
글로벌 기업이든,
Whether you're a fast-growing startup or a global enterprise, Vanta helps you earn and prove trust.

1083
00:51:49,993 --> 00:51:52,240
밴타는 신뢰를 얻고 입증하도록 돕습니다.

1084
00:51:52,240 --> 00:51:55,897
인베스트 라이크 더 베스트 청취자는
vanta.com/invest에서
Invest Like the Best listeners get a special offer of $1,000 off Vanta at vanta.com/invest.

1085
00:51:55,897 --> 00:51:58,880
밴타 1,000달러 할인 특별
혜택을 받을 수 있습니다.

1086
00:51:58,880 --> 00:52:02,610
Ridgeline은 투자운용사를
위한 최초의 엔드투엔드 시스템
Ridgeline is the first end-to-end system of record with embedded AI for investment management firms, running portfolio accounting, reconciliation, reporting, trading, and compliance, all on one unified platform.

1087
00:52:02,610 --> 00:52:06,779
오브 레코드로, AI가 내장돼 있어
포트폴리오 회계, 대사, 리포팅,

1088
00:52:06,779 --> 00:52:10,400
트레이딩, 컴플라이언스를 하나의
통합 플랫폼에서 처리합니다.

1089
00:52:10,400 --> 00:52:13,187
투자운용사들이 레거시 기술에서
Ridgeline으로
Firms are moving off legacy technology and onto Ridgeline because of how far ahead Ridgeline's AI features are compared to anything else in investment management software.

1090
00:52:13,187 --> 00:52:15,675
옮겨가는 이유는, 다른
투자운용 소프트웨어보다

1091
00:52:15,675 --> 00:52:18,960
Ridgeline의 AI 기능이
훨씬 앞서 있기 때문입니다.

1092
00:52:18,960 --> 00:52:20,841
많은 투자운용사 관계자들에게서 AI
I've been hearing from a lot of investment managers about AI, and they fall roughly into two camps.

1093
00:52:20,841 --> 00:52:23,119
얘기를 듣는데, 대략
두 부류로 나뉩니다.

1094
00:52:23,119 --> 00:52:26,000
어디서부터 시작해야 할지조차 막막한
쪽이 있고, 주문관리 시스템을
With some unsure where to even start, and others convinced they can build their own order management system over just a weekend.

1095
00:52:26,000 --> 00:52:28,720
그저 주말 동안 직접 만들 수
있다고 확신하는 쪽이 있습니다.

1096
00:52:28,720 --> 00:52:31,335
현실은, 투자운용사를
운영하려면 언제나 거버넌스와
The reality is that running an investment firm will always require governance, controls, and a single source of truth for your data.

1097
00:52:31,335 --> 00:52:34,240
통제, 그리고 단일한 데이터
소스가 필요하다는 겁니다.

1098
00:52:34,240 --> 00:52:37,200
AI에 대한 열정이 아무리 커도
이 요건은 바뀌지 않습니다.
And no amount of AI enthusiasm changes that requirement.

1099
00:52:37,200 --> 00:52:39,200
회사의 AI 전략을
진지하게 고민하고 있다면,
If you're serious about your firm's AI strategy, Ridgeline should be part of that conversation.

1100
00:52:39,200 --> 00:52:41,280
그 논의에 Ridgeline이
포함돼야 합니다.

1101
00:52:41,280 --> 00:52:44,480
데모는 ridgeline.ai에서
신청할 수 있습니다.
And you can request a demo at ridgeline.ai.

1102
00:52:44,480 --> 00:52:47,920
이제 다시 하드웨어
얘기로 돌아가 볼게요.
Coming back now to your take on hardware.

1103
00:52:47,920 --> 00:52:51,512
단위 수준이 흥미로운데요
— 칩 얘기도 했고,
And so the unit level is interesting to me — like, talked about chips, talked about racks, talked about, you know, clusters.

1104
00:52:51,512 --> 00:52:54,960
랙 얘기도 했고, 클러스터
얘기도 했잖아요.

1105
00:52:54,960 --> 00:52:56,880
데이터센터 얘기도 해보고 싶어요.
I'd love to talk about data centers.

1106
00:52:56,880 --> 00:53:00,240
흥미로운 파트너들이 멋진
일을 하고 있다고 하셨죠.
And you said you've had some interesting partners doing some cool things.

1107
00:53:00,240 --> 00:53:04,640
보시기에 데이터센터의 현재와
미래가 어떤지 말씀해 주시겠어요?
Talk us about the present and future of data centers as you see it.

1108
00:53:04,640 --> 00:53:09,119
이 모든 추론을 서비스하는 데 분명
핵심적인 부분일 것 같아서요.
Because this seems like, you know, obviously a critical thing for being able to serve all this inference.

1109
00:53:09,119 --> 00:53:10,917
이 영역에 혁신이 많이 일어나고 있고,
There's a lot of innovation in this part of the world, and obviously you're focused on it.

1110
00:53:10,917 --> 00:53:12,800
확실히 집중하고 계신 부분이기도 하고요.

1111
00:53:12,800 --> 00:53:15,487
저희 대화의 한 주제가 계속
학습과 추론의 차이로 돌아온
I think one of the themes in our conversation has come back to what is training versus inference — like, what is the difference between these two categories?

1112
00:53:15,487 --> 00:53:18,000
것 같아요 — 이 두 범주가
뭐가 다른가 하는 거요.

1113
00:53:18,000 --> 00:53:20,301
그리고 2년 전에는 학습
중심이었는데, 오늘날은
And, you know, what was different about two years ago being training-oriented, and today being inference-oriented?

1114
00:53:20,301 --> 00:53:22,160
추론 중심이 된 게 뭐가 다른 걸까요?

1115
00:53:22,160 --> 00:53:27,040
AI 스택 전체에서 가장 보수적인
플레이어는 인프라 쪽이라고 생각합니다.
And I think the most conservative players in the entire AI stack have got to be the infra players.

1116
00:53:27,040 --> 00:53:31,440
데이터센터든, 더 보수적으로는
TSMC 같은 칩 인프라 쪽이든요.
Whether that's data centers, or even more conservative, TSMC, the chip infra people.

1117
00:53:31,440 --> 00:53:35,850
그래서 역사적으로 데이터센터는,
AI 데이터센터는 학습을 위해
And so data centers historically were built — like, AI data centers, they were built for training — and training is the superset workload over inference.

1118
00:53:35,850 --> 00:53:40,000
지어졌습니다. 학습은 추론을
포함하는 상위 워크로드거든요.

1119
00:53:40,000 --> 00:53:41,838
학습용 클러스터는 어떤
것이든 추론에 쓸 수
You can make any training cluster work for inference, but maybe not vice versa.

1120
00:53:41,838 --> 00:53:43,599
있지만, 그 반대는
안 될 수도 있습니다.

1121
00:53:43,599 --> 00:53:47,161
그 차이가 바로 네트워킹이에요.
칩 간 대역폭에 얼마나
And what the difference there is — networking: how much do you invest in bandwidth between chips, and how large of a cluster do you need?

1122
00:53:47,161 --> 00:53:50,960
투자하느냐, 클러스터를 얼마나
크게 잡아야 하느냐는 거죠.

1123
00:53:50,960 --> 00:53:54,640
사실 데이터센터에는 일종의
규모의 비경제가 있습니다.
There's actually a diseconomy of scale to data centers in some way.

1124
00:53:54,640 --> 00:53:58,258
GPU 10만 개짜리 데이터센터를
짓는 건 1만 개보다,
Like, it's way more expensive and difficult to build 100,000 GPUs in one data center than it is to build 10,000, than it is to build 1,000.

1125
00:53:58,258 --> 00:54:01,760
1만 개는 또 1천 개보다
훨씬 더 비싸고 어렵거든요.

1126
00:54:01,760 --> 00:54:03,804
그래서 이제는 그냥
메가와트(MW)가 몇이냐,
And now we just talk about, you know, how many megawatts or gigawatts do you have?

1127
00:54:03,804 --> 00:54:05,440
기가와트(GW)가 몇이냐로 얘기하죠.

1128
00:54:05,440 --> 00:54:09,030
그리고 이제 미국에서
1GW급 데이터센터를
And basically there's no way to build a gigawatt data center in the United States easily anymore.

1129
00:54:09,030 --> 00:54:11,839
쉽게 지을 방법은 사실상 없어요.

1130
00:54:11,839 --> 00:54:14,640
100MW조차 점점
더 어려워지고 있고요.
Even 100 megawatts is increasingly hard.

1131
00:54:14,640 --> 00:54:18,000
아주 특별한 고객이 아니면
사실상 불가능합니다.
It's basically impossible unless you're a very special set of customers.

1132
00:54:18,000 --> 00:54:21,200
10MW 정도가 지금 가능한
한계에 가까울 거예요.
10 megawatts is probably on the edge of what's possible today.

1133
00:54:21,200 --> 00:54:24,000
반면 1MW는, 제가 보기엔
얼마든지 있는 수준이고요.
And 1 megawatt, I would argue, is plentiful.

1134
00:54:24,000 --> 00:54:27,467
그래서 시장엔 이런 놀라운
이야기가 있어요. 합산하면 엄청난
So there's this incredible lore on the market where you can find lots of aggregate power, but it will not be concentrated.

1135
00:54:27,467 --> 00:54:31,040
전력을 찾을 수 있지만, 그게
한곳에 몰려 있진 않다는 거죠.

1136
00:54:31,040 --> 00:54:33,069
그런데 그건 학습용 데이터센터를 짓는
And that was not interesting to anyone who's building training data centers.

1137
00:54:33,069 --> 00:54:35,200
사람들한텐 전혀 관심거리가 아니었어요.

1138
00:54:35,200 --> 00:54:37,685
다들 그냥 전력이 한곳에 다
모여 있을 거라 가정하거든요.
Because you just assume it'll all be in one spot — no one wants to deal with cross-data-center training.

1139
00:54:37,685 --> 00:54:40,480
데이터센터를 넘나들며 학습을 돌리고
싶어 하는 사람은 없으니까요.

1140
00:54:40,480 --> 00:54:42,720
그래서 시장에는 일종의
지연이 있는 거죠.
So the market has some lag in it.

1141
00:54:42,720 --> 00:54:46,058
제 생각엔 시장은 여전히 100MW,
10MW짜리 데이터센터를
I think that the market still assumes that we have to go shake down those 100-megawatt and 10-megawatt data centers wherever we can find them.

1142
00:54:46,058 --> 00:54:49,200
어디서든 찾아내서 싹 확보해야
한다고 가정하는 것 같아요.

1143
00:54:49,200 --> 00:54:52,079
그게 제가 지금도 많은 데이터센터
개발업자들한테서 듣는 태도고요.
That's still the attitude I hear from a lot of data center developers.

1144
00:54:52,079 --> 00:54:56,280
하지만 점점 더 몇몇 새로운
시각을 가진 이들이 깨닫고 있어요.
But increasingly we're seeing a few new thinkers realize that inference is going to be suitable for these distributed 1-megawatt data centers.

1145
00:54:56,280 --> 00:55:00,240
추론은 이런 분산된 1MW급
데이터센터에 딱 맞는다는 걸요.

1146
00:55:00,240 --> 00:55:02,640
저희도 그 생각에 상당히 동의하고요.
And we're quite in agreement with that.

1147
00:55:02,640 --> 00:55:05,476
그래서 저희는 미국 전역에서
작은 컴퓨트 풀들을
And we are very happy to buy small pools of compute across the United States and use that as our inference fleet.

1148
00:55:05,476 --> 00:55:08,640
사들여서 그걸 추론용 함대로
쓰는 걸 아주 반깁니다.

1149
00:55:08,640 --> 00:55:10,674
1MW와 10MW가 실제로 물리적 크기가
Give us a sense of the literal physical size of 1 megawatt versus 10.

1150
00:55:10,674 --> 00:55:12,800
어느 정도인지 감을
좀 주실 수 있을까요?

1151
00:55:12,800 --> 00:55:16,720
네, 이게 액체 냉각이 나오면서
얘기가 좀 이상해졌어요.
Yeah, well, so this got really wonky with the advent of liquid cooling.

1152
00:55:16,720 --> 00:55:18,862
이제는 랙 하나에 말도 안 되는 수준의
Now you can pack insane levels of power density into a single physical rack.

1153
00:55:18,862 --> 00:55:20,800
전력 밀도를 욱여넣을 수 있거든요.

1154
00:55:20,800 --> 00:55:23,680
1MW짜리 컴퓨트라고 하면
다들 이런 걸 상상하잖아요.
Like a megawatt of compute — you'd imagine this, like, massive data hall, like a huge warehouse basically.

1155
00:55:23,680 --> 00:55:26,559
거대한 데이터 홀, 그러니까
커다란 창고 같은 곳이요.

1156
00:55:26,559 --> 00:55:33,599
그런데 지금은 그걸 랙 여덟
개 정도에 다 담을 수 있어요.
And now you can actually pack that into around eight racks worth of compute.

1157
00:55:33,599 --> 00:55:35,599
랙 하나가 냉장고 정도 크기예요.
Each rack is about the size of a refrigerator.

1158
00:55:35,599 --> 00:55:37,440
그게 여덟 개 나란히 서
있다고 상상하시면 됩니다.
You can just imagine eight of them lined up.

1159
00:55:37,440 --> 00:55:39,040
그게 1메가와트군요.
That's a megawatt.

1160
00:55:39,040 --> 00:55:42,800
그러니까 대표님이 만들고 싶은 미래는
And so your view would be that the future that you want to help build is a whole bunch of different chips that can be used together.

1161
00:55:42,800 --> 00:55:46,559
여러 다른 칩들을 함께 쓰는 거네요?

1162
00:55:46,559 --> 00:55:46,960
네.
Yes.

1163
00:55:46,960 --> 00:55:52,000
칩을 사들이는 구매자로서, 칩
하나당 최대한 뽑아내려는 거고요.
That you can buy, you know, you're a buyer to eke out the most per chip.

1164
00:55:52,000 --> 00:55:58,400
그 칩들을 아주 작은 데이터센터에
묶어서 추론만 돌리는 거고요.
And that those chips can then be coupled in very small data centers to just do inference.

1165
00:55:58,400 --> 00:56:01,520
그리고 이 두 단계,
그러니까 되는대로 모은
And that those two steps of a whole bunch of random compute, some of which is cheaper than it should be —

1166
00:56:01,520 --> 00:56:04,640
컴퓨트 중 일부를 원래보다
싸게 손에 넣고—

1167
00:56:04,640 --> 00:56:08,231
거기서 더 많이 뽑아내는
능력에다 데이터센터 단위의
Your ability to eat more out of it, and then small units of expression in a data center, equals way cheaper intelligence.

1168
00:56:08,231 --> 00:56:12,079
소규모 구현을 더하면, 훨씬
싼 지능이 나온다는 거죠.

1169
00:56:12,079 --> 00:56:13,200
저는 확실히 그렇다고 생각합니다.
I certainly think so.

1170
00:56:13,200 --> 00:56:15,113
네, 무엇을 받아들일지
창의적으로 고를 수
Yes, there's a lot of ways to access cheaper flops if you're able to be creative with what you take.

1171
00:56:15,113 --> 00:56:17,359
있다면 더 싼 플롭스에
접근하는 방법은 많습니다.

1172
00:56:17,359 --> 00:56:21,239
그래서 저희가 하는 일을
설명하는 방법 중 하나는, 세계
And so, one of the ways that I describe what we do is we will buy any chip anywhere in the world for any duration of time.

1173
00:56:21,239 --> 00:56:25,119
어디서든 어떤 칩이든 기간에
상관없이 사들인다는 겁니다.

1174
00:56:25,119 --> 00:56:29,280
이 정도의 유연성과 유동성은 지금
다른 어디에도 없다고 생각합니다.
That is a level of flexibility and liquidity that I think no one else has right now.

1175
00:56:29,280 --> 00:56:32,319
저희는 말한 대로 실제로
실행하는 데 아주 적극적입니다.
We're very aggressive about putting our money where our mouth is.

1176
00:56:32,319 --> 00:56:34,954
정말 어떤 용량이든
받아들여서 저희 플릿에서
And we will really take any capacity and find a way to make it work in our fleet.

1177
00:56:34,954 --> 00:56:37,040
돌아가게 만드는 방법을 찾아냅니다.

1178
00:56:37,040 --> 00:56:40,781
그게 오늘날 저희 강점의 큰
부분이고, 장기적으로는 이런
And that is a big part of our advantage today, and long term we had to create more of that advantage by investing in these data centers

1179
00:56:40,781 --> 00:56:44,160
데이터센터에 투자해서 그
강점을 더 키워야 했습니다

1180
00:56:44,160 --> 00:56:47,147
다른 사람들은 회의적으로
볼 텐데, 소형 데이터센터
that other people are going to be skeptical of, because you know what's going to happen when you set up this army of a thousand small data centers

1181
00:56:47,147 --> 00:56:50,880
1,000개짜리 군단을 세우면
무슨 일이 벌어질지 아실 테니까요

1182
00:56:50,880 --> 00:56:53,040
거대한 1기가와트 데이터센터
하나와 비교하면요.
versus the one big gigawatt data center.

1183
00:56:53,040 --> 00:56:54,079
음, 몇 가지가 있습니다.
Well, few things.

1184
00:56:54,079 --> 00:56:56,480
솔직히 전력 이중화는
꽤 자주 없을 겁니다.
You're not going to have power redundancy, frankly, quite often.

1185
00:56:56,480 --> 00:56:58,160
현장에 예비 디젤 발전기도 없을 거고요.
You're not going to have backup diesel generators on site.

1186
00:56:58,160 --> 00:56:59,040
그런 건 전부 비용이 많이 들거든요.
Those are all very expensive.

1187
00:56:59,040 --> 00:57:00,160
저희는 그런 오버헤드를 전부 걷어냅니다.
We cut all that overhead.

1188
00:57:00,160 --> 00:57:02,559
많은 경우 네트워킹
이중화조차 없을 겁니다.
We're not even going to have redundant networking in a lot of cases.

1189
00:57:02,559 --> 00:57:04,770
전력 접근성이 좋은 시설, 그러니까 단일
We're going to put these in facilities where we have good access to power, a single source of power,

1190
00:57:04,770 --> 00:57:06,880
전원만 있는 곳에 이런 걸 둘 거고요,

1191
00:57:06,880 --> 00:57:10,079
이 데이터센터들까지 광섬유
한 줄만 매설할 거고요,
and we're going to trench one line of fiber to these data centers,

1192
00:57:10,079 --> 00:57:14,319
이중화·페일오버·SLA까지 갖춘
광섬유 세 줄 같은 건 없을 겁니다.
but we're not going to have like three lines of fiber with redundancy and failover and SLAs.

1193
00:57:14,319 --> 00:57:15,920
가끔은 그냥 다운될 수밖에 없어요.
It's just going to go down sometimes.

1194
00:57:15,920 --> 00:57:19,359
실제로 어떤 곳은 가동률이 95%까지
떨어져도 저는 놀라지 않을 겁니다.
In fact, I won't be surprised if some of them get down to like 95% uptime,

1195
00:57:19,359 --> 00:57:20,160
그건 나쁜 거죠.
which is bad.

1196
00:57:20,160 --> 00:57:20,720
아주 안 좋아요.
Very bad.

1197
00:57:20,720 --> 00:57:22,960
다른 누구에게든 그건
치명적이고 끔찍한 수준이죠.
That's fatal, atrocious for anyone else.

1198
00:57:22,960 --> 00:57:25,680
큰 판에서 살아남으려면—
Survive in a big gig —

1199
00:57:25,680 --> 00:57:29,200
가동률 95%짜리 데이터센터를
살 사람은 사실상 없을 겁니다.
you'd have basically zero buyers for a data center that has 95% uptime.

1200
00:57:29,200 --> 00:57:30,480
제가 바로 그 첫 구매자예요.
I'm that first buyer.

1201
00:57:30,480 --> 00:57:32,079
저는 95% 가동률을 사겠습니다.
I will buy 95% uptime.

1202
00:57:32,079 --> 00:57:34,807
그러니까 이유가 이 백그라운드
엔진 같은 것 때문인가요?
And the reason for that is because of this background engine thing — if there's things running in the background, you don't care.

1203
00:57:34,807 --> 00:57:37,359
백그라운드에서 돌아가는 거면
신경 안 쓰시는 거고요?

1204
00:57:37,359 --> 00:57:39,040
부분적으로는요. 사실
이유는 두 가지입니다.
Partially. It's actually two things.

1205
00:57:39,040 --> 00:57:42,443
첫째, 저희에게는 아주 견고한
컨트롤 플레인이 있어서 데이터센터
One is that we have a really robust control plane that is going to be fine handling any single failure in any single data center

1206
00:57:42,443 --> 00:57:45,359
한 곳에서 장애가 하나 나도
충분히 처리할 수 있어요.

1207
00:57:45,359 --> 00:57:47,937
다른 데이터센터와 얽힌
장애만 아니라면요. 워크로드를
as long as it's not correlated with other data centers, and I can just move the workload somewhere else — I'm cool with that.

1208
00:57:47,937 --> 00:57:50,160
다른 곳으로 옮기면
그만이니 저는 괜찮습니다.

1209
00:57:50,160 --> 00:57:54,138
장애는 어느 정도 비율로
일어나는데, 저는 가동률이
The failures happen at some rate, and I am basically linearly happy with a data center that's 95% uptime versus 98% versus 99%.

1210
00:57:54,138 --> 00:57:58,400
95%든 98%든 99%든
거의 선형적으로 만족합니다.

1211
00:57:58,400 --> 00:58:01,040
저한테는 그냥 선형적으로
좋고 나쁜 거죠.
It's just linearly good or bad for me.

1212
00:58:01,040 --> 00:58:01,760
음.
Mhm.

1213
00:58:01,760 --> 00:58:04,480
그리고 이제 아까 말씀드린 그
비동기적인 부분이 필요한데요
Now, you do need that async piece that I mentioned of — you know, we serve these long horizon agents —

1214
00:58:04,480 --> 00:58:07,200
— 저희가 서빙하는 게 이 롱
호라이즌 에이전트들이잖아요—

1215
00:58:07,200 --> 00:58:10,204
요청이 실패하면 저희는 그 요청을 처리할
because what happens when a request fails is that I'm going to have to go find a new GPU to put that request on.

1216
00:58:10,204 --> 00:58:12,799
새 GPU를 다시 찾아야 하거든요.

1217
00:58:12,799 --> 00:58:17,280
그러면 에이전트가 한 시간
동안 진행하던 그 한 턴이,
And that means that for that single turn of the agent's work, you know, it's working for an hour,

1218
00:58:17,280 --> 00:58:21,520
GPU가 빠지면서 갑자기
막혀버리는 거예요.
but then it hits a roadblock because its GPU got pulled away.

1219
00:58:21,520 --> 00:58:24,795
그 순간 에이전트는
1~2분, 3분, 심하면
At that moment in time, that agent is going to experience maybe like an extra minute or two or three, maybe even 10 of latency.

1220
00:58:24,795 --> 00:58:28,480
10분 정도 레이턴시가
추가로 생길 수 있습니다.

1221
00:58:28,480 --> 00:58:30,842
하지만 제 요지는, 고객들은
신경 안 쓴다는 거예요.
But my argument is that my customers don't care because their agent was running for hours.

1222
00:58:30,842 --> 00:58:32,960
에이전트가 어차피 몇
시간씩 돌고 있었으니까요.

1223
00:58:32,960 --> 00:58:33,920
고객들은 잠들어 있잖아요.
They're sleeping.

1224
00:58:33,920 --> 00:58:34,319
상관없죠.
Doesn't matter.

1225
00:58:34,319 --> 00:58:38,640
한 턴이 가끔 조금
길어진다고 해도 문제없습니다.
It doesn't matter if a single turn occasionally becomes a little bit longer.

1226
00:58:38,640 --> 00:58:38,960
네.
Yeah.

1227
00:58:38,960 --> 00:58:43,380
그래서 고객들에게 말합니다. 평균
처리량은 매우 경쟁력 있을 거다,
So we tell our customers, look, our average throughput is going to be very competitive, but our P99, our 99th percentile latency, it's not going to be controlled.

1228
00:58:43,380 --> 00:58:47,920
하지만 P99, 즉 99번째 백분위수
레이턴시는 통제되지 않을 거다.

1229
00:58:47,920 --> 00:58:48,799
통제될 수가 없죠.
It cannot be.

1230
00:58:48,799 --> 00:58:51,280
대신 압도적인 경제성을
드리겠다는 겁니다.
And in return, I'll give you unbeatable economics.

1231
00:58:51,280 --> 00:58:52,960
이게 백그라운드 에이전트에
딱 맞는 방식이라고 봅니다.
And I think that's the right fit for background agents.

1232
00:58:52,960 --> 00:58:54,240
전력을 하나의 카테고리로 얘기해보죠.
Talk about power as a category.

1233
00:58:54,240 --> 00:58:57,119
흥미롭고 혁신적인 부분이 뭔가요?
이게 어디로 간다고 보세요?
What are you seeing that's interesting, innovative — where do you think this goes?

1234
00:58:57,119 --> 00:59:01,440
네, 제가 데이터센터 가동률을
95%로 원한다고 했었죠.
Okay, so I said I want 95% uptime on my data centers.

1235
00:59:01,440 --> 00:59:04,079
적절한 가격이라면 가동률 80%도
받아들일 수 있지 않을까요?
Could I even take 80% uptime at the right price?

1236
00:59:04,079 --> 00:59:04,880
아마도요.
Probably.

1237
00:59:04,880 --> 00:59:06,079
그게 무슨 의미냐면요.
And what does that mean?

1238
00:59:06,079 --> 00:59:07,760
저는 캘리포니아 토박이입니다.
Well, I'm a son of California.

1239
00:59:07,760 --> 00:59:09,040
태양광과 풍력을 정말 좋아하고요.
I love solar and wind.

1240
00:59:09,040 --> 00:59:11,920
미국에서 태양광·풍력 발전이 훨씬
덜 활용되고 있다고 봅니다.
I think solar and wind power is way undertapped in the United States.

1241
00:59:11,920 --> 00:59:14,319
늘 문제였던 건 이 간헐성이었죠.
And the challenge has always been this intermittency.

1242
00:59:14,319 --> 00:59:17,687
태양광·풍력은 데이터센터엔 아예
안 맞는다고 볼 수도 있어요.
You would even consider solar and wind unsuitable for data centers, because you have a persistent base load and an intermittent power source.

1243
00:59:17,687 --> 00:59:20,559
지속적인 기저 부하가 필요한데
전원은 간헐적이니까요.

1244
00:59:20,559 --> 00:59:21,520
그럼 어떻게 하실 건가요?
What are you going to do?

1245
00:59:21,520 --> 00:59:24,640
사실 그 문제를 푸는 데서 그리
멀지 않았다고 생각합니다.
Well, I think we're actually not that far from solving that problem.

1246
00:59:24,640 --> 00:59:28,080
제 데이터센터라면 며칠, 심지어 몇 주
I am totally capable of tolerating an outage for my data center that's measured in even days or weeks,

1247
00:59:28,080 --> 00:59:31,520
단위 정전도 충분히 감내할 수 있어요.

1248
00:59:31,520 --> 00:59:33,760
데이터센터 입장에선
최악의 악몽 시나리오죠.
which is like the worst case nightmare scenario for a data center,

1249
00:59:33,760 --> 00:59:37,280
바람이 안 불어서 장기 정전이 온다거나
is that we're going to have a long-term outage because the wind isn't blowing

1250
00:59:37,280 --> 00:59:40,720
구름이 끼고, 계곡에 안개가
한동안 자욱하다거나 하는 거요.
and the clouds are in the sky, fog is hanging over the valley for some time.

1251
00:59:40,720 --> 00:59:41,760
그게 최악의 시나리오입니다.
That's the worst case scenario.

1252
00:59:41,760 --> 00:59:44,951
사실 이건 예측이 꽤
잘 됩니다. 그럴 때마다
It's, in fact, highly predictable, and I can just call in capacity in some other place of the world whenever that happens.

1253
00:59:44,951 --> 00:59:47,760
세계 다른 곳의 용량을 끌어오면 되고요.

1254
00:59:47,760 --> 00:59:51,200
날씨를 모델링해서 제 데이터센터가
언제 오프라인이 될지 파악하고,
I'll just model the weather and figure out when my data center is going to be offline,

1255
00:59:51,200 --> 00:59:54,240
제 워크로드를 다른 곳으로
옮기면 되고, 그걸로 끝입니다.
move my workload somewhere else, and it's fine.

1256
00:59:54,240 --> 00:59:56,154
핵심은, 그렇게 하면
다른 누구도 손대지 않는
The trick is that it's going to give me better access to power that no one else is going to touch,

1257
00:59:56,154 --> 00:59:57,839
전력에 더 잘 접근할 수 있다는 겁니다.

1258
00:59:57,839 --> 01:00:01,599
그런 정전을 처리하는 게
너무 번거롭기 때문이죠.
because it is so annoying to deal with that kind of outage.

1259
01:00:01,599 --> 01:00:04,960
그리고 제 칩이 충분히 저렴하다면,
아마 엔비디아 랙은 아닐 겁니다.
And if my chips are cheap enough, they're probably not going to be Nvidia racks.

1260
01:00:04,960 --> 01:00:07,432
제 칩이 충분히 저렴하다면, 칩이 놀아도
And if my chips are cheap enough, I don't mind the capital cost of having idle chips.

1261
01:00:07,432 --> 01:00:09,680
그 자본 비용은 신경 쓰지 않습니다.

1262
01:00:09,680 --> 01:00:10,240
네.
Yeah.

1263
01:00:10,240 --> 01:00:13,920
이 시스템 전체를 스캐빈저
전략이라고 부르신다고 들었어요.
So I've heard you describe this entire system as like a scavenger strategy.

1264
01:00:13,920 --> 01:00:14,319
맞습니다.
That's right.

1265
01:00:14,319 --> 01:00:16,559
네, 그 비유를 좀
풀어서 설명해주시겠어요?
Yeah — unpack that analogy a little.

1266
01:00:16,559 --> 01:00:21,280
우선 칩을 수거하고, 그다음 그
칩들을 위한 전력을 수거합니다.
Well, first we scavenge chips, and then we scavenge power for those chips.

1267
01:00:21,280 --> 01:00:24,022
핵심은, 두 경우 모두
앤트로픽이나 오픈AI와 컴퓨팅
The idea is, in both cases, I do not want to be bidding against Anthropic or OpenAI for compute capacity.

1268
01:00:24,022 --> 01:00:26,480
용량을 두고 경쟁 입찰하고
싶지 않다는 겁니다.

1269
01:00:26,480 --> 01:00:28,319
그들을 이길 수도 없고,
이기고 싶지도 않습니다.
I'm not going to win against them, and I don't want to.

1270
01:00:28,319 --> 01:00:30,339
저는 더 창의적으로,
그들이 아직 알아보지
I want to be more creative and use the supply that they don't find legible today.

1271
01:00:30,339 --> 01:00:31,920
못하는 공급을 활용하고 싶습니다.

1272
01:00:31,920 --> 01:00:35,520
그렇게 시간이 지나면서 충분한
총합 공급을 쌓아갑니다.
And over time, I amass enough aggregate supply.

1273
01:00:35,520 --> 01:00:36,880
집중된 공급은 절대 얻지 못할 겁니다.
I'm never going to get concentrated supply.

1274
01:00:36,880 --> 01:00:38,960
오직 총합 공급만 얻게 되죠.
I will only get aggregate supply.

1275
01:00:38,960 --> 01:00:41,172
그리고 시간이 지나면,
경제성 면에서 누구도
And over time, I build my aggregate factory that is unbeatable in economics.

1276
01:00:41,172 --> 01:00:43,200
이길 수 없는 총합 공장을 짓게 됩니다.

1277
01:00:43,200 --> 01:00:44,319
저희는 공장을 짓고 있습니다.
We are building a factory.

1278
01:00:44,319 --> 01:00:46,480
세계 최고의 제철
공장을 지으려는 겁니다.
We're trying to build the best steel factory in the world.

1279
01:00:46,480 --> 01:00:52,400
다만 그건 대형 일관제철소가 아니라
미니밀을 통해 이뤄질 겁니다.
But it will come through mini mills, not through large monolithic steel plants.

1280
01:00:52,400 --> 01:00:54,962
이걸 여러 버전으로 상상해보면, 얼마나
And if I imagine the different versions of this, like how vertically integrated you can be.

1281
01:00:54,962 --> 01:00:57,280
수직계열화할 수 있는지도 그렇고요.

1282
01:00:57,280 --> 01:00:57,839
네.
Yeah.

1283
01:00:57,839 --> 01:01:01,040
한 버전은 극단적으로, 모든
걸 직접 소유하는 겁니다.
One version would be the extreme — you own everything.

1284
01:01:01,040 --> 01:01:03,520
그러면 자본 집약도가
매우 높은 사업이 되죠.
So that it's a very capital intensive business.

1285
01:01:03,520 --> 01:01:05,520
전력원을 직접 소유하는 거고요.
You own the power source.

1286
01:01:05,520 --> 01:01:07,280
데이터센터도 직접 짓고,
You build the data centers.

1287
01:01:07,280 --> 01:01:09,119
칩도 직접 설계하고,
You design your own chips.

1288
01:01:09,119 --> 01:01:12,880
그 칩에서 가장 많은 자원을 잡아먹는
소프트웨어까지 직접 통제하고,
You control the software that eats the most out of those chips.

1289
01:01:12,880 --> 01:01:15,680
그리고 완성된 최종 토큰을 팔죠 —
And you sell the end, finished token —

1290
01:01:15,680 --> 01:01:18,400
사용자에게요 — 저 같은 사용자한테 —
to your user — like your user is me —

1291
01:01:18,400 --> 01:01:20,319
그러면 스택 전체를
통째로 소유하는 거예요.
and you just own the whole stack.

1292
01:01:20,319 --> 01:01:23,760
그런데 이 사업의 다른 조합도
얼마든지 상상할 수 있잖아요,
But you can imagine many other permutations of the business,

1293
01:01:23,760 --> 01:01:27,901
선을 어디에든 그을 수 있죠 —
자본은 극도로 가볍게 가져가면서
where you could draw the line anywhere — you could be incredibly capital light, own nothing, and just be like the coordination plane —

1294
01:01:27,901 --> 01:01:32,160
아무것도 소유하지 않고 그냥 조정
계층이 되는 것도 가능하고요 —

1295
01:01:32,160 --> 01:01:34,480
이 모든 걸 아우르는,
가상의 스캐빈저처럼요.
across all this stuff, the virtual scavenger.

1296
01:01:34,480 --> 01:01:35,119
맞아요.
Right.

1297
01:01:35,119 --> 01:01:39,920
이 중 어떤 유형의 사업이
될지는 어떻게 생각하세요?
How do you think about that question of which type of these businesses to be?

1298
01:01:39,920 --> 01:01:42,000
사실 그 질문을 받는 저는
두 가지 자아로 나뉩니다.
There's actually two parts of me to receive that question.

1299
01:01:42,000 --> 01:01:45,931
하나는 매일 돌아가야
하고, 최대한 지속 가능하고
One is the CEO of a company that needs to work every day and grow as sustainably and as quickly as it possibly can.

1300
01:01:45,931 --> 01:01:49,280
빠르게 성장시켜야 하는
회사의 CEO고요.

1301
01:01:49,280 --> 01:01:51,618
다른 하나는 창업자인데,
창업자 쪽이 훨씬
The other is the founder, and the founder is much more imaginative and just loves this stuff.

1302
01:01:51,618 --> 01:01:54,160
더 상상력이 풍부하고
이런 걸 그냥 좋아하죠.

1303
01:01:54,160 --> 01:01:56,079
제 안의 창업자는 모든
걸 다 하고 싶어 합니다.
The founder in me wants to do everything.

1304
01:01:56,079 --> 01:01:57,040
이게 제 인생 전부거든요.
This is my entire life.

1305
01:01:57,040 --> 01:01:59,839
평생을 칩, 전력, 에너지
생각만 하면서 살았습니다.
I spent my entire life thinking about chips, power, energy.

1306
01:01:59,839 --> 01:02:01,359
제가 신경 쓰는 건 이것뿐이에요.
All I care about is this stuff.

1307
01:02:01,359 --> 01:02:03,040
그러니까 당연히 최대한 야심 차고 싶죠.
So, of course, I want to be maximally ambitious.

1308
01:02:03,040 --> 01:02:04,160
절대 멈추고 싶지 않습니다.
I don't want to stop, ever.

1309
01:02:04,160 --> 01:02:06,411
밑바닥부터 끝까지 가장 효율적인 시스템을
I will never stop until I have built the most efficient system from soup to nuts.

1310
01:02:06,411 --> 01:02:08,559
만들 때까지 절대 멈추지 않을 거예요.

1311
01:02:08,559 --> 01:02:10,559
말 그대로 현실판 팩토리오를
하고 계시는 거네요.
You're doing real-life factorial, basically.

1312
01:02:10,559 --> 01:02:12,240
정말 그렇습니다, 정말 그래요.
Very much so, very much so.

1313
01:02:12,240 --> 01:02:14,240
그게 좀 감정적인 답변이었고,
냉정한 답은 아니었죠.
So that's like the emotional, from the hard answer.

1314
01:02:14,240 --> 01:02:17,520
CEO 입장에서는 좀 더
실용적이어야 한다고 생각합니다.
On the CEO side, I think we have to be more pragmatic.

1315
01:02:17,520 --> 01:02:20,124
모든 걸 직접 소유하는 데 드는 자본
I think that the capital we're looking at for owning everything is, like you said, insane.

1316
01:02:20,124 --> 01:02:23,119
규모는, 말씀하신 대로
정말 어마어마하죠.

1317
01:02:23,119 --> 01:02:25,680
네, 소프트웨어는 레버리지가 크니까
소프트웨어부터 시작해야 합니다.
Yeah, software has high leverage, so we have to start with software.

1318
01:02:25,680 --> 01:02:28,880
결국 발전을 직접 소유해야
할까요, 아니면 유틸리티
Ultimately, do we own power generation, or can we get great power purchase agreements with utilities?

1319
01:02:28,880 --> 01:02:32,079
회사와 좋은 전력구매계약(PPA)을
맺으면 될까요?

1320
01:02:32,079 --> 01:02:35,850
저는 다른 사람들이 원래 잘하던
분야에 계속 특화하게 두고,
I'm more inclined to pursue letting other people specialize in the things that they're historically good at, and then see if we can get to the scale.

1321
01:02:35,850 --> 01:02:40,079
우리가 그 규모까지 갈 수 있는지
지켜보는 쪽에 더 마음이 갑니다.

1322
01:02:40,079 --> 01:02:42,159
이걸 직접 품을 자격을 얻을 만한 규모에
I think of it as, I want to get to the scale where I earn the right to take this under our wing.

1323
01:02:42,159 --> 01:02:44,240
도달하고 싶다, 저는 그렇게 생각합니다.

1324
01:02:44,240 --> 01:02:48,079
스택 전체 곳곳에서 얻을 수 있는
효율이 분명히 있다고 봅니다.
I absolutely think that there's efficiencies to be gained everywhere in the stack.

1325
01:02:48,079 --> 01:02:50,588
제가 물건을 사려는 상대방이 자기 고객이
If you can break the assumption that people I would be buying from, they made assumptions about who their customers would be.

1326
01:02:50,588 --> 01:02:53,440
누굴지에 대해 세워둔
가정을 깰 수 있다면요.

1327
01:02:53,440 --> 01:02:56,160
그리고 어쩌면 제가 바로 그
가정들을 깨는 쪽일 수도 있고요.
And I maybe break those assumptions.

1328
01:02:56,160 --> 01:02:57,760
꽤 낙관적인 시각이긴 합니다.
It's a pretty optimistic view.

1329
01:02:57,760 --> 01:03:00,933
이게 가능한 이유는, 저희가
컴퓨팅 역사상 가장 큰
I think it's only possible because we're actually trying to underwrite the largest market for compute in the history of computing.

1330
01:03:00,933 --> 01:03:04,559
컴퓨트 시장을 뒷받침하려 하고
있기 때문이라고 생각합니다.

1331
01:03:04,559 --> 01:03:10,559
실제로 추론에 수천억, 수조 달러
규모의 투자를 쏟아붓게 될 겁니다.
We're actually going to build so many billions, trillions of dollars of investment into inference.

1332
01:03:10,559 --> 01:03:12,880
그렇게 집중하고 있기
때문에, 추론에 맞춘
And because of that focus, it makes sense to build a lot of things that are custom for inference.

1333
01:03:12,880 --> 01:03:15,200
커스텀 제품을 많이
만드는 게 합리적이죠.

1334
01:03:15,200 --> 01:03:18,720
그런 지점들을 전부
찾아내는 게 제 일입니다.
And it's my job to seek all the places where that's possible.

1335
01:03:18,720 --> 01:03:22,339
그게 저와 파트너들에게
명확해지면, 파트너들에게
And then, as they become obvious to me and my partners, I will get my partners to build custom things for me.

1336
01:03:22,339 --> 01:03:25,680
저를 위한 커스텀 제품을
만들게 할 겁니다.

1337
01:03:25,680 --> 01:03:27,680
만약 그들이 해줄 수 없다면,
제가 직접 하겠습니다.
And if they can't do it for me, I will do it myself.

1338
01:03:27,680 --> 01:03:29,618
이 시스템 전체를 넓게 봐서요,
If you had to just zoom out on this entire system, software, hardware, energy, etc.,

1339
01:03:29,618 --> 01:03:32,240
소프트웨어, 하드웨어,
에너지까지 전부요,

1340
01:03:32,240 --> 01:03:36,028
오늘날 유용하고 똑똑한 토큰을 만드는 데
and stack-rank the places that you think we are the most inefficient today at producing useful, intelligent tokens?

1341
01:03:36,028 --> 01:03:40,160
가장 비효율적인 지점들을
순위 매겨본다면요?

1342
01:03:40,160 --> 01:03:40,640
네.
Yeah.

1343
01:03:40,640 --> 01:03:42,000
그 목록은 어떤 모습일까요?
What does that list look like?

1344
01:03:42,000 --> 01:03:45,599
컴퓨트 스케일링은 사실 굉장히
효율적이라고 생각합니다.
I think compute scaling is actually very efficient.

1345
01:03:45,599 --> 01:03:48,720
그러니까, 플롭스를 더 주면
저는 그만큼 다 쓴다는 거죠.
As in, you give me more flops and I will use more flops.

1346
01:03:48,720 --> 01:03:50,360
그리고 저희는 이미 플롭스 사용에 있어
And I would say we're actually fairly judicious already with our use of flops.

1347
01:03:50,360 --> 01:03:52,079
꽤 신중한 편이라고 말씀드리고 싶습니다.

1348
01:03:52,079 --> 01:03:56,640
요즘 모델들을 보면, 밀집도가
10%를 넘는 모델은 거의 없습니다,
If you look at a modern model, there are very few models that are more than 10% dense,

1349
01:03:56,640 --> 01:03:58,633
활성화할 수 있는 전문가(expert)
meaning 10% of the possible number of experts you can activate are activated.

1350
01:03:58,633 --> 01:04:00,720
중 10%만 실제로 활성화된다는 뜻이죠.

1351
01:04:00,720 --> 01:04:03,359
프론티어 모델들은 1%에 더
가까울 거라고 생각합니다.
And I think the frontier models are closer to like 1%.

1352
01:04:03,359 --> 01:04:05,599
그러니까, 이미 상당히 희소한 거죠.
So, fairly sparse already.

1353
01:04:05,599 --> 01:04:09,359
MoE 쪽에서 낭비가 그렇게
크다고는 생각 안 해요.
I don't think that we're wasting too much on the MOE side.

1354
01:04:09,359 --> 01:04:11,039
다들 이걸 꽤 오랫동안 다뤄왔으니까요.
People have been working with it for quite some time.

1355
01:04:11,039 --> 01:04:12,799
짜낼 건 이미 꽤 잘 짜내고 있습니다.
They're pretty good at squeezing it.

1356
01:04:12,799 --> 01:04:16,480
우리가 못하는 건 어텐션,
그리고 그 메모리 사용이에요.
Where we are not good is attention and its use of memory.

1357
01:04:16,480 --> 01:04:20,960
구체적으로 말하면, KV 캐시가
지금 거의 압축이 안 돼 있어요.
Specifically, the KV cache is quite uncompressed right now.

1358
01:04:20,960 --> 01:04:23,224
KV 캐시의 엔트로피를 보면, 그 정도
I think if you look at the entropy in a KV cache, it's nowhere near — it's not earning its keep.

1359
01:04:23,224 --> 01:04:25,920
값어치가 전혀— 제 몫을
못 하고 있는 거죠.

1360
01:04:25,920 --> 01:04:30,240
토큰 하나당 KV 캐시에 수
킬로바이트씩 저장하고 있습니다.
We're storing many kilobytes of data in the KV cache per token.

1361
01:04:30,240 --> 01:04:34,160
그건 아마 한두 자릿수는
과한 걸 거예요.
And that's probably off by an order of magnitude or two.

1362
01:04:34,160 --> 01:04:37,898
프론티어 랩들이 뭘 하는지는
모르겠지만, 딥시크는 그걸
And I don't know what the frontier labs do, but DeepSeek certainly publishes really interesting work to compress that further and further.

1363
01:04:37,898 --> 01:04:41,760
계속 더 압축하는 정말 흥미로운
연구를 발표하고 있어요.

1364
01:04:41,760 --> 01:04:42,799
성과도 꽤 좋고요.
And they're making good progress.

1365
01:04:42,799 --> 01:04:46,225
매년 한 번씩 자릿수
단위로 진전이 있다는 건,
And I think the fact that they're able to make order-of-magnitude progress here every year or so signals that there's a lot more room to go.

1366
01:04:46,225 --> 01:04:49,520
갈 길이 아직 많이
남았다는 신호라고 봅니다.

1367
01:04:49,520 --> 01:04:51,200
이건 다 마이크로 스케일 얘기고요.
I guess this is all on the micro scale.

1368
01:04:51,200 --> 01:04:53,285
더 줌아웃해서 보면,
사실 우리는 컴퓨트를
If you zoom out further, I think that we actually don't marshal our compute effectively at all.

1369
01:04:53,285 --> 01:04:55,280
전혀 효율적으로 동원하지 못하고 있어요.

1370
01:04:55,280 --> 01:04:56,799
세상엔 이렇게 많은
컴퓨트가 있는데 말이죠.
We have all this compute in the world.

1371
01:04:56,799 --> 01:04:59,280
엔비디아가 올해 블랙웰 칩을
500만 개나 쏟아내고 있어요.
Nvidia is pumping out 5 million Blackwell chips this year.

1372
01:04:59,280 --> 01:05:00,000
그게 다 어디로 가는 걸까요?
Where are they all going?

1373
01:05:00,000 --> 01:05:01,760
그게 정말 늘, 항상 쓰이고 있을까요?
Are they all being used at all, all the time?

1374
01:05:01,760 --> 01:05:02,640
저는 분명 의심스럽습니다.
I certainly doubt it.

1375
01:05:02,640 --> 01:05:04,515
어느 수준에서는, 전 세계 컴퓨트를 더
I think that at some level we just need better orchestration of compute across the world.

1376
01:05:04,515 --> 01:05:06,480
잘 오케스트레이션할 필요가 있다고 봐요.

1377
01:05:06,480 --> 01:05:08,742
이게 정말 어려운 이유는, 많은 컴퓨트가
This is very difficult to do, because a lot of the compute disappears into private pools of compute

1378
01:05:08,742 --> 01:05:10,799
사설 풀 속으로 사라져버리기 때문인데

1379
01:05:10,799 --> 01:05:12,951
그런 컴퓨트는 세상 빛을 볼 일이 없고,
that will never see the light of day, and those GPUs sit very sadly idle.

1380
01:05:12,951 --> 01:05:15,200
그 GPU들은 슬프게도
그냥 놀고 있어요.

1381
01:05:15,200 --> 01:05:18,834
그 GPU들에 실리콘과
전력이 들어갔는데 그냥 놀고
It actually pains me physically to see that those GPUs are just silicon and power went into that, and it's just sitting idle.

1382
01:05:18,834 --> 01:05:22,079
있는 걸 보면, 저는
몸으로 아플 지경이에요.

1383
01:05:22,079 --> 01:05:25,802
그걸 고치고 싶어요— 세상의
컴퓨트를 공유 자원으로 조직하고
And I want to fix that — how we organize and orchestrate the world's compute as a shared resource, and pack it more efficiently.

1384
01:05:25,802 --> 01:05:28,960
오케스트레이션해서, 더
효율적으로 채워 넣는 거죠.

1385
01:05:28,960 --> 01:05:33,418
제 생각엔, 다들 xAI가
클러스터 전체 플롭
I would estimate that we all make fun of xAI for having some challenges with total flop utilization on its clusters,

1386
01:05:33,418 --> 01:05:37,520
활용률에 어려움을
겪는다고 놀리곤 하는데,

1387
01:05:37,520 --> 01:05:40,720
하지만 나머지 세계의 현실은
훨씬, 훨씬 더 심각합니다.
but the reality for the rest of the world is it's far, far worse.

1388
01:05:40,720 --> 01:05:43,901
수많은 GPU가 창고에
쌓여 있거나, 특정
A ton of GPUs just sit in warehouses, or sit in private pools allocated to a specific customer, and just don't get utilized.

1389
01:05:43,901 --> 01:05:47,359
고객 전용 풀에 갇힌
채 그냥 놀고 있습니다.

1390
01:05:47,359 --> 01:05:49,920
그 비효율을 아주 직접적으로
공략하시는 거네요.
You're attacking the efficiency of that very directly.

1391
01:05:49,920 --> 01:05:50,960
그게 훨씬 더 효과적이네요.
That's way more effective.

1392
01:05:50,960 --> 01:05:51,119
네.
Yeah.

1393
01:05:51,119 --> 01:05:53,359
음, 팹은 어때요?
Um, what about fabs?

1394
01:05:53,359 --> 01:05:56,559
팹 자체의 미래는 어떻게 보세요?
Like, what do you think is the future of fabs themselves?

1395
01:05:56,559 --> 01:06:01,839
다들 궁금해하는 게, 메모리
회사들이나 TSMC, 인텔 같은
I think everyone is wondering: will the memory companies, will TSMC, will Intel and others be able to... how will they expand capacity, basically?

1396
01:06:01,839 --> 01:06:07,440
곳들이... 생산 능력을 대체
어떻게 늘릴 수 있을지 아닐까요?

1397
01:06:07,440 --> 01:06:07,760
네.
Yeah.

1398
01:06:07,760 --> 01:06:09,520
그걸 미국에서 해낼 수 있을까요?
Will we do it here in the US?

1399
01:06:09,520 --> 01:06:10,160
네.
Yeah.

1400
01:06:10,160 --> 01:06:12,480
칩 제조 자체 얘기도 한번 해주시죠.
Riff on fabrication of chips themselves.

1401
01:06:12,480 --> 01:06:16,394
손가락 한 번 튕겨서
지금보다 칩이 100배
If we could just snap our fingers and have 100 times the chips in the stock today, we'd probably have way cheaper, way cheaper tokens.

1402
01:06:16,394 --> 01:06:20,960
많아진다면, 토큰 가격도
훨씬, 훨씬 저렴해지겠죠.

1403
01:06:20,960 --> 01:06:25,920
그래서 이 부분에 대한
의견도 꼭 듣고 싶었어요.
So that seems like an important part of the universe to hear your view on.

1404
01:06:25,920 --> 01:06:26,079
네.
Yeah.

1405
01:06:26,079 --> 01:06:26,960
음, 흥미로운 지점인데요.
Well, it's interesting.

1406
01:06:26,960 --> 01:06:28,720
모든 게 서로 균형을
맞추면서 성장하는 거죠.
Everything grows in balance with each other, right?

1407
01:06:28,720 --> 01:06:31,486
손가락을 튕겨서 그 모든 걸
두 배로 늘려도, TSMC
If we snap our fingers and double all those things, you might fix a TSMC bottleneck, and you're just going to run into another bottleneck.

1408
01:06:31,486 --> 01:06:34,160
병목 하나를 풀면 곧바로
다른 병목에 부딪힐 겁니다.

1409
01:06:34,160 --> 01:06:36,640
칩을 20% 더 만들면, 바로
또 다른 병목이 생기죠.
You make 20% more chips, then you have another bottleneck immediately.

1410
01:06:36,640 --> 01:06:42,720
다만 흥미로운 건, 이들이 뭘 '반드시
지켜야 할 것'으로 보느냐입니다.
I will say, though, it is interesting what they consider to be a must-deliver.

1411
01:06:42,720 --> 01:06:46,485
고객이 항상 원할 거라고
여기는 불변의 조건으로 보는
What they consider to be an invariant that their customers are always going to want, versus what I think of as a more fluid relationship.

1412
01:06:46,485 --> 01:06:50,640
것과, 제가 생각하는 좀 더
유동적인 관계 사이의 차이죠.

1413
01:06:50,640 --> 01:06:55,480
팹이 그 트레이드오프를 저한테
더 많이 공개해 줄수록, 제가
I think that if a fab exposes more of their trade-offs to me, I'm able to make more intelligent decisions about what I think I can do.

1414
01:06:55,480 --> 01:07:00,319
뭘 할 수 있을지 더 똑똑한
판단을 내릴 수 있다고 봅니다.

1415
01:07:00,319 --> 01:07:03,517
가장 흥미로운 예 중
하나가, 어떤 팹이든 생산
One of the most interesting examples here is that any fab has a lot of spread in their worst chip that comes out of the production line.

1416
01:07:03,517 --> 01:07:06,960
라인에서 나오는 최악의 칩엔
편차가 크다는 겁니다.

1417
01:07:06,960 --> 01:07:08,400
그리고 최상의 칩 사이의 격차도요.
And the best chip that comes out of the production line.

1418
01:07:08,400 --> 01:07:10,480
칩이 만들어지는 과정에는
변동성이 꽤 있습니다.
There's a lot of variance in how chips are made.

1419
01:07:10,480 --> 01:07:13,801
그러면 이런 질문이 나옵니다.
TSMC 같은 회사는
And then the question is, if you have a company like TSMC, they work very, very hard to tighten what we call these process corners.

1420
01:07:13,801 --> 01:07:17,359
이른바 공정 코너를 좁히려고
정말 열심히 노력하거든요.

1421
01:07:17,359 --> 01:07:21,188
최악의 칩도 최고의 칩과
특성이 최대한 비슷하길 원하고,
We want to keep the worst chip as close in characterization to the best chip, and they get a great lens to make that possible.

1422
01:07:21,188 --> 01:07:24,400
그걸 가능케 하는 훌륭한
기술력을 갖추고 있죠.

1423
01:07:24,400 --> 01:07:26,347
하지만 그건 제겐 어쩌면 필요 없는 통제
But that means that they are adding a lot of controls in the process that maybe I don't need.

1424
01:07:26,347 --> 01:07:28,559
장치를 공정에 잔뜩
더한다는 뜻이기도 합니다.

1425
01:07:28,559 --> 01:07:31,599
어쩌면 저는 오히려 그 최악의 칩한테도
자리를 찾아줄 용의가 있거든요.
Maybe I'm actually willing to find a place for that worst chip.

1426
01:07:31,599 --> 01:07:33,650
공정 통제를 그렇게까지 조일 필요가
You don't need to tighten the process control as much, which takes more time and cost.

1427
01:07:33,650 --> 01:07:36,240
없어지고, 그만큼 시간과
비용이 줄어듭니다.

1428
01:07:36,240 --> 01:07:38,880
어쩌면 저는 불량품도 훨씬 더
많이 받아들일 용의가 있고요.
Maybe I'm willing to take a lot more rejects.

1429
01:07:38,880 --> 01:07:41,533
저희 입장에선 좀 더 전체적인 최적화
And I think for us, it's a more holistic optimization — there's cost of the dies, supply of the dies,

1430
01:07:41,533 --> 01:07:44,319
문제예요. 다이의 비용, 다이의 공급,

1431
01:07:44,319 --> 01:07:47,119
그리고 전력 비용과 그걸
설치할 장소까지 포함해서요.
and then the cost of power and places we can put them.

1432
01:07:47,119 --> 01:07:54,079
제 목표는 결국 미국 전역의
전력 공급을 극적으로 확대해서,
And my whole goal is to actually so dramatically expand the supply of power across the United States,

1433
01:07:54,079 --> 01:07:56,800
원래라면 데이터센터에 자리를 못 얻었을
that I have a home for a lot of chips that otherwise would not have earned their place in a data center.

1434
01:07:56,800 --> 01:07:59,520
칩들에게도 갈 곳을 만들어주는 겁니다.

1435
01:07:59,520 --> 01:08:03,280
본인 사업의 시스템을 어떻게
설계했는지 이야기해볼까요?
Can we talk about how you designed the system of your own business?

1436
01:08:03,280 --> 01:08:04,319
어떤 교훈을 얻으셨나요?
What lessons have you learned?

1437
01:08:04,319 --> 01:08:06,240
엔비디아에서 얻은 흥미로운
교훈들을 말씀해주셨잖아요.
You talked about some of the interesting Nvidia lessons.

1438
01:08:06,240 --> 01:08:06,559
네.
Yeah.

1439
01:08:06,559 --> 01:08:09,440
이게 북극성 같은 원칙일
때, 팀과 사업을 어떻게
But bring me into the culture and how you structure a team and a business where this is the North Star.

1440
01:08:09,440 --> 01:08:12,000
짜는지 그 문화 속으로
들어가 보고 싶어요.

1441
01:08:12,000 --> 01:08:15,599
저희는 결국 어디로 수렴할지를
놓고 생각을 많이 하는 편입니다.
I think there's a lot of, you know, in the limit thinking.

1442
01:08:15,599 --> 01:08:21,279
모델 작업을 처음 시작할 때 당장의
상태는 크게 신경 쓰지 않아요.
We don't worry about the immediate nature of it, like when we start working on a model.

1443
01:08:21,279 --> 01:08:23,120
효율이 처음부터 좋을 리는 없으니까요.
The efficiency is not going to be very good.

1444
01:08:23,120 --> 01:08:29,679
대신 한 달, 여섯 달, 1년 뒤에
어디까지 갈 수 있을지를 생각하죠.
But we think about where we could end up in a month, six months, or a year's time.

1445
01:08:29,679 --> 01:08:33,199
우리가 다루는 기계의 상태를
고정된 것으로 받아들이지 않습니다.
We don't accept the state of the machines we work on as fixed.

1446
01:08:33,199 --> 01:08:37,179
블랙웰 칩 같은 것도 마찬가지예요. 어떤
Even something like the Blackwell chip — if we think that there's some bottleneck that is holding us back from achieving this performance.

1447
01:08:37,179 --> 01:08:41,520
병목이 우리 성능 발목을
잡는다고 판단되면,

1448
01:08:41,520 --> 01:08:43,567
그걸 제대로 이해하고 특성을 규명해서
I mean, it's very important to me that we understand and characterize that very well and write it down.

1449
01:08:43,567 --> 01:08:45,920
문서로 남기는 게
제게는 정말 중요합니다.

1450
01:08:45,920 --> 01:08:49,273
엔비디아나 지인들에게
알려줄 수도 있고, 앞으로
So we can both tell Nvidia about it, or friends, and also basically keep this in mind for future chips that we buy.

1451
01:08:49,273 --> 01:08:52,239
살 칩을 고를 때도
참고할 수 있으니까요.

1452
01:08:52,239 --> 01:08:56,324
저희로서는, 회사 입장에서
장기적으로 변하지
We want to learn things that are what we think are essentially, like, invariant for us or the company, long term.

1453
01:08:56,324 --> 01:09:00,239
않을 본질적인 것들을
배우고 싶은 거예요.

1454
01:09:00,239 --> 01:09:03,600
그리고 그걸 앞으로의
의사결정에 녹여내는 거고요.
And kind of fold that into future decisions that we make.

1455
01:09:03,600 --> 01:09:04,480
저희는 굉장히 협업 중심입니다.
We're very collaborative.

1456
01:09:04,480 --> 01:09:07,457
저희가 중요하게 보는 자질
중 하나는 좋은 학생이면서
I think one of the most important traits that we look for are people who are both good students and great teachers.

1457
01:09:07,457 --> 01:09:09,920
동시에 훌륭한 선생님인
사람인 것 같습니다.

1458
01:09:09,920 --> 01:09:13,669
저희 팀원 다수가 대학
시절 조교(TA)를 했고,
A lot of our people on the team were TAs in college and loved the experience of sharing knowledge in this way.

1459
01:09:13,669 --> 01:09:17,279
그렇게 지식을 나누는
경험을 정말 좋아했습니다.

1460
01:09:17,279 --> 01:09:19,199
화이트보드 세션도 항상 하고요.
We do whiteboard sessions all the time.

1461
01:09:19,199 --> 01:09:22,050
모두가 서로 가르칠 것도
있고 배울 것도 있는,
And I think the collegial environment, where everyone has something to teach and something to learn, is extremely important for us.

1462
01:09:22,050 --> 01:09:25,120
그런 동료적인 환경이
저희에게는 굉장히 중요합니다.

1463
01:09:25,120 --> 01:09:29,759
어떤 사람을 채용하고 싶으신가요
— 앞으로도 잘 버틸,
What are the attributes of people that you would want to hire — that you think will be resilient

1464
01:09:29,759 --> 01:09:35,040
3년 후, 기계가 더 많은 일을
처리할 업무 환경에서도요.
to the work environment 3 years from now, when more stuff is handled by machines?

1465
01:09:35,040 --> 01:09:37,279
호기심입니다 — 100% 호기심이죠.
Curiosity — it's 100% curiosity.

1466
01:09:37,279 --> 01:09:40,960
제가 가르칠 수 없는 단 한 가지는
퍼포먼스에 대한 애정입니다 —
You know, the one thing I cannot teach is love for performance —

1467
01:09:40,960 --> 01:09:44,971
기계가 돌아가는 매 마이크로초를
파고들어서, 그 순간
love for digging into every microsecond that the machine is working, and understanding what's happening on the machine at that time.

1468
01:09:44,971 --> 01:09:49,120
기계 안에서 무슨 일이
벌어지는지 이해하려는 애정이요.

1469
01:09:49,120 --> 01:09:51,408
저는 그게 퍼포먼스
엔지니어에게 가장 중요한
That, to me, is the most important trait for a performance engineer, and it's what I look for.

1470
01:09:51,408 --> 01:09:53,600
자질이라고 생각하고,
그걸 보고 뽑습니다.

1471
01:09:53,600 --> 01:09:55,280
AI 경험이 많은지는 보지 않습니다.
I don't look for lots of AI experience.

1472
01:09:55,280 --> 01:09:58,000
CUDA 경험도 전혀 보지 않고요.
I don't look for, you know, CUDA experience at all.

1473
01:09:58,000 --> 01:09:59,280
사실 그건 완전히 헛다리짚는 기준입니다.
That's actually a huge red herring.

1474
01:09:59,280 --> 01:10:01,233
CUDA라는 개념도, GPU라는 개념도
I mean, CUDA as a concept, or GPU as a concept, have evolved so much in the last 5 years.

1475
01:10:01,233 --> 01:10:03,280
지난 5년 동안 정말 많이 바뀌었거든요.

1476
01:10:03,280 --> 01:10:05,120
10년 경력을 요구하는
건 의미가 없습니다.
There's no point asking for 10 years of experience.

1477
01:10:05,120 --> 01:10:07,029
그런 건 제가 가르치면 되지만, 퍼포먼스
I want to teach that, but I cannot teach the love for performance engineering.

1478
01:10:07,029 --> 01:10:09,199
엔지니어링에 대한 애정은
가르칠 수 없습니다.

1479
01:10:09,199 --> 01:10:10,239
그게 제가 찾는 겁니다.
That is what I seek.

1480
01:10:10,239 --> 01:10:14,880
주요 랩들을 하나씩
평가해 주실 수 있나요,
Can you give your assessment of the major labs, one by one,

1481
01:10:14,880 --> 01:10:19,280
그리고 클로즈드 소스와 오픈소스,
이 두 카테고리의 관계도요,
but also, then, the relationship of, like, closed source as a category to open source,

1482
01:10:19,280 --> 01:10:21,520
지금 어떤 일이 일어나고 있고,
앞으로 어떻게 될지도요 —
and, like, what you think is happening and will happen —

1483
01:10:21,520 --> 01:10:22,080
한 줄씩요.
In a line.

1484
01:10:22,080 --> 01:10:24,944
랩들은 다른 모두보다 3~6개월 앞서기
I would say the labs pay an immense premium to be 3 to 6 months ahead of everything else.

1485
01:10:24,944 --> 01:10:28,080
위해 엄청난 프리미엄을
지불한다고 봅니다.

1486
01:10:28,080 --> 01:10:30,080
그리고 그건 아마 여전히 그만한
가치가 있는 것 같습니다.
And I think that's probably still worth it.

1487
01:10:30,080 --> 01:10:33,760
오픈AI와 앤트로픽이 지금 하는
방식은 충분히 납득이 됩니다.
I think it makes perfect sense for OpenAI and Anthropic to do what they do.

1488
01:10:33,760 --> 01:10:36,945
증류를 둘러싼 민감한 주제가
있는데요, 폐쇄형과 오픈
You know, there's a sensitive topic around distillation, which I think is a very core piece of the relationship between closed and open frontier.

1489
01:10:36,945 --> 01:10:40,239
프론티어 관계에서 아주 핵심적인
부분이라고 생각합니다.

1490
01:10:40,239 --> 01:10:42,800
그것에 대해 다른 관점을
하나 제시해보고 싶은데요.
And, you know, I'd like to offer an alternative view on that —

1491
01:10:42,800 --> 01:10:46,382
증류가 절도라는 인식이
있죠. 프론티어 모델
which is: there is the sense that distillation is theft, that you are taking something from the frontier models when you distill on their outputs.

1492
01:10:46,382 --> 01:10:50,560
출력물로 증류하면 뭔가를
가져가는 셈이라는 거예요.

1493
01:10:50,560 --> 01:10:56,320
사실 그럴 의도가 없어도요. 앤트로픽
데이터를 스크래핑 안 해도 말이죠.
And, in fact, even if that's not your intent — even if you don't ever try to, you know, scrape data from Anthropic —

1494
01:10:56,320 --> 01:10:59,479
한 가지 짚고 싶은 건,
우리가 인터넷에 올리는
one thing I'll offer is that an increasingly large percentage of the artifacts we put out on the internet are AI generated.

1495
01:10:59,479 --> 01:11:02,880
결과물 중 AI 생성 비중이
점점 커진다는 겁니다.

1496
01:11:02,880 --> 01:11:05,800
GitHub만 봐도,
지난 1년간 생성된 레포
Even if you just look at GitHub alone, you know, what percentage of repos created in the last year do we think were created by Claude Code?

1497
01:11:05,800 --> 01:11:08,719
중 클로드 코드로 만든
비율이 얼마나 될까요?

1498
01:11:08,719 --> 01:11:10,640
그것도 증류라고 봐야 할까요?
Do we consider that to be distillation?

1499
01:11:10,640 --> 01:11:11,840
그것만으로도 충분할 테니까요.
Because that's probably all we need.

1500
01:11:11,840 --> 01:11:15,208
GitHub 오픈소스 코드 중
괜찮다고 판단되는 출력물만으로도
I would not be surprised if you could train a frontier-class model only on the outputs of code you consider good on GitHub that's open source.

1501
01:11:15,208 --> 01:11:18,080
프론티어급 모델을 학습시켜도
놀랍지 않을 것 같아요.

1502
01:11:18,080 --> 01:11:23,520
AI와 상호작용한 결과물의 소유권이
사용자에게 있다는 입장을 취한다면,
And certainly if we take the position that users own the outputs of their interaction with AI,

1503
01:11:23,520 --> 01:11:26,640
많은 사람들이 그렇듯 그걸
GitHub에 올리면,
and they choose to put that up on GitHub, which a lot of them do,

1504
01:11:26,640 --> 01:11:29,360
잠재적인 증류는 오랫동안 계속될 겁니다.
we're going to have latent distillation for a long time.

1505
01:11:29,360 --> 01:11:31,520
제가 보기엔 근본적으로
불가능한 것 같아요.
It seems fundamentally impossible for me.

1506
01:11:31,520 --> 01:11:34,782
정보나 모델 역량의 확산을 막는 게
I don't think it's fundamentally possible to prevent the diffusion of information or model capabilities.

1507
01:11:34,782 --> 01:11:38,560
근본적으로 가능하다고 생각하지 않습니다.

1508
01:11:38,560 --> 01:11:39,120
일어날 일이에요.
It will happen.

1509
01:11:39,120 --> 01:11:40,320
문제는 그저 얼마나 빠르냐는 거죠.
The question is just how fast.

1510
01:11:40,320 --> 01:11:44,018
그러면 질문은 이렇게 되는
거죠. 스케일링과 성능 개선
And so then the question becomes, do scaling and improvement laws hold forever or for a really long period of time?

1511
01:11:44,018 --> 01:11:47,840
법칙이 영원히, 아니면 아주
오랫동안 유지되느냐는 거죠.

1512
01:11:47,840 --> 01:11:50,960
만약 그렇다면 3개월, 6개월
앞서 있는 것에 가치가 있고,
And if they do, then there's value to being three and six months ahead,

1513
01:11:50,960 --> 01:11:52,560
그 가치는 유지되는
동안만 유지되는 거고,
and that will just last as long as it lasts,

1514
01:11:52,560 --> 01:11:54,644
아주 저렴한 오픈소스 토큰에 비해 그
and they can charge a huge premium for those tokens relative to a very cheap open source token.

1515
01:11:54,644 --> 01:11:57,040
토큰엔 엄청난 프리미엄을
매길 수 있겠죠.

1516
01:11:57,040 --> 01:11:58,159
이렇게 생각하는 게 맞을까요?
Is that the right way to think about it?

1517
01:11:58,159 --> 01:11:58,960
가능하다고 생각해요.
I think it's possible.

1518
01:11:58,960 --> 01:12:03,920
3개월에서 6개월 앞서는 프리미엄이
그렇게 오래갈지는 잘 모르겠습니다.
I don't know that the premium for being three to six months ahead is going to last that long.

1519
01:12:03,920 --> 01:12:09,040
엔터프라이즈 도입 사례를 보면 3개월,
6개월 속도로 움직이지 않거든요.
I mean, if you look at enterprise deployments, they don't move at three to six month speed.

1520
01:12:09,040 --> 01:12:13,360
많은 기업들이 아직 오퍼스 4.6이나
4.7 정도에 머물러 있을 겁니다.
A lot of enterprises are probably still on 46, Opus 46, or Opus 47.

1521
01:12:13,360 --> 01:12:16,320
기업들은 최신 기술을
빠르게 도입하지 않습니다.
They don't adopt the bleeding edge rapidly.

1522
01:12:16,320 --> 01:12:20,239
어떤 변화든 일단 롤아웃하는
것 자체에 의문이 많고요.
There's a lot of questions that people have around rolling out any change at all.

1523
01:12:20,239 --> 01:12:23,172
지금은 겉핥기 수준일 정도로 초기라, 이
And I think we're just so early in scratching the surface that I don't think there's any way to call a winner in this race,

1524
01:12:23,172 --> 01:12:26,239
경쟁의 승자를 가릴
방법이 없다고 봅니다.

1525
01:12:26,239 --> 01:12:29,679
사실 이건 애초에 결판날 수 있는
경쟁도 아니라고 생각하고요.
and certainly I don't even think this is a race that can be decided ever.

1526
01:12:29,679 --> 01:12:31,598
계속 이어지는 과정이고, 근본적으로
It's a continual process, and fundamentally I don't think open source ever goes away.

1527
01:12:31,598 --> 01:12:33,920
오픈소스는 절대 사라지지
않는다고 봅니다.

1528
01:12:33,920 --> 01:12:37,280
한 리더가 빠져서 공백이 생기면,
새로운 리더가 들어올 거예요.
If there's a vacuum because one leader steps out, a new leader will step in.

1529
01:12:37,280 --> 01:12:40,239
인센티브가 너무 크고, 순풍도 많죠.
There's too much incentive, and there's a lot of tailwinds too.

1530
01:12:40,239 --> 01:12:44,080
프론티어급 모델을 학습시키는 게
날이 갈수록 쉬워지고 있고요.
It just gets easier every day to train a frontier class model.

1531
01:12:44,080 --> 01:12:49,760
그럼 바라시는 미래는 폐쇄형과
오픈 사이에 어떤 균형인가요,
And so your hope of what the future looks like is what balance between closed and open,

1532
01:12:49,760 --> 01:12:52,290
스택을 통째로 소유한
이점으로 모델 회사가
what balance between model companies doing everything because they have the advantage of owning the stack, or whatever?

1533
01:12:52,290 --> 01:12:55,040
모든 걸 다 하는 것과는
또 어떤 균형이고요?

1534
01:12:55,040 --> 01:12:56,320
앤트로픽은 그렇게 할 수 있잖아요.
Anthropic can do that.

1535
01:12:56,320 --> 01:12:57,520
그게 새로운 구글 같은 건가요?
Is that like the new Google?

1536
01:12:57,520 --> 01:12:59,679
구글도 그냥 그렇게 할 수 있는 거고요?
Could Google just do that, or something?

1537
01:12:59,679 --> 01:13:01,920
미래가 어떤 모습이길 바라세요?
What do you hope the future looks like?

1538
01:13:01,920 --> 01:13:04,719
저는 풍요로운 토큰과
다양한 하네스를 원합니다.
I want abundant tokens and diverse harnesses.

1539
01:13:04,719 --> 01:13:08,138
모두가, 모든 회사와 모든
사용자가 자기만의 하네스를
I want everyone to build their own harness, every company, every user, even make the agent your own.

1540
01:13:08,138 --> 01:13:11,440
만들면 좋겠어요. 에이전트도
자기 것으로 만들고요.

1541
01:13:11,440 --> 01:13:16,400
그 정도 수준의 커스터마이징과
성능에서 그리 멀지 않았다고 봅니다.
I think we're not that far away from that level of customization and capability.

1542
01:13:16,400 --> 01:13:18,239
사람들이 자신의 지능을
소유했으면 하고요,
I want people to own their intelligence,

1543
01:13:18,239 --> 01:13:21,239
그 지능이 커스터마이징되길
바라는데, 아마 가중치
and I want that intelligence to be customized, probably not through weight fine-tuning but probably through more in-context learning.

1544
01:13:21,239 --> 01:13:24,239
파인튜닝보다는 인컨텍스트
러닝을 통해서일 거예요.

1545
01:13:24,239 --> 01:13:25,520
좀 더 기술적인 디테일이긴 한데요.
That's a more technical detail.

1546
01:13:25,520 --> 01:13:31,920
하지만 이 풍요로운 미래의 근본적인
투입 요소는 결국 저렴한 토큰입니다.
But the underlying input to this abundant future is basically cheap tokens.

1547
01:13:31,920 --> 01:13:34,159
제 일은 토큰을 인간이 할 수 있는
한 최대한 저렴하게 만드는 거고요.
My job is to make the tokens as cheap as humanly possible.

1548
01:13:34,159 --> 01:13:38,000
그걸 해낼 거고, 제게 있는 스택의
모든 레이어를 통해서 해낼 겁니다.
I will achieve that, and I will do it through every layer in the stack available to me.

1549
01:13:38,000 --> 01:13:39,280
저는 공급 측 레버들을 정말 좋아하고요.
I love the supply side levers.

1550
01:13:39,280 --> 01:13:40,080
모든 칩을 다 쓸 겁니다.
I will use every chip.

1551
01:13:40,080 --> 01:13:42,436
모든 전력원을 쓸 거고, 이 용도에
I'll use every source of power, and I will use every piece of land in the United States that's suitable for this.

1552
01:13:42,436 --> 01:13:45,040
적합한 미국 내 모든 땅을 쓸 겁니다.

1553
01:13:45,040 --> 01:13:48,145
그 대가로 사람들은
풍요로운 지능을 가진다는
And in return, people will have the incentive to explore what it's like to have abundant intelligence.

1554
01:13:48,145 --> 01:13:51,120
게 어떤 건지 탐구할
동기를 갖게 되겠죠.

1555
01:13:51,120 --> 01:13:54,119
우리는 여전히 에이전트를
상담 비용이 비싼 사람처럼
We still treat the agent as a person that is expensive to consult, and you should ask them when you have a hard question.

1556
01:13:54,119 --> 01:13:57,440
취급합니다. 어려운 질문이
있을 때나 물어보라는 식이죠.

1557
01:13:57,440 --> 01:13:58,960
지능을 그런 식으로 생각해선 안 됩니다.
That's not the way to think about intelligence.

1558
01:13:58,960 --> 01:14:01,451
기계가 생각할 수 있다는 건 정말
놀라운 일입니다. 그리고 우리는
It's incredible that the machine can think, and we should try to get that into as many hands, as many people as possible.

1559
01:14:01,451 --> 01:14:04,080
그걸 최대한 많은 사람의 손에,
최대한 많은 사람에게 전해야 합니다.

1560
01:14:04,080 --> 01:14:05,440
정말 독특한 자리에 계신데요,
You sit in such a unique seat,

1561
01:14:05,440 --> 01:14:08,000
이 미래를 현실로
만들기 위해 하시는 일에
and you have such a unique perspective on what you're trying to do to make this feature a reality.

1562
01:14:08,000 --> 01:14:10,560
대해서도 정말 독특한
관점을 갖고 계시죠.

1563
01:14:10,560 --> 01:14:14,024
이 분야를 잘 알고 관심
많은 친구들과 비교하면,
What do you think are your most divergent views of the world versus your friends who are really well informed and interested in this stuff?

1564
01:14:14,024 --> 01:14:17,360
세상을 보는 시각 중 가장
다른 부분은 뭔가요?

1565
01:14:17,360 --> 01:14:21,760
어떤 생각을 말하면 친구들이 머리
세 개 달린 사람 보듯 쳐다보나요?
What ideas of yours make your friends look at you like you have three heads?

1566
01:14:21,760 --> 01:14:23,360
칩에 관한 아이디어
대부분이 그런 것 같아요.
Most of the ideas on chips, I would say.

1567
01:14:23,360 --> 01:14:27,120
커스텀 칩을 만드는 얘기를 하면 다들
묻죠. "뭐가 다른데?"라고요.
You know, when I talk about building custom chips and they ask me, "Oh, so what's different?"

1568
01:14:27,120 --> 01:14:31,470
기본적으로는 HBM 부족을
우회해서, 플래시 같은 다른
Basically, it's about sidestepping the HBM shortage and focusing on more extreme offload to other forms of memory, such as flash.

1569
01:14:31,470 --> 01:14:36,400
메모리로 훨씬 더 극단적으로
오프로드하는 데 집중하는 겁니다.

1570
01:14:36,400 --> 01:14:38,640
저는 이 아이디어에 꽤 진심이에요.
I'm quite passionate about that idea.

1571
01:14:38,640 --> 01:14:41,120
저희 팀원들은 제가 이 얘기를
계속 반복한다는 걸 다 알아요.
Everyone on my team knows that I keep banging the drum around.

1572
01:14:41,120 --> 01:14:44,167
KV 캐시를 플래시로
오프로드하는 걸 훨씬 더 큰
What would we have to change about the model architecture to make offloading KV cache to flash work at a much greater level?

1573
01:14:44,167 --> 01:14:47,440
규모로 하려면, 모델
아키텍처를 어떻게 바꿔야 할까?

1574
01:14:47,440 --> 01:14:49,679
이걸 화이트보드에 계속 그려보고 있죠.
And I'm whiteboarding that all the time.

1575
01:14:49,679 --> 01:14:51,840
추론 업계 사람들
사이에서도 그런 편이에요.
That's the case in the community of inference people.

1576
01:14:51,840 --> 01:14:55,913
초당 1~10토큰 정도로 서빙하는
걸 중심으로 시스템을 설계하면
You know, we have some divergent views on what you can do if you design a system around serving at, you know, one to 10 tokens per second.

1577
01:14:55,913 --> 01:14:59,520
뭘 할 수 있는지, 저희는
좀 다른 시각을 갖고 있어요.

1578
01:14:59,520 --> 01:15:01,280
그게 저희의 궁극적인 목표죠.
Which is our whole north star.

1579
01:15:01,280 --> 01:15:04,680
더 넓게 보면, 사람들이
하루에 1조 토큰을 어떻게
More broadly, I think there is this larger sense around what do you do, how do people consume a trillion tokens per day.

1580
01:15:04,680 --> 01:15:08,080
소비하게 만들지에 대한 더
큰 그림이 있다고 봐요.

1581
01:15:08,080 --> 01:15:09,720
그게 저희가 만들고 싶은 세상이에요.
That's the world we want to create: the capability for them to do that.

1582
01:15:09,720 --> 01:15:11,360
사람들이 그걸 할 수 있는 역량이요.

1583
01:15:11,360 --> 01:15:12,320
1조 토큰이면 어느 정도인가요?
What's a trillion tokens?

1584
01:15:12,320 --> 01:15:13,760
감이 오게 좀 설명해 주세요.
Ground us in how much that is.

1585
01:15:13,760 --> 01:15:17,190
1조 토큰이요? 오픈AI 가격으로
치면, GPT-5.5나 5.6
A trillion tokens? Well, at OpenAI pricing, that's at least $5 million — at the very least — for 5.5 or 5.6.

1586
01:15:17,190 --> 01:15:20,719
기준으로 최소 500만 달러는 될
겁니다. 정말 최소로 잡아도요.

1587
01:15:20,719 --> 01:15:23,360
네, 아무래도 달러가 가장
좋은 지표인 것 같아요.
Yeah, I think the dollars was probably the most good metric, yeah.

1588
01:15:23,360 --> 01:15:24,480
네, 수백만 달러 단위죠.
Yeah, it's millions of dollars.

1589
01:15:24,480 --> 01:15:26,771
그럼 지금 1인당 하루 500만 달러가
Yeah, so what's the world in which we consume what currently costs $5 million per person per day?

1590
01:15:26,771 --> 01:15:29,280
드는 걸 소비하는
세상은 어떤 모습일까요?

1591
01:15:29,280 --> 01:15:36,800
네, 저희는 토큰당 비용이 최소
3~6자릿수는 개선돼야 한다고 봤습니다.
Yeah, I mean, we were asking for at least three to six orders of magnitude improvement in cost per token.

1592
01:15:36,800 --> 01:15:39,679
그걸 5,000달러 선까지 낮추면
아마 고객이 좀 생길 겁니다.
Get that into $5,000 and you probably have some customers.

1593
01:15:39,679 --> 01:15:44,360
사실 특정 규모의
모델이라면, 1조 토큰이
And in fact, I would argue that for some size of model, we are approaching a trillion tokens being measured in tens of thousands of dollars.

1594
01:15:44,360 --> 01:15:49,040
수만 달러 수준에
근접하고 있다고 봅니다.

1595
01:15:49,040 --> 01:15:51,760
그 정도면 작업 하나에 그냥
돌려볼 수 있는 수준이죠.
And that's something that you can imagine running for a single job.

1596
01:15:51,760 --> 01:15:55,110
일반인들은 지금 자기
머리로도 그렇게 안 하는데,
Are you at all worried that the average person just can't and won't do that, doesn't do that now with their own brain?

1597
01:15:55,110 --> 01:15:57,840
못 하고 안 할 거란 걱정은 없으신가요?

1598
01:15:57,840 --> 01:16:01,199
사실 세상에는 지능에 대한
수요가 그리 많지 않습니다.
There actually isn't that much demand for intelligence in the world.

1599
01:16:01,199 --> 01:16:02,640
저는 그 말은 절대 믿지 않습니다.
I never will believe in that.

1600
01:16:02,640 --> 01:16:04,560
세상에는 지능에 대한
수요가 항상 존재합니다.
There is always demand for intelligence in the world.

1601
01:16:04,560 --> 01:16:07,560
그 지능으로 들어가는 길,
즉 온램프를 만드는 게
I think that the way in, the on-ramps to that intelligence, are our challenge as a product community.

1602
01:16:07,560 --> 01:16:10,560
프로덕트 커뮤니티로서
우리의 과제라고 생각합니다.

1603
01:16:10,560 --> 01:16:12,040
저는 프로덕트 쪽
사람이 아니라서, 최고의
I'm not a product person, so I cannot say I had the best vision.

1604
01:16:12,040 --> 01:16:13,520
비전을 갖고 있다고는
말씀 못 드리겠네요.

1605
01:16:13,520 --> 01:16:14,560
그 사람들을 가능하게
해주고 싶으신 거군요.
You want to enable those people.

1606
01:16:14,560 --> 01:16:15,360
네, 그 사람들을 가능하게
해주고 싶습니다.
I want to enable those people.

1607
01:16:15,360 --> 01:16:18,854
'무료 등급 사용자는 이걸 못
쓴다', '이만큼 토큰을 줄
I want them to never be held back by the sense that my free tier users cannot use this, or I can't afford to give them this many tokens.

1608
01:16:18,854 --> 01:16:22,239
여유가 없다' 같은 이유로
발목 잡히지 않았으면 합니다.

1609
01:16:22,239 --> 01:16:24,400
고객들에게 이런 얘기를 항상 듣습니다.
And I hear that from my customers all the time.

1610
01:16:24,400 --> 01:16:25,840
저희는 그걸 해결하고 싶습니다.
We want to fix that.

1611
01:16:25,840 --> 01:16:26,880
반대되는 질문은 어떨까요?
What about the inverse question?

1612
01:16:26,880 --> 01:16:31,199
가장 미친 생각이 아니라, 컨센서스인데
틀렸다고 생각하는 건 뭔가요?
Not what you think is craziest, but what consensus thing you think is wrong?

1613
01:16:31,199 --> 01:16:34,800
제가 계속 돌아가게 되는 질문
중 하나가 엔비디아 문제입니다.
One of the things I keep coming back to is this question of Nvidia.

1614
01:16:34,800 --> 01:16:37,199
단기적으로는 엔비디아에
대해 낙관적입니다.
I am bullish on Nvidia in the short term.

1615
01:16:37,199 --> 01:16:39,600
그리고 아시다시피, 엔비디아에는
절대 반대로 배팅하면 안 됩니다.
And you know, Nvidia, you should never bet against them.

1616
01:16:39,600 --> 01:16:40,960
항상 스스로를 재창조해낼 테니까요.
They're always going to reinvent themselves.

1617
01:16:40,960 --> 01:16:43,450
하지만 근본적으로, 제가 이 얘기를 하면
But fundamentally, I think one thing that surprises people is when I tell them that:

1618
01:16:43,450 --> 01:16:45,600
사람들이 놀라는 게 하나 있는데요.

1619
01:16:45,600 --> 01:16:50,640
호퍼에서 블랙웰, 루빈으로 가는
걸 동일 조건으로 비교해보면,
If you look at Hopper to Blackwell to Reuben and you compare, like for like,

1620
01:16:50,640 --> 01:16:53,222
BF16 곱셈의 와트당 성능이 얼마나
what is the performance per watt of BF16 multiply? It hasn't improved all that much.

1621
01:16:53,222 --> 01:16:56,320
되는지 보면, 사실 별로
개선되지 않았어요.

1622
01:16:56,320 --> 01:16:58,880
아니면 한발 더 나가서,
TSMC를 보죠.
Or even take that one step further — go to TSMC.

1623
01:16:58,880 --> 01:17:02,641
TSMC 5나노와 4나노,
3나노, 2나노를 비교해보면,
If you look at TSMC 5-nanometer versus four versus three versus two, the performance per watt on these chips doesn't change by a dramatic amount.

1624
01:17:02,641 --> 01:17:06,159
칩들의 와트당 성능이 그렇게
크게 달라지지 않습니다.

1625
01:17:06,159 --> 01:17:09,572
그래서 결과적으로 사람들은
지정학 얘기만 나오면 과민해지죠
So the consequence of this is people lose their minds over geopolitics — like, what happens if we lost access to TSMC for any reason?

1626
01:17:09,572 --> 01:17:13,199
— 어떤 이유로든 TSMC 접근이
막히면 어떡하냐는 식으로요.

1627
01:17:13,199 --> 01:17:17,440
근데 제 반대 의견은, 그렇게
나쁘지 않을 거라는 겁니다.
And my contrarian take is that it wouldn't be that bad.

1628
01:17:17,440 --> 01:17:21,280
공급에 충격은 분명 있겠지만,
서구가 가진 최고 수준의 공정들은 —
Supply would take a shock, for sure, but the best processes that we have in the west —

1629
01:17:21,280 --> 01:17:24,289
인텔 같은 경우, 그렇게
많이 뒤처지지 않았어요.
like Intel, are not that far behind — at worst, maybe 2x worse performance per watt.

1630
01:17:24,289 --> 01:17:27,520
최악이어도 와트당 성능이
2배 정도 나쁜 수준입니다.

1631
01:17:27,520 --> 01:17:30,104
그리고 그 격차는 칩 트위터 담론만
And the gap is just far smaller than you would make it out to be if you follow the chip Twitter dialogue.

1632
01:17:30,104 --> 01:17:32,960
따라가면 생각하는 것보다 훨씬 작아요.

1633
01:17:32,960 --> 01:17:36,800
AI 업계에서 일어나는 일 중에,
당신의 길은 아닌 건 뭐가 있을까요?
What else is happening in the AI world that is not in your path?

1634
01:17:36,800 --> 01:17:39,637
그러니까 지금 이 시스템의
일부는 아니지만, 가장
Meaning it's not a component of this whole system that you would end up doing something in that interests you most.

1635
01:17:39,637 --> 01:17:42,159
흥미를 느껴서 뭔가
해보고 싶은 그런 거요.

1636
01:17:42,159 --> 01:17:44,239
음, 저희는 완전히 모델의
다운스트림이잖아요, 그렇죠?
Well, we're fully downstream of models, right?

1637
01:17:44,239 --> 01:17:49,360
그러니까 모델을 만드는 쪽에서 아키텍처를
어떻게 설계할지 결정하는 거죠.
So the model people get to decide how to design their architectures.

1638
01:17:49,360 --> 01:17:52,347
그리고 저는 거의 —
아니, 사실 오픈AI나
And I have only very light — I mean, I don't have any input to OpenAI or Anthropic.

1639
01:17:52,347 --> 01:17:54,960
앤트로픽에 어떤 의견도 낼 수 없어요.

1640
01:17:54,960 --> 01:17:58,080
그저 저한테 영향이 최소가 되는
방향으로 가주길 바랄 뿐이죠.
I can only pray that they go in the direction that is minimal to me.

1641
01:17:58,080 --> 01:18:00,794
그래서 저는 그들이
어디로 향할지 최선을 다해
And I have to do my best to predict where I think they're going to go and build my serving architecture accordingly.

1642
01:18:00,794 --> 01:18:04,159
예측하고, 거기에 맞춰 서빙
아키텍처를 구축해야 합니다.

1643
01:18:04,159 --> 01:18:06,400
그들이 내리는 소프트웨어와
하드웨어 선택 모두요.
Both software and hardware choices they have.

1644
01:18:06,400 --> 01:18:09,349
어떤 면에서 가장 흥미로운
게임은 — 다시 말하지만,
I think the most interesting game in some ways to play — once again, this is going back to the profundity of the machine thinking.

1645
01:18:09,349 --> 01:18:12,400
기계가 사고한다는 것의 그
심오함으로 돌아가는 겁니다.

1646
01:18:12,400 --> 01:18:15,158
희소(sparse) 어텐션을
쓸지, 밀집(dense)
And how consequential it is to decide to use something like sparse attention versus dense attention.

1647
01:18:15,158 --> 01:18:17,440
어텐션을 쓸지가 얼마나
중대한 결정인지도요.

1648
01:18:17,440 --> 01:18:22,000
아니면 다른 데이터 타입을 쓰는
게 얼마나 중대한 일인지도요.
Or how consequential it is to use a different data type.

1649
01:18:22,000 --> 01:18:24,640
예전엔 BF16으로
학습했지만, 이제는 FP8이나
We were training in BF16, but now we can train in FP8 or FP4 — lower precision data types.

1650
01:18:24,640 --> 01:18:27,280
FP4 같은 더 낮은
정밀도로도 학습할 수 있죠.

1651
01:18:27,280 --> 01:18:29,479
그냥 임의적인 선택처럼
느껴지지만, 제가 어떤
That is just an arbitrary choice, it feels like, but it has profound implications for what chips I can use.

1652
01:18:29,479 --> 01:18:31,679
칩을 쓸 수 있는지에
심오한 영향을 미칩니다.

1653
01:18:31,679 --> 01:18:33,471
그리고 제가 하드웨어를
어떻게 구축해야 할지,
And how I should build my hardware — and think about the future of compute.

1654
01:18:33,471 --> 01:18:35,120
컴퓨트의 미래를 어떻게
그려야 할지에도요.

1655
01:18:35,120 --> 01:18:37,837
방 안에 새로운 컴퓨트 스타트업을 만들고
If you had 100 entrepreneurs in a room, all of whom wanted to create some new compute startup.

1656
01:18:37,837 --> 01:18:40,800
싶어 하는 창업가
100명이 있다고 해보죠.

1657
01:18:40,800 --> 01:18:41,520
네—
Yeah—

1658
01:18:41,520 --> 01:18:43,763
그리고 이들이 구체적으로
하드웨어 칩이나 시스템,
And let's say they specifically wanted to make hardware chips, or systems, or racks, or whatever.

1659
01:18:43,763 --> 01:18:45,840
랙, 뭐 그런 걸 만들고
싶어 한다고 해보죠.

1660
01:18:45,840 --> 01:18:48,161
그분들한테 회사를 어떻게
포지셔닝할지, 어떤 유형의
What advice would you give them on how to orient their companies, or the type of company —

1661
01:18:48,161 --> 01:18:50,400
회사여야 할지 조언을
주신다면 뭐라고 하시겠어요—

1662
01:18:50,400 --> 01:18:53,920
기술 베팅에서 구체적으로 어떤
선택을 하느냐 같은 게 아니라요,
not the specific choice they're making on a tech bet or something like this,

1663
01:18:53,920 --> 01:18:56,960
결국 우리는 다 시도해볼 것 같고,
그게 세상에는 좋은 일일 테니까요.
because it seems like we're going to try everything, and that will be great for the world.

1664
01:18:56,960 --> 01:18:58,320
그중 일부는 통하겠죠.
You know, some stuff will work.

1665
01:18:58,320 --> 01:19:01,520
하지만 이 다가올 세상에서
성공하려면 사업을
But if you had to give them advice on how to orient their business to be successful in this coming world, what advice would you give them?

1666
01:19:01,520 --> 01:19:04,719
어떻게 포지셔닝해야 할지
조언을 주신다면요?

1667
01:19:04,719 --> 01:19:07,199
결국은 공급망의 병목 지점이 전부입니다.
It's all about the bottlenecks on supply chain.

1668
01:19:07,199 --> 01:19:10,454
그러니 먼저 저를, 혹은
투자자를 설득해야 합니다. 현대
So you need to first convince me, or convince an investor, that you understand the three to five bottlenecks that dictate modern chip supply.

1669
01:19:10,454 --> 01:19:13,920
칩 공급을 좌우하는 3~5개의
병목을 이해하고 있다는 걸요.

1670
01:19:13,920 --> 01:19:17,076
TSMC 웨이퍼 생산량,
HBM 생산량, 그리고
There's TSMC wafer capacity, there's HBM capacity, and there's advanced packaging, and maybe a fourth one would be power.

1671
01:19:17,076 --> 01:19:20,960
어드밴스드 패키징이 있고, 아마
네 번째는 전력일 겁니다.

1672
01:19:20,960 --> 01:19:22,159
전력은 어디서 확보할 건가요?
Like, where will you get the power?

1673
01:19:22,159 --> 01:19:23,600
이 랙들은 어떻게 만들 건가요?
How will you build these racks?

1674
01:19:23,600 --> 01:19:25,980
이 네 가지 병목 각각에 훌륭한 답을
And I want to hear that you should have a great answer to each of those four bottlenecks,

1675
01:19:25,980 --> 01:19:28,480
갖고 있어야 한다는 걸 듣고 싶습니다.

1676
01:19:28,480 --> 01:19:31,920
그리고 그걸 어떻게 우회할지도요.
결국 다 차익거래니까요.
and how you're going to work around them, because it's all arbitrage at the end of the day.

1677
01:19:31,920 --> 01:19:34,646
칩을 만드는 이유는
엔비디아가 바꾸기 어려운
You're building a chip because you think that Nvidia has made some choices that are difficult for them to change, which is true.

1678
01:19:34,646 --> 01:19:37,600
선택들을 했다고 생각해서겠죠.
그건 사실입니다.

1679
01:19:37,600 --> 01:19:39,840
엔비디아는 바꾸기 어려운
선택을 많이 합니다.
Nvidia makes a lot of choices that are difficult for them to change.

1680
01:19:39,840 --> 01:19:40,880
완벽하지는 않아요.
They're not perfect.

1681
01:19:40,880 --> 01:19:42,480
그냥 정말 균형이 잘 잡혀 있는 거죠.
They're just really well balanced.

1682
01:19:42,480 --> 01:19:43,920
그러니 뾰족해져야 합니다.
And so, you want to be spiky.

1683
01:19:43,920 --> 01:19:46,442
뭔가를 골라서 이렇게
말해야죠. '엔비디아가
You want to pick something and say, 'I think they've underpriced the impact of how short we're going to be on HBM.'

1684
01:19:46,442 --> 01:19:49,280
HBM 부족이 미칠 영향을
저평가했다고 봅니다.'

1685
01:19:49,280 --> 01:19:51,760
우리는 대신 이 다른 방향으로
세게 밀어붙이겠다고요.
We're going to push really hard in this other direction instead.

1686
01:19:51,760 --> 01:19:53,906
사실 곁다리로 말하자면, 아마 그게 가장
Which, you know, as an aside, I do think is probably the thing to attack most.

1687
01:19:53,906 --> 01:19:55,760
공략할 만한 지점이라고 생각합니다.

1688
01:19:55,760 --> 01:19:56,960
왜죠?
Why?

1689
01:19:56,960 --> 01:20:02,080
메모리 팹을 더 많이 늘릴 쉬운 방법이
없거든요. 그리고 그쪽 사람들은—
There's no easy way to bring on a lot more fabs of memory, and those guys have been—

1690
01:20:02,080 --> 01:20:04,159
그럼 한동안은 저희가—
So it's going to be a while until we—

1691
01:20:04,159 --> 01:20:04,960
네. 네.
Yeah. Yeah.

1692
01:20:04,960 --> 01:20:10,400
마이크론 쪽은 경기순환형 사업에
대규모 자본 지출을 좋아하지 않죠.
The boys in Boise don't love huge capex for cyclical.

1693
01:20:10,400 --> 01:20:12,000
그런 일로 이미 여러 번 데었으니까요.
They've been burned on that many times.

1694
01:20:12,000 --> 01:20:15,416
하지만 어쩌면 그 부족 때문에,
시스템의 나머지 부분을
But conceivably, because of that shortage, the world is just going to route around it by making everything else in the system more efficient.

1695
01:20:15,416 --> 01:20:18,719
더 효율적으로 만들어서 그냥
우회하게 되지 않을까요?

1696
01:20:18,719 --> 01:20:20,560
저는 오히려 나머지 모든 게
더 비싸질 거라고 봅니다.
I think they're gonna make everything else more expensive.

1697
01:20:20,560 --> 01:20:22,000
아이폰이 메모리를 줄일 거라고 보세요?
Think that iPhones will cut their memory.

1698
01:20:22,000 --> 01:20:23,520
아이폰 가격이 오르는 거죠. 그리고
iPhones are going to go up in price, and we're just going to deal with it.

1699
01:20:23,520 --> 01:20:25,199
우리는 그냥 그걸 감수하게 될 거고요.

1700
01:20:25,199 --> 01:20:29,280
엔비디아는 왜 아예 끝까지 가서
토큰을 팔지 않는 걸까요?
Why doesn't Nvidia go all the way to the end and sell tokens?

1701
01:20:29,280 --> 01:20:30,000
혹시 엔비디아가
Do you think—

1702
01:20:30,000 --> 01:20:31,679
이 부분에서 정말 영리한 걸까요?
Nvidia is really smart about this?

1703
01:20:31,679 --> 01:20:33,280
그들은 자기 고객과 경쟁하지 않으니까요.
They don't compete with their customers.

1704
01:20:33,280 --> 01:20:35,120
엔비디아는 모든 일에서
장기적으로 접근합니다.
Nvidia takes the long view on everything.

1705
01:20:35,120 --> 01:20:37,679
왜 네오클라우드부터라도
시작하지 않는 걸까요?
Why don't they even start with the Neocloud?

1706
01:20:37,679 --> 01:20:40,239
그냥 뒷문으로 컴퓨트를 팔면 안 되나요?
Why don't they just sell compute out the back door?

1707
01:20:40,239 --> 01:20:41,679
음, 엔비디아가 정말 잘하는 게 있죠.
Well, Nvidia is really good.

1708
01:20:41,679 --> 01:20:43,840
젠슨 황은 자기 친구들을 억만장자로
만드는 데 정말 능합니다.
Jensen is really good at making his friends billionaires.

1709
01:20:43,840 --> 01:20:45,251
코어위브를 10억 달러 규모 회사로
He's made CoreWeave a billion-dollar company — many billion-dollar companies.

1710
01:20:45,251 --> 01:20:46,960
만들었죠 — 그런
회사가 한둘이 아니고요.

1711
01:20:46,960 --> 01:20:50,880
그리고 굳이 그 신뢰 관계를
깨뜨릴 이유가 없는 거죠.
And there's no need for him to destroy that goodwill.

1712
01:20:50,880 --> 01:20:54,293
그는 다양한 네오클라우드와 추론
제공업체들이 서로 경쟁하며
He wants to create a diverse community of NeoClouds and inference providers who are all jockeying to create demand for Nvidia,

1713
01:20:54,293 --> 01:20:57,280
엔비디아 수요를 만들어내는
생태계를 원하는 겁니다.

1714
01:20:57,280 --> 01:21:00,124
그러니 그중 누군가 수직 계열화를
such that if any one of them decides to vertically integrate or go with AMD or any other option,

1715
01:21:00,124 --> 01:21:03,600
하거나 AMD나 다른 선택지로 가더라도,

1716
01:21:03,600 --> 01:21:05,360
그 자리를 채우고 싶어 하는, 준비된
he's got three more people ready and hungry to fill that position.

1717
01:21:05,360 --> 01:21:07,120
다른 셋이 항상 대기하고 있는 거죠.

1718
01:21:07,120 --> 01:21:09,520
구매자들 사이에 경쟁이
있는 게 좋은 거고요.
It's great to have competition amongst his buyers.

1719
01:21:09,520 --> 01:21:11,403
제가 모두에게 즐겨 하는
마지막 질문인데요,
My favorite closing question for everyone is: what is the kindest thing that anyone's ever done for you?

1720
01:21:11,403 --> 01:21:13,600
누군가 해준 것 중 가장
친절했던 일은 무엇인가요?

1721
01:21:13,600 --> 01:21:18,239
가장 친절했던 일이라면... 바로
떠오르는 건 그동안 만난 멘토들이에요.
The kindest thing... my immediate first thought is all the mentors that I've had over the years.

1722
01:21:18,239 --> 01:21:22,159
자기 시간을 많이
내어주는 사람은 드물죠.
It's a rare person who takes a lot of time out of their schedule

1723
01:21:22,159 --> 01:21:25,199
그걸 사실상 자신의
개인적인 관심사로 삼아서,
and makes it their personal interest, essentially,

1724
01:21:25,199 --> 01:21:28,480
당신이 뭔가를 확실히 이해하게
해주거나, 뭔가를 가르쳐주는,
to make sure that you understand something, or teach you something,

1725
01:21:28,480 --> 01:21:33,600
당신이 거의 이해할 뻔한
가치를 심어주거나,
or ingrain some value in you that they think you're on the cusp of understanding,

1726
01:21:33,600 --> 01:21:36,080
이해의 문턱을 넘게 밀어주는 거죠.
but just push you over the line for understanding.

1727
01:21:36,080 --> 01:21:38,265
앞서 말씀드린 엔비디아의
여러 분들이 제게
A lot of the people in Nvidia that I mentioned earlier, who instilled that love of performance engineering in me,

1728
01:21:38,265 --> 01:21:40,640
퍼포먼스 엔지니어링에
대한 애정을 심어주셨고,

1729
01:21:40,640 --> 01:21:45,520
대학 시절 교수님들도 기억나요
— 2학년 때 지도교수님이요.
but also my professors in college who I remember — my adviser in sophomore year.

1730
01:21:45,520 --> 01:21:47,500
저는 꽤 성격이 급한 학생이어서,
I was a very impatient student, so I'd show up at his office hours and say,

1731
01:21:47,500 --> 01:21:49,920
오피스아워에 찾아가 이렇게 말하곤 했죠.

1732
01:21:49,920 --> 01:21:52,080
AI 칩을 만들고 싶다고요.
제가 뭘 하고 싶은지 안다고요.
I want to build AI chips. I know what I want to do.

1733
01:21:52,080 --> 01:21:56,639
왜 네트워킹이니 운영체제니 하는
기초 과목에 시간을 낭비하냐고요.
Why am I wasting time taking all these other basic classes, networking, operating systems,

1734
01:21:56,639 --> 01:21:59,840
그러자 교수님은 절 보시더니, 스택
전체를 쭉 펼쳐 보여주셨습니다.
and he just looked at me, and he laid out basically the whole stack,

1735
01:21:59,840 --> 01:22:05,600
퍼즐의 모든 조각을 이해하는 깊이,
그 아름다움을 보여주신 거죠.
and showed me the depth — or the beauty — of understanding every piece in the puzzle.

1736
01:22:05,600 --> 01:22:10,239
제가 시스템의 한 조각에만
집중하려던 태도를 짚으시며,
He took my entire path of trying to focus on one piece of the system

1737
01:22:10,239 --> 01:22:13,760
전체 스택을 이해하는 사람은
정말 드물다고 하셨습니다.
and said it's so rare that someone can actually understand the entire stack,

1738
01:22:13,760 --> 01:22:19,120
게이트 단위 실리콘부터 인터넷
규모 서비스 구축까지 말이죠.
from the gate-level silicon all the way to building a great internet-scale service,

1739
01:22:19,120 --> 01:22:25,760
평생에 걸쳐 그런 이해에 도달하는
사람이 되길 지향해야 한다고요.
and you should aspire to be someone who, over the course of your lifetime, achieves that level of understanding.

1740
01:22:25,760 --> 01:22:28,640
그건 정말 드문 자질이고,
그 정도 전문성은
It is such a rare trait, and that level of expertise is so noble to chase,

1741
01:22:28,640 --> 01:22:31,040
좇을 가치가 있는 숭고한 일이라고요.

1742
01:22:31,040 --> 01:22:33,040
그 말이 지금도 제게
많이 남아 있습니다.
and I think that stays with me quite a bit.

1743
01:22:33,040 --> 01:22:34,960
흔치 않은 조언이었네요.
Not a common, but an advisory.

1744
01:22:34,960 --> 01:22:36,239
닐, 정말 멋진 대화였어요.
Neil, amazing conversation.

1745
01:22:36,239 --> 01:22:37,120
시간 내주셔서 정말 감사해요.
Thanks so much for your time.

1746
01:22:37,120 --> 01:22:40,620
초대해 주셔서 정말 감사합니다.
Thank you so much for having me.

1747
01:22:42,800 --> 01:22:45,280
작은 우위가 시간이 지나며
어떻게 복리로 쌓이는지 아시죠?
You know how small advantages compound over time?

1748
01:22:45,280 --> 01:22:48,239
투자에서도 그렇고, 회사 운영
방식에서도 마찬가지입니다.
That's true in investing, and just as true in how you run your company.

1749
01:22:48,239 --> 01:22:51,120
지출 시스템이 곧 여러분의
자본 배분 전략입니다.
Your spending system is your capital allocation strategy.

1750
01:22:51,120 --> 01:22:52,960
램프는 이를 기본값부터 더
스마트하게 만들어 줍니다.
Ramp makes it smarter by default.

1751
01:22:52,960 --> 01:22:54,597
더 나은 데이터, 더 나은 결정, 시간이
Better data, better decisions, better economics over time.

1752
01:22:54,597 --> 01:22:56,159
지날수록 더 나은 경제성으로 이어지죠.

1753
01:22:56,159 --> 01:22:59,600
자세한 내용은
ramp.com/invest에서 확인하세요.
See how at ramp.com/invest.

1754
01:22:59,600 --> 01:23:01,600
비즈니스가 성장하면,
밴타도 함께 확장됩니다.
As your business grows, Vanta scales with you,

1755
01:23:01,600 --> 01:23:03,328
컴플라이언스를 자동화하고, 보안과
automating compliance and giving you a single source of truth for security and risk.

1756
01:23:03,328 --> 01:23:05,440
리스크의 단일 진실 공급원을 제공합니다.

1757
01:23:05,440 --> 01:23:08,072
자세한 내용은
vanta.com/invest에서 확인하세요.
Learn more at vanta.com/invest.

1758
01:23:08,800 --> 01:23:10,305
오픈AI부터 커서(Cursor),
The best AI and software companies, from OpenAI to Cursor to Perplexity,

1759
01:23:10,305 --> 01:23:12,480
퍼플렉시티까지, 최고의
AI·소프트웨어 기업들은

1760
01:23:12,480 --> 01:23:15,760
WorkOS로 몇 달이 아닌 하룻밤
만에 엔터프라이즈 준비를 마칩니다.
use WorkOS to become enterprise-ready overnight, not in months.

1761
01:23:15,760 --> 01:23:18,546
workos.com에서 번거로운 인프라
Visit workos.com to skip the unglamorous infrastructure work and focus on your product.

1762
01:23:18,546 --> 01:23:21,199
작업은 건너뛰고 제품에만 집중하세요.

1763
01:23:21,199 --> 01:23:23,737
Ridgeline은 단순
소프트웨어 벤더가 아닌
Ridgeline is redefining asset management technology as a true partner, not just a software vendor.

1764
01:23:23,737 --> 01:23:26,080
진짜 파트너로 자산운용
기술을 재정의합니다.

1765
01:23:26,080 --> 01:23:28,632
이들은 기업들의 5배 성장과
사업 확장을 도왔고, 더
They've helped firms 5x and scale, enabling faster growth, smarter operations, and a competitive edge.

1766
01:23:28,632 --> 01:23:31,360
빠른 성장과 똑똑한 운영,
경쟁 우위를 가능케 했습니다.

1767
01:23:31,360 --> 01:23:36,700
ridgeline.ai에서 무엇을
이뤄낼 수 있는지 확인해 보세요.
Visit ridgeline.ai to see what they can unlock for you.

1768
01:23:37,200 --> 01:23:41,200
한글 자막 — Junwon Lee (romaanj.github.io/talks)
원본: Invest Like The Best 채널 (YouTube) · 기계번역 보조, 오류 제보 환영