1
00:00:00,200 --> 00:00:06,000
한글 자막 — Junwon Lee (romaanj.github.io/talks)
원본: Dwarkesh Patel 채널 (YouTube) · 기계번역 보조, 오류 제보 환영

2
00:00:48,560 --> 00:00:50,787
오늘은 안드레이 카파시와
이야기를 나눠보겠습니다.
Today I'm speaking with Andrej Karpathy.

3
00:00:50,787 --> 00:00:53,386
안드레이, 왜 이걸
'에이전트의 해'가 아니라
Andrej, why do you say that this will be the decade of agents and not the year of agents?

4
00:00:53,386 --> 00:00:55,778
'에이전트의 10년'이라고
하시는 건가요?

5
00:00:55,778 --> 00:00:58,308
먼저, 이 자리에 초대해
주셔서 감사합니다.
First of all, thank you for having me here.

6
00:00:58,308 --> 00:00:59,598
이렇게 함께하게 되어 기쁘네요.
I'm excited to be here.

7
00:00:59,598 --> 00:01:02,638
방금 말씀하신 '에이전트의 10년'이라는
The quote you've just mentioned, "It's the decade of agents," is actually a reaction to a pre-existing quote.

8
00:01:02,638 --> 00:01:06,230
표현은 사실 기존에 있던
말에 대한 반응이에요.

9
00:01:06,230 --> 00:01:11,473
누가 한 말인지는 정확히
모르겠지만, LLM이 앞으로 어떻게
I'm not actually sure who said this but they were alluding to this being the year of agents with respect to LLMs and how they were going to evolve.

10
00:01:11,473 --> 00:01:16,240
진화할지를 두고 '에이전트의
해'라고 암시한 거였어요.

11
00:01:16,240 --> 00:01:18,928
그 말에 좀 자극을
받았는데, 업계에 과도한
I was triggered by that because there's some over-prediction going on in the industry.

12
00:01:18,928 --> 00:01:21,280
예측이 퍼져 있다고 느꼈기 때문이에요.

13
00:01:21,280 --> 00:01:23,496
제 생각엔 이건
'에이전트의 10년'이라고
In my mind, this is more accurately described as the decade of agents.

14
00:01:23,496 --> 00:01:25,520
하는 게 더 정확한 표현인 것 같아요.

15
00:01:25,520 --> 00:01:29,117
지금도 아주 초기 단계의
에이전트들, 그러니까 Claude나
We have some very early agents that are extremely impressive and that I use daily—Claude and Codex and so on—but I still feel there's so much work to be done.

16
00:01:29,117 --> 00:01:32,388
Codex 같은 것들이 정말
인상적이고 저도 매일 쓰고

17
00:01:32,388 --> 00:01:35,440
있지만, 아직 해야 할 일이
정말 많다고 느껴져요.

18
00:01:35,440 --> 00:01:36,929
그래서 제 반응은,
우리가 이 녀석들과 앞으로
My reaction is we'll be working with these things for a decade.

19
00:01:36,929 --> 00:01:38,240
10년은 함께 일하게 될 거라는 거예요.

20
00:01:38,240 --> 00:01:42,000
계속 더 좋아질 거고, 정말
멋진 일이 될 거예요.
They're going to get better, and it's going to be wonderful.

21
00:01:42,000 --> 00:01:46,880
저는 그냥 그 말이 함축하는
시간축에 반응한 거였어요.
I was just reacting to the timelines of the implication.

22
00:01:46,880 --> 00:01:49,473
그럼 10년이 걸릴 거라고
보시는 건 구체적으로 뭔가요?
What do you think will take a decade to accomplish?

23
00:01:49,473 --> 00:01:51,840
병목은 뭔가요?
What are the bottlenecks?

24
00:01:51,840 --> 00:01:53,062
실제로 작동하게 만드는 것, 그 자체요.
Actually making it work.

25
00:01:53,062 --> 00:01:56,119
에이전트라고 할 때, 그러니까
랩들이 염두에 둔 것,
When you're talking about an agent, or what the labs have in mind and maybe what I have in mind as well, you should think of it almost like an employee or an intern that you would hire to work with you.

26
00:01:56,119 --> 00:01:59,176
그리고 아마 저도 마찬가지인데,
이건 거의 같이 일할

27
00:01:59,176 --> 00:02:02,022
직원이나 인턴을 채용하는
것처럼 생각하시면 돼요.

28
00:02:02,022 --> 00:02:04,720
예를 들어 여기서도 몇몇
직원분들과 함께 일하시잖아요.
For example, you work with some employees here.

29
00:02:04,720 --> 00:02:06,623
그 일을 Claude나
Codex 같은 에이전트가
When would you prefer to have an agent like Claude or Codex do that work?

30
00:02:06,623 --> 00:02:08,244
대신 하게 하고 싶어지는
건 언제쯤일까요?

31
00:02:08,244 --> 00:02:09,649
지금은 당연히 못 하죠.
Currently, of course they can't.

32
00:02:09,649 --> 00:02:11,760
그게 가능해지려면 뭐가 필요할까요?
What would it take for them to be able to do that?

33
00:02:11,760 --> 00:02:12,820
지금은 왜 그렇게 안 하시는 거죠?
Why don't you do it today?

34
00:02:12,820 --> 00:02:15,670
지금 안 하시는 이유는, 그냥 아직
제대로 작동을 안 하기 때문이에요.
The reason you don't do it today is because they just don't work.

35
00:02:15,670 --> 00:02:18,434
지능이 충분치 않고,
멀티모달 능력도 부족하고,
They don't have enough intelligence, they're not multimodal enough, they can't do computer use and all this stuff.

36
00:02:18,434 --> 00:02:20,880
컴퓨터 사용 같은 것도
제대로 못 하고요.

37
00:02:20,880 --> 00:02:23,513
아까 말씀하신 것들 중에도
못 하는 게 많고요.
They don't do a lot of the things you've alluded to earlier.

38
00:02:23,513 --> 00:02:24,909
연속 학습 능력도 없어요.
They don't have continual learning.

39
00:02:24,909 --> 00:02:27,120
그냥 뭔가 말해준다고 그걸
기억하는 게 아니에요.
You can't just tell them something and they'll remember it.

40
00:02:27,120 --> 00:02:30,560
인지적으로 결핍돼 있어서,
그냥 잘 안 되는 거예요.
They're cognitively lacking and it's just not working.

41
00:02:30,560 --> 00:02:32,800
이 모든 문제를 다 해결하는 데
대략 10년 정도 걸릴 거예요.
It will take about a decade to work through all of those issues.

42
00:02:32,800 --> 00:02:34,165
흥미롭네요.
Interesting.

43
00:02:34,165 --> 00:02:38,762
전문 팟캐스터로서, 그리고
AI를 멀리서 지켜보는 사람으로서
As a professional podcaster and a viewer of AI from afar, it's easy for me to identify what's lacking: continual learning is lacking, or multimodality is lacking.

44
00:02:38,762 --> 00:02:42,662
저도 뭐가 부족한지는 쉽게
짚을 수 있어요 — 연속

45
00:02:42,662 --> 00:02:47,120
학습이 부족하다, 멀티모달리티가
부족하다, 이런 식으로요.

46
00:02:47,120 --> 00:02:52,720
하지만 거기에 정확히 언제까지라고
못 박을 좋은 방법은 딱히 없어요.
But I don't really have a good way of trying to put a timeline on it.

47
00:02:52,720 --> 00:02:57,200
누가 연속 학습이 얼마나 걸릴지
물으면, 이게 5년짜리 프로젝트인지
If somebody asks how long continual learning will take, I have no prior about whether this is a project that should take 5 years, 10 years, or 50 years.

48
00:02:57,200 --> 00:03:01,196
10년짜리인지 50년짜리인지에
대한 사전 감이 전혀 없어요.

49
00:03:01,196 --> 00:03:02,020
왜 10년인가요?
Why a decade?

50
00:03:02,020 --> 00:03:03,327
왜 1년은 아닌가요?
Why not one year?

51
00:03:03,327 --> 00:03:04,633
왜 50년은 아닌가요?
Why not 50 years?

52
00:03:04,633 --> 00:03:10,034
여기서부터는 제 나름의 직관이
좀 들어가는데요, 이 분야에서의
This is where you get into a bit of my own intuition, and doing a bit of an extrapolation with respect to my own experience in the field.

53
00:03:10,034 --> 00:03:14,640
제 경험을 바탕으로 어느
정도 외삽을 해보는 거예요.

54
00:03:14,640 --> 00:03:17,068
저는 거의 20년
가까이 AI를 해왔어요.
I've been in AI for almost two decades.

55
00:03:17,068 --> 00:03:19,920
15년 정도예요, 그렇게 길지는 않고요.
It's going to be 15 years or so, not that long.

56
00:03:19,920 --> 00:03:23,040
여기 리처드 서튼도 나오셨었는데,
그분은 훨씬 더 오래 계셨죠.
You had Richard Sutton here, who was around for much longer.

57
00:03:23,040 --> 00:03:25,571
그래도 저는 사람들이
예측을 하고 그게 어떻게
I do have about 15 years of experience of people making predictions, of seeing how they turned out.

58
00:03:25,571 --> 00:03:28,000
됐는지 지켜본 경험이
15년 정도는 있어요.

59
00:03:28,000 --> 00:03:30,247
또 저는 한동안 업계에
있었고, 연구 쪽에도
Also I was in the industry for a while, I was in research, and I've worked in the industry for a while.

60
00:03:30,247 --> 00:03:32,400
있었고, 업계에서
한동안 일하기도 했어요.

61
00:03:32,400 --> 00:03:37,760
거기서 남은 전반적인 직관이 있어요.
I have a general intuition that I have left from that.

62
00:03:37,760 --> 00:03:40,735
이 문제들이 다룰 수
있고 극복 가능한 것
I feel like the problems are tractable, they're surmountable, but they're still difficult.

63
00:03:40,735 --> 00:03:43,840
같지만, 그래도 여전히
어렵다는 느낌이에요.

64
00:03:43,840 --> 00:03:47,040
그냥 평균을 내보면, 제겐
대략 10년 정도로 느껴져요.
If I just average it out, it just feels like a decade to me.

65
00:03:47,040 --> 00:03:48,686
이거 꽤 흥미롭네요.
This is quite interesting.

66
00:03:48,686 --> 00:03:53,179
역사 자체뿐 아니라, 여러
돌파구의 순간마다 그 자리에 있던
I want to hear not only the history, but what people in the room felt was about to happen at various different breakthrough moments.

67
00:03:53,179 --> 00:03:58,080
사람들이 앞으로 무슨 일이 일어날
거라고 느꼈는지도 듣고 싶어요.

68
00:03:58,080 --> 00:04:00,564
그 느낌들이 어떤 식으로 지나치게
What were the ways in which their feelings were either overly pessimistic or overly optimistic?

69
00:04:00,564 --> 00:04:03,600
비관적이었거나, 지나치게 낙관적이었나요?

70
00:04:03,600 --> 00:04:05,451
하나씩 차례로 짚어볼까요?
Should we just go through each of them one by one?

71
00:04:05,451 --> 00:04:07,312
그건 엄청나게 큰
질문이에요, 15년 동안
That's a giant question because you're talking about 15 years of stuff that happened.

72
00:04:07,312 --> 00:04:08,930
일어난 일들을 다 얘기하는 거니까요.

73
00:04:08,930 --> 00:04:13,098
AI가 정말 멋진 이유는, 분야
전체가 갑자기 완전히 다른 모습으로
AI is so wonderful because there have been a number of seismic shifts where the entire field has suddenly looked a different way.

74
00:04:13,098 --> 00:04:17,040
보이게 되는 지각변동 같은 순간들이
여러 번 있었기 때문이에요.

75
00:04:17,040 --> 00:04:19,247
저도 아마 그런 걸 두세
번은 겪은 것 같아요.
I've maybe lived through two or three of those.

76
00:04:19,247 --> 00:04:25,200
앞으로도 계속 있을 거라고 봐요,
놀라울 정도로 규칙적으로 찾아오거든요.
I still think there will continue to be some because they come with almost surprising regularity.

77
00:04:25,200 --> 00:04:28,381
제 경력이 시작될 때, 딥러닝을
시작했을 때, 딥러닝에
When my career began, when I started to work on deep learning, when I became interested in deep learning, this was by chance of being right next to Geoff Hinton at the University of Toronto.

78
00:04:28,381 --> 00:04:31,455
관심을 갖게 됐을 때, 그건
우연히 토론토 대학교에서

79
00:04:31,455 --> 00:04:34,000
제프리 힌튼 바로 옆에
있었기 때문이었어요.

80
00:04:34,000 --> 00:04:37,040
제프리 힌튼은 물론 AI의
대부 같은 인물이죠.
Geoff Hinton, of course, is the godfather figure of AI.

81
00:04:37,040 --> 00:04:38,582
그는 온갖 신경망들을
훈련시키고 있었어요.
He was training all these neural networks.

82
00:04:38,582 --> 00:04:40,160
저는 그게 정말 놀랍고
흥미롭다고 생각했어요.
I thought it was incredible and interesting.

83
00:04:40,160 --> 00:04:43,680
당시 AI 업계 사람들 대부분이
하던 주된 일과는 거리가 멀었죠.
This was not the main thing that everyone in AI was doing by far.

84
00:04:43,680 --> 00:04:46,560
그냥 곁가지의 작은 틈새 주제였어요.
This was a niche little subject on the side.

85
00:04:46,560 --> 00:04:49,096
그게 아마 AlexNet과 함께 찾아온
That's maybe the first dramatic seismic shift that came with the AlexNet and so on.

86
00:04:49,096 --> 00:04:51,633
첫 번째 극적인 지각변동이었을 거예요.

87
00:04:51,633 --> 00:04:55,412
AlexNet이 다들 방향을 바꾸게
했고, 다들 신경망을 훈련시키기
AlexNet reoriented everyone, and everyone started to train neural networks, but it was still very per-task, per specific task.

88
00:04:55,412 --> 00:04:59,600
시작했지만, 그래도 여전히 과제별로,
특정 과제 하나하나에 맞춘 거였어요.

89
00:04:59,600 --> 00:05:04,400
예를 들면 이미지 분류기 하나, 신경망
기계번역기 하나, 그런 식이었죠.
Maybe I have an image classifier or I have a neural machine translator or something like that.

90
00:05:04,400 --> 00:05:07,715
사람들은 아주 서서히 에이전트에
관심을 갖기 시작했어요.
People became very slowly interested in agents.

91
00:05:07,715 --> 00:05:11,761
"좋아, 시각피질 부분은 이제
체크했다 치고, 뇌의 나머지
People started to think, "Okay, maybe we have a check mark next to the visual cortex or something like that, but what about the other parts of the brain, and how can we get a full agent or a full entity that can interact in the world?"

92
00:05:11,761 --> 00:05:15,554
부분들은? 세상과 상호작용할
수 있는 온전한 에이전트,

93
00:05:15,554 --> 00:05:19,600
온전한 개체는 어떻게 얻지?"
라고 생각하기 시작한 거죠.

94
00:05:19,600 --> 00:05:24,554
제 생각엔 2013년쯤 있었던 아타리
심층강화학습으로의 전환이 그 초기
The Atari deep reinforcement learning shift in 2013 or so was part of that early effort of agents, in my mind, because it was an attempt to try to get agents that not just perceive the world, but also take actions and interact and get rewards from environments.

95
00:05:24,554 --> 00:05:29,253
에이전트 노력의 일부였어요, 세상을
지각할 뿐 아니라 행동을 취하고

96
00:05:29,253 --> 00:05:34,080
상호작용하고 환경에서 보상을 받는
에이전트를 만들려는 시도였으니까요.

97
00:05:34,080 --> 00:05:36,605
당시엔 그게 아타리 게임이었죠.
At the time, this was Atari games.

98
00:05:36,605 --> 00:05:39,680
저는 그게 헛발질이었다고 생각해요.
I feel that was a misstep.

99
00:05:39,680 --> 00:05:44,439
제가 몸담았던 초기 OpenAI조차
받아들였던 헛발질이었어요, 그 시절
It was a misstep that even the early OpenAI that I was a part of adopted because at that time, the zeitgeist was reinforcement learning environments, games, game playing, beat games, get lots of different types of games, and OpenAI was doing a lot of that.

100
00:05:44,439 --> 00:05:49,321
시대정신이 강화학습 환경, 게임, 게임
플레이, 게임 깨기, 온갖 종류의

101
00:05:49,321 --> 00:05:54,080
게임을 확보하는 거였고, OpenAI도
그런 걸 많이 하고 있었거든요.

102
00:05:54,080 --> 00:05:58,952
그게 AI의 또 다른 두드러진
부분이었는데, 한 2,
That was another prominent part of AI where maybe for two or three or four years, everyone was doing reinforcement learning on games.

103
00:05:58,952 --> 00:06:04,161
3, 4년 동안은 다들 게임에
강화학습을 하고 있었어요.

104
00:06:04,161 --> 00:06:06,800
그것도 다 조금은 헛발질이었죠.
That was all a bit of a misstep.

105
00:06:06,800 --> 00:06:09,200
제가 OpenAI에서
하려던 건... 저는 늘
What I was trying to do at OpenAI is I was always a bit suspicious of games as being this thing that would lead to AGI.

106
00:06:09,200 --> 00:06:11,983
게임이 AGI로 이어질
거라는 데 좀 회의적이었어요.

107
00:06:11,983 --> 00:06:14,679
왜냐하면 제 생각엔,
회계사 같은 것, 실제
Because in my mind, you want something like an accountant or something that's interacting with the real world.

108
00:06:14,679 --> 00:06:17,600
세상과 상호작용하는 뭔가가
필요하다고 봤거든요.

109
00:06:17,600 --> 00:06:20,480
게임이 어떻게 그런 걸로 이어지는지
도무지 알 수가 없었어요.
I just didn't see how games add up to it.

110
00:06:20,480 --> 00:06:23,316
예를 들어 제가 OpenAI에서
했던 프로젝트는
My project at OpenAI, for example, was within the scope of the Universe project, on an agent that was using keyboard and mouse to operate web pages.

111
00:06:23,316 --> 00:06:26,807
유니버스(Universe)
프로젝트 범위 안에서, 키보드와

112
00:06:26,807 --> 00:06:30,080
마우스로 웹페이지를 조작하는
에이전트에 관한 거였어요.

113
00:06:30,080 --> 00:06:32,964
저는 정말로 실제 디지털
세상과 상호작용하면서
I really wanted to have something that interacts with the actual digital world that can do knowledge work.

114
00:06:32,964 --> 00:06:35,501
지식노동을 할 수 있는 뭔가를 원했어요.

115
00:06:35,501 --> 00:06:38,843
그런데 결과적으로 그건 너무
일렀어요, 훨씬 너무 일러서,
It just so turns out that this was extremely early, way too early, so early that we shouldn't have been working on that.

116
00:06:38,843 --> 00:06:42,080
우리가 그 작업을 하지 말았어야
할 정도로 일렀던 거죠.

117
00:06:42,080 --> 00:06:45,694
왜냐하면 그냥 이리저리 헤매면서
키보드를 마구 두드리고
Because if you're just stumbling your way around and keyboard mashing and mouse clicking and trying to get rewards in these environments, your reward is too sparse and you just won't learn.

118
00:06:45,694 --> 00:06:48,827
마우스를 클릭하면서 이런
환경에서 보상을 얻으려

119
00:06:48,827 --> 00:06:52,080
하면, 보상이 너무 희박해서
학습이 안 되거든요.

120
00:06:52,080 --> 00:06:54,626
숲 하나를 통째로 태울
만큼 컴퓨팅을 쏟아붓고도,
You're going to burn a forest computing, and you're never going to get something off the ground.

121
00:06:54,626 --> 00:06:56,794
결국 아무것도 제대로
띄우지 못할 거예요.

122
00:06:56,794 --> 00:07:00,440
그때 빠져 있던 건 신경망이
가진 표현력이라는 힘이었어요.
What you're missing is this power of representation in the neural network.

123
00:07:00,440 --> 00:07:02,928
예를 들어 요즘 사람들이
컴퓨터를 사용하는 에이전트를
For example, today people are training those computer-using agents, but they're doing it on top of a large language model.

124
00:07:02,928 --> 00:07:05,760
학습시키는데, 그것도 거대 언어
모델 위에서 하고 있잖아요.

125
00:07:05,760 --> 00:07:08,715
언어 모델을 먼저 얻어야 하고,
표현을 먼저 얻어야 하는데,
You have to get the language model first, you have to get the representations first, and you have to do that by all the pre-training and all the LLM stuff.

126
00:07:08,715 --> 00:07:11,760
그건 사전학습과 LLM 관련
작업들을 통해서만 가능한 거예요.

127
00:07:11,760 --> 00:07:17,280
대략 말하면, 사람들이 몇 번이고
너무 일찍 완성형을 만들려고
I feel maybe loosely speaking, people kept trying to get the full thing too early a few times, where people really try to go after agents too early, I would say.

128
00:07:17,280 --> 00:07:22,800
했던 것 같아요. 에이전트를 정말
너무 일찍부터 좇았던 거죠.

129
00:07:22,800 --> 00:07:24,592
아타리도 그랬고,
유니버스(Universe)도
That was Atari and Universe and even my own experience.

130
00:07:24,592 --> 00:07:26,240
그랬고, 심지어 제
경험도 마찬가지였어요.

131
00:07:26,240 --> 00:07:30,560
그런 에이전트에 도달하려면 실제로
먼저 해둬야 할 것들이 있는 거예요.
You actually have to do some things first before you get to those agents.

132
00:07:30,560 --> 00:07:33,268
지금은 에이전트가 훨씬
더 유능해졌지만, 그래도
Now the agents are a lot more competent, but maybe we're still missing some parts of that stack.

133
00:07:33,268 --> 00:07:36,080
그 스택의 일부는 여전히
빠져 있을 수도 있어요.

134
00:07:36,080 --> 00:07:40,899
사람들이 하던 일을 크게 세
갈래로 나눌 수 있을 것 같아요.
I would say those are the three major buckets of what people were doing: training neural nets per-tasks, trying the first round of agents, and then maybe the LLMs and seeking the representation power of the neural networks before you tack on everything else on top.

135
00:07:40,899 --> 00:07:46,143
과제별로 신경망을 학습시키던 것,
첫 번째 에이전트 시도들, 그리고

136
00:07:46,143 --> 00:07:51,103
다른 걸 얹기 전에 신경망의
표현력부터 추구했던 LLM 단계요.

137
00:07:51,103 --> 00:07:51,847
흥미롭네요.
Interesting.

138
00:07:51,847 --> 00:07:54,498
서튼의 관점을 최대한
옹호해보자면, 인간은 그냥
If I were to steelman the Sutton perspective, it would be that humans can just take on everything at once, or even animals can take on everything at once.

139
00:07:54,498 --> 00:07:57,148
모든 걸 한 번에 해낼
수 있다는 거고, 심지어

140
00:07:57,148 --> 00:07:59,901
동물도 모든 걸 한 번에
해낼 수 있다는 거예요.

141
00:07:59,901 --> 00:08:03,682
동물이 오히려 더 나은 예일 수도
있는데, 언어라는 발판조차 없으니까요.
Animals are maybe a better example because they don't even have the scaffold of language.

142
00:08:03,682 --> 00:08:06,914
그냥 세상에 던져져서, 아무 라벨도 없이
They just get thrown out into the world, and they just have to make sense of everything without any labels.

143
00:08:06,914 --> 00:08:10,000
모든 걸 스스로 파악해내야 하는 거죠.

144
00:08:10,000 --> 00:08:14,274
그럼 AGI의 비전은 그냥 감각
데이터를 보고, 컴퓨터 화면을
The vision for AGI then should just be something which looks at sensory data, looks at the computer screen, and it just figures out what's going on from scratch.

145
00:08:14,274 --> 00:08:18,800
보고, 처음부터 스스로 상황을
파악해내는 존재여야 한다는 거고요.

146
00:08:18,800 --> 00:08:21,722
인간을 비슷한 상황에 놓고
처음부터 학습시켜야 한다면…
If a human were put in a similar situation and had to be trained from scratch…

147
00:08:21,722 --> 00:08:24,166
이건 인간이 자라나는 것, 혹은
동물이 자라나는 것과 같은 거예요.
This is like a human growing up or an animal growing up.

148
00:08:24,166 --> 00:08:27,097
수백만 년치 학습을 시키는
지금 방식 대신, 그게
Why shouldn't that be the vision for AI, rather than this thing where we're doing millions of years of training?

149
00:08:27,097 --> 00:08:29,920
AI의 비전이 되지 말아야
할 이유가 있을까요?

150
00:08:29,920 --> 00:08:31,992
정말 좋은 질문이네요.
That's a really good question.

151
00:08:31,992 --> 00:08:36,946
서튼이 이 팟캐스트에 나오셨었죠,
그 방송을 봤고 그에 대한
Sutton was on your podcast and I saw the podcast and I had a write-up about that podcast that gets into a bit of how I see things.

152
00:08:36,946 --> 00:08:41,600
글도 썼는데, 거기서 제가
어떻게 보는지 조금 다뤘어요.

153
00:08:41,600 --> 00:08:44,753
저는 동물에 빗대는 데 아주
조심스러운 편인데, 동물은
I'm very careful to make analogies to animals because they came about by a very different optimization process.

154
00:08:44,753 --> 00:08:48,116
완전히 다른 최적화 과정을 거쳐
나온 존재이기 때문이에요.

155
00:08:48,116 --> 00:08:52,779
동물은 진화한 존재라서, 엄청난 양의
하드웨어가 이미 내장돼 있어요.
Animals are evolved, and they come with a huge amount of hardware that's built in.

156
00:08:52,779 --> 00:08:55,840
예를 들어 제 글에서
든 예는 얼룩말이었어요.
For example, my example in the post was the zebra.

157
00:08:55,840 --> 00:08:59,280
얼룩말은 태어나고 몇 분만 지나면
뛰어다니면서 어미를 따라가요.
A zebra gets born, and a few minutes later it's running around and following its mother.

158
00:08:59,280 --> 00:09:01,708
그건 정말 엄청나게 복잡한 일이에요.
That's an extremely complicated thing to do.

159
00:09:01,708 --> 00:09:03,596
그건 강화학습이 아니에요.
That's not reinforcement learning.

160
00:09:03,596 --> 00:09:05,192
그건 이미 타고난 거예요.
That's something that's baked in.

161
00:09:05,192 --> 00:09:08,319
진화가 우리 신경망의 가중치를
ATCG로 인코딩하는 방법을
Evolution obviously has some way of encoding the weights of our neural nets in ATCGs, and I have no idea how that works, but it apparently works.

162
00:09:08,319 --> 00:09:11,349
갖고 있다는 건 분명한데,
그게 어떻게 작동하는지는 전혀

163
00:09:11,349 --> 00:09:14,085
모르겠어요. 그런데 어쨌든
작동은 하는 것 같아요.

164
00:09:14,640 --> 00:09:18,784
뇌는 완전히 다른 과정에서 나온
거라, 거기서 영감을 얻는 데는
Brains just came from a very different process, and I'm very hesitant to take inspiration from it because we're not actually running that process.

165
00:09:18,784 --> 00:09:23,165
조심스러워요. 우리가 실제로 그
과정을 돌리고 있는 건 아니니까요.

166
00:09:23,165 --> 00:09:25,760
제 글에서 저는 우리가 동물을
만드는 게 아니라고 했어요.
In my post, I said we're not building animals.

167
00:09:25,760 --> 00:09:30,171
우리는 유령이나 영혼,
뭐라고 부르든 그런 걸 만들고
We're building ghosts or spirits or whatever people want to call it, because we're not doing training by evolution.

168
00:09:30,171 --> 00:09:34,583
있는 거예요. 진화를 통해
학습시키는 게 아니니까요.

169
00:09:34,583 --> 00:09:37,640
우리는 인간과 그들이
인터넷에 올린 데이터를
We're doing training by imitation of humans and the data that they've put on the Internet.

170
00:09:37,640 --> 00:09:40,188
모방하는 방식으로 학습시키고 있어요.

171
00:09:40,188 --> 00:09:42,866
그래서 결국 이런 유령 같은
존재들이 나오는 거예요.
You end up with these ethereal spirit entities because they're fully digital and they're mimicking humans.

172
00:09:42,866 --> 00:09:45,360
완전히 디지털이면서 인간을
흉내 내고 있으니까요.

173
00:09:45,360 --> 00:09:47,019
다른 종류의 지능인 거죠.
It's a different kind of intelligence.

174
00:09:47,019 --> 00:09:49,056
지능의 공간을 상상해본다면, 우리는 거의
If you imagine a space of intelligences, we're starting off at a different point almost.

175
00:09:49,056 --> 00:09:51,000
다른 지점에서 출발하고 있는 셈이에요.

176
00:09:51,000 --> 00:09:52,663
우리는 사실 동물을
만들고 있는 게 아니에요.
We're not really building animals.

177
00:09:52,663 --> 00:09:55,736
하지만 시간이 지나면서 좀
더 동물에 가깝게 만드는
But it's also possible to make them a bit more animal-like over time, and I think we should be doing that.

178
00:09:55,736 --> 00:09:58,480
것도 가능하고, 저는
그래야 한다고 생각해요.

179
00:09:58,480 --> 00:09:59,593
한 가지만 더요.
One more point.

180
00:09:59,593 --> 00:10:01,750
저는 서튼이 정말...
I do feel Sutton has a very...

181
00:10:01,750 --> 00:10:04,880
그의 프레임워크는 '우리는
동물을 만들고 싶다'는 거예요.
His framework is, "We want to build animals."

182
00:10:04,880 --> 00:10:06,929
그게 실제로 작동한다면 정말
멋질 거라고 생각해요.
I think that would be wonderful if we can get that to work.

183
00:10:06,929 --> 00:10:07,680
그야말로 놀라운 일일 거예요.
That would be amazing.

184
00:10:07,680 --> 00:10:11,820
인터넷에 그냥 돌리기만 하면
모든 걸 학습하는 단일
If there were a single algorithm that you can just run on the Internet and it learns everything, that would be incredible.

185
00:10:11,820 --> 00:10:15,960
알고리즘이 있다면, 그건
정말 대단한 일일 거예요.

186
00:10:15,960 --> 00:10:19,985
그런 게 존재하는지는 잘
모르겠고, 확실히 동물들이 하는
I'm not sure that it exists and that's certainly not what animals do, because animals have this outer loop of evolution.

187
00:10:19,985 --> 00:10:24,400
방식도 아니에요. 동물에게는
진화라는 외부 루프가 있으니까요.

188
00:10:24,400 --> 00:10:28,400
학습처럼 보이는 것 중 많은
부분은 사실 뇌의 성숙에 가까워요.
A lot of what looks like learning is more like maturation of the brain.

189
00:10:28,400 --> 00:10:32,880
동물에게는 강화학습이
거의 없다고 생각해요.
I think there's very little reinforcement learning for animals.

190
00:10:32,880 --> 00:10:37,120
강화학습의 많은 부분은 운동 과제에
가깝지, 지능 과제가 아니에요.
A lot of the reinforcement learning is more like motor tasks; it's not intelligence tasks.

191
00:10:37,120 --> 00:10:39,120
그래서 사실 대략적으로 말하면, 인간은
So I actually kind of think humans don’t really use RL, roughly speaking.

192
00:10:39,120 --> 00:10:41,120
RL을 그다지 쓰지 않는다고 생각해요.

193
00:10:41,120 --> 00:10:42,113
마지막 문장 다시요?
Can you repeat the last sentence?

194
00:10:42,113 --> 00:10:44,122
그 지능 중 많은 부분은 운동 과제가
아니라... 그게, 뭐라고 하셨죠?
A lot of that intelligence is not motor task…it's what, sorry?

195
00:10:44,122 --> 00:10:48,619
제 관점에서는, 강화학습(RL)의
상당 부분은 훨씬 더 운동에
A lot of the reinforcement learning, in my perspective, would be things that are a lot more motor-like, simple tasks like throwing a hoop.

196
00:10:48,619 --> 00:10:53,116
가까운 일들일 거예요, 후프에
공 던지기 같은 단순한 과제요.

197
00:10:53,440 --> 00:10:56,366
하지만 인간이 문제
해결 같은 지적인 과제
But I don't think that humans use reinforcement learning for a lot of intelligence tasks like problem-solving and so on.

198
00:10:56,366 --> 00:10:59,546
대부분에 강화학습을
쓴다고는 생각하지 않아요.

199
00:10:59,546 --> 00:11:02,781
그렇다고 연구에서 그걸 하지
말아야 한다는 건 아니지만, 그게
That doesn't mean we shouldn't do that for research, but I just feel like that's what animals do or don't.

200
00:11:02,781 --> 00:11:05,920
동물이 하는 일인지 아닌지,
그냥 그런 느낌이 들 뿐이에요.

201
00:11:05,920 --> 00:11:09,600
여러 아이디어가 섞여 있어서, 잠깐
소화할 시간을 좀 가져볼게요.
I'm going to take a second to digest that because there are a lot of different ideas.

202
00:11:09,600 --> 00:11:15,280
그 관점을 이해하기 위해 명확히
해볼 질문이 하나 있어요.
Here’s one clarifying question I can ask to understand the perspective.

203
00:11:15,280 --> 00:11:19,569
말씀은, 진화가 사전학습과
비슷한 일을 한다는 거잖아요
You suggest that evolution is doing the kind of thing that pre-training does in the sense of building something which can then understand the world.

204
00:11:19,569 --> 00:11:24,000
— 세상을 이해할 수 있는
무언가를 만든다는 의미에서요.

205
00:11:24,000 --> 00:11:28,326
차이는, 인간의 경우
진화가 3기가바이트의
The difference is that evolution has to be titrated in the case of humans through three gigabytes of DNA.

206
00:11:28,326 --> 00:11:32,840
DNA를 통해 조금씩
조정돼야 한다는 거죠.

207
00:11:32,840 --> 00:11:37,360
그건 모델의 가중치와는 많이 다르고요.
That's very unlike the weights of a model.

208
00:11:37,360 --> 00:11:41,268
말 그대로, 모델의
가중치는 뇌인데, 그건
Literally, the weights of the model are a brain, which obviously does not exist in the sperm and the egg.

209
00:11:41,268 --> 00:11:44,837
정자와 난자에는 당연히 존재하지 않죠.

210
00:11:44,837 --> 00:11:46,560
그러니까 그건 자라나야 하는 거고요.
So it has to be grown.

211
00:11:46,560 --> 00:11:49,575
게다가, 뇌의 시냅스
하나하나에 대한 정보가
Also, the information for every single synapse in the brain simply cannot exist in the three gigabytes that exist in the DNA.

212
00:11:49,575 --> 00:11:53,093
DNA 속 3기가바이트 안에
존재할 수는 없잖아요.

213
00:11:53,093 --> 00:11:55,516
진화는 오히려, 평생에
걸친 학습을 수행할
Evolution seems closer to finding the algorithm which then does the lifetime learning.

214
00:11:55,516 --> 00:11:58,256
알고리즘을 찾아내는 쪽에
더 가까운 것 같아요.

215
00:11:58,256 --> 00:12:02,613
다만 말씀하신 대로, 그 평생 학습이
RL과 유사하지 않을 수도 있고요.
Now, maybe the lifetime learning is not analogous to RL, to your point.

216
00:12:02,613 --> 00:12:05,788
이게 말씀하신 것과 양립 가능한가요,
아니면 동의하지 않으시나요?
Is that compatible with the thing you were saying, or would you disagree with that?

217
00:12:05,788 --> 00:12:06,087
그런 것 같아요.
I think so.

218
00:12:06,087 --> 00:12:09,284
어떤 기적적인 압축이 일어나고
있다는 데는 동의해요, 신경망의
I would agree with you that there's some miraculous compression going on because obviously, the weights of the neural net are not stored in ATCGs.

219
00:12:09,284 --> 00:12:12,105
가중치가 ATCG로 저장돼
있는 건 당연히 아니니까요.

220
00:12:12,105 --> 00:12:14,000
극적인 압축이 있는 거죠.
There's some dramatic compression.

221
00:12:14,000 --> 00:12:16,302
어떤 학습 알고리즘들이
인코딩돼 있어서, 그게
There are some learning algorithms encoded that take over and do some of the learning online.

222
00:12:16,302 --> 00:12:18,880
넘겨받아 온라인으로 학습의
일부를 수행하는 거고요.

223
00:12:18,880 --> 00:12:20,984
그 부분은 확실히 동의해요.
I definitely agree with you on that.

224
00:12:20,984 --> 00:12:23,600
저는 훨씬 더 실용적인
쪽에 가까운 것 같아요.
I would say I'm a lot more practically minded.

225
00:12:23,600 --> 00:12:26,080
'동물을 만들자'는 관점에서
접근하는 게 아니에요.
I don't come at it from the perspective of, let's build animals.

226
00:12:26,080 --> 00:12:28,960
'쓸모 있는 걸 만들자'는
관점에서 접근하는 거죠.
I come from it from the perspective of, let's build useful things.

227
00:12:28,960 --> 00:12:31,675
저는 안전모를 쓰고, 그냥 이렇게
보는 거예요 — 우리는 진화를
I have a hard hat on, and I'm just observing that we're not going to do evolution, because I don't know how to do that.

228
00:12:31,675 --> 00:12:34,467
하지는 않을 거다, 왜냐하면 저는
그걸 어떻게 하는지 모르니까요.

229
00:12:34,467 --> 00:12:37,491
하지만 실제로 밝혀진 건,
인터넷 문서를 모방함으로써
But it does turn out we can build these ghosts, spirit-like entities, by imitating internet documents.

230
00:12:37,491 --> 00:12:40,724
이런 유령, 영혼 같은 존재들을
만들 수 있다는 거예요.

231
00:12:40,724 --> 00:12:41,546
이게 통해요.
This works.

232
00:12:41,546 --> 00:12:46,073
그건 어떤 면에서 진화가 해온
것과 비슷하게, 이미 많은
It's a way to bring you up to something that has a lot of built-in knowledge and intelligence in some way, similar to maybe what evolution has done.

233
00:12:46,073 --> 00:12:50,453
지식과 지능이 내장된 상태로
끌어올려주는 방법인 거죠.

234
00:12:50,453 --> 00:12:53,545
그래서 저는 사전학습을
"조잡한 진화"라고 부릅니다.
That's why I call pre-training this crappy evolution.

235
00:12:53,545 --> 00:12:58,343
우리가 가진 기술과 자원으로
실현 가능한 버전인 거예요,
It's the practically possible version with our technology and what we have available to us to get to a starting point where we can do things like reinforcement learning and so on.

236
00:12:58,343 --> 00:13:03,451
강화학습 같은 걸 할 수 있는
출발점에 도달하기 위한 거죠.

237
00:13:03,451 --> 00:13:06,226
반대 관점을 최대한
옹호해보자면, 서튼과 인터뷰하고
Just to steelman the other perspective, after doing this Sutton interview and thinking about it a bit, he has an important point here.

238
00:13:06,226 --> 00:13:09,200
좀 생각해봤는데요, 그분이
중요한 지점을 짚었더라고요.

239
00:13:09,200 --> 00:13:11,690
사실 진화는 우리에게
지식을 주는 건 아니잖아요.
Evolution does not give us the knowledge, really.

240
00:13:11,690 --> 00:13:16,589
지식을 찾아내는 알고리즘을 주는
거고, 그건 사전학습과는 달라 보여요.
It gives us the algorithm to find the knowledge, and that seems different from pre-training.

241
00:13:16,589 --> 00:13:18,917
아마 사전학습이 더 잘 학습할 수 있는
Perhaps the perspective is that pre-training helps build the kind of entity which can learn better.

242
00:13:18,917 --> 00:13:21,578
존재를 만드는 데 도움을
준다는 관점이겠죠.

243
00:13:21,578 --> 00:13:25,707
메타학습을 가르치는 거니까, 알고리즘을
찾아내는 것과 비슷하다는 거고요.
It teaches meta-learning, and therefore it is similar to finding an algorithm.

244
00:13:25,707 --> 00:13:28,574
근데 만약 "진화는 지식을
주고, 사전학습도 지식을
But if it's "Evolution gives us knowledge, pre-training gives us knowledge," that analogy seems to break down.

245
00:13:28,574 --> 00:13:31,440
준다"는 식이라면, 그
비유는 무너지는 것 같아요.

246
00:13:31,440 --> 00:13:34,634
미묘한 지점이고 반박하신
게 맞다고 생각해요, 근데
It's subtle and I think you're right to push back on it, but basically the thing that pre-training is doing, you're getting the next-token predictor over the internet, and you're training that into a neural net.

247
00:13:34,634 --> 00:13:37,943
기본적으로 사전학습이 하는
일은, 인터넷 전체에 대한

248
00:13:37,943 --> 00:13:41,365
다음 토큰 예측기를 얻어서
신경망에 학습시키는 거예요.

249
00:13:41,365 --> 00:13:43,680
서로 무관한 두 가지 일을 하는 거죠.
It's doing two things that are unrelated.

250
00:13:43,680 --> 00:13:46,080
첫째, 제가 말하는 그 모든
지식을 습득하는 거고요.
Number one, it's picking up all this knowledge, as I call it.

251
00:13:46,080 --> 00:13:48,710
둘째, 실제로 지능을 갖게 되는 거예요.
Number two, it's actually becoming intelligent.

252
00:13:48,710 --> 00:13:53,414
인터넷 속 알고리즘적 패턴들을
관찰하면서, 신경망 내부에 작은 회로와
By observing the algorithmic patterns in the internet, it boots up all these little circuits and algorithms inside the neural net to do things like in-context learning and all this stuff.

253
00:13:53,414 --> 00:13:58,490
알고리즘들을 부팅시켜서 인컨텍스트 러닝
같은 걸 할 수 있게 되는 거고요.

254
00:13:58,490 --> 00:14:00,800
지식 자체는 필요하지도,
원하지도 않는 거죠.
You don't need or want the knowledge.

255
00:14:00,800 --> 00:14:04,038
그게 아마 신경망 전체를
발목 잡고 있는 것
I think that's probably holding back the neural networks overall because it's getting them to rely on the knowledge a little too much sometimes.

256
00:14:04,038 --> 00:14:07,545
같아요, 가끔 지식에 너무
의존하게 만들거든요.

257
00:14:07,545 --> 00:14:10,726
예를 들어, 제 생각엔 에이전트들이
잘 못하는 것 중 하나가,
For example, I feel agents, one thing they're not very good at, is going off the data manifold of what exists on the internet.

258
00:14:10,726 --> 00:14:13,440
인터넷에 존재하는 데이터
매니폴드를 벗어나는 거예요.

259
00:14:13,440 --> 00:14:17,920
지식이나 기억이 더 적었다면,
오히려 더 잘했을지도 몰라요.
If they had less knowledge or less memory, maybe they would be better.

260
00:14:17,920 --> 00:14:21,640
앞으로 우리가 해야 할
일은—이게 연구 패러다임의 일부가
What I think we have to do going forward—and this would be part of the research paradigms—is figure out ways to remove some of the knowledge and to keep what I call this cognitive core.

261
00:14:21,640 --> 00:14:25,360
될 텐데—지식의 일부를
제거하고, 제가 "인지 코어"라고

262
00:14:25,360 --> 00:14:28,720
부르는 걸 남기는 방법을
찾아내는 거라고 생각해요.

263
00:14:28,720 --> 00:14:33,778
지식은 걷어냈지만 알고리즘은
담고 있는, 지능과 문제
It's this intelligent entity that is stripped from knowledge but contains the algorithms and contains the magic of intelligence and problem-solving and the strategies of it and all this stuff.

264
00:14:33,778 --> 00:14:39,360
해결, 그 전략들의 마법을 담고
있는 지적인 존재인 거죠.

265
00:14:39,360 --> 00:14:41,534
거기엔 정말 흥미로운 게 많아요.
There's so much interesting stuff there.

266
00:14:41,534 --> 00:14:43,550
인컨텍스트 러닝부터 시작해보죠.
Let's start with in-context learning.

267
00:14:43,550 --> 00:14:48,800
뻔한 지점이긴 한데, 명시적으로 말하고
곱씹어볼 가치가 있는 것 같아요.
This is an obvious point, but I think it's worth just saying it explicitly and meditating on it.

268
00:14:48,800 --> 00:14:53,071
이 모델들이 가장 지능적으로 보이는
상황은—제가 대화하다가 "와,
The situation in which these models seem the most intelligent—in which I talk to them and I'm like, "Wow, there's really something on the other end that's responding to me thinking about things—is if it makes a mistake it's like, "Oh wait, that's the wrong way to think about it.

269
00:14:53,071 --> 00:14:57,105
저 반대편에 생각하면서 반응하는
뭔가가 정말 있구나" 싶어지는

270
00:14:57,105 --> 00:15:01,258
순간은—실수를 했을 때 "아,
잠깐, 그렇게 생각하면 안 되지,

271
00:15:01,258 --> 00:15:01,840
다시 되짚어볼게" 하는 식일 때예요.
I'm backing up."

272
00:15:01,840 --> 00:15:03,180
그건 전부 컨텍스트
안에서 일어나는 일이에요.
All that is happening in context.

273
00:15:03,180 --> 00:15:07,796
바로 거기서 눈에 보이는 진짜
지능이 있는 것 같아요.
That's where I feel like the real intelligence is that you can visibly see.

274
00:15:07,796 --> 00:15:10,867
그 인컨텍스트 러닝 과정은 사전학습에서의
That in-context learning process is developed by gradient descent on pre-training.

275
00:15:10,867 --> 00:15:13,380
경사 하강법으로 발달되는 거예요.

276
00:15:13,380 --> 00:15:18,012
인컨텍스트 러닝 자체를 자연스럽게
메타러닝하긴 하지만, 인컨텍스트
It spontaneously meta-learns in-context learning, but the in-context learning itself is not gradient descent, in the same way that our lifetime intelligence as humans to be able to do things is conditioned by evolution but our learning during our lifetime is happening through some other process.

277
00:15:18,012 --> 00:15:22,130
러닝 그 자체는 경사 하강법이
아니에요. 마치 우리 인간이

278
00:15:22,130 --> 00:15:26,376
뭔가를 할 수 있는 그 지능은
진화로 조건화됐지만, 살아있는

279
00:15:26,376 --> 00:15:30,880
동안의 학습 자체는 또 다른
과정으로 일어나는 것과 비슷하게요.

280
00:15:30,880 --> 00:15:34,480
전적으로 동의하는 건 아니지만,
하시던 말씀은 계속해 주세요.
I don't fully agree with that, but you should continue your thought.

281
00:15:34,480 --> 00:15:36,880
음, 그 비유가 어디서
깨지는지 정말 궁금하네요.
Well, I'm very curious to understand how that analogy breaks down.

282
00:15:36,880 --> 00:15:41,760
인컨텍스트 러닝이 경사 하강법을 안
한다고 단정 짓기는 조심스러워요.
I'm hesitant to say that in-context learning is not doing gradient descent.

283
00:15:41,760 --> 00:15:44,553
명시적인 경사 하강법을
하고 있는 건 아니에요.
It's not doing explicit gradient descent.

284
00:15:44,553 --> 00:15:48,599
인컨텍스트 러닝은 토큰 윈도우
안에서 패턴을 완성하는 거예요.
In-context learning is pattern completion within a token window.

285
00:15:48,599 --> 00:15:52,060
그런데 인터넷에는 어마어마하게 많은
패턴이 있다는 게 밝혀진 거죠.
It just turns out that there's a huge amount of patterns on the internet.

286
00:15:52,060 --> 00:15:53,779
맞아요, 모델은 패턴을 완성하도록
You're right, the model learns to complete the pattern, and that's inside the weights.

287
00:15:53,779 --> 00:15:55,880
학습하고, 그건 가중치 안에 들어있어요.

288
00:15:55,880 --> 00:16:00,131
신경망의 가중치는 패턴을 발견해서
그 패턴을 완성하려고 하는 거예요.
The weights of the neural network are trying to discover patterns and complete the pattern.

289
00:16:00,131 --> 00:16:03,959
신경망 내부에서 일종의 적응이
일어나는데, 이건 신비로운
There's some adaptation that happens inside the neural network, which is magical and just falls out from the internet just because there's a lot of patterns.

290
00:16:03,959 --> 00:16:08,280
일이고 그냥 인터넷에 패턴이 워낙
많아서 저절로 나오는 거예요.

291
00:16:08,280 --> 00:16:11,254
인컨텍스트 러닝 이면의
메커니즘을 들여다본 논문
I will say that there have been some papers that I thought were interesting that look at the mechanisms behind in-context learning.

292
00:16:11,254 --> 00:16:14,000
중에 흥미롭다고 생각한
게 몇 편 있었어요.

293
00:16:14,000 --> 00:16:17,111
인컨텍스트 러닝이 신경망
레이어 내부에서 작은 경사
I do think it's possible that in-context learning runs a small gradient descent loop internally in the layers of the neural network.

294
00:16:17,111 --> 00:16:20,000
하강 루프를 돌리고 있을
가능성은 있다고 봐요.

295
00:16:20,000 --> 00:16:23,646
특히 기억나는 논문이
하나 있는데, 인컨텍스트
I recall one paper in particular where they were doing linear regression using in-context learning.

296
00:16:23,646 --> 00:16:26,563
러닝으로 선형 회귀를 하는 거였어요.

297
00:16:26,563 --> 00:16:29,909
신경망에 넣는 입력이 X,
Y 쌍들인데, X, Y,
Your inputs into the neural network are XY pairs, XY, XY, XY that happen to be on the line.

298
00:16:29,909 --> 00:16:33,494
X, Y, X, Y가 마침
한 직선 위에 있는 거예요.

299
00:16:33,494 --> 00:16:37,859
그다음 X를 넣으면 Y가
나오길 기대하는 거죠. 신경망을
Then you do X and you expect Y. The neural network, when you train it in this way, does linear regression.

300
00:16:37,859 --> 00:16:41,520
이런 식으로 훈련시키면
선형 회귀를 하게 돼요.

301
00:16:41,520 --> 00:16:44,406
보통 선형 회귀를 돌릴
때는, X와 Y를 보고
Normally when you would run linear regression, you have a small gradient descent optimizer that looks at XY, looks at an error, calculates the gradient of the weights and does the update a few times.

302
00:16:44,406 --> 00:16:47,408
오차를 확인하고 가중치의
경사를 계산해서 몇 번

303
00:16:47,408 --> 00:16:50,640
업데이트하는 작은 경사 하강
옵티마이저를 쓰잖아요.

304
00:16:50,640 --> 00:16:54,945
그런데 그 인컨텍스트 러닝
알고리즘의 가중치를 들여다봤더니,
It just turns out that when they looked at the weights of that in-context learning algorithm, they found some analogies to gradient descent mechanics.

305
00:16:54,945 --> 00:16:59,120
경사 하강법의 메커니즘과 비슷한
점들을 발견했다는 거예요.

306
00:16:59,120 --> 00:17:03,319
사실 그 논문은 한발 더
나아가서, 신경망의 가중치를
In fact, I think the paper was even stronger because they hardcoded the weights of a neural network to do gradient descent through attention and all the internals of the neural network.

307
00:17:03,319 --> 00:17:07,228
아예 하드코딩해 어텐션과
신경망 내부 전체를 통해

308
00:17:07,228 --> 00:17:10,848
경사 하강법을 수행하도록
만들었던 것 같아요.

309
00:17:10,848 --> 00:17:12,439
제가 반박하고 싶은
건 그거 하나뿐이에요.
That's just my only pushback.

310
00:17:12,439 --> 00:17:15,707
인컨텍스트 러닝이 정확히 어떻게
작동하는지는 아무도 모르지만,
Who knows how in-context learning works, but I think that it's probably doing a bit of some funky gradient descent internally.

311
00:17:15,707 --> 00:17:19,264
내부적으로 뭔가 묘한 경사 하강법
비슷한 걸 하고 있을 것 같아요.

312
00:17:19,264 --> 00:17:20,784
그럴 가능성은 있다고 봐요.
I think that that's possible.

313
00:17:20,784 --> 00:17:22,876
제가 반박한 건, 그게
인컨텍스트 러닝을 하고
I was only pushing back on your saying that it's not doing in-context learning.

314
00:17:22,876 --> 00:17:24,800
있는 게 아니라는
말씀에 대해서뿐이었어요.

315
00:17:24,800 --> 00:17:26,584
그게 뭘 하는 건지는 아무도
모르지만, 아마 비슷한
Who knows what it's doing, but it's probably maybe doing something similar to it, but we don't know.

316
00:17:26,584 --> 00:17:28,240
걸 하고 있을 거예요.
그런데 확실히는 몰라요.

317
00:17:28,240 --> 00:17:33,649
그럼 생각해볼 만한 게,
인컨텍스트 러닝과 사전학습이 둘
So then it's worth thinking okay, if in-context learning and pre-training are both implementing something like gradient descent, why does it feel like with in-context learning we're getting to this continual learning, real intelligence-like thing?

318
00:17:33,649 --> 00:17:38,883
다 경사 하강법 비슷한 걸
하는 거라면, 왜 인컨텍스트

319
00:17:38,883 --> 00:17:44,640
러닝에서는 연속 학습, 진짜
지능 같은 느낌을 받는 걸까요?

320
00:17:44,640 --> 00:17:48,341
반면 사전학습만으로는 그런
비슷한 느낌을 못 받잖아요.
Whereas you don't get the analogous feeling just from pre-training.

321
00:17:48,341 --> 00:17:49,539
그렇게 주장할 수도 있죠.
You could argue that.

322
00:17:49,539 --> 00:17:51,653
같은 알고리즘이라면, 대체
뭐가 다를 수 있을까요?
If it's the same algorithm, what could be different?

323
00:17:51,653 --> 00:17:55,640
이렇게 생각해볼 수 있어요.
학습에서 받는 정보
One way you could think about it is, how much information does the model store per information it receives from training?

324
00:17:55,640 --> 00:18:00,240
대비, 모델이 얼마나 많은
정보를 저장하느냐는 거예요.

325
00:18:00,240 --> 00:18:03,498
사전학습을 보면, 예를 들어 Llama
If you look at pre-training, if you look at Llama 3 for example, I think it's trained on 15 trillion tokens.

326
00:18:03,498 --> 00:18:07,067
3는 15조 토큰으로
학습된 걸로 알아요.

327
00:18:07,067 --> 00:18:12,625
70B 모델을 보면,
사전학습에서 읽는 토큰 대비
If you look at the 70B model, that would be the equivalent of 0.07 bits per token that it sees in pre-training, in terms of the information in the weights of the model compared to the tokens it reads.

328
00:18:12,625 --> 00:18:18,800
가중치에 담기는 정보량이
토큰당 0.07비트 정도예요.

329
00:18:18,800 --> 00:18:22,469
반면 KV 캐시가 인컨텍스트
러닝에서 토큰 하나마다
Whereas if you look at the KV cache and how it grows per additional token in in-context learning, it's like 320 kilobytes.

330
00:18:22,469 --> 00:18:26,007
얼마나 커지는지 보면,
320킬로바이트 정도예요.

331
00:18:26,007 --> 00:18:29,545
그러니까 모델이 토큰당 흡수하는 정보량에
So that's a 35 million-fold difference in how much information per token is assimilated by the model.

332
00:18:29,545 --> 00:18:32,601
3,500만 배 차이가 나는 거죠.

333
00:18:32,601 --> 00:18:34,880
이게 정말 관련이 있는 건지 궁금해요.
I wonder if that's relevant at all.

334
00:18:34,880 --> 00:18:35,744
저도 어느 정도 동의해요.
I kind of agree.

335
00:18:35,744 --> 00:18:40,598
제가 보통 이렇게 말하는데요,
신경망 학습 중에 일어나는 건
The way I usually put this is that anything that happens during the training of the neural network, the knowledge is only a hazy recollection of what happened in training time.

336
00:18:40,598 --> 00:18:45,600
뭐든 그 지식은 학습 시점 일에
대한 흐릿한 기억일 뿐이에요.

337
00:18:45,600 --> 00:18:47,259
압축이 워낙 극단적이기 때문이에요.
That's because the compression is dramatic.

338
00:18:47,259 --> 00:18:49,181
15조 토큰을 가져다가, 겨우 수십억
You're taking 15 trillion tokens and you're compressing it to just your final neural network of a few billion parameters.

339
00:18:49,181 --> 00:18:51,680
파라미터짜리 최종 신경망으로
압축하는 거니까요.

340
00:18:51,680 --> 00:18:54,560
당연히 어마어마한 압축이
일어나고 있는 거죠.
Obviously it's a massive amount of compression going on.

341
00:18:54,560 --> 00:18:57,920
그래서 저는 이걸 인터넷 문서에
대한 흐릿한 기억이라고 불러요.
So I refer to it as a hazy recollection of the internet documents.

342
00:18:57,920 --> 00:19:00,482
반면 신경망의 컨텍스트
윈도우 안에서 일어나는
Whereas anything that happens in the context window of the neural network—you're plugging in all the tokens and building up all those KV cache representations—is very directly accessible to the neural net.

343
00:19:00,482 --> 00:19:03,250
일은—토큰들을 넣고 KV
캐시 표현을 쌓아 올리는

344
00:19:03,250 --> 00:19:06,120
거니까—신경망이 아주
직접적으로 접근할 수 있어요.

345
00:19:06,120 --> 00:19:09,151
그래서 저는 KV 캐시와
테스트 시점에 일어나는
So I compare the KV cache and the stuff that happens at test time to more like a working memory.

346
00:19:09,151 --> 00:19:11,600
걸 작업 기억에 더 가깝다고 비유해요.

347
00:19:11,600 --> 00:19:14,190
컨텍스트 윈도우 안에
있는 건 전부 신경망이
All the stuff that's in the context window is very directly accessible to the neural net.

348
00:19:14,190 --> 00:19:16,240
아주 직접적으로 접근할 수 있어요.

349
00:19:16,240 --> 00:19:21,120
LLM과 인간 사이에는 늘
거의 놀라운 비유들이 있어요.
There's always these almost surprising analogies between LLMs and humans.

350
00:19:21,120 --> 00:19:23,248
놀랍다고 느끼는 건, 우리가 인간의 뇌를
I find them surprising because we're not trying to build a human brain directly.

351
00:19:23,248 --> 00:19:25,280
직접 만들려던 게 아니었기 때문이에요.

352
00:19:25,280 --> 00:19:27,280
그냥 이게 작동한다는 걸 발견하고
그렇게 하고 있는 거죠.
We're just finding that this works and we're doing it.

353
00:19:27,280 --> 00:19:30,417
하지만 가중치 안에 있는
건 뭐든, 1년 전에
But I do think that anything that's in the weights, it's a hazy recollection of what you read a year ago.

354
00:19:30,417 --> 00:19:33,429
읽은 것에 대한 흐릿한
기억이라고 생각해요.

355
00:19:33,429 --> 00:19:35,966
테스트 시점에 컨텍스트로 주는 건 뭐든,
Anything that you give it as a context at test time is directly in the working memory.

356
00:19:35,966 --> 00:19:38,272
곧바로 작업 기억 안에 있는 거고요.

357
00:19:38,272 --> 00:19:41,120
생각을 정리하는 데
정말 강력한 비유네요.
That's a very powerful analogy to think through things.

358
00:19:41,120 --> 00:19:44,154
예를 들어 LLM에게 어떤
책, 이를테면 닉 레인의
When you, for example, go to an LLM and you ask it about some book and what happened in it, like Nick Lane's book or something like that, the LLM will often give you some stuff which is roughly correct.

359
00:19:44,154 --> 00:19:46,971
책 같은 것에 대해 무슨
내용이었는지 물어보면,

360
00:19:46,971 --> 00:19:49,680
LLM은 대체로 대략
맞는 답을 내놓곤 해요.

361
00:19:49,680 --> 00:19:53,159
하지만 챕터 전체를 주고 질문하면
훨씬 더 나은 결과를 얻는데,
But if you give it the full chapter and ask it questions, you're going to get much better results because it's now loaded in the working memory of the model.

362
00:19:53,159 --> 00:19:56,240
이제 그게 모델의 작업 기억에
로드되어 있기 때문이에요.

363
00:19:56,240 --> 00:20:00,320
그러니까 길게 돌려 말했지만 결국
동의한다는 거고, 그게 이유예요.
So a very long way of saying I agree and that's why.

364
00:20:00,320 --> 00:20:05,613
한 발 물러나서, 인간
지능 중 이 모델들로
Stepping back, what is the part about human intelligence that we have most failed to replicate with these models?

365
00:20:05,613 --> 00:20:09,803
가장 재현하지 못한 부분은 뭔가요?

366
00:20:12,400 --> 00:20:13,334
그냥 많은 부분이요.
Just a lot of it.

367
00:20:13,334 --> 00:20:16,812
이렇게 생각해볼 수도 있을
것 같은데, 최선의 방식인지는
So maybe one way to think about it, I don't know if this is the best way, but I almost feel like — again, making these analogies imperfect as they are — we've stumbled by with the transformer neural network, which is extremely powerful, very general.

368
00:20:16,812 --> 00:20:20,515
모르겠지만 — 다시 말씀드리지만
이 비유들이 완벽하진 않다는

369
00:20:20,515 --> 00:20:23,769
걸 전제로 하면 — 우리는
트랜스포머 신경망을 어쩌다

370
00:20:23,769 --> 00:20:27,360
발견한 것 같아요. 극도로
강력하고 아주 범용적인 것을요.

371
00:20:27,360 --> 00:20:31,080
오디오든 비디오든 텍스트든
뭐든 트랜스포머를 학습시킬 수
You can train transformers on audio, or video, or text, or whatever you want, and it just learns patterns and they're very powerful, and it works really well.

372
00:20:31,080 --> 00:20:35,280
있고, 그냥 패턴을 학습하는데
정말 강력하고 아주 잘 작동해요.

373
00:20:35,280 --> 00:20:38,960
저에게는 이게 거의 어떤 피질 조직
같다는 걸 시사하는 것 같아요.
That to me almost indicates that this is some piece of cortical tissue.

374
00:20:38,960 --> 00:20:42,640
그런 것과 비슷한데, 피질도 워낙
유명하게 가소성이 매우 크거든요.
It's something like that, because the cortex is famously very plastic as well.

375
00:20:42,640 --> 00:20:44,931
뇌의 일부를 재배선할 수 있어요.
You can rewire parts of brains.

376
00:20:44,931 --> 00:20:49,333
시각 피질을 청각 피질에
재배선하는 다소 잔혹한 실험들이
There were the slightly gruesome experiments with rewiring the visual cortex to the auditory cortex, and this animal learned fine, et cetera.

377
00:20:49,333 --> 00:20:54,160
있었는데, 그 동물은 문제없이
학습을 했다든가 하는 것들이요.

378
00:20:54,160 --> 00:20:56,444
그래서 저는 이게 피질
조직이라고 생각해요.
So I think that this is cortical tissue.

379
00:20:56,444 --> 00:21:02,465
신경망 내부에서 추론과 계획을 할
때, 그러니까 사고 모델을 위한
I think when we're doing reasoning and planning inside the neural networks, doing reasoning traces for thinking models, that's kind of like the prefrontal cortex.

380
00:21:02,465 --> 00:21:07,985
추론 흔적을 만들 때, 그건
전전두피질과 비슷한 것 같아요.

381
00:21:07,985 --> 00:21:11,752
그런 건 말하자면 작은 체크
표시들 같은 건데, 그래도 여전히
Maybe those are like little checkmarks, but I still think there are many brain parts and nuclei that are not explored.

382
00:21:11,752 --> 00:21:15,520
탐구되지 않은 뇌 부위와
핵(nuclei)이 많다고 생각해요.

383
00:21:15,520 --> 00:21:17,913
예를 들어 우리가 모델을
강화학습(RL)으로 파인튜닝할
For example, there's a basal ganglia doing a bit of reinforcement learning when we fine-tune the models on reinforcement learning.

384
00:21:17,913 --> 00:21:20,465
때, 기저핵이 강화학습 비슷한
걸 좀 하고 있는 셈이에요.

385
00:21:20,465 --> 00:21:21,980
그런데 해마는 어디 있나요?
But where's the hippocampus?

386
00:21:21,980 --> 00:21:23,600
그게 뭐에 해당하는지는 분명하지 않아요.
Not obvious what that would be.

387
00:21:23,600 --> 00:21:25,037
어떤 부분들은 아마
중요하지 않을 거예요.
Some parts are probably not important.

388
00:21:25,037 --> 00:21:27,116
아마 소뇌는 인지, 즉
사고에는 중요하지 않을 수도
Maybe the cerebellum is not important to cognition, its thoughts, so maybe we can skip some of it.

389
00:21:27,116 --> 00:21:29,120
있으니, 그런 부분은
건너뛸 수 있을지도 몰라요.

390
00:21:29,120 --> 00:21:31,388
하지만 여전히, 예를 들어 편도체 같은
But I still think there's, for example, the amygdala, all the emotions and instincts.

391
00:21:31,388 --> 00:21:33,440
게 있죠. 온갖 감정과 본능들이요.

392
00:21:33,440 --> 00:21:36,046
뇌 안에는 아마 아주 오래된
다른 핵들이 많이 있을
There's probably a bunch of other nuclei in the brain that are very ancient that I don't think we've really replicated.

393
00:21:36,046 --> 00:21:38,931
텐데, 우리가 그걸 제대로
재현했다고는 생각하지 않아요.

394
00:21:38,931 --> 00:21:43,636
우리가 인간 뇌의 아날로그를 만드는
걸 추구해야 하는지는 잘 모르겠어요.
I don't know that we should be pursuing the building of an analog of a human brain.

395
00:21:43,636 --> 00:21:46,961
저는 본질적으로 엔지니어에
가까운 사람이에요.
I'm an engineer mostly at heart.

396
00:21:48,160 --> 00:21:50,207
이 질문에 답하는 또 다른 방식은, 이걸
Maybe another way to answer the question is that you're not going to hire this thing as an intern.

397
00:21:50,207 --> 00:21:52,160
인턴으로 채용하진 않을 거라는 거예요.

398
00:21:52,160 --> 00:21:55,209
많은 부분이 빠져 있는데, 그건
우리가 모델과 대화할 때 다들
It's missing a lot of it because it comes with a lot of these cognitive deficits that we all intuitively feel when we talk to the models.

399
00:21:55,209 --> 00:21:58,528
직관적으로 느끼는 이런 인지적
결함들이 많이 딸려 오기 때문이에요.

400
00:21:58,528 --> 00:22:00,400
그러니까 아직 완전히
다 갖춰진 건 아니에요.
So it's not fully there yet.

401
00:22:00,400 --> 00:22:04,480
뇌의 모든 부분이 아직 다
체크되지는 않은 걸로 볼 수 있어요.
You can look at it as not all the brain parts are checked off yet.

402
00:22:04,480 --> 00:22:07,707
이건 아마 이런 문제들이
얼마나 빨리 풀릴지
This is maybe relevant to the question of thinking about how fast these issues will be solved.

403
00:22:07,707 --> 00:22:10,800
생각해보는 질문과
관련이 있을 것 같아요.

404
00:22:10,800 --> 00:22:13,977
연속 학습에 대해 가끔
사람들이 이렇게 말해요.
Sometimes people will say about continual learning, "Look, you could easily replicate this capability.

405
00:22:13,977 --> 00:22:16,666
"봐, 이 능력은 쉽게 복제할 수 있다.

406
00:22:16,666 --> 00:22:22,944
인컨텍스트 러닝이 사전학습의 결과로
저절로 나타난 것처럼, 모델이
Just as in-context learning emerged spontaneously as a result of pre-training, continual learning over longer horizons will emerge spontaneously if the model is incentivized to recollect information over longer horizons, or horizons longer than one session."

407
00:22:22,944 --> 00:22:29,047
한 세션보다 긴 시간 범위에 걸쳐
정보를 기억해내도록 유인되면,

408
00:22:29,047 --> 00:22:34,976
더 긴 시간 범위에 걸친 연속
학습도 저절로 나타날 것이다."

409
00:22:34,976 --> 00:22:39,872
그러니까 그 안에 여러 세션이
들어 있는 외부 루프 RL 같은
So if there's some outer loop RL which has many sessions within that outer loop, then this continual learning where it fine-tunes itself, or it writes to an external memory or something, will just emerge spontaneously.

410
00:22:39,872 --> 00:22:44,768
게 있다면, 모델이 스스로
파인튜닝하거나 외부 메모리에 뭔가를

411
00:22:44,768 --> 00:22:49,520
기록하는 이런 연속 학습이 그냥
저절로 생겨날 거라는 거죠.

412
00:22:49,520 --> 00:22:52,064
그런 게 그럴듯하다고 생각하세요?
Do you think things like that are plausible?

413
00:22:52,064 --> 00:22:54,503
그게 얼마나 그럴듯한지에 대한
프라이어 자체가 저한테는 없어요.
I just don't have a prior over how plausible that is.

414
00:22:54,503 --> 00:22:55,440
그게 일어날 가능성이 얼마나 될까요?
How likely is that to happen?

415
00:22:55,440 --> 00:22:57,454
그 얘기에 제가 완전히
공감하는지는 모르겠어요.
I don't know that I fully resonate with that.

416
00:22:57,454 --> 00:23:00,165
이 모델들은 부팅해서 컨텍스트
윈도우에 토큰이 0개인 상태가
These models, when you boot them up and they have zero tokens in the window, they're always restarting from scratch where they were.

417
00:23:00,165 --> 00:23:03,040
되면, 늘 원래 있던 바로 그
지점에서 처음부터 다시 시작해요.

418
00:23:03,040 --> 00:23:07,837
그러니까 그런 세계관에서는 그게
어떤 모습일지 저는 잘 모르겠어요.
So I don't know in that worldview what it looks like.

419
00:23:09,360 --> 00:23:12,341
인간에 좀 빗대어 보면—이게
대략 구체적이고 생각해보기에
Maybe making some analogies to humans—just because I think it's roughly concrete and interesting to think through—I feel like when I'm awake, I'm building up a context window of stuff that's happening during the day.

420
00:23:12,341 --> 00:23:15,130
흥미로운 것 같아서요—저는
깨어 있는 동안 하루 동안

421
00:23:15,130 --> 00:23:18,304
일어나는 일들로 컨텍스트 윈도우를
계속 쌓아가는 느낌이에요.

422
00:23:18,304 --> 00:23:20,921
근데 잠들면 뭔가 마법
같은 일이 일어나서, 그
But when I go to sleep, something magical happens where I don't think that context window stays around.

423
00:23:20,921 --> 00:23:23,840
컨텍스트 윈도우가 그대로
남아있지는 않는 것 같아요.

424
00:23:23,840 --> 00:23:27,840
제 뇌의 가중치로 증류되는
어떤 과정이 있는 거죠.
There's some process of distillation into the weights of my brain.

425
00:23:27,840 --> 00:23:29,655
이게 잠자는 동안 일어나는 일이고요.
This happens during sleep and all this stuff.

426
00:23:29,655 --> 00:23:32,910
거대 언어 모델에는 이에
상응하는 게 없어요.
We don't have an equivalent of that in large language models.

427
00:23:32,910 --> 00:23:35,472
제게는 이게 연속 학습 같은
것들이 '결여돼 있다'고
That's to me more adjacent to when you talk about continual learning and so on as absent.

428
00:23:35,472 --> 00:23:37,945
말할 때 더 가까이 맞닿아
있는 지점인 것 같아요.

429
00:23:37,945 --> 00:23:43,809
이 모델들에는, 일어난 일을 가져다가
강박적으로 분석하고 곰곰이 생각한
These models don't really have a distillation phase of taking what happened, analyzing it obsessively, thinking through it, doing some synthetic data generation process and distilling it back into the weights, and maybe having a specific neural net per person.

430
00:23:43,809 --> 00:23:49,673
뒤, 합성 데이터 생성 과정을 거쳐
다시 가중치로 증류해 넣고, 어쩌면

431
00:23:49,673 --> 00:23:55,387
사람마다 특정한 신경망을 갖게 하는
그런 증류 단계가 사실상 없어요.

432
00:23:55,387 --> 00:23:57,325
어쩌면 그게 LoRA일 수도 있고요.
Maybe it's a LoRA.

433
00:23:57,325 --> 00:24:01,200
전체 가중치 신경망은 아니에요.
It's not a full-weight neural network.

434
00:24:01,200 --> 00:24:05,040
그냥 가중치 중에서 작고
희소한 일부만 바뀌는 거죠.
It's just some small sparse subset of the weights that are changed.

435
00:24:05,040 --> 00:24:07,744
그래도 저희는 아주 긴
컨텍스트를 가진 이런
But we do want to create ways of creating these individuals that have very long context.

436
00:24:07,744 --> 00:24:10,560
개별 존재들을 만들어내는
방법은 정말 원해요.

437
00:24:10,560 --> 00:24:12,450
컨텍스트 윈도우가 점점 굉장히, 굉장히
It's not only remaining in the context window because the context windows grow very, very long.

438
00:24:12,450 --> 00:24:14,880
길어지니까 거기에만 남아
있는 건 아니라는 거죠.

439
00:24:14,880 --> 00:24:17,680
아마 거기에 아주 정교한 희소
어텐션 같은 게 있을 거예요.
Maybe we have some very elaborate, sparse attention over it.

440
00:24:17,680 --> 00:24:20,706
그래도 저는 인간에게는 분명
그런 지식 일부를 가중치로
But I still think that humans obviously have some process for distilling some of that knowledge into the weights.

441
00:24:20,706 --> 00:24:23,228
증류하는 어떤 과정이
여전히 있다고 생각해요.

442
00:24:23,228 --> 00:24:24,296
우리는 그게 빠져 있는 거죠.
We're missing it.

443
00:24:24,296 --> 00:24:28,933
인간도 아주 정교한 희소 어텐션
방식을 갖고 있다고 생각하는데,
I do also think that humans have some very elaborate, sparse attention scheme, which I think we're starting to see some early hints of.

444
00:24:28,933 --> 00:24:33,040
이제 그 초기 힌트가 조금씩
보이기 시작하는 것 같아요.

445
00:24:33,040 --> 00:24:37,053
DeepSeek v3.2가 막
나왔는데, 희소 어텐션을 쓴 걸
DeepSeek v3.2 just came out and I saw that they have sparse attention as an example, and this is one way to have very, very long context windows.

446
00:24:37,053 --> 00:24:41,538
봤어요. 이게 아주, 아주 긴 컨텍스트
윈도우를 갖는 한 방법이에요.

447
00:24:41,538 --> 00:24:44,515
그래서 우리는 진화가 고안해낸
인지적 트릭들을 아주
So I feel like we are redoing a lot of the cognitive tricks that evolution came up with through a very different process.

448
00:24:44,515 --> 00:24:47,280
다른 과정으로 다시
만들어내고 있는 것 같아요.

449
00:24:47,280 --> 00:24:51,040
하지만 인지적으로는 비슷한
아키텍처로 수렴하게 될 거예요.
But we're going to converge on a similar architecture cognitively.

450
00:24:51,040 --> 00:24:54,454
10년 후에도 여전히 트랜스포머
비슷한 형태겠지만, 어텐션은
In 10 years, do you think it'll still be something like a transformer, but with much more modified attention and more sparse MLPs and so forth?

451
00:24:54,454 --> 00:24:57,765
훨씬 더 변형되고 MLP도 더
희소해지고, 그런 식일까요?

452
00:24:57,765 --> 00:25:02,712
제가 좋아하는 사고방식은
시간에 대한 이동 불변성이에요.
The way I like to think about it is translation invariance in time.

453
00:25:02,712 --> 00:25:04,864
그럼 10년 전엔 우리가
어디에 있었을까요?
So 10 years ago, where were we?

454
00:25:04,864 --> 00:25:05,200
2015년이요.
2015.

455
00:25:05,200 --> 00:25:07,820
2015년엔 주로 합성곱 신경망을 썼고,
In 2015, we had convolutional neural networks primarily, residual networks just came out.

456
00:25:07,820 --> 00:25:10,320
잔차 네트워크가 막 나온 시점이었어요.

457
00:25:10,320 --> 00:25:13,038
그러니까 놀랍도록 비슷하긴
한데, 그래도 꽤 다르죠.
So remarkably similar, I guess, but quite a bit different still.

458
00:25:13,038 --> 00:25:14,862
트랜스포머는 아직 없었어요.
The transformer was not around.

459
00:25:14,862 --> 00:25:21,760
트랜스포머에 대한 이런 최신
개선들도 전부 없었고요.
All these more modern tweaks on the transformer were not around.

460
00:25:21,760 --> 00:25:25,998
아마 이동 등변성으로 볼 때
10년 뒤에도 확신할 수 있는
Maybe some of the things that we can bet on, I think in 10 years by translational equivariance, is that we're still training giant neural networks with a forward backward pass and update through gradient descent, but maybe it looks a bit different, and it's just that everything is much bigger.

461
00:25:25,998 --> 00:25:30,500
건, 여전히 순전파·역전파로
경사하강법 업데이트를 하는 거대한

462
00:25:30,500 --> 00:25:34,870
신경망을 학습시키고 있을 거라는
점이에요. 다만 형태는 조금

463
00:25:34,870 --> 00:25:39,240
다를 수 있고, 그냥 모든 게
훨씬 더 커져 있을 뿐이겠죠.

464
00:25:39,240 --> 00:25:43,980
몇 년 전에 재미 삼아 1989년까지
거슬러 올라간 적이 있어요.
Recently I went back all the way to 1989 which was a fun exercise for me, a few years ago, because I was reproducing Yann LeCun's 1989 convolutional network, which was the first neural network I'm aware of trained via gradient descent, like modern neural network trained gradient descent on digit recognition.

465
00:25:43,980 --> 00:25:48,589
얀 르쿤의 1989년 합성곱
신경망을 재현했었거든요. 제가 아는

466
00:25:48,589 --> 00:25:52,803
한 그게 경사하강법으로 학습된
최초의 신경망이에요 — 숫자

467
00:25:52,803 --> 00:25:57,280
인식에 경사하강법으로 학습된,
말하자면 현대적인 신경망이었죠.

468
00:25:57,280 --> 00:26:00,000
그냥 이걸 어떻게 현대화할
수 있을지 궁금했어요.
I was just interested in how I could modernize this.

469
00:26:00,000 --> 00:26:01,033
이 중 얼마만큼이 알고리즘 덕분일까요?
How much of this is algorithms?

470
00:26:01,033 --> 00:26:01,840
얼마만큼이 데이터 덕분일까요?
How much of this is data?

471
00:26:01,840 --> 00:26:04,535
얼마만큼의 발전이 컴퓨팅과
시스템 덕분일까요?
How much of this progress is compute and systems?

472
00:26:04,535 --> 00:26:07,008
그냥 33년을 시간여행하는
것만으로도 아주
I was able to very quickly halve the learning just by time traveling by 33 years.

473
00:26:07,008 --> 00:26:09,804
빠르게 학습 결과를 절반으로
줄일 수 있었어요.

474
00:26:09,804 --> 00:26:13,518
그러니까 알고리즘으로 33년을
시간여행해서 얀 르쿤이
So if I time travel by algorithms 33 years, I could adjust what Yann LeCun did in 1989, and I could halve the error.

475
00:26:13,518 --> 00:26:18,000
1989년에 한 걸 조정하면,
오차를 절반으로 줄일 수 있었죠.

476
00:26:18,000 --> 00:26:21,621
하지만 더 개선하려면 데이터를
훨씬 더 늘려야 했고, 학습
But to get further gains, I had to add a lot more data, I had to 10x the training set, and then I had to add more computational optimizations.

477
00:26:21,621 --> 00:26:25,920
데이터셋을 10배로 키워야 했고,
계산 최적화도 더 추가해야 했어요.

478
00:26:25,920 --> 00:26:30,480
드롭아웃 같은 정규화 기법을 쓰면서
훨씬 더 오래 학습시켜야 했죠.
I had to train for much longer with dropout and other regularization techniques.

479
00:26:30,480 --> 00:26:35,120
그러니까 이 모든 게 동시에
개선돼야 하는 거예요.
So all these things have to improve simultaneously.

480
00:26:35,120 --> 00:26:38,817
아마 데이터도 훨씬 많아지고,
하드웨어도 훨씬 좋아지고, 커널이나
We're probably going to have a lot more data, we're probably going to have a lot better hardware, probably going to have a lot better kernels and software, we're probably going to have better algorithms.

481
00:26:38,817 --> 00:26:42,103
소프트웨어도 훨씬 나아지고,
알고리즘도 더 나아질 거예요.

482
00:26:42,103 --> 00:26:45,875
그 중에 어느 하나만 유독
앞서나가는 건 아닌 것 같아요.
All of those, it's almost like no one of them is winning too much.

483
00:26:45,875 --> 00:26:48,880
놀랍게도 다 비슷한 비중이더라고요.
All of them are surprisingly equal.

484
00:26:48,880 --> 00:26:51,457
이런 추세가 꽤 오래 이어져 왔어요.
This has been the trend for a while.

485
00:26:51,457 --> 00:26:54,466
그러니까 질문에
답하자면, 알고리즘적으로는
So to answer your question, I expect differences algorithmically to what's happening today.

486
00:26:54,466 --> 00:26:56,821
지금과는 달라질 거라고 예상해요.

487
00:26:56,821 --> 00:26:59,102
하지만 아주 오랫동안 남아있던 것들 중
But I do also expect that some of the things that have stuck around for a very long time will probably still be there.

488
00:26:59,102 --> 00:27:01,600
일부는 여전히 그대로일
거라고도 생각해요.

489
00:27:01,600 --> 00:27:04,224
아마 여전히 경사하강법으로
학습되는 거대한 신경망일 거예요.
It's probably still a giant neural network trained with gradient descent.

490
00:27:04,224 --> 00:27:05,040
제 예상은 그래요.
That would be my guess.

491
00:27:05,040 --> 00:27:10,045
그 모든 게 다 합쳐졌는데
오차를 겨우 절반으로
It's surprising that all of those things together only halved the error, 30 years of progress….

492
00:27:10,045 --> 00:27:14,473
줄인 거라니, 30년의
발전인데… 놀랍죠.

493
00:27:14,473 --> 00:27:15,423
어쩌면 절반이면 큰 거죠.
Maybe half is a lot.

494
00:27:15,423 --> 00:27:18,000
왜냐하면 오차를 절반으로
줄인다는 건 사실…
Because if you halve the error, that actually means that…

495
00:27:18,000 --> 00:27:18,945
절반이면 큰 거예요.
Half is a lot.

496
00:27:18,945 --> 00:27:22,704
그런데 저한테 충격적이었던
건, 아키텍처, 옵티마이저,
But I guess what was shocking to me is everything needs to improve across the board: architecture, optimizer, loss function.

497
00:27:22,704 --> 00:27:26,212
손실 함수까지 전부 다
개선돼야 한다는 점이었어요.

498
00:27:26,212 --> 00:27:28,480
그리고 실제로 전 영역에서
계속 개선돼 왔고요.
It also has improved across the board forever.

499
00:27:28,480 --> 00:27:31,440
그래서 그런 변화들이 앞으로도
계속 살아있을 거라고 봐요.
So I expect all those changes to be alive and well.

500
00:27:31,440 --> 00:27:31,694
네.
Yeah.

501
00:27:31,694 --> 00:27:35,040
저도 nanochat에 대해 아주
비슷한 질문을 드리려던 참이었어요.
I was about to ask you a very similar question about nanochat.

502
00:27:35,040 --> 00:27:38,679
최근에 직접 코딩하셨으니,
챗봇을 만드는 과정의 모든
Since you just coded it up recently, every single step in the process of building a chatbot is fresh in your RAM.

503
00:27:38,679 --> 00:27:42,568
단계가 아직 램(RAM)에
생생하게 남아 있으실 텐데요.

504
00:27:42,568 --> 00:27:47,052
GPT-2에서 nanochat으로
가는 데 딱 하나만
I'm curious if you had similar thoughts about, "Oh, there was no one thing that was relevant to going from GPT-2 to nanochat."

505
00:27:47,052 --> 00:27:52,000
중요했던 건 아니었다는, 비슷한
생각을 하셨는지 궁금해요.

506
00:27:52,000 --> 00:27:55,920
그 경험에서 놀라웠던 점은 뭐였나요?
What are some surprising takeaways from the experience?

507
00:27:55,920 --> 00:27:57,045
nanochat을 만들면서요?
Of building nanochat?

508
00:27:57,045 --> 00:27:59,040
nanochat은 제가
공개한 저장소예요.
So nanochat is a repository I released.

509
00:27:59,040 --> 00:28:01,051
어제였나, 그 전날이었나.
Was it yesterday or the day before?

510
00:28:01,051 --> 00:28:03,120
기억이 잘 안 나네요.
I can't remember.

511
00:28:03,120 --> 00:28:07,523
거기 들어간 수면 부족을
보면 알 수 있죠…
We can see the sleep deprivation that went into the…

512
00:28:09,040 --> 00:28:12,376
ChatGPT 클론을 만드는
전체 파이프라인을 처음부터
It's trying to be the simplest complete repository that covers the whole pipeline end-to-end of building a ChatGPT clone.

513
00:28:12,376 --> 00:28:15,711
끝까지 다루는, 가장 단순한
완결된 저장소를 지향해요.

514
00:28:15,711 --> 00:28:17,927
그래서 개별 단계 하나만이 아니라 전체
So you have all of the steps, not just any individual step, which is a bunch.

515
00:28:17,927 --> 00:28:20,355
단계가 다 들어있어요,
그게 꽤 많거든요.

516
00:28:20,355 --> 00:28:24,634
예전엔 개별 단계들을 하나씩
다루면서, 그걸 알고리즘적으로
I worked on all the individual steps in the past and released small pieces of code that show you how that's done in an algorithmic sense, in simple code.

517
00:28:24,634 --> 00:28:28,779
어떻게 하는지 보여주는 간단한
코드 조각들을 공개했었죠.

518
00:28:28,779 --> 00:28:32,400
하지만 이번 건 전체
파이프라인을 다 다뤄요.
But this handles the entire pipeline.

519
00:28:32,400 --> 00:28:38,200
배운 게 있었냐고 하면, 딱히
새로 배운 건 없었던 것 같아요.
In terms of learning, I don't know that I necessarily found something that I learned from it.

520
00:28:38,200 --> 00:28:40,720
어떻게 만드는지는 이미
머릿속에 있었거든요.
I already had in my mind how you build it.

521
00:28:40,720 --> 00:28:46,352
이건 그냥 그걸 기계적으로
만들고, 사람들이 배우고 유용하게
This is just the process of mechanically building it and making it clean enough so that people can learn from it and that they find it useful.

522
00:28:46,352 --> 00:28:51,131
쓸 수 있을 만큼 깔끔하게
다듬는 과정일 뿐이에요.

523
00:28:51,131 --> 00:28:53,992
이걸로 배우기에 가장
좋은 방법은 뭘까요?
What is the best way for somebody to learn from it?

524
00:28:53,992 --> 00:28:56,697
코드를 다 지우고
처음부터 다시 구현해보는
Is it to just delete all the code and try to reimplement from scratch, try to add modifications to it?

525
00:28:56,697 --> 00:28:59,520
건가요, 아니면 수정을
좀 더해보는 건가요?

526
00:28:59,520 --> 00:29:00,997
좋은 질문이네요.
That's a great question.

527
00:29:00,997 --> 00:29:05,179
기본적으로 전체 파이프라인을 다루는
코드가 한 8,000줄 정도 돼요.
Basically it's about 8,000 lines of code that takes you through the entire pipeline.

528
00:29:05,179 --> 00:29:07,040
아마 오른쪽 모니터에
띄워놓을 것 같아요.
I would probably put it on the right monitor.

529
00:29:07,040 --> 00:29:09,680
모니터가 두 개 있으면,
오른쪽에 띄워놓는 거죠.
If you have two monitors, you put it on the right.

530
00:29:09,680 --> 00:29:12,675
처음부터 만들고 싶다면, 정말
맨 처음부터 만들어보는 거예요.
You want to build it from scratch, you build it from the start.

531
00:29:12,675 --> 00:29:16,518
복사-붙여넣기는 안 되고, 참고는
되지만, 복사-붙여넣기는 안 돼요.
You're not allowed to copy-paste, you're allowed to reference, you're not allowed to copy-paste.

532
00:29:16,518 --> 00:29:18,240
아마 저라면 그렇게 할 것 같아요.
Maybe that's how I would do it.

533
00:29:18,240 --> 00:29:23,128
근데 그 저장소 자체가 꽤 큰
괴물 같은 존재라고도 생각해요.
But I also think the repository by itself is a pretty large beast.

534
00:29:23,520 --> 00:29:26,518
이 코드를 짤 때는 위에서
아래로 쓰는 게 아니라, 덩어리
When you write this code, you don't go from top to bottom, you go from chunks and you grow the chunks, and that information is absent.

535
00:29:26,518 --> 00:29:29,704
단위로 시작해서 그걸 키워나가는
건데, 그 정보는 빠져있어요.

536
00:29:29,704 --> 00:29:31,440
어디서부터 시작해야 할지 모를 거예요.
You wouldn't know where to start.

537
00:29:31,440 --> 00:29:34,939
그러니까 필요한 건 최종
저장소만이 아니라, 그걸
So it's not just a final repository that's needed, it's the building of the repository, which is a complicated chunk-growing process.

538
00:29:34,939 --> 00:29:38,568
만드는 과정, 즉 복잡한
덩어리 키우기 과정이에요.

539
00:29:38,568 --> 00:29:40,400
그 부분은 아직 없어요.
So that part is not there yet.

540
00:29:40,400 --> 00:29:43,843
아마 이번 주 안에
그걸 추가하고 싶어요.
I would love to add that probably later this week.

541
00:29:43,843 --> 00:29:48,312
아마 영상 같은 형태가 될 것 같아요.
It's probably a video or something like that.

542
00:29:49,200 --> 00:29:51,508
대략적으로 말하면,
그렇게 해보려고 해요.
Roughly speaking, that's what I would try to do.

543
00:29:51,508 --> 00:29:54,747
직접 만들어 보되, 복사·붙여넣기는
스스로 금지해야 해요.
Build the stuff yourself, but don't allow yourself copy-paste.

544
00:29:54,747 --> 00:29:57,564
지식에는 거의 두
종류가 있는 것 같아요.
I do think that there's two types of knowledge, almost.

545
00:29:57,564 --> 00:30:00,353
겉핥기식 상위 지식만 있으면
자신이 이해하지 못하는
There's the high-level surface knowledge, but when you build something from scratch, you're forced to come to terms with what you don't understand and you don't know that you don't understand it.

546
00:30:00,353 --> 00:30:03,241
부분이 있다는 사실조차
몰라요. 반면 뭔가를 처음부터

547
00:30:03,241 --> 00:30:06,229
만들면 내가 이해 못 하는
부분과 마주할 수밖에 없죠.

548
00:30:06,229 --> 00:30:09,680
그건 항상 더 깊은 이해로 이어져요.
It always leads to a deeper understanding.

549
00:30:09,680 --> 00:30:11,289
그게 만드는 유일한 방법이에요.
It's the only way to build.

550
00:30:11,289 --> 00:30:13,760
제가 만들 수 없다면,
이해한 게 아니라는 거죠.
If I can't build it, I don't understand it.

551
00:30:13,760 --> 00:30:16,521
그거 리처드 파인만이
한 말인 것 같아요.
That’s a Feynman quote, I believe.

552
00:30:16,521 --> 00:30:19,187
저는 이걸 항상 100%
정말 강하게 믿어왔어요.
I 100% have always believed this very strongly, because there are all these micro things that are just not properly arranged and you don't really have the knowledge.

553
00:30:19,187 --> 00:30:21,854
왜냐하면 제대로 정리되지
않은 자잘한 것들이 너무

554
00:30:21,854 --> 00:30:24,718
많아서, 사실은 그 지식을
갖고 있지 않은 거거든요.

555
00:30:24,718 --> 00:30:25,680
그냥 안다고 착각하는 거예요.
You just think you have the knowledge.

556
00:30:25,680 --> 00:30:28,960
그러니까 블로그 글도, 슬라이드도,
그런 건 하지 마세요.
So don't write blog posts, don't do slides, don't do any of that.

557
00:30:28,960 --> 00:30:30,519
코드를 짜고, 정리하고,
돌아가게 만드세요.
Build the code, arrange it, get it to work.

558
00:30:30,519 --> 00:30:31,406
그게 유일한 길이에요.
It's the only way to go.

559
00:30:31,406 --> 00:30:33,355
안 그러면 지식에 구멍이 생겨요.
Otherwise, you're missing knowledge.

560
00:30:33,355 --> 00:30:39,506
이 저장소를 만드는 데 코딩 모델이
별 도움이 안 됐다고 트윗하셨죠.
You tweeted out that coding models were of very little help to you in assembling this repository.

561
00:30:39,506 --> 00:30:42,555
왜 그랬는지 궁금해요.
I'm curious why that was.

562
00:30:43,440 --> 00:30:46,560
이 저장소를 만드는 데 한 달
조금 넘게 걸린 것 같아요.
I guess I built the repository over a period of a bit more than a month.

563
00:30:46,560 --> 00:30:48,472
요즘 사람들이 코드를 다루는 방식에는
I would say there are three major classes of how people interact with code right now.

564
00:30:48,472 --> 00:30:50,480
크게 세 가지 부류가 있는 것 같아요.

565
00:30:50,480 --> 00:30:54,800
어떤 사람들은 LLM을 완전히
거부하고 그냥 처음부터 직접 짜요.
Some people completely reject all of LLMs and they are just writing by scratch.

566
00:30:54,800 --> 00:30:58,160
이제는 그게 딱히 맞는
방법은 아닌 것 같아요.
This is probably not the right thing to do anymore.

567
00:30:58,160 --> 00:31:02,728
제가 있는 중간 지점은, 여전히
많은 걸 처음부터 직접 쓰긴
The intermediate part, which is where I am, is you still write a lot of things from scratch, but you use the autocomplete that's available now from these models.

568
00:31:02,728 --> 00:31:06,880
하지만 요즘 나온 모델들의
자동완성을 활용하는 거예요.

569
00:31:06,880 --> 00:31:09,457
코드 조각을 조금 쓰기
시작하면 자동완성이
So when you start writing out a little piece of it, it will autocomplete for you and you can just tap through.

570
00:31:09,457 --> 00:31:11,473
되고, 그냥 탭으로 넘기면 돼요.

571
00:31:11,473 --> 00:31:14,195
대부분은 맞지만 가끔 틀리기도
해서, 그럴 땐 수정하고요.
Most of the time it's correct, sometimes it's not, and you edit it.

572
00:31:14,195 --> 00:31:19,160
하지만 여전히 제가 쓰는 것의
설계자는 저 자신인 거죠.
But you're still very much the architect of what you're writing.

573
00:31:19,160 --> 00:31:22,814
그다음이 바이브 코딩이에요.
"이거 좀 구현해 줘" 하고
Then there's the vibe coding: "Hi, please implement this or that," enter, and then let the model do it.

574
00:31:22,814 --> 00:31:26,233
엔터 치면, 그다음은 모델이
알아서 하게 두는 거죠.

575
00:31:26,233 --> 00:31:27,486
그게 에이전트예요.
That's the agents.

576
00:31:27,486 --> 00:31:30,343
에이전트는 아주 특정한
상황에서만 잘 작동하는
I do feel like the agents work in very specific settings, and I would use them in specific settings.

577
00:31:30,343 --> 00:31:33,200
것 같고, 저도 그런
특정 상황에서만 씁니다.

578
00:31:33,200 --> 00:31:35,947
하지만 이것들도 다 쓸
수 있는 도구들이라, 뭘
But these are all tools available to you and you have to learn what they're good at, what they're not good at, and when to use them.

579
00:31:35,947 --> 00:31:39,010
잘하고 뭘 못하는지, 언제
써야 하는지 배워야 해요.

580
00:31:39,010 --> 00:31:42,782
그러니까 예를 들어 보일러플레이트
작업엔 에이전트가 꽤 잘해요.
So the agents are pretty good, for example, if you're doing boilerplate stuff.

581
00:31:42,782 --> 00:31:46,360
그냥 복사-붙여넣기 하는
보일러플레이트 코드는 정말 잘하죠.
Boilerplate code that's just copy-paste stuff, they're very good at that.

582
00:31:46,360 --> 00:31:51,250
인터넷에서 아주 흔하게
나오는 것들은 잘하는데,
They're very good at stuff that occurs very often on the Internet because there are lots of examples of it in the training sets of these models.

583
00:31:51,250 --> 00:31:55,200
그런 예시가 학습 데이터에 많아서예요.

584
00:31:55,200 --> 00:31:58,240
모델이 아주 잘 해내는
부류의 것들이 있는 거예요.
There are features of things where the models will do very well.

585
00:31:58,240 --> 00:32:03,040
nanochat은 그런 경우가 아닌
것 같아요, 꽤 독특한 저장소라서요.
I would say nanochat is not an example of those because it's a fairly unique repository.

586
00:32:03,040 --> 00:32:07,174
제가 구조를 짠 방식대로면 코드량
자체가 그렇게 많지 않고요.
There's not that much code in the way that I've structured it.

587
00:32:07,174 --> 00:32:08,880
보일러플레이트 코드가 아니에요.
It's not boilerplate code.

588
00:32:08,880 --> 00:32:13,200
거의 지적으로 밀도 높은 코드라, 모든
게 아주 정밀하게 배치돼야 해요.
It's intellectually intense code almost, and everything has to be very precisely arranged.

589
00:32:13,200 --> 00:32:17,026
모델들은 인지적 결함이 정말 많아요.
The models have so many cognitive deficits.

590
00:32:17,026 --> 00:32:22,490
한 예로, 계속 코드를
오해하더라고요. 인터넷의 흔한
One example, they kept misunderstanding the code because they have too much memory from all the typical ways of doing things on the Internet that I just wasn't adopting.

591
00:32:22,490 --> 00:32:28,708
방식들에 대한 기억이 너무
많은데, 저는 그걸 안 썼거든요.

592
00:32:28,708 --> 00:32:32,759
예를 들면—자세히는 안
들어가겠지만—모델들은 제가
The models, for example—I don't know if I want to get into the full details—but they kept thinking I'm writing normal code, and I'm not.

593
00:32:32,759 --> 00:32:36,960
평범한 코드를 짠다고 계속
생각했는데, 아니었어요.

594
00:32:36,960 --> 00:32:39,360
예를 하나 들어볼까요?
Maybe one example?

595
00:32:39,360 --> 00:32:43,142
GPU 8개가 각각 순전파,
역전파를 한다고 해봐요.
You have eight GPUs that are all doing forward, backwards.

596
00:32:43,142 --> 00:32:47,951
그래디언트를 동기화하는 방법은
PyTorch의 DDP(분산 데이터 병렬)
The way to synchronize gradients between them is to use a Distributed Data Parallel container of PyTorch, which automatically as you're doing the backward, it will start communicating and synchronizing gradients.

597
00:32:47,951 --> 00:32:52,400
컨테이너를 쓰는 건데, 역전파 중에
자동으로 통신하며 동기화해줘요.

598
00:32:52,400 --> 00:32:56,640
저는 DDP를 안 썼어요, 필요가
없어서 쓰고 싶지 않았거든요.
I didn't use DDP because I didn't want to use it, because it's not necessary.

599
00:32:56,640 --> 00:32:59,871
그걸 버리고, 옵티마이저
step 안에 들어가는
I threw it out and wrote my own synchronization routine that's inside the step of the optimizer.

600
00:32:59,871 --> 00:33:02,480
제 나름의 동기화 루틴을 직접 짰어요.

601
00:33:02,480 --> 00:33:05,907
모델들은 계속 저한테 DDP
컨테이너를 쓰게 하려 했어요.
The models were trying to get me to use the DDP container.

602
00:33:05,907 --> 00:33:07,339
굉장히 걱정을 하더라고요.
They were very concerned.

603
00:33:07,339 --> 00:33:10,670
너무 기술적인 얘기가
되겠지만, 그 컨테이너는 필요
This gets way too technical, but I wasn't using that container because I don't need it and I have a custom implementation of something like it.

604
00:33:10,670 --> 00:33:14,000
없어서 안 썼고, 비슷한
걸 직접 구현해 뒀거든요.

605
00:33:14,000 --> 00:33:16,640
제가 제 걸 갖고 있다는 걸
도저히 받아들이질 못했어요.
They just couldn't internalize that you had your own.

606
00:33:16,640 --> 00:33:18,562
그걸 넘어서질 못하더라고요.
They couldn't get past that.

607
00:33:18,562 --> 00:33:21,146
계속 스타일을 망치려고 했어요.
They kept trying to mess up the style.

608
00:33:21,146 --> 00:33:23,200
너무 지나치게 방어적이에요.
They're way too over-defensive.

609
00:33:23,200 --> 00:33:25,029
이런 try-catch
문을 다 갖다 붙여요.
They make all these try-catch statements.

610
00:33:25,029 --> 00:33:28,069
자꾸 프로덕션 코드베이스로
만들려고 해요.
They keep trying to make a production code base, and I have a bunch of assumptions in my code, and it's okay.

611
00:33:28,069 --> 00:33:31,373
제 코드엔 가정이 많은데,
그래도 괜찮거든요.

612
00:33:31,920 --> 00:33:34,188
이런 부가적인 것들이 다 필요 없어요.
I don't need all this extra stuff in there.

613
00:33:34,188 --> 00:33:38,014
그래서 코드베이스만 부풀리고
복잡도만 늘리는 것 같아요.
So I feel like they're bloating the code base, bloating the complexity, they keep misunderstanding, they're using deprecated APIs a bunch of times.

614
00:33:38,014 --> 00:33:41,839
자꾸 오해하고, deprecated
API도 계속 써요.

615
00:33:41,839 --> 00:33:43,493
완전 엉망이 되는 거죠.
It's a total mess.

616
00:33:43,493 --> 00:33:45,756
결국 순효용이 없는 거예요.
It's just not net useful.

617
00:33:45,756 --> 00:33:48,953
제가 들어가서 정리할 순
있지만, 순효용은 없어요.
I can go in, I can clean it up, but it's not net useful.

618
00:33:48,953 --> 00:33:51,557
원하는 걸 영어로 타이핑해야 하는 것도
I also feel like it's annoying to have to type out what I want in English because it's too much typing.

619
00:33:51,557 --> 00:33:54,160
귀찮아요, 타이핑 양이 너무 많거든요.

620
00:33:54,160 --> 00:33:58,833
원하는 코드 부분으로 가서
코드가 나올 자리에서 맨
If I just navigate to the part of the code that I want, and I go where I know the code has to appear and I start typing out the first few letters, autocomplete gets it and just gives you the code.

621
00:33:58,833 --> 00:34:03,840
앞 몇 글자만 치면, 자동완성이
알아채고 코드를 줘요.

622
00:34:03,840 --> 00:34:07,040
원하는 걸 지정하기엔 정보
대역폭이 훨씬 높은 방식이에요.
This is a very high information bandwidth to specify what you want.

623
00:34:07,040 --> 00:34:12,803
원하는 위치를 가리키고 앞부분만
조금 치면, 모델이 완성해줘요.
You point to the code where you want it, you type out the first few pieces, and the model will complete it.

624
00:34:12,803 --> 00:34:18,927
그러니까 제 말은, 이 모델들이 스택의
특정 부분에서만 잘한다는 거예요.
So what I mean is, these models are good in certain parts of the stack.

625
00:34:18,927 --> 00:34:24,458
제가 모델을 쓴 사례 중에 잘
보여주는 예가 두 가지 있어요.
There are two examples where I use the models that I think are illustrative.

626
00:34:24,458 --> 00:34:26,560
하나는 리포트를 생성했을 때고요.
One was when I generated the report.

627
00:34:26,560 --> 00:34:30,240
그건 보일러플레이트에 가까워서,
일부는 바이브 코딩으로 했어요.
That's more boilerplate-y, so I partially vibe-coded some of that stuff.

628
00:34:30,240 --> 00:34:34,320
미션 크리티컬한 게 아니라서
괜찮았고, 잘 작동해요.
That was fine because it's not mission-critical stuff, and it works fine.

629
00:34:34,320 --> 00:34:37,920
다른 하나는 토크나이저를
Rust로 재작성할 때였어요.
The other part is when I was rewriting the tokenizer in Rust.

630
00:34:37,920 --> 00:34:41,120
제가 Rust는 그렇게 잘하지 못해요,
시작한 지 얼마 안 됐거든요.
I'm not as good at Rust because I'm fairly new to Rust.

631
00:34:41,120 --> 00:34:45,840
그래서 Rust 코드를 쓸 때는
바이브 코딩이 좀 들어갔어요.
So there's a bit of vibe coding going on when I was writing some of the Rust code.

632
00:34:45,840 --> 00:34:50,152
하지만 제가 완전히 이해하는 파이썬
구현이 있었고, 그걸 더 효율적인
But I had a Python implementation that I fully understand, and I'm just making sure I'm making a more efficient version of it, and I have tests so I feel safer doing that stuff.

633
00:34:50,152 --> 00:34:54,578
버전으로 만드는 거였어요. 테스트도
있어서 더 안심하고 할 수 있었죠.

634
00:34:56,240 --> 00:35:02,560
잘 모르는 언어나 패러다임에
대한 접근성을 높여주는 거죠.
They increase accessibility to languages or paradigms that you might not be as familiar with.

635
00:35:02,560 --> 00:35:04,733
그 부분에서도 정말
도움이 되는 것 같아요.
I think they're very helpful there as well.

636
00:35:04,733 --> 00:35:07,810
Rust 코드가 세상에 엄청
많아서, 모델들이 꽤 잘해요.
There's a ton of Rust code out there, the models are pretty good at it.

637
00:35:07,810 --> 00:35:11,004
저는 마침 그걸 잘 몰라서,
모델이 거기서 정말 유용해요.
I happen to not know that much about it, so the models are very useful there.

638
00:35:11,004 --> 00:35:16,015
이 질문이 흥미로운 이유는,
AI가 폭발적으로 커져서
The reason this question is so interesting is because the main story people have about AI exploding and getting to superintelligence pretty rapidly is AI automating AI engineering and AI research.

639
00:35:16,015 --> 00:35:20,854
빠르게 초지능에 도달한다는
주된 서사가 바로 AI가

640
00:35:20,854 --> 00:35:25,520
AI 엔지니어링과 연구를
자동화한다는 거라서예요.

641
00:35:25,520 --> 00:35:28,490
사람들은 이렇게 볼 거예요.
Claude Code로 처음부터
They'll look at the fact that you can have Claude Code and make entire applications, CRUD applications, from scratch and think, "If you had this same capability inside of OpenAI and DeepMind and everything, just imagine a thousand of you or a million of you in parallel, finding little architectural tweaks."

642
00:35:28,490 --> 00:35:31,640
CRUD 애플리케이션 같은 전체
앱을 만들 수 있다는 걸 보고,

643
00:35:31,640 --> 00:35:34,880
'이 능력이 OpenAI나
DeepMind 안에도 그대로 있다면,

644
00:35:34,880 --> 00:35:37,850
당신 같은 존재 천 명, 아니
백만 명이 병렬로 돌면서 작은

645
00:35:37,850 --> 00:35:41,000
아키텍처적 개선점들을 찾아낸다고
상상해 보라'고 생각하는 거죠.

646
00:35:41,000 --> 00:35:43,616
바로 그 부분에서 AI가 비대칭적으로 더
It's quite interesting to hear you say that this is the thing they're asymmetrically worse at.

647
00:35:43,616 --> 00:35:46,113
약하다고 말씀하시는 게 꽤 흥미롭네요.

648
00:35:46,113 --> 00:35:49,494
AI 2027류의 폭발적 상황이 조만간
It's quite relevant to forecasting whether the AI 2027-type explosion is likely to happen anytime soon.

649
00:35:49,494 --> 00:35:53,520
일어날지 예측하는 데도
꽤 중요한 대목이고요.

650
00:35:53,520 --> 00:35:55,900
잘 짚어주셨어요. 바로 그 지점이 제
That's a good way of putting it, and you're getting at why my timelines are a bit longer.

651
00:35:55,900 --> 00:35:58,400
타임라인이 좀 더 긴 이유이기도 해요.

652
00:35:58,400 --> 00:35:59,284
맞아요.
You're right.

653
00:35:59,284 --> 00:36:02,109
이렇게 말할 수도 있을 것
같은데, 전에 한 번도 작성된
They're not very good at code that has never been written before, maybe it's one way to put it, which is what we're trying to achieve when we're building these models.

654
00:36:02,109 --> 00:36:05,026
적 없는 코드에는 그다지 능하지
않아요. 그런데 그게 바로

655
00:36:05,026 --> 00:36:07,760
우리가 이 모델들을 만들면서
이루려는 목표이기도 하죠.

656
00:36:07,760 --> 00:36:11,737
정말 순진한 질문일 수도 있는데,
nanochat에 추가하시는 그
Very naive question, but the architectural tweaks that you're adding to nanochat, they're in a paper somewhere, right?

657
00:36:11,737 --> 00:36:16,046
아키텍처적 개선점들, 그거 어딘가
논문에 나와 있는 거잖아요, 그렇죠?

658
00:36:16,046 --> 00:36:18,826
어쩌면 어느 저장소엔가
이미 있을 수도 있고요.
They might even be in a repo somewhere.

659
00:36:20,320 --> 00:36:25,415
그런데 'RoPE 임베딩을
추가해줘' 같은 식으로 말씀하시면,
Is it surprising that they aren't able to integrate that into whenever you're like, "Add RoPE embeddings" or something, they do that in the wrong way?

660
00:36:25,415 --> 00:36:29,760
모델이 그걸 엉뚱한 방식으로
하는 게 놀랍지 않나요?

661
00:36:29,760 --> 00:36:30,330
어려운 문제예요.
It's tough.

662
00:36:30,330 --> 00:36:32,135
알긴 아는데, 완전히는 몰라요.
They know, but they don't fully know.

663
00:36:32,135 --> 00:36:35,859
그걸 이 저장소에, 제 스타일에,
제 코드에, 제 방식에 완전히
They don't know how to fully integrate it into the repo and your style and your code and your place, and some of the custom things that you're doing and how it fits with all the assumptions of the repository.

664
00:36:35,859 --> 00:36:39,050
통합하는 법을 모르는 거예요.
제가 하고 있는 커스텀한

665
00:36:39,050 --> 00:36:42,880
것들이나, 그게 저장소의 모든
전제들과 어떻게 맞아떨어지는지도요.

666
00:36:42,880 --> 00:36:46,323
어느 정도 지식은 있는데, 그걸 통합해서
They do have some knowledge, but they haven't gotten to the place where they can integrate it and make sense of it.

667
00:36:46,323 --> 00:36:49,922
말이 되게 만드는
단계까지는 못 간 거죠.

668
00:36:49,922 --> 00:36:54,080
많은 부분이 계속 개선되고는 있어요.
A lot of the stuff continues to improve.

669
00:36:54,080 --> 00:36:57,179
지금 제가 찾는 최첨단 모델은 GPT-5
Currently, the state-of-the-art model that I go to is the GPT-5 Pro, and that's a very powerful model.

670
00:36:57,179 --> 00:36:59,997
Pro인데, 정말 강력한 모델이에요.

671
00:36:59,997 --> 00:37:03,042
시간이 20분 정도 있으면 제
저장소 전체를 복사해서 붙여넣고,
If I have 20 minutes, I will copy-paste my entire repo and I go to GPT-5 Pro, the oracle, for some questions.

672
00:37:03,042 --> 00:37:06,000
오라클인 GPT-5 Pro한테
가서 몇 가지 질문을 던져봐요.

673
00:37:06,000 --> 00:37:08,747
결과가 나쁘지 않을
때가 많고, 1년 전에
Often it's not too bad and surprisingly good compared to what existed a year ago.

674
00:37:08,747 --> 00:37:11,135
있던 것들에 비하면 놀랍도록 좋아요.

675
00:37:11,760 --> 00:37:16,133
그래도 전반적으로 모델들은
아직 거기까지는 못 갔어요.
Overall, the models are not there.

676
00:37:16,133 --> 00:37:20,536
업계가 너무 큰 비약을
하면서 이게 대단한
I feel like the industry is making too big of a jump and is trying to pretend like this is amazing, and it's not.

677
00:37:20,536 --> 00:37:25,705
것처럼 포장하려는 것
같은데, 사실은 안 그래요.

678
00:37:25,705 --> 00:37:26,412
슬롭이에요.
It's slop.

679
00:37:26,412 --> 00:37:28,126
그 사실을 받아들이지
못하는 거고, 아마 투자
They're not coming to terms with it, and maybe they're trying to fundraise or something like that.

680
00:37:28,126 --> 00:37:29,840
유치 같은 걸 하려고
그러는 것 같기도 해요.

681
00:37:29,840 --> 00:37:31,579
정확히 무슨 상황인지는
모르겠지만, 우리는
I'm not sure what's going on, but we're at this intermediate stage.

682
00:37:31,579 --> 00:37:33,091
지금 이런 중간 단계에 있는 거예요.

683
00:37:33,091 --> 00:37:34,279
모델들은 대단해요.
The models are amazing.

684
00:37:34,279 --> 00:37:36,069
그래도 아직 손볼 게 많이 남아 있고요.
They still need a lot of work.

685
00:37:36,069 --> 00:37:38,320
지금으로선 자동완성이
저한테는 최적의 지점이에요.
For now, autocomplete is my sweet spot.

686
00:37:38,320 --> 00:37:42,656
하지만 어떤 종류의 코드는 가끔
LLM 에이전트한테 맡기기도 해요.
But sometimes, for some types of code, I will go to an LLM agent.

687
00:37:43,040 --> 00:37:45,790
이게 정말 흥미로운 또
다른 이유가 있어요.
Here's another reason this is really interesting.

688
00:37:45,790 --> 00:37:53,239
프로그래밍의 역사를 보면 컴파일러,
린팅, 더 나은 프로그래밍 언어처럼
Through the history of programming, there have been many productivity improvements—compilers, linting, better programming languages—which have increased programmer productivity but have not led to an explosion.

689
00:37:53,239 --> 00:38:00,880
생산성을 높인 것들이 많았지만, 그게
폭발적인 변화로 이어지진 않았어요.

690
00:38:00,880 --> 00:38:03,917
그건 자동완성 탭이랑 정말
비슷하게 들리네요. 그리고
That sounds very much like the autocomplete tab, and this other category is just automation of the programmer.

691
00:38:03,917 --> 00:38:06,850
이 다른 범주는 그냥
프로그래머 자체의 자동화고요.

692
00:38:06,850 --> 00:38:13,680
그걸 더 나은 컴파일러 같은 역사적
유비 쪽으로 보신다는 게 흥미롭네요.
It's interesting you're seeing more in the category of the historical analogies of better compilers or something.

693
00:38:13,680 --> 00:38:16,330
어쩌면 이게 또 다른 생각으로
이어지는 것 같아요.
Maybe this gets to one other thought.

694
00:38:16,330 --> 00:38:20,661
저는 AI가 어디서 시작하고
끝나는지 구분하기가
I have a hard time differentiating where AI begins and stops because I see AI as fundamentally an extension of computing in a pretty fundamental way.

695
00:38:20,661 --> 00:38:25,991
어려워요. AI를 근본적으로
컴퓨팅의 연장선으로 보거든요.

696
00:38:25,991 --> 00:38:33,177
재귀적 자기 개선이나 프로그래머
속도를 높이는 흐름이 처음부터 쭉
I see a continuum of this recursive self-improvement or speeding up programmers all the way from the beginning: code editors, syntax highlighting, or checking even of the types, like data type checking—all these tools that we've built for each other.

697
00:38:33,177 --> 00:38:40,364
이어져 왔다고 봐요. 코드 에디터,
구문 강조, 데이터 타입 체크

698
00:38:40,364 --> 00:38:47,151
같은 것까지—저희가 서로를 위해
만들어온 이 모든 도구들이요.

699
00:38:47,151 --> 00:38:48,160
검색 엔진도 마찬가지고요.
Even search engines.

700
00:38:48,160 --> 00:38:51,065
검색 엔진은 왜 AI의
일부가 아니겠어요?
Why aren't search engines part of AI?

701
00:38:51,065 --> 00:38:52,212
랭킹 자체가 AI잖아요.
Ranking is AI.

702
00:38:52,212 --> 00:38:55,781
사실 구글도 초창기부터 스스로를
구글 검색 엔진을 만드는
At some point, Google, even early on, was thinking of themselves as an AI company doing Google Search engine, which is totally fair.

703
00:38:55,781 --> 00:38:59,120
AI 회사라고 생각했어요.
그것도 완전히 타당하고요.

704
00:38:59,120 --> 00:39:01,549
저는 다른 사람들보다
이걸 훨씬 더 연속적인
I see it as a lot more of a continuum than other people do, and it's hard for me to draw the line.

705
00:39:01,549 --> 00:39:04,080
흐름으로 보는 편이라,
선을 긋기가 어려워요.

706
00:39:04,080 --> 00:39:08,573
지금은 훨씬 더 나은 자동완성을
얻고 있고, 계속 도는 이
I feel like we're now getting a much better autocomplete, and now we're also getting some agents which are these loopy things, but they go off-rails sometimes.

707
00:39:08,573 --> 00:39:13,206
에이전트들도 생기고 있는 것
같은데, 가끔 탈선하기도 하죠.

708
00:39:13,520 --> 00:39:15,648
실제로 일어나는 일은, 인간이 점점 더
What's going on is that the human is progressively doing a bit less and less of the low-level stuff.

709
00:39:15,648 --> 00:39:18,080
저수준의 일을 조금씩
덜 하게 되는 거예요.

710
00:39:18,080 --> 00:39:20,880
컴파일러가 있으니 우리가 어셈블리
코드를 직접 짜지 않는 것처럼요.
We're not writing the assembly code because we have compilers.

711
00:39:20,880 --> 00:39:22,360
컴파일러가 제 C 같은 고수준 언어를
Compilers will take my high-level language in C and write the assembly code.

712
00:39:22,360 --> 00:39:23,840
받아서 어셈블리 코드를 대신 써주죠.

713
00:39:23,840 --> 00:39:26,268
우리는 아주, 아주 천천히
스스로를 추상화해 온 거예요.
We're abstracting ourselves very, very slowly.

714
00:39:26,268 --> 00:39:30,704
저는 이걸 '자율성 슬라이더'라고
부르는데요, 그 시점에 자동화할
There's this what I call "autonomy slider," where more and more stuff is automated—of the stuff that can be automated at any point in time—and we're doing a bit less and less and raising ourselves in the layer of abstraction over the automation.

715
00:39:30,704 --> 00:39:34,771
수 있는 것들이 점점 더 많이
자동화되고, 우리는 조금씩 덜

716
00:39:34,771 --> 00:39:39,207
하면서 그 자동화 위 추상화 계층으로
스스로를 끌어올리는 거예요.

717
00:40:53,920 --> 00:40:55,585
RL 얘기를 좀 해볼게요.
Let's talk about RL a bit.

718
00:40:55,585 --> 00:40:58,651
이것에 대해 정말 흥미로운
트윗을 올리셨더라고요.
You tweeted some very interesting things about this.

719
00:40:58,651 --> 00:41:03,600
개념적으로, 인간이 그저 환경과
상호작용하는 것만으로 풍부한 세계
Conceptually, how should we think about the way that humans are able to build a rich world model just from interacting with our environment, and in ways that seem almost irrespective of the final reward at the end of the episode?

720
00:41:03,600 --> 00:41:08,686
모델을 만들어내는 방식을, 그것도
에피소드 끝의 최종 보상과는 거의

721
00:41:08,686 --> 00:41:13,360
무관해 보이는 방식으로 만들어내는
걸 어떻게 이해해야 할까요?

722
00:41:13,360 --> 00:41:18,043
누군가 사업을 시작해서 10년 뒤에
성공했는지 실패했는지 알게 됐다고
If somebody is starting a business, and at the end of 10 years, she finds out whether the business succeeded or failed, we say that she's earned a bunch of wisdom and experience.

723
00:41:18,043 --> 00:41:22,480
하면, 우리는 그 사람이 많은
지혜와 경험을 얻었다고 말하잖아요.

724
00:41:22,480 --> 00:41:25,068
하지만 그건 지난 10년간
있었던 모든 일 각각의
But it's not because the log probs of every single thing that happened over the last 10 years are up-weighted or down-weighted.

725
00:41:25,068 --> 00:41:28,039
log prob이 올라가거나
내려가서 그런 게 아니에요.

726
00:41:28,039 --> 00:41:30,904
훨씬 더 의도적이고 풍부한
무언가가 일어나고 있는 거예요.
Something much more deliberate and rich is happening.

727
00:41:30,904 --> 00:41:32,912
ML에서는 그게 어떤
비유가 될까요, 그리고 지금
What is the ML analogy, and how does that compare to what we're doing with LLMs right now?

728
00:41:32,912 --> 00:41:34,920
우리가 LLM으로 하는
것과는 어떻게 비교되나요?

729
00:41:34,920 --> 00:41:36,662
아마 제가 표현하자면, 앞서 말씀드렸듯이
Maybe the way I would put it is that humans don't use reinforcement learning, as I said.

730
00:41:36,662 --> 00:41:38,720
인간은 강화학습(RL)을
쓰지 않는 것 같아요.

731
00:41:38,720 --> 00:41:42,087
뭔가 다른 걸 하고 있는 것 같아요.
I think they do something different.

732
00:41:42,640 --> 00:41:47,371
강화학습은 보통 사람들이 생각하는
것보다 훨씬 형편없어요.
Reinforcement learning is a lot worse than I think the average person thinks.

733
00:41:47,371 --> 00:41:49,507
강화학습은 정말 형편없어요.
Reinforcement learning is terrible.

734
00:41:49,507 --> 00:41:54,401
다만 그 이전에 있던 것들이
다 훨씬 더 나빴을 뿐이에요.
It just so happens that everything that we had before it is much worse because previously we were just imitating people, so it has all these issues.

735
00:41:54,401 --> 00:41:59,600
예전엔 그냥 사람을 모방하던
거라, 온갖 문제가 있었으니까요.

736
00:41:59,600 --> 00:42:04,000
강화학습에서, 예를 들어 수학 문제를
푼다고 해보죠. 아주 단순하니까요.
In reinforcement learning, say you're solving a math problem, because it's very simple.

737
00:42:04,000 --> 00:42:08,160
수학 문제가 주어지고, 그
답을 찾으려 하는 거예요.
You're given a math problem and you're trying to find the solution.

738
00:42:08,160 --> 00:42:13,920
강화학습에서는 먼저 여러
가지를 병렬로 많이 시도해봐요.
In reinforcement learning, you will try lots of things in parallel first.

739
00:42:13,920 --> 00:42:17,134
문제가 주어지면, 수백 가지
다른 시도를 해보는 거예요.
You're given a problem, you try hundreds of different attempts.

740
00:42:17,134 --> 00:42:18,640
이 시도들은 복잡할 수 있어요.
These attempts can be complex.

741
00:42:18,640 --> 00:42:21,105
"이걸 해볼까, 저걸 해볼까,
이건 안 됐고, 저것도
They can be like, "Oh, let me try this, let me try that, this didn't work, that didn't work," etc. Then maybe you get an answer.

742
00:42:21,105 --> 00:42:23,740
안 됐고" 이런 식이죠.
그러다 답이 나올 수도 있고요.

743
00:42:23,740 --> 00:42:27,960
그러고 나서 책 뒤를 보고
확인하죠. "아, 정답은 이거구나."
Now you check the back of the book and you see, "Okay, the correct answer is this."

744
00:42:27,960 --> 00:42:30,704
이거, 이거, 저거는 정답을 맞혔는데,
You can see that this one, this one, and that one got the correct answer, but these other 97 of them didn't.

745
00:42:30,704 --> 00:42:33,840
나머지 97개는 틀렸다는
걸 알 수 있어요.

746
00:42:33,840 --> 00:42:38,183
강화학습이 말 그대로 하는 일은,
잘 된 것들로 가서 그 과정에서 한
Literally what reinforcement learning does is it goes to the ones that worked really well and every single thing you did along the way, every single token gets upweighted like, "Do more of this."

747
00:42:38,183 --> 00:42:42,640
모든 것, 토큰 하나하나에 "이걸
더 해"라며 가중치를 높이는 거예요.

748
00:42:42,640 --> 00:42:45,542
문제는, 사람들은 추정량의 분산이 높다고
The problem with that is people will say that your estimator has high variance, but it's just noisy.

749
00:42:45,542 --> 00:42:48,049
말하겠지만, 사실 그냥 노이즈예요.

750
00:42:48,049 --> 00:42:48,901
노이즈라는 거죠.
It's noisy.

751
00:42:48,901 --> 00:42:52,997
정답에 도달하기까지 만든
풀이의 작은 조각 하나하나가 다
It almost assumes that every single little piece of the solution that you made that arrived at the right answer was the correct thing to do, which is not true.

752
00:42:52,997 --> 00:42:56,960
옳은 행동이었다고 가정하는
셈인데, 사실이 아니거든요.

753
00:42:56,960 --> 00:43:00,640
정답에 도달하기 전까지 엉뚱한
길로 샜을 수도 있는데 말이죠.
You may have gone down the wrong alleys until you arrived at the right solution.

754
00:43:00,640 --> 00:43:03,228
결국 정답에 도달하기만
했다면, 그 잘못된 행동들
Every single one of those incorrect things you did, as long as you got to the correct solution, will be upweighted as, "Do more of this."

755
00:43:03,228 --> 00:43:06,200
하나하나까지 전부 "이걸 더
해"라고 가중치가 높아져요.

756
00:43:06,200 --> 00:43:06,986
정말 형편없어요.
It's terrible.

757
00:43:06,986 --> 00:43:07,614
노이즈예요.
It's noise.

758
00:43:07,614 --> 00:43:11,036
그 많은 작업을 다
해놓고, 결국 마지막엔
You've done all this work only to find, at the end, you get a single number of like, "Oh, you did correct."

759
00:43:11,036 --> 00:43:14,160
"맞았다"는 숫자 하나만 얻는 거예요.

760
00:43:14,160 --> 00:43:19,040
그걸 기준으로 그 경로 전체를
가중치 높이거나 낮추는 거고요.
Based on that, you weigh that entire trajectory as like, upweight or downweight.

761
00:43:19,040 --> 00:43:22,400
제가 즐겨 쓰는 표현으로는, 빨대로
감독 신호를 빨아들이는 것과 같아요.
The way I like to put it is you're sucking supervision through a straw.

762
00:43:22,400 --> 00:43:27,560
1분짜리 롤아웃이 나올 만큼 애써놓고,
최종 보상 신호에서 나오는 감독
You've done all this work that could be a minute of rollout, and you're sucking the bits of supervision of the final reward signal through a straw and you're broadcasting that across the entire trajectory and using that to upweight or downweight that trajectory.

763
00:43:27,560 --> 00:43:32,322
신호를 쥐꼬리만큼만 빨대로 빨아들이듯
뽑아내서, 그걸 전체 궤적에

764
00:43:32,322 --> 00:43:37,614
그대로 뿌리고 그 궤적 전체의 가중치를
올리거나 내리는 데 쓰는 거예요.

765
00:43:37,614 --> 00:43:38,767
그냥 멍청하고 말이 안 되는 짓이에요.
It's just stupid and crazy.

766
00:43:38,767 --> 00:43:39,920
사람이라면 절대 이렇게 안 해요.
A human would never do this.

767
00:43:39,920 --> 00:43:43,120
첫째, 사람은 롤아웃을
수백 번씩 하지 않아요.
Number one, a human would never do hundreds of rollouts.

768
00:43:43,120 --> 00:43:47,251
둘째, 사람은 답을 찾으면
꽤 복잡한 검토 과정을
Number two, when a person finds a solution, they will have a pretty complicated process of review of, "Okay, I think these parts I did well, these parts I did not do that well.

769
00:43:47,251 --> 00:43:51,840
거쳐요. "음, 이 부분은
잘했고 이 부분은 별로였다,

770
00:43:51,840 --> 00:43:53,691
이건 이렇게 하는 게
낫겠다" 하고 생각하죠.
I should probably do this or that."

771
00:43:53,691 --> 00:43:55,080
곰곰이 따져보는 거예요.
They think through things.

772
00:43:55,080 --> 00:43:57,810
지금의 LLM에는 이런 게 전혀 없어요.
There's nothing in current LLMs that does this.

773
00:43:57,810 --> 00:43:59,529
그에 해당하는 게 아예 없죠.
There's no equivalent of it.

774
00:43:59,529 --> 00:44:02,352
하지만 이걸 시도하는
논문들이 나오고 있긴 해요.
But I do see papers popping out that are trying to do this because it's obvious to everyone in the field.

775
00:44:02,352 --> 00:44:05,280
이 분야 사람들한테는 너무
뻔히 보이는 문제니까요.

776
00:44:05,280 --> 00:44:08,440
그런데 최초의 모방 학습은
정말 놀랍고 기적 같고 대단한
The first imitation learning, by the way, was extremely surprising and miraculous and amazing, that we can fine-tune by imitation on humans.

777
00:44:08,440 --> 00:44:11,600
일이었어요. 사람을 모방해서
파인튜닝할 수 있다는 게요.

778
00:44:11,600 --> 00:44:12,732
그건 정말 믿기 힘든 일이었죠.
That was incredible.

779
00:44:12,732 --> 00:44:15,573
왜냐하면 처음엔 베이스
모델밖에 없었거든요.
Because in the beginning, all we had was base models.

780
00:44:15,573 --> 00:44:17,173
베이스 모델은 자동완성이잖아요.
Base models are autocomplete.

781
00:44:17,173 --> 00:44:20,710
그때는 저도 이게 당연하지
않았고, 배워야 했어요.
It wasn't obvious to me at the time, and I had to learn this.

782
00:44:20,710 --> 00:44:25,042
제 생각을 뒤집은 논문은
InstructGPT였어요. 자동완성인
The paper that blew my mind was InstructGPT, because it pointed out that you can take the pretrained model, which is autocomplete, and if you just fine-tune it on text that looks like conversations, the model will very rapidly adapt to become very conversational, and it keeps all the knowledge from pre-training.

783
00:44:25,042 --> 00:44:29,126
사전학습 모델을 가져다가 대화처럼
보이는 텍스트로 파인튜닝만

784
00:44:29,126 --> 00:44:32,716
해주면, 모델이 아주 빠르게
적응해서 대화형이 되고,

785
00:44:32,716 --> 00:44:36,800
사전학습에서 얻은 지식은 그대로
유지된다는 걸 보여줬거든요.

786
00:44:36,800 --> 00:44:39,990
제가 놀랐던 이유는, 그런
스타일 적응이 그렇게 빨리
This blew my mind because I didn't understand that stylistically, it can adjust so quickly and become an assistant to a user through just a few loops of fine-tuning on that kind of data.

787
00:44:39,990 --> 00:44:42,960
될 줄 몰랐기 때문이에요.
그런 데이터로 몇 번만

788
00:44:42,960 --> 00:44:46,480
파인튜닝을 돌리면 사용자를 위한
어시스턴트가 된다는 게요.

789
00:44:46,480 --> 00:44:49,218
그게 통한다는 게 저한테는
정말 기적 같았어요.
It was very miraculous to me that that worked.

790
00:44:49,218 --> 00:44:50,092
정말 놀라운 일이죠.
So incredible.

791
00:44:50,092 --> 00:44:52,240
그건 2~3년에 걸친 작업이었어요.
That was two to three years of work.

792
00:44:52,240 --> 00:44:53,107
그다음에 RL이 등장했죠.
Now came RL.

793
00:44:53,107 --> 00:44:57,772
RL을 쓰면 단순 모방 학습보다
조금 더 나아갈 수 있어요.
And RL allows you to do a bit better than just imitation learning because you can have these reward functions and you can hill-climb on the reward functions.

794
00:44:57,772 --> 00:45:02,720
보상 함수를 만들어서 그 위에서
힐클라이밍을 할 수 있으니까요.

795
00:45:02,720 --> 00:45:04,991
어떤 문제는 그냥 정답이
있어서, 모방할 전문가
Some problems have just correct answers, you can hill-climb on that without getting expert trajectories to imitate.

796
00:45:04,991 --> 00:45:07,437
궤적 없이도 그 위에서
힐클라이밍을 할 수 있어요.

797
00:45:07,437 --> 00:45:08,407
그것도 정말 대단한 일이에요.
So that's amazing.

798
00:45:08,407 --> 00:45:13,314
모델이 사람은 절대 생각해내지 못했을
법한 해법을 찾아낼 수도 있고요.
The model can also discover solutions that a human might never come up with.

799
00:45:13,314 --> 00:45:15,125
이건 정말 놀라운 일이에요.
This is incredible.

800
00:45:15,125 --> 00:45:17,298
그런데도 여전히 멍청하죠.
Yet, it's still stupid.

801
00:45:17,298 --> 00:45:18,566
더 많은 게 필요해요.
We need more.

802
00:45:18,566 --> 00:45:21,946
어제 구글에서 나온 논문을
봤는데, 이 '반성하고
I saw a paper from Google yesterday that tried to have this reflect & review idea in mind.

803
00:45:21,946 --> 00:45:25,200
검토한다'는 아이디어를
염두에 두고 있더라고요.

804
00:45:25,200 --> 00:45:27,447
혹시 메모리 뱅크 논문이었나요?
Was it the memory bank paper or something?

805
00:45:27,447 --> 00:45:28,178
잘 모르겠어요.
I don't know.

806
00:45:28,178 --> 00:45:30,320
이런 방향의 논문을 몇 편 봤어요.
I've seen a few papers along these lines.

807
00:45:30,320 --> 00:45:34,075
그래서 이 영역에서
LLM 알고리즘을 다루는
So I expect there to be some major update to how we do algorithms for LLMs coming in that realm.

808
00:45:34,075 --> 00:45:37,360
방식에 큰 업데이트가 올 거라고 봐요.

809
00:45:37,360 --> 00:45:42,480
제 생각엔 3~5개 정도
더 필요할 것 같아요.
I think we need three or four or five more, something like that.

810
00:45:42,480 --> 00:45:45,930
표현을 정말 생생하게 잘 만드시네요.
You're so good at coming up with evocative phrases.

811
00:45:45,930 --> 00:45:48,627
"빨대로 감독 신호를
빨아들이기"라는 표현이요.
"Sucking supervision through a straw."

812
00:45:48,627 --> 00:45:49,865
정말 탁월해요.
It's so good.

813
00:45:49,865 --> 00:45:55,649
그러니까 결과 기반 보상의 문제는,
이 거대한 궤적이 있는데, 그
You're saying the problem with outcome-based reward is that you have this huge trajectory, and then at the end, you're trying to learn every single possible thing about what you should do and what you should learn about the world from that one final bit.

814
00:45:55,649 --> 00:46:00,952
끝에 가서야 그 마지막 한
조각으로부터 무엇을 해야 하는지,

815
00:46:00,952 --> 00:46:06,897
세상에 대해 무엇을 배워야 하는지
그 모든 걸 배우려 한다는 거죠?

816
00:46:07,280 --> 00:46:10,722
이게 이렇게 자명한데, 왜
대안인 과정 기반 감독은 모델을
Given the fact that this is obvious, why hasn't process-based supervision as an alternative been a successful way to make models more capable?

817
00:46:10,722 --> 00:46:13,842
더 유능하게 만드는 성공적인
방법이 되지 못했을까요?

818
00:46:13,842 --> 00:46:16,821
이 대안적 패러다임을 쓰지
못하게 막아온 건 뭔가요?
What has been preventing us from using this alternative paradigm?

819
00:46:16,821 --> 00:46:18,957
과정 기반 감독이란 그저 보상 함수를
Process-based supervision just refers to the fact that we're not going to have a reward function only at the very end.

820
00:46:18,957 --> 00:46:21,200
맨 마지막에만 두지 않는다는 뜻이에요.

821
00:46:21,200 --> 00:46:22,611
10분 동안 작업한 뒤에, 잘했는지
After you've done 10 minutes of work, I'm not going to tell you you did well or not well.

822
00:46:22,611 --> 00:46:24,320
못했는지를 그제서야
말해주진 않는 거예요.

823
00:46:24,320 --> 00:46:28,000
매 단계마다 얼마나 잘하고
있는지를 말해주는 거죠.
I'm going to tell you at every single step of the way how well you're doing.

824
00:46:28,000 --> 00:46:29,836
그걸 못 하고 있는 이유는, 이걸
The reason we don't have that is it's tricky how you do that properly.

825
00:46:29,836 --> 00:46:32,080
제대로 하는 방법이 까다롭기 때문이에요.

826
00:46:32,080 --> 00:46:33,592
부분적인 풀이는 있는데, 거기에 어떻게
You have partial solutions and you don't know how to assign credit.

827
00:46:33,592 --> 00:46:34,960
공로를 배분해야 할지 모르는 거죠.

828
00:46:34,960 --> 00:46:38,828
그래서 정답을 맞히면, 그냥 답이
일치하는지만 보면 되는 거예요.
So when you get the right answer, it's just an equality match to the answer.

829
00:46:38,828 --> 00:46:40,490
구현하기는 아주 간단하죠.
It’s very simple to implement.

830
00:46:40,490 --> 00:46:43,275
과정 기반 감독을 한다면, 자동화 가능한
If you're doing process supervision, how do you assign in an automatable way, a partial credit assignment?

831
00:46:43,275 --> 00:46:46,314
방식으로 부분 공로를
어떻게 배분할 건가요?

832
00:46:46,314 --> 00:46:47,840
그 방법이 명확하지가 않아요.
It's not obvious how you do it.

833
00:46:47,840 --> 00:46:50,960
많은 연구소들이 이걸 LLM
심판으로 해보려 하고 있어요.
Lots of labs are trying to do it with these LLM judges.

834
00:46:50,960 --> 00:46:52,604
LLM한테 그걸 시켜보는 거예요.
You get LLMs to try to do it.

835
00:46:52,604 --> 00:46:55,303
LLM한테 프롬프트를 줘요. "이
학생의 부분 풀이를 봐봐."
You prompt an LLM, "Hey, look at a partial solution of a student.

836
00:46:55,303 --> 00:46:57,774
"정답이 이거라면,
얼마나 잘한 걸까?"라고
How well do you think they're doing if the answer is this?" and they try to tune the prompt.

837
00:46:57,774 --> 00:46:59,730
하면서 프롬프트를 튜닝해보는 거죠.

838
00:46:59,730 --> 00:47:02,560
이게 까다로운 이유는 꽤 미묘해요.
The reason that this is tricky is quite subtle.

839
00:47:02,560 --> 00:47:06,124
보상을 매기는 데 LLM을 쓸
때마다, 그 LLM은 수십억
It's the fact that anytime you use an LLM to assign a reward, those LLMs are giant things with billions of parameters, and they're gameable.

840
00:47:06,124 --> 00:47:09,576
파라미터짜리 거대한 존재라서
속일 수 있다는 사실이에요.

841
00:47:09,576 --> 00:47:12,338
그걸 기준으로 강화학습을
하면, 거의 확실하게
If you're reinforcement learning with respect to them, you will find adversarial examples for your LLM judges, almost guaranteed.

842
00:47:12,338 --> 00:47:15,320
LLM 심판에 대한 적대적
예제를 찾아내게 돼요.

843
00:47:15,320 --> 00:47:16,755
그래서 이걸 너무 오래 할 수는 없어요.
So you can't do this for too long.

844
00:47:16,755 --> 00:47:19,190
한 10스텝이나 20스텝
정도는 통할 수도
You do maybe 10 steps or 20 steps, and maybe it will work, but you can't do 100 or 1,000.

845
00:47:19,190 --> 00:47:21,836
있지만, 100이나
1,000스텝은 안 돼요.

846
00:47:21,836 --> 00:47:28,010
당연해 보이지 않을 수 있는데,
기본적으로 모델은 작은 틈을 찾아내요.
I understand it's not obvious, but basically the model will find little cracks.

847
00:47:28,010 --> 00:47:31,840
거대한 모델의 구석구석에
있는 이런 가짜 신호들을
It will find all these spurious things in the nooks and crannies of the giant model and find a way to cheat it.

848
00:47:31,840 --> 00:47:34,960
찾아내서, 속일 방법을 찾아내는 거예요.

849
00:47:34,960 --> 00:47:39,022
제 머릿속에 강하게 남아 있는
예가 하나 있는데, 아마
One example that's prominently in my mind, this was probably public, if you're using an LLM judge for a reward, you just give it a solution from a student and ask it if the student did well or not.

850
00:47:39,022 --> 00:47:43,218
공개된 얘기일 텐데요, 보상을
위해 LLM 심판을 쓴다면

851
00:47:43,218 --> 00:47:47,280
학생의 풀이를 주고 잘했는지
못했는지 물어보는 거예요.

852
00:47:47,280 --> 00:47:52,368
그 보상 함수를 기준으로 강화학습을
시켰는데, 정말 잘 됐어요.
We were training with reinforcement learning against that reward function, and it worked really well.

853
00:47:52,368 --> 00:47:55,520
그러다 갑자기 보상이 엄청나게 커졌어요.
Then, suddenly, the reward became extremely large.

854
00:47:55,520 --> 00:47:57,680
엄청난 도약이었고,
완벽한 점수가 나왔어요.
It was a massive jump, and it did perfect.

855
00:47:57,680 --> 00:48:00,037
그걸 보면서 "와, 이건
학생이 이 문제들을
You're looking at it like, "Wow, this means the student is perfect in all these problems.

856
00:48:00,037 --> 00:48:02,590
전부 완벽하게 풀었다는
뜻이잖아" 싶은 거예요.

857
00:48:02,590 --> 00:48:04,084
"수학을 완전히 정복한 거야."
It's fully solved math."

858
00:48:04,084 --> 00:48:08,480
그런데 모델이 내놓는 완성 결과물을
보면, 완전히 헛소리예요.
But when you look at the completions that you're getting from the model, they are complete nonsense.

859
00:48:08,480 --> 00:48:11,360
처음엔 멀쩡하게 시작하다가, 갑자기
"dhdhdhdh"로 바뀌어버려요.
They start out okay, and then they change to "dhdhdhdh."

860
00:48:11,360 --> 00:48:13,710
그냥 이런 식이에요. "아
그래, 2 더하기 3을 해보자,
It's just like, "Oh, okay, let's take two plus three and we do this and this, and then dhdhdhdh."

861
00:48:13,710 --> 00:48:15,840
이렇게 하고 저렇게 하고,
그리고 dhdhdhdh."

862
00:48:15,840 --> 00:48:17,200
그걸 보고 있으면,
"이거 미쳤다" 싶죠.
You're looking at it, and it's like, this is crazy.

863
00:48:17,200 --> 00:48:19,480
어떻게 보상이 1점, 그러니까
100%가 나오는 걸까요?
How is it getting a reward of one or 100%?

864
00:48:19,480 --> 00:48:23,396
LLM 심판을 들여다보니,
"dhdhdhdh"가 그 모델에 대한
You look at the LLM judge, and it turns out that "dhdhdhdh" is an adversarial example for the model, and it assigns 100% probability to it.

865
00:48:23,396 --> 00:48:27,200
적대적 예제였고, 여기에 100%
확률을 부여하고 있더라고요.

866
00:48:27,200 --> 00:48:30,240
이게 그냥 LLM 입장에서는 훈련
분포 밖의 사례였기 때문이에요.
It's just because this is an out-of-sample example to the LLM.

867
00:48:30,240 --> 00:48:31,989
훈련 중엔 한 번도 본 적이 없어서,
It's never seen it during training, and you're in pure generalization land.

868
00:48:31,989 --> 00:48:34,000
순수한 일반화의 영역에
들어가 있는 거죠.

869
00:48:34,000 --> 00:48:37,130
훈련 중에 본 적이 없고,
그 순수한 일반화의 영역에서는
It's never seen it during training, and in the pure generalization land, you can find these examples that break it.

870
00:48:37,130 --> 00:48:40,058
이렇게 모델을 무너뜨리는
예제들을 찾아낼 수 있어요.

871
00:48:40,058 --> 00:48:44,289
사실상 LLM을 프롬프트 인젝션
모델로 훈련시키는 셈이네요.
You're basically training the LLM to be a prompt injection model.

872
00:48:44,289 --> 00:48:45,058
그 정도까지는 아니에요.
Not even that.

873
00:48:45,058 --> 00:48:46,800
프롬프트 인젝션이라 하기엔
너무 거창한 표현이고요.
Prompt injection is way too fancy.

874
00:48:46,800 --> 00:48:48,960
말하자면 적대적 예제를 찾아내는 거예요.
You're finding adversarial examples, as they're called.

875
00:48:48,960 --> 00:48:52,200
말도 안 되는, 누가 봐도 틀린 답인데
These are nonsensical solutions that are obviously wrong, but the model thinks they are amazing.

876
00:48:52,200 --> 00:48:55,440
모델은 그걸 훌륭하다고 생각하는 거죠.

877
00:48:55,440 --> 00:49:00,320
이게 RL을 더 잘 작동시키는
병목이라고 보신다면, 자동화된 방식으로
To the extent you think this is the bottleneck to making RL more functional, then that will require making LLMs better judges, if you want to do this in an automated way.

878
00:49:00,320 --> 00:49:05,200
하려면 결국 LLM을 더 나은 심판으로
만들어야 한다는 말씀이시네요.

879
00:49:05,200 --> 00:49:09,438
결국 GAN 같은 방식으로 모델을
더 견고하게 훈련시켜야 하는 걸까요?
Is it just going to be some sort of GAN-like approach where you have to train models to be more robust?

880
00:49:09,438 --> 00:49:11,920
아마 랩들은 그런 시도를
다 해보고 있을 거예요.
The labs are probably doing all that.

881
00:49:11,920 --> 00:49:13,354
당연한 얘기지만, "dhdhdhdh"가
The obvious thing is, "dhdhdhdh" should not get 100% reward.

882
00:49:13,354 --> 00:49:14,720
100% 보상을 받으면 안 되잖아요.

883
00:49:14,720 --> 00:49:17,306
그럼 "dhdhdhdh"를
LLM 심판의 학습 데이터에
Okay, well, take "dhdhdhdh," put it in the training set of the LLM judge, and say this is not 100%, this is 0%.

884
00:49:17,306 --> 00:49:19,720
넣고, 이건 100%가
아니라 0%라고 하면 되죠.

885
00:49:19,720 --> 00:49:22,399
그렇게 할 수는 있는데,
그럴 때마다 새로운 LLM이
You can do this, but every time you do this, you get a new LLM, and it still has adversarial examples.

886
00:49:22,399 --> 00:49:24,800
나오고, 거기에도 여전히
적대적 예제가 있어요.

887
00:49:24,800 --> 00:49:27,030
적대적 예제는 무한히 존재하거든요.
There's an infinity of adversarial examples.

888
00:49:27,030 --> 00:49:31,406
몇 번 반복하면 적대적 예제를
찾기가 점점 더 어려워지긴 하겠지만,
Probably if you iterate this a few times, it'll probably be harder and harder to find adversarial examples, but I'm not 100% sure because this thing has a trillion parameters or whatnot.

889
00:49:31,406 --> 00:49:36,019
이게 파라미터가 1조 개쯤 되는
물건이라 100% 확신은 못 하겠어요.

890
00:49:36,019 --> 00:49:39,975
랩들이 시도하고 있을 거라고 확신해요.
I bet you the labs are trying.

891
00:49:41,920 --> 00:49:44,040
그래도 다른 아이디어가
필요하다고 생각해요.
I still think we need other ideas.

892
00:49:44,040 --> 00:49:44,827
흥미롭네요.
Interesting.

893
00:49:44,827 --> 00:49:50,392
그 다른 아이디어가 어떤
모양일지 좀 감이 오시나요?
Do you have some shape of what the other idea could be?

894
00:49:50,392 --> 00:49:54,861
합성 예제를 아우르는 일종의
리뷰 솔루션 같은 건데, 그걸로
This idea of a review solution encompassing synthetic examples such that when you train on them, you get better, and meta-learn it in some way.

895
00:49:54,861 --> 00:49:59,601
학습하면 더 나아지고 어떤 식으로든
메타러닝을 하게 되는 거죠.

896
00:49:59,601 --> 00:50:02,396
그런 논문들이 조금씩 나오기
시작하는 걸 보고 있어요.
I think there are some papers that I'm starting to see pop out.

897
00:50:02,396 --> 00:50:04,465
아직은 초록만 읽어보는 단계인데, 이런
I am only at a stage of reading abstracts because a lot of these papers are just ideas.

898
00:50:04,465 --> 00:50:06,731
논문 상당수가 그냥
아이디어 수준이라서요.

899
00:50:06,731 --> 00:50:11,415
누군가 프론티어 LLM 랩 규모에서
완전히 일반적으로 작동하게 만들어야
Someone has to make it work on a frontier LLM lab scale in full generality because when you see these papers, they pop up, and it's just a bit noisy.

900
00:50:11,415 --> 00:50:15,618
하는데, 이런 논문들이 나올 때
보면 아직 좀 노이즈가 많아요.

901
00:50:15,618 --> 00:50:18,286
멋진 아이디어이긴 한데,
이게 실제로 가능하다는
They're cool ideas, but I haven't seen anyone convincingly show that this is possible.

902
00:50:18,286 --> 00:50:20,955
걸 설득력 있게 보여준
사람은 아직 못 봤어요.

903
00:50:20,955 --> 00:50:24,890
그렇다고 해도 LLM
랩들은 꽤 폐쇄적이니까,
That said, the LLM labs are fairly closed, so who knows what they're doing now.

904
00:50:24,890 --> 00:50:28,196
지금 뭘 하고 있는지는 아무도 모르죠.

905
00:50:28,196 --> 00:50:32,140
스스로 만들어낸 합성 예제나 합성 문제로
I can conceptualize how you would be able to train on synthetic examples or synthetic problems that you have made for yourself.

906
00:50:32,140 --> 00:50:36,800
학습시키는 방법은 어느
정도 그려볼 수 있어요.

907
00:50:36,800 --> 00:50:40,686
그런데 인간이 하는 또 다른
무언가가 있는 것 같은데—어쩌면
But there seems to be another thing humans do—maybe sleep is this, maybe daydreaming is this—which is not necessarily to come up with fake problems, but just to reflect.

908
00:50:40,686 --> 00:50:43,983
수면이 그거고, 어쩌면
몽상이 그거일 텐데—꼭 가짜

909
00:50:43,983 --> 00:50:47,280
문제를 만들어내는 게 아니라
그냥 성찰하는 거예요.

910
00:50:47,280 --> 00:50:49,400
공상이나 수면, 아니면
그냥 성찰하는 것에
I'm not sure what the ML analogy is for daydreaming or sleeping, or just reflecting.

911
00:50:49,400 --> 00:50:51,520
대응하는 ML 비유가
뭔지 잘 모르겠어요.

912
00:50:51,520 --> 00:50:52,966
새로운 문제를 떠올리진 못했어요.
I haven't come up with a new problem.

913
00:50:52,966 --> 00:50:56,493
당연히 가장 기초적인 비유라면
성찰한 내용들로 파인튜닝하는
Obviously, the very basic analogy would just be fine-tuning on reflection bits, but I feel like in practice that probably wouldn't work that well.

914
00:50:56,493 --> 00:51:00,240
거겠지만, 실제로는 그게 그렇게
잘 작동하지 않을 것 같아요.

915
00:51:00,240 --> 00:51:05,120
이 부분의 비유가 뭔지
나름의 생각이 있으신가요?
Do you have some take on what the analogy of this thing is?

916
00:51:05,120 --> 00:51:07,582
저는 우리가 놓치고 있는
측면이 있다고 생각해요.
I do think that we're missing some aspects there.

917
00:51:07,582 --> 00:51:11,051
예를 들어, 책 읽기를 한번 생각해보죠.
As an example, let’s take reading a book.

918
00:51:11,360 --> 00:51:15,184
지금 LLM이 책을 읽는다는 건,
텍스트 시퀀스를 쭉 펼쳐놓고
Currently when LLMs are reading a book, what that means is we stretch out the sequence of text, and the model is predicting the next token, and it's getting some knowledge from that.

919
00:51:15,184 --> 00:51:19,120
모델이 다음 토큰을 예측하면서
거기서 지식을 얻는다는 뜻이에요.

920
00:51:19,120 --> 00:51:20,458
그건 사실 인간이 하는 방식이 아니에요.
That's not really what humans do.

921
00:51:20,458 --> 00:51:23,413
책을 읽을 때, 저는 그
책을 제가 주의를 기울이고
When you're reading a book, I don't even feel like the book is exposition I'm supposed to be attending to and training on.

922
00:51:23,413 --> 00:51:25,840
학습해야 할 설명문으로조차
느끼지 않아요.

923
00:51:25,840 --> 00:51:29,573
그 책은 제가 합성 데이터를
생성하도록, 혹은 여러분이 북클럽에
The book is a set of prompts for me to do synthetic data generation, or for you to get to a book club and talk about it with your friends.

924
00:51:29,573 --> 00:51:33,200
가서 친구들과 그 얘기를 나누도록
만드는 일련의 프롬프트예요.

925
00:51:33,200 --> 00:51:37,680
그 정보를 이리저리 다뤄보는 과정에서
실제로 지식을 얻게 되는 거예요.
It's by manipulating that information that you actually gain that knowledge.

926
00:51:37,680 --> 00:51:39,648
LLM에는 그런 것에
대응하는 게 전혀 없어요.
We have no equivalent of that with LLMs.

927
00:51:39,648 --> 00:51:40,944
실제로 그렇게 하진 않거든요.
They don't really do that.

928
00:51:40,944 --> 00:51:44,777
사전학습 중에, 자료를
곱씹으면서 이미 아는 것과
I'd love to see during pre-training some stage that thinks through the material and tries to reconcile it with what it already knows, and thinks through it for some amount of time and gets that to work.

929
00:51:44,777 --> 00:51:48,469
맞춰보고, 일정 시간
충분히 생각을 거쳐서 그게

930
00:51:48,469 --> 00:51:52,160
실제로 작동하게 만드는
단계가 있으면 좋겠어요.

931
00:51:52,160 --> 00:51:53,491
이런 것들에 대응하는
건 지금 전혀 없어요.
There's no equivalence of any of this.

932
00:51:53,491 --> 00:51:54,242
이건 전부 아직 연구 대상이에요.
This is all research.

933
00:51:54,242 --> 00:51:56,661
이게 간단하지 않은 데는 아주 미묘한—제
There are some subtle—very subtle that I think are very hard to understand—reasons why it's not trivial.

934
00:51:56,661 --> 00:51:59,520
생각엔 이해하기 굉장히
어려운—이유들이 있어요.

935
00:51:59,520 --> 00:52:02,051
하나만 설명드리자면,
왜 그냥 합성 데이터를
If I can just describe one: why can't we just synthetically generate and train on it?

936
00:52:02,051 --> 00:52:04,160
생성해서 학습시키면 안 되는 걸까요?

937
00:52:04,160 --> 00:52:07,616
왜냐하면 모델이 책에 대해 생각하는
모습을 합성 생성해서 보여드리면,
Because every synthetic example, if I just give synthetic generation of the model thinking about a book, you look at it and you're like, "This looks great.

938
00:52:07,616 --> 00:52:10,800
그 예시를 보고는 이렇게
생각하시거든요. "이거 진짜 괜찮은데.

939
00:52:10,800 --> 00:52:11,840
왜 이걸로 학습을 못 시키지?" 하고요.
Why can't I train on it?"

940
00:52:11,840 --> 00:52:13,379
시도해 볼 수는 있지만, 계속 그렇게
You could try, but the model will get much worse if you continue trying.

941
00:52:13,379 --> 00:52:15,072
하면 모델이 오히려 훨씬 나빠질 거예요.

942
00:52:15,072 --> 00:52:19,219
그건 모델에서 얻는 샘플들이 전부
조용히 붕괴돼 있기 때문이에요.
That's because all of the samples you get from models are silently collapsed.

943
00:52:19,219 --> 00:52:22,257
조용히요—개별 예시 하나만
봐서는 전혀 티가 안
Silently—it is not obvious if you look at any individual example of it—they occupy a very tiny manifold of the possible space of thoughts about content.

944
00:52:22,257 --> 00:52:25,413
나는데—내용에 대해 가능한
생각들의 공간 중 아주

945
00:52:25,413 --> 00:52:28,685
작은 다양체(manifold)만
차지하고 있거든요.

946
00:52:28,685 --> 00:52:31,766
LLM이 뭔가를 만들어낼 때, 그건
이른바 "붕괴된" 상태인 거예요.
The LLMs, when they come off, they're what we call "collapsed."

947
00:52:31,766 --> 00:52:34,960
붕괴된 데이터 분포를 갖고 있는 거죠.
They have a collapsed data distribution.

948
00:52:34,960 --> 00:52:36,608
이걸 확인하는 쉬운
방법은 ChatGPT에
One easy way to see it is to go to ChatGPT and ask it, "Tell me a joke."

949
00:52:36,608 --> 00:52:38,400
가서 "농담 하나
해줘"라고 물어보는 거예요.

950
00:52:38,400 --> 00:52:39,761
농담을 딱 세 개 정도밖에 몰라요.
It only has like three jokes.

951
00:52:39,761 --> 00:52:42,663
가능한 농담의 전체 폭을
보여주는 게 아니에요.
It's not giving you the whole breadth of possible jokes.

952
00:52:42,663 --> 00:52:44,400
농담을 딱 세 개
정도만 알고 있는 거죠.
It knows like three jokes.

953
00:52:44,400 --> 00:52:46,202
조용히 붕괴된 거예요.
They're silently collapsed.

954
00:52:46,202 --> 00:52:49,503
이 모델들에게서는 사람에게서
얻을 수 있는 만큼의
You're not getting the richness and the diversity and the entropy from these models as you would get from humans.

955
00:52:49,503 --> 00:52:52,560
풍부함과 다양성,
엔트로피를 얻을 수 없어요.

956
00:52:52,560 --> 00:52:55,086
사람은 훨씬 더 노이즈가 많지만, 적어도
Humans are a lot noisier, but at least they're not biased, in a statistical sense.

957
00:52:55,086 --> 00:52:57,611
통계적인 의미에서는 편향돼 있지 않아요.

958
00:52:57,611 --> 00:52:59,012
사람은 조용히 붕괴되지 않았거든요.
They're not silently collapsed.

959
00:52:59,012 --> 00:53:00,720
사람은 엄청난 양의
엔트로피를 유지하고 있어요.
They maintain a huge amount of entropy.

960
00:53:00,720 --> 00:53:03,511
그럼 붕괴를 겪으면서도
엔트로피는 유지한 채로, 합성
So how do you get synthetic data generation to work despite the collapse and while maintaining the entropy?

961
00:53:03,511 --> 00:53:06,205
데이터 생성이 작동하게
하려면 어떻게 해야 할까요?

962
00:53:06,205 --> 00:53:07,627
그게 바로 연구 과제예요.
That’s a research problem.

963
00:53:07,627 --> 00:53:11,872
제가 제대로 이해했는지
확인하자면, 붕괴가 합성 데이터
Just to make sure I understood, the reason that the collapse is relevant to synthetic data generation is because you want to be able to come up with synthetic problems or reflections which are not already in your data distribution?

964
00:53:11,872 --> 00:53:15,835
생성과 관련 있는 이유는
이미 자기 데이터 분포에는

965
00:53:15,835 --> 00:53:20,080
없는 합성 문제나 성찰을
만들어내고 싶기 때문인 거죠?

966
00:53:20,080 --> 00:53:24,176
제 말은, 예를 들어 책의 한
챕터가 있고 LLM에게 그걸
I guess what I'm saying is, say we have a chapter of a book and I ask an LLM to think about it, it will give you something that looks very reasonable.

967
00:53:24,176 --> 00:53:28,400
생각해보라고 하면, 꽤 그럴듯해
보이는 답을 준다는 거예요.

968
00:53:28,400 --> 00:53:31,920
그런데 그걸 열 번 물어보면, 전부
다 똑같다는 걸 알게 될 거예요.
But if I ask it 10 times, you'll notice that all of them are the same.

969
00:53:31,920 --> 00:53:36,470
같은 양의 프롬프트 정보를
가지고 '성찰'을 계속
You can't just keep scaling "reflection" on the same amount of prompt information and then get returns from that.

970
00:53:36,470 --> 00:53:41,695
확장한다고 해서, 거기서 계속
이득을 얻을 수는 없어요.

971
00:53:41,695 --> 00:53:45,955
개별 샘플 하나하나는 괜찮아
보이지만, 그 분포는 꽤 형편없어요.
Any individual sample will look okay, but the distribution of it is quite terrible.

972
00:53:45,955 --> 00:53:48,367
그게 너무 형편없어서,
자기 자신이 만든 걸
It's quite terrible in such a way that if you continue training on too much of your own stuff, you actually collapse.

973
00:53:48,367 --> 00:53:50,880
너무 많이 학습시키면
실제로 붕괴가 일어나요.

974
00:53:50,880 --> 00:53:54,240
이건 아마 근본적인 해결책이
없을 수도 있다고 생각해요.
I think that there's possibly no fundamental solution to this.

975
00:53:54,240 --> 00:53:57,194
그리고 사람도 시간이 지나면서
붕괴한다고 생각해요.
I also think humans collapse over time.

976
00:53:57,194 --> 00:54:00,000
이 비유들이 의외로 잘 들어맞아요.
These analogies are surprisingly good.

977
00:54:00,000 --> 00:54:03,093
사람은 살아가는 과정에서 붕괴해요.
Humans collapse during the course of their lives.

978
00:54:03,093 --> 00:54:06,000
그래서 아이들은 아직
과적합되지 않은 거예요.
This is why children, they haven't overfit yet.

979
00:54:06,000 --> 00:54:08,789
아이들은 여러분을 놀라게
할 만한 말을 해요. 어디서
They will say stuff that will shock you because you can see where they're coming from, but it's just not the thing people say, because they're not yet collapsed.

980
00:54:08,789 --> 00:54:11,290
그런 생각이 나왔는지는
알겠는데, 사람들이 보통

981
00:54:11,290 --> 00:54:13,983
하는 말은 아니거든요, 아직
붕괴되지 않았으니까요.

982
00:54:13,983 --> 00:54:15,105
하지만 우리는 붕괴돼 있어요.
But we're collapsed.

983
00:54:15,105 --> 00:54:17,377
결국 같은 생각을 계속
되풀이하게 되는 거예요.
We end up revisiting the same thoughts.

984
00:54:17,377 --> 00:54:22,051
결국 점점 더 같은 얘기만 반복하게
되고, 학습률은 떨어지고,
We end up saying more and more of the same stuff, and the learning rates go down, and the collapse continues to get worse, and then everything deteriorates.

985
00:54:22,051 --> 00:54:26,176
붕괴는 점점 심해지다가, 결국
모든 게 망가지는 거죠.

986
00:54:26,176 --> 00:54:29,689
꿈을 꾸는 게 이런 과적합과 붕괴를 막는
Have you seen this super interesting paper that dreaming is a way of preventing this kind of overfitting and collapse?

987
00:54:29,689 --> 00:54:34,160
방법이라는, 정말 흥미로운
논문 보신 적 있으세요?

988
00:54:34,160 --> 00:54:39,509
꿈이 진화적으로 적응적인 이유는,
일상 현실과는 아주 다른 이상한
The reason dreaming is evolutionary adaptive is to put you in weird situations that are very unlike your day-to-day reality, so as to prevent this kind of overfitting.

989
00:54:39,509 --> 00:54:44,560
상황에 놓이게 함으로써 이런
과적합을 막기 위해서라는 거예요.

990
00:54:44,560 --> 00:54:45,849
흥미로운 생각이네요.
It's an interesting idea.

991
00:54:45,849 --> 00:54:49,352
머릿속에서 뭔가를 생성하고 거기에
주의를 기울일 때, 그건 자기 자신의
I do think that when you're generating things in your head and then you're attending to it, you're training on your own samples, you're training on your synthetic data.

992
00:54:49,352 --> 00:54:52,766
샘플로 학습하는 거고, 자기 합성
데이터로 학습하는 거라고 생각해요.

993
00:54:52,766 --> 00:54:56,901
너무 오래 그렇게 하면 궤도를
벗어나서 지나치게 붕괴하게 되죠.
If you do it for too long, you go off-rails and you collapse way too much.

994
00:54:56,901 --> 00:55:01,360
삶에서는 항상 엔트로피를 찾아야 해요.
You always have to seek entropy in your life.

995
00:55:01,360 --> 00:55:03,240
다른 사람과 대화하는 것도 엔트로피의
Talking to other people is a great source of entropy, and things like that.

996
00:55:03,240 --> 00:55:05,120
훌륭한 원천이고, 그런 것들이 있죠.

997
00:55:05,120 --> 00:55:08,563
그래서 어쩌면 뇌도 그
과정에서 엔트로피 양을
So maybe the brain has also built some internal mechanisms for increasing the amount of entropy in that process.

998
00:55:08,563 --> 00:55:12,420
늘리기 위한 내부 메커니즘을
만들어놨을지도 몰라요.

999
00:55:12,420 --> 00:55:14,165
흥미로운 생각이네요.
That's an interesting idea.

1000
00:55:14,165 --> 00:55:18,729
이건 아직 다듬어지지 않은 생각인데,
일단 던져볼 테니 반응해 주세요.
This is a very ill-formed thought so I’ll just put it out and let you react to it.

1001
00:55:18,729 --> 00:55:22,204
우리가 아는 최고의 학습자, 즉 아이들은
The best learners that we are aware of, which are children, are extremely bad at recollecting information.

1002
00:55:22,204 --> 00:55:25,680
정보를 기억해내는 데는 극도로 서툴러요.

1003
00:55:25,680 --> 00:55:29,200
사실 아주 어린 시절에는
모든 걸 잊어버리잖아요.
In fact, at the very earliest stages of childhood, you will forget everything.

1004
00:55:29,200 --> 00:55:31,006
특정 시점 이전에 일어난 일에 대해서는
You're just an amnesiac about everything that happens before a certain year date.

1005
00:55:31,006 --> 00:55:32,640
그냥 기억상실증 환자나 마찬가지죠.

1006
00:55:32,640 --> 00:55:36,080
하지만 새로운 언어를 습득하고 세상으로부터
배우는 데는 굉장히 뛰어나죠.
But you're extremely good at picking up new languages and learning from the world.

1007
00:55:36,080 --> 00:55:38,960
어쩌면 나무보다 숲을 보는 능력
같은 게 관련 있을지도 몰라요.
Maybe there's some element of being able to see the forest for the trees.

1008
00:55:38,960 --> 00:55:42,822
반면에 스펙트럼의 반대쪽
끝을 보면 LLM 사전학습이
Whereas if you compare it to the opposite end of the spectrum, you have LLM pre-training, where these models will literally be able to regurgitate word-for-word what is the next thing in a Wikipedia page.

1009
00:55:42,822 --> 00:55:46,685
있는데, 이 모델들은
위키피디아 페이지의 다음 내용을

1010
00:55:46,685 --> 00:55:50,281
말 그대로 토씨 하나까지
그대로 뱉어낼 수 있죠.

1011
00:55:50,281 --> 00:55:52,894
하지만 아이처럼 추상적 개념을 정말
But their ability to learn abstract concepts really quickly, the way a child can, is much more limited.

1012
00:55:52,894 --> 00:55:55,920
빠르게 배우는 능력은 훨씬 제한적이에요.

1013
00:55:55,920 --> 00:56:01,131
그리고 성인은 그 중간 어디쯤에
있는데, 어린 시절의 학습 유연성은
Then adults are somewhere in between, where they don't have the flexibility of childhood learning, but they can memorize facts and information in a way that is harder for kids.

1014
00:56:01,131 --> 00:56:05,920
없지만, 아이들보다는 사실과
정보를 암기하는 게 더 수월하죠.

1015
00:56:05,920 --> 00:56:08,160
그 스펙트럼에 뭔가 흥미로운
지점이 있는 건지 잘 모르겠어요.
I don't know if there's something interesting about that spectrum.

1016
00:56:08,160 --> 00:56:10,640
그 안에 정말 흥미로운 게
있다고 생각해요, 100%요.
I think there's something very interesting about that, 100%.

1017
00:56:10,640 --> 00:56:14,036
인간은 LLM에 비해 나무보다 숲을
I do think that humans have a lot more of an element, compared to LLMs, of seeing the forest for the trees.

1018
00:56:14,036 --> 00:56:17,790
보는 요소가 훨씬 더 많다고 생각해요.

1019
00:56:17,790 --> 00:56:22,113
사실 우리는 암기를 그렇게 잘하지
못하는데, 그게 오히려 장점이죠.
We're not actually that good at memorization, which is actually a feature.

1020
00:56:22,113 --> 00:56:26,273
암기를 잘 못하기 때문에,
어쩔 수 없이 더
Because we're not that good at memorization, we're forced to find patterns in a more general sense.

1021
00:56:26,273 --> 00:56:30,433
일반적인 차원에서 패턴을
찾게 되는 거예요.

1022
00:56:30,433 --> 00:56:34,664
반면 LLM은 암기에
있어서는 극도로 뛰어나죠.
LLMs in comparison are extremely good at memorization.

1023
00:56:34,664 --> 00:56:37,731
이 모든 학습 소스에서 나온
구절들을 그대로 암송해 낼 거예요.
They will recite passages from all these training sources.

1024
00:56:37,731 --> 00:56:41,280
완전히 무의미한 데이터를
줘볼 수도 있어요.
You can give them completely nonsensical data.

1025
00:56:41,280 --> 00:56:42,807
텍스트 일부를 해시 처리하거나 해서,
You can hash some amount of text or something like that, you get a completely random sequence.

1026
00:56:42,807 --> 00:56:44,640
완전히 무작위인 시퀀스를
만들 수 있잖아요.

1027
00:56:44,640 --> 00:56:47,094
그걸로 한두 번만 학습을 시켜도, 갑자기
If you train on it, even just for a single iteration or two, it can suddenly regurgitate the entire thing.

1028
00:56:47,094 --> 00:56:49,324
그 전체를 그대로 토해낼 수 있어요.

1029
00:56:49,324 --> 00:56:50,122
그걸 통째로 암기해 버리는 거죠.
It will memorize it.

1030
00:56:50,122 --> 00:56:52,760
사람은 무작위 숫자 시퀀스 하나를 읽고
There's no way a person can read a single sequence of random numbers and recite it to you.

1031
00:56:52,760 --> 00:56:55,146
그걸 그대로 암송할 수는 없잖아요.

1032
00:56:55,146 --> 00:56:58,124
이건 버그가 아니라 특징이에요. 일반화
That's a feature, not a bug, because it forces you to only learn the generalizable components.

1033
00:56:58,124 --> 00:57:00,960
가능한 요소만 배우도록 강제하니까요.

1034
00:57:00,960 --> 00:57:04,769
반면 LLM은 사전학습 문서에
대한 온갖 기억 때문에 주의가
Whereas LLMs are distracted by all the memory that they have of the pre-training documents, and it's probably very distracting to them in a certain sense.

1035
00:57:04,769 --> 00:57:08,693
분산되는데, 어떤 의미에서는 그게
꽤 방해가 되는 것 같아요.

1036
00:57:08,693 --> 00:57:11,186
그래서 제가 인지 코어
얘기를 할 때, 아까
So that's why when I talk about the cognitive core, I want to remove the memory, which is what we talked about.

1037
00:57:11,186 --> 00:57:13,680
말씀드렸듯이 그 기억을
없애고 싶은 거예요.

1038
00:57:13,680 --> 00:57:17,737
기억을 줄여서 뭔가를 찾아보게
만들고, 사고를 위한
I'd love to have them have less memory so that they have to look things up, and they only maintain the algorithms for thought, and the idea of an experiment, and all this cognitive glue of acting.

1039
00:57:17,737 --> 00:57:21,793
알고리즘이나 실험이라는
개념, 그리고 행동에 필요한

1040
00:57:21,793 --> 00:57:25,560
이 모든 인지적 접착제만
유지하게 하고 싶어요.

1041
00:57:25,560 --> 00:57:31,578
이게 모델 붕괴를 막는
것과도 관련이 있나요?
And this is also relevant to preventing model collapse?

1042
00:57:31,578 --> 00:57:34,429
생각 좀 해볼게요.
Let me think.

1043
00:57:34,429 --> 00:57:35,640
잘 모르겠네요.
I'm not sure.

1044
00:57:35,640 --> 00:57:37,680
거의 별개의 축인 것 같아요.
It's almost like a separate axis.

1045
00:57:37,680 --> 00:57:43,015
모델들은 암기를 너무 잘하는데,
어떻게든 그걸 없애야 해요.
The models are way too good at memorization, and somehow we should remove that.

1046
00:57:43,015 --> 00:57:46,480
사람은 훨씬 못하는데,
그게 오히려 좋은 거죠.
People are much worse, but it's a good thing.

1047
00:57:46,480 --> 00:57:48,398
모델 붕괴에 대한 해법은 뭘까요?
What is a solution to model collapse?

1048
00:57:48,398 --> 00:57:52,400
시도해볼 수 있는 아주
단순한 방법들이 있어요.
There are very naive things you could attempt.

1049
00:57:52,400 --> 00:57:55,760
로짓 분포를 더 넓게
만드는 것 같은 거요.
The distribution over logits should be wider or something.

1050
00:57:55,760 --> 00:57:57,362
시도해볼 수 있는 단순한 방법이 많아요.
There are many naive things you could try.

1051
00:57:57,362 --> 00:58:00,085
그런 단순한 접근법들의
문제는 결국 뭔가요?
What ends up being the problem with the naive approaches?

1052
00:58:00,085 --> 00:58:01,572
아주 좋은 질문이네요.
That's a great question.

1053
00:58:01,572 --> 00:58:04,899
엔트로피에 대한 정규화 같은
걸 상상해볼 수 있죠.
You can imagine having a regularization for entropy and things like that.

1054
00:58:04,899 --> 00:58:07,421
경험적으로는 잘 안 되는 것 같아요.
I guess they just don't work as well empirically because right now the models are collapsed.

1055
00:58:07,421 --> 00:58:10,069
지금 당장 모델들이 붕괴된 상태니까요.

1056
00:58:10,069 --> 00:58:12,965
하지만 우리가 모델한테
원하는 작업 대부분은
But I will say most of the tasks that we want from them don't actually demand diversity.

1057
00:58:12,965 --> 00:58:15,981
사실 다양성을 그다지
요구하지 않는다고 봐요.

1058
00:58:15,981 --> 00:58:20,000
그게 아마 지금 벌어지고 있는
일에 대한 답일 거예요.
That’s probably the answer to what's going on.

1059
00:58:20,000 --> 00:58:22,720
프론티어 연구소들은 모델을
유용하게 만들려고 하는 거고요.
The frontier labs are trying to make the models useful.

1060
00:58:22,720 --> 00:58:26,320
출력의 다양성이라는 게
그렇게까지는... 아닌 것 같아요.
I feel like the diversity of the outputs is not so much...

1061
00:58:26,320 --> 00:58:29,005
첫째, 다양성은 다루기도
평가하기도 훨씬 어려운데, 어쩌면
Number one, it's much harder to work with and evaluate and all this stuff, but maybe it's not what's capturing most of the value.

1062
00:58:29,005 --> 00:58:31,607
그게 가치의 대부분을 차지하는
부분이 아닐 수도 있고요.

1063
00:58:31,607 --> 00:58:34,160
사실 오히려 적극적으로 페널티를 받죠.
In fact, it's actively penalized.

1064
00:58:34,160 --> 00:58:36,733
RL에서 지나치게
창의적이면 좋지 않아요.
If you're super creative in RL, it's not good.

1065
00:58:36,733 --> 00:58:37,061
네.
Yeah.

1066
00:58:37,061 --> 00:58:41,181
아니면 글쓰기를 LLM 도움
받아서 많이 한다면, 그것도 아마
Or maybe if you're doing a lot of writing, help from LLMs and stuff like that, it's probably bad because the models will silently give you all the same stuff.

1067
00:58:41,181 --> 00:58:45,544
안 좋을 거예요. 모델들이 조용히
다 똑같은 걸 내놓을 테니까요.

1068
00:58:45,544 --> 00:58:52,229
질문에 답하는 다양한 방식들을
탐색하지 않을 거예요.
They won't explore lots of different ways of answering a question.

1069
00:58:52,229 --> 00:58:55,182
어쩌면 이 다양성이라는 게,
그걸 필요로 하는 애플리케이션이
Maybe this diversity, not as many applications need it so the models don't have it.

1070
00:58:55,182 --> 00:58:57,509
그리 많지 않아서 모델에
없는 걸 수도 있고요.

1071
00:58:57,509 --> 00:58:59,985
그런데 그게 합성 데이터 생성 시점
같은 데서는 문제가 되는 거죠.
But then it's a problem at synthetic data generation time, et cetera.

1072
00:58:59,985 --> 00:59:02,272
그러니까 이 엔트로피가
모델에 유지되도록 두지
So we're shooting ourselves in the foot by not allowing this entropy to maintain in the model.

1073
00:59:02,272 --> 00:59:04,651
않아서 우리 스스로 발등을
찍고 있는 셈이에요.

1074
00:59:04,651 --> 00:59:06,880
아마 연구소들이 더
애써야 할 부분일 거예요.
Possibly the labs should try harder.

1075
00:59:06,880 --> 00:59:09,600
이게 아주 근본적인 문제라서 풀기 쉽지
I think you hinted that it's a very fundamental problem, it won't be easy to solve.

1076
00:59:09,600 --> 00:59:12,061
않을 거라고 암시하신 것 같은데요.

1077
00:59:12,061 --> 00:59:14,305
그 부분에 대한 직관은 어떤가요?
What's your intuition for that?

1078
00:59:14,305 --> 00:59:17,040
그게 아주 근본적인
문제인지는 잘 모르겠어요.
I don't know if it's super fundamental.

1079
00:59:17,040 --> 00:59:19,916
제가 그런 의도로
말했는지도 잘 모르겠고요.
I don't know if I intended to say that.

1080
00:59:19,916 --> 00:59:23,688
이런 실험을 직접 해본
건 아니지만, 엔트로피를
I do think that I haven't done these experiments, but I do think that you could probably regularize the entropy to be higher.

1081
00:59:23,688 --> 00:59:26,880
더 높게 정규화할 수는 있을 것 같아요.

1082
00:59:26,880 --> 00:59:29,917
그러니까 모델이 점점 더 많은
해법을 내놓게 유도하되,
So you're encouraging the model to give you more and more solutions, but you don't want it to start deviating too much from the training data.

1083
00:59:29,917 --> 00:59:32,953
학습 데이터에서 너무 많이
벗어나지는 않게 하는 거죠.

1084
00:59:32,953 --> 00:59:34,480
자기만의 언어를 만들어내기
시작할 테니까요.
It's going to start making up its own language.

1085
00:59:34,480 --> 00:59:37,139
극도로 희귀한 단어들을
쓰기 시작할 거고,
It's going to start using words that are extremely rare, so it's going to drift too much from the distribution.

1086
00:59:37,139 --> 00:59:39,914
그러면 분포에서 너무
멀리 벗어나게 되고요.

1087
00:59:39,914 --> 00:59:44,005
그러니까 분포를 통제하는 게 그냥
까다로운 문제인 것 같아요.
So I think controlling the distribution is just tricky.

1088
00:59:44,005 --> 00:59:47,600
그런 의미에서는 아마
간단한 문제가 아닐 거예요.
It's probably not trivial in that sense.

1089
00:59:47,600 --> 00:59:55,396
그냥 추측해보라고 하면, 지능의 최적
코어는 몇 비트 정도여야 할까요?
How many bits should the optimal core of intelligence end up being if you just had to make a guess?

1090
00:59:55,396 --> 00:59:59,244
폰 노이만 탐사선에 실을 그것
말이에요, 크기가 얼마나 되어야 할까요?
The thing we put on the von Neumann probes, how big does it have to be?

1091
00:59:59,244 --> 01:00:02,349
이 분야 역사를 보면 정말
흥미로운 지점이 있는데요,
It's really interesting in the history of the field because at one point everything was very scaling-pilled in terms of like, "Oh, we're gonna make much bigger models, trillions of parameter models."

1092
01:00:02,349 --> 01:00:05,775
한때는 다들 스케일링에 완전히
빠져서 '더 큰 모델, 수조

1093
01:00:05,775 --> 01:00:08,880
파라미터짜리 모델을 만들
거야' 이런 분위기였거든요.

1094
01:00:08,880 --> 01:00:15,187
그런데 모델 크기가 커졌다가
지금은 다시 작아지고 있어요.
What the models have done in size is they've gone up and now they've come down.

1095
01:00:15,187 --> 01:00:17,025
최신 모델들이 오히려 더 작아졌죠.
State-of-the-art models are smaller.

1096
01:00:17,025 --> 01:00:20,160
그런데도 여전히 너무 많은
걸 암기하고 있다고 봐요.
Even then, I think they memorized way too much.

1097
01:00:20,160 --> 01:00:24,141
그래서 예전에 제가 예측하길,
10억 파라미터 정도로도 아주
So I had a prediction a while back that I almost feel like we can get cognitive cores that are very good at even a billion parameters.

1098
01:00:24,141 --> 01:00:27,761
훌륭한 인지 코어를 만들 수
있을 것 같다고 했었어요.

1099
01:00:27,761 --> 01:00:31,130
20년 후에 10억 파라미터
모델과 대화한다면,
If you talk to a billion parameter model, I think in 20 years, you can have a very productive conversation.

1100
01:00:31,130 --> 01:00:34,240
아주 생산적인 대화를
나눌 수 있을 거예요.

1101
01:00:34,240 --> 01:00:36,625
생각도 하고, 훨씬 더
인간에 가까울 거고요.
It thinks and it's a lot more like a human.

1102
01:00:36,625 --> 01:00:39,089
근데 사실관계를 물어보면
찾아봐야 할 수도 있는데,
But if you ask it some factual question, it might have to look it up, but it knows that it doesn't know and it might have to look it up and it will just do all the reasonable things.

1103
01:00:39,089 --> 01:00:41,289
자기가 모른다는 걸 알고
찾아봐야 한다는 것도

1104
01:00:41,289 --> 01:00:43,577
알아서, 합리적인 일들을
다 알아서 할 거예요.

1105
01:00:43,577 --> 01:00:46,203
10억 파라미터면 충분할 거라고
보신다는 게 좀 의외네요.
That's surprising that you think it'll take a billion parameters.

1106
01:00:46,203 --> 01:00:51,440
이미 10억, 20억 파라미터 정도로도
아주 똑똑한 모델들이 있잖아요.
Because already we have billion parameter models or a couple billion parameter models that are very intelligent.

1107
01:00:51,440 --> 01:00:53,680
음, 최신 모델들은 1조
파라미터 정도예요.
Well, state-of-the-art models are like a trillion parameters.

1108
01:00:53,680 --> 01:00:55,928
근데 그건 너무 많은 걸
기억하고 있어서 그런 거예요.
But they remember so much stuff.

1109
01:00:55,928 --> 01:01:00,495
네, 근데 이 속도를 보면 10년
후에도 그렇다는 게 좀 놀랍네요…
Yeah, but I'm surprised that in 10 years, given the pace…

1110
01:01:00,495 --> 01:01:02,825
gpt-oss-20b가 있잖아요.
We have gpt-oss-20b.

1111
01:01:02,825 --> 01:01:05,970
그게 초기 GPT-4보다 훨씬 나은데,
That's way better than GPT-4 original, which was a trillion plus parameters.

1112
01:01:05,970 --> 01:01:09,414
GPT-4는 파라미터가
1조가 넘었잖아요.

1113
01:01:09,414 --> 01:01:12,209
그 추세를 보면, 10년
후에도 인지 코어가
Given that trend, I'm surprised you think in 10 years the cognitive core is still a billion parameters.

1114
01:01:12,209 --> 01:01:15,120
여전히 10억 파라미터일
거라는 게 의외예요.

1115
01:01:15,120 --> 01:01:18,355
'아니, 수천만이나 수백만 정도일 거야'
I'm surprised you're not like, "Oh it's gonna be like tens of millions or millions."

1116
01:01:18,355 --> 01:01:21,442
이렇게 말씀 안 하시는 것도 의외고요.

1117
01:01:22,160 --> 01:01:26,000
문제는 이거예요, 학습 데이터가
인터넷인데, 이게 정말 형편없다는 거죠.
Here's the issue, the training data is the internet, which is really terrible.

1118
01:01:26,000 --> 01:01:29,520
인터넷이 워낙 형편없어서,
개선할 여지가 엄청나게 많아요.
There's a huge amount of gains to be made because the internet is terrible.

1119
01:01:29,520 --> 01:01:33,133
당신과 제가 인터넷 하면
월스트리트저널 같은 걸 떠올리잖아요.
Even the internet, when you and I think of the internet, you're thinking of like The Wall Street Journal.

1120
01:01:33,133 --> 01:01:34,386
근데 실제로는 그게 아니에요.
That's not what this is.

1121
01:01:34,386 --> 01:01:37,670
프런티어 랩에서 사전학습
데이터셋을 보다가 무작위로
When you're looking at a pre-training dataset in the frontier lab and you look at a random internet document, it's total garbage.

1122
01:01:37,670 --> 01:01:40,720
인터넷 문서 하나를 딱
보면, 완전 쓰레기예요.

1123
01:01:40,720 --> 01:01:43,253
이게 대체 어떻게 작동하는
건지 저도 잘 모르겠어요.
I don't even know how this works at all.

1124
01:01:43,253 --> 01:01:46,511
무슨 주식 티커, 기호
같은 것들이고, 인터넷
It's some like stock tickers, symbols, it's a huge amount of slop and garbage from like all the corners of the internet.

1125
01:01:46,511 --> 01:01:50,160
구석구석에서 나온 슬롭과
쓰레기가 엄청나게 많아요.

1126
01:01:50,160 --> 01:01:53,920
월스트리트저널 기사 같은 건
아니고, 그런 건 극히 드물어요.
It's not like your Wall Street Journal article, that's extremely rare.

1127
01:01:53,920 --> 01:01:57,520
인터넷이 워낙 형편없다
보니, 그걸 압축하려면
So because the internet is so terrible, we have to build really big models to compress all that.

1128
01:01:57,520 --> 01:02:00,400
정말 큰 모델을 만들어야 하는 거죠.

1129
01:02:00,400 --> 01:02:02,240
근데 그 압축 작업의 대부분은 인지적인
Most of that compression is memory work instead of cognitive work.

1130
01:02:02,240 --> 01:02:04,080
작업이 아니라 기억을 위한 작업이에요.

1131
01:02:04,080 --> 01:02:06,061
근데 우리가 진짜 원하는 건 인지적인
But what we really want is the cognitive part, delete the memory.

1132
01:02:06,061 --> 01:02:08,240
부분이고, 기억은 지워버리고 싶은 거죠.

1133
01:02:08,240 --> 01:02:12,139
제 말은, 지능적인 모델들의
도움을 받아서 사전학습 데이터셋
I guess what I'm saying is that we need intelligent models to help us refine even the pre-training set to just narrow it down to the cognitive components.

1134
01:02:12,139 --> 01:02:15,920
자체를 다듬어서 인지적인
요소들로만 좁혀야 한다는 거예요.

1135
01:02:15,920 --> 01:02:18,232
그러면 훨씬 작은 모델로도
충분할 것 같아요, 데이터셋이
Then I think you get away with a much smaller model because it's a much better dataset and you could train it on it.

1136
01:02:18,232 --> 01:02:20,320
훨씬 좋아져서 그걸로 바로
학습시킬 수 있으니까요.

1137
01:02:20,320 --> 01:02:22,504
근데 아마 거기서 직접
학습시키기보다는, 훨씬
But probably it's not trained directly on it, it's probably distilled from a much better model still.

1138
01:02:22,504 --> 01:02:24,688
더 나은 모델로부터
증류해내는 방식일 거예요.

1139
01:02:24,688 --> 01:02:28,560
근데 증류된 버전도 왜 여전히
10억 개나 되는 거예요?
But why is the distilled version still a billion?

1140
01:02:28,560 --> 01:02:30,480
증류가 정말 효과가 좋다고 느껴져서요.
I just feel like distillation works extremely well.

1141
01:02:30,480 --> 01:02:35,520
그래서 작은 모델이 있다면, 그건
거의 확실히 증류된 거예요.
So almost every small model, if you have a small model, it's almost certainly distilled.

1142
01:02:35,520 --> 01:02:37,411
맞아요, 근데 10년이 지나도 증류로
Right, but why is the distillation in 10 years not getting below 1 billion?

1143
01:02:37,411 --> 01:02:39,680
10억 밑으로는 안
내려가는 이유가 뭘까요?

1144
01:02:39,680 --> 01:02:42,068
아, 10억보다 작아야
한다고 생각하시는 거예요?
Oh, you think it should be smaller than a billion?

1145
01:02:42,068 --> 01:02:43,192
그야, 당연히 그렇지 않을까요?
I mean, come on, right?

1146
01:02:43,192 --> 01:02:43,929
글쎄요, 모르겠네요.
I don't know.

1147
01:02:43,929 --> 01:02:46,725
어느 시점에는 뭔가
흥미로운 걸 하려면 적어도
At some point it should take at least a billion knobs to do something interesting.

1148
01:02:46,725 --> 01:02:49,520
파라미터가 10억 개는
되어야 할 것 같아요.

1149
01:02:49,520 --> 01:02:51,339
그것보다도 더 작아야
한다고 생각하시는 거예요?
You're thinking it should be even smaller?

1150
01:02:51,339 --> 01:02:51,593
네.
Yeah.

1151
01:02:51,593 --> 01:02:55,836
최근 몇 년간 추세를 보면,
그냥 손쉬운 개선들만 찾아내는
If you look at the trend over the last few years of just finding low-hanging fruit and going from trillion plus models to models that are literally two orders of magnitude smaller in a matter of two years and having better performance, it makes me think the sort of core of intelligence might be even way, way smaller.

1152
01:02:55,836 --> 01:03:00,211
것만으로도 1조 개가 넘던
모델이 불과 2년 만에 100분의

1153
01:03:00,211 --> 01:03:04,587
1 수준으로 줄었는데 성능은
오히려 좋아졌잖아요. 그걸 보면

1154
01:03:04,587 --> 01:03:09,360
지능의 핵심은 훨씬, 훨씬 더 작을
수도 있겠다는 생각이 들어요.

1155
01:03:09,360 --> 01:03:11,680
파인만 식으로 말하자면, "저
밑바닥에는 아직 공간이 많다"는 거죠.
Plenty of room at the bottom, to paraphrase Feynman.

1156
01:03:11,680 --> 01:03:15,260
저는 10억 파라미터짜리 인지
코어를 얘기하는 것만으로도 이미
I feel like I'm already contrarian by talking about a billion parameter cognitive core and you're outdoing me.

1157
01:03:15,260 --> 01:03:18,945
충분히 반골스럽다고 생각했는데,
그쪽이 저보다 한 수 위시네요.

1158
01:03:18,945 --> 01:03:23,360
어쩌면 조금 더 작아질
수도 있을 것 같긴 해요.
Maybe we could get a little bit smaller.

1159
01:03:23,360 --> 01:03:24,880
근데 현실적으로는, 모델이 어느 정도
I do think that practically speaking, you want the model to have some knowledge.

1160
01:03:24,880 --> 01:03:26,400
지식은 갖고 있어야 한다고 생각해요.

1161
01:03:26,400 --> 01:03:28,382
모든 걸 다 찾아봐야 하는
건 원치 않으실 거예요,
You don't want it to be looking up everything because then you can't think in your head.

1162
01:03:28,382 --> 01:03:30,080
그러면 머릿속에서 생각을
할 수가 없거든요.

1163
01:03:30,080 --> 01:03:32,720
매번 너무 많은 걸 찾아봐야 하는 거죠.
You're looking up way too much stuff all the time.

1164
01:03:32,720 --> 01:03:35,680
지식을 위한 기본적인
커리큘럼은 있어야 하지만,
Some basic curriculum needs to be there for knowledge, but it doesn't have esoteric knowledge.

1165
01:03:35,680 --> 01:03:38,640
난해하고 전문적인 지식까지
담을 필요는 없어요.

1166
01:03:38,640 --> 01:03:41,360
지금 우리는 인지 코어가 그럴듯하게
어떤 모습일지를 논의하고 있는 거죠.
We're discussing what plausibly could be the cognitive core.

1167
01:03:41,360 --> 01:03:44,260
별개의 질문이 하나 있는데요,
프론티어 모델의 크기가
There's a separate question which is what will be the size of frontier models over time?

1168
01:03:44,260 --> 01:03:46,960
시간이 지나면서 어떻게
변할 것인가 하는 거예요.

1169
01:03:46,960 --> 01:03:49,110
예측하시는 바가 있는지 궁금해요.
I'm curious if you have predictions.

1170
01:03:49,110 --> 01:03:52,013
GPT-4.5 정도까지는
규모가 계속 커졌는데,
We had increasing scale up to maybe GPT 4.5 and now we're seeing decreasing or plateauing scale.

1171
01:03:52,013 --> 01:03:54,357
지금은 줄어들거나 정체되는 것 같아요.

1172
01:03:54,357 --> 01:03:56,720
여기엔 이유가 여러 가지 있을 수 있죠.
There are many reasons this could be going on.

1173
01:03:56,720 --> 01:03:58,969
앞으로에 대한 예측이 있으신가요?
Do you have a prediction going forward?

1174
01:03:58,969 --> 01:04:03,666
가장 큰 모델들이 더 커질까요,
작아질까요, 아니면 비슷할까요?
Will the biggest models be bigger, will they be smaller, will they be the same?

1175
01:04:03,666 --> 01:04:07,200
아주 확신에 찬 예측은 없어요.
I don't have a super strong prediction.

1176
01:04:07,200 --> 01:04:08,887
연구소들은 그냥 실용적으로
움직이는 거예요.
The labs are just being practical.

1177
01:04:08,887 --> 01:04:10,960
플롭스 예산이 있고,
비용 예산이 있으니까요.
They have a flops budget and a cost budget.

1178
01:04:10,960 --> 01:04:14,240
사전학습이 플롭스나 비용 대부분을
쏟을 곳은 아니라는 게 밝혀진 거죠.
It just turns out that pre-training is not where you want to put most of your flops or your cost.

1179
01:04:14,240 --> 01:04:16,105
그래서 모델들이 작아진 거예요.
That's why the models have gotten smaller.

1180
01:04:16,105 --> 01:04:19,906
조금 작아지긴 했어요, 사전학습
단계가 작아진 거죠. 하지만 강화학습,
They are a bit smaller, the pre-training stage is smaller, but they make it up in reinforcement learning, mid-training, and all this stuff that follows.

1181
01:04:19,906 --> 01:04:23,219
미드트레이닝, 그 뒤에 이어지는
것들에서 그만큼 채워 넣어요.

1182
01:04:23,219 --> 01:04:25,975
모든 단계를 놓고 봤을
때, 가성비를 최대로
They're just being practical in terms of all the stages and how you get the most bang for the buck.

1183
01:04:25,975 --> 01:04:28,386
뽑아내는 데 실용적으로 접근하는 거죠.

1184
01:04:28,386 --> 01:04:30,640
그 추세를 예측하는 건 꽤 어려워요.
Forecasting that trend is quite hard.

1185
01:04:30,640 --> 01:04:34,039
그래도 아직 손쉽게 딸 수
있는 열매가 많다고 봐요.
I do still expect that there's so much low-hanging fruit.

1186
01:04:34,039 --> 01:04:37,121
그게 제 기본적인 예상이에요.
That's my basic expectation.

1187
01:04:38,240 --> 01:04:40,279
이 부분은 제 예측 분포가 꽤 넓어요.
I have a very wide distribution here.

1188
01:04:40,279 --> 01:04:45,161
그 손쉽게 딸 수 있는
열매들이 지난 2~5년 동안
Do you expect the low-hanging fruit to be similar in kind to the kinds of things that have been happening over the last two to five years?

1189
01:04:45,161 --> 01:04:49,520
있었던 것들과 비슷한
종류일 거라고 보시나요?

1190
01:04:49,520 --> 01:04:52,542
nanochat과 nanoGPT를
비교했을 때 드러나는,
If I look at nanochat versus nanoGPT and the architectural tweaks you made, is that the flavor of things you expect to continue to keep happening?

1191
01:04:52,542 --> 01:04:55,271
그간 만드신 아키텍처상의
미세 조정들을 보면, 그런

1192
01:04:55,271 --> 01:04:58,000
식의 변화가 앞으로도 계속될
거라고 보시는 거예요?

1193
01:04:58,000 --> 01:04:59,807
거대한 패러다임 전환은
기대하지 않으시는 거고요.
You're not expecting any giant paradigm shifts.

1194
01:04:59,807 --> 01:05:00,748
대체로는, 네.
For the most part, yeah.

1195
01:05:00,748 --> 01:05:02,427
데이터셋이 훨씬, 훨씬
더 좋아질 거라고 봐요.
I expect the datasets to get much, much better.

1196
01:05:02,427 --> 01:05:04,766
평균적인 데이터셋들을
보면 정말 형편없거든요.
When you look at the average datasets, they're extremely terrible.

1197
01:05:04,766 --> 01:05:07,749
얼마나 엉망인지, 어떻게 이게
작동하는 건지 모를 정도예요.
They’re so bad that I don't even know how anything works.

1198
01:05:07,749 --> 01:05:10,859
학습 데이터셋의 평균적인
예시를 보세요. 사실관계
Look at the average example in the training set: factual mistakes, errors, nonsensical things.

1199
01:05:10,859 --> 01:05:13,739
오류, 각종 오류, 말도
안 되는 내용들이죠.

1200
01:05:13,739 --> 01:05:16,995
근데 신기하게도 규모가 커지면 노이즈는
Somehow when you do it at scale, the noise washes away and you're left with some of the signal.

1201
01:05:16,995 --> 01:05:19,940
씻겨나가고 시그널만 좀 남더라고요.

1202
01:05:19,940 --> 01:05:21,762
데이터셋은 엄청나게 좋아질 거예요.
Datasets will improve a ton.

1203
01:05:21,762 --> 01:05:23,962
모든 게 다 나아질 거예요.
Everything gets better.

1204
01:05:23,962 --> 01:05:31,415
하드웨어도, 그걸 돌리고
최대한 뽑아내는 커널들도요.
Our hardware, all the kernels for running the hardware and maximizing what you get with the hardware.

1205
01:05:31,415 --> 01:05:34,145
엔비디아는 텐서 코어 같은
하드웨어 자체를 천천히 튜닝하고
Nvidia is slowly tuning the hardware itself, Tensor Cores, all that needs to happen and will continue to happen.

1206
01:05:34,145 --> 01:05:36,960
있고, 이런 건 계속 일어나야
하고 앞으로도 계속될 거예요.

1207
01:05:36,960 --> 01:05:39,840
커널들도 다 좋아져서 칩을
최대한 활용하게 될 거고요.
All the kernels will get better and utilize the chip to the max extent.

1208
01:05:39,840 --> 01:05:44,562
알고리즘도 최적화, 아키텍처,
어떻게 학습하고 어떤 알고리즘으로
All the algorithms will probably improve over optimization, architecture, and all the modeling components of how everything is done and what the algorithms are that we're even training with.

1209
01:05:44,562 --> 01:05:48,880
학습하는지 같은 모델링 요소
전반에서 아마 개선될 거예요.

1210
01:05:48,880 --> 01:05:53,135
어느 하나가 독보적으로
지배하진 않을 거라고 봐요.
I do expect that nothing dominates.

1211
01:05:53,135 --> 01:05:55,616
전부 다 20%씩 더해지는 정도죠.
Everything plus 20%.

1212
01:05:55,616 --> 01:06:00,662
제가 봐온 바로는 대략 그런 것 같아요.
This is roughly what I've seen.

1213
01:07:13,920 --> 01:07:17,338
사람들은 완전한 AGI를 향해 얼마나
People have proposed different ways of charting how much progress we've made towards full AGI.

1214
01:07:17,338 --> 01:07:21,440
나아갔는지 그리는 여러
방법을 제안해왔어요.

1215
01:07:21,440 --> 01:07:24,429
어떤 선을 하나 그려낼 수
있다면, 그 선이 AGI와
If you can come up with some line, then you can see where that line intersects with AGI and where that would happen on the x-axis.

1216
01:07:24,429 --> 01:07:27,522
어디서 교차하는지, x축상
언제인지 볼 수 있는 거죠.

1217
01:07:27,522 --> 01:07:29,920
어떤 사람들은 그게 교육
수준이라고 제안하기도 하고요.
People have proposed it's the education level.

1218
01:07:29,920 --> 01:07:32,174
고등학생 수준이었다가,
RL로 대학에 갔고,
We had a high schooler, and then they went to college with RL, and they're going to get a Ph.D.

1219
01:07:32,174 --> 01:07:34,240
이제 박사 학위를 받을 거라는 식으로요.

1220
01:07:34,240 --> 01:07:35,442
저는 그건 별로 안 좋아해요.
I don't like that one.

1221
01:07:35,442 --> 01:07:37,278
아니면 '호라이즌 길이'를
제안하기도 하죠.
Or they'll propose horizon length.

1222
01:07:37,278 --> 01:07:41,760
1분짜리 작업을 자율적으로 해낼
수 있다, 그런 식으로요.
Maybe they can do tasks that take a minute, they can do those autonomously.

1223
01:07:41,760 --> 01:07:43,997
그다음엔 사람 기준 한
시간짜리, 그다음엔 사람
Then they can autonomously do tasks that take an hour, a human an hour, a human a week.

1224
01:07:43,997 --> 01:07:46,320
기준 일주일짜리 작업을
자율적으로 해낸다는 거죠.

1225
01:07:46,320 --> 01:07:50,592
여기서 관련된 y축을 어떻게 보세요?
How do you think about the relevant y-axis here?

1226
01:07:50,592 --> 01:07:54,408
AI가 어떻게 발전하고 있는지
우리가 어떻게 생각해야 할까요?
How should we think about how AI is making progress?

1227
01:07:54,408 --> 01:07:55,920
거기엔 두 가지 답이 있어요.
I have two answers to that.

1228
01:07:55,920 --> 01:07:58,466
첫째, 사실 질문 자체를
통째로 거부하고 싶은 유혹이
Number one, I'm almost tempted to reject the question entirely because I see this as an extension of computing.

1229
01:07:58,466 --> 01:08:01,099
거의 들어요. 저는 이걸
컴퓨팅의 연장선으로 보거든요.

1230
01:08:01,099 --> 01:08:03,792
우리가 컴퓨팅의 발전을 어떻게
그릴지 이야기한 적 있나요?
Have we talked about how to chart progress in computing, or how do you chart progress in computing since the 1970s or whatever?

1231
01:08:03,792 --> 01:08:06,400
1970년대 이후로 컴퓨팅
발전을 어떻게 그려야 할까요?

1232
01:08:06,400 --> 01:08:07,557
그 y축은 뭘까요?
What is the y-axis?

1233
01:08:07,557 --> 01:08:12,642
그런 관점에서 보면 이 질문
자체가 좀 우습기도 해요.
The whole question is funny from that perspective a little bit.

1234
01:08:13,440 --> 01:08:17,143
사람들이 AI, 그리고 오리지널
AGI 얘기를 할 때 —
When people talk about AI and the original AGI and how we spoke about it when OpenAI started, AGI was a system you could go to that can do any economically valuable task at human performance or better.

1235
01:08:17,143 --> 01:08:20,727
OpenAI 초창기에 저희가
그걸 어떻게 이야기했냐면,

1236
01:08:20,727 --> 01:08:24,549
AGI는 경제적으로 가치 있는
어떤 작업이든 인간 수준이나

1237
01:08:24,549 --> 01:08:28,491
그 이상으로 해낼 수 있는,
찾아갈 수 있는 시스템이었어요.

1238
01:08:28,491 --> 01:08:29,790
그게 그 정의였어요.
That was the definition.

1239
01:08:29,790 --> 01:08:32,880
그때는 그 정의에 꽤 만족했어요.
I was pretty happy with that at the time.

1240
01:08:32,880 --> 01:08:35,019
저는 계속 그 정의를 고수해왔는데,
I've stuck to that definition forever, and then people have made up all kinds of other definitions.

1241
01:08:35,019 --> 01:08:37,383
사람들은 온갖 다른 정의를 만들어냈죠.

1242
01:08:37,383 --> 01:08:39,329
그래도 저는 그 정의가 마음에 들어요.
But I like that definition.

1243
01:08:39,329 --> 01:08:43,602
사람들이 항상 하는 첫 번째
양보는 물리적인 부분을 다
The first concession that people make all the time is they just take out all the physical stuff because we're just talking about digital knowledge work.

1244
01:08:43,602 --> 01:08:48,160
빼버리는 거예요, 그냥 디지털
지식 노동만 얘기하는 거죠.

1245
01:08:48,160 --> 01:08:50,743
그건 원래 정의 —
인간이 할 수 있는 어떤
That's a pretty major concession compared to the original definition, which was any task a human can do.

1246
01:08:50,743 --> 01:08:53,110
작업이든 — 에 비하면 꽤 큰 양보예요.

1247
01:08:53,110 --> 01:08:55,243
저는 물건을 드는 것 등을
할 수 있잖아요, AI는
I can lift things, etc. AI can't do that, obviously, but we'll take it.

1248
01:08:55,243 --> 01:08:57,680
당연히 그런 건 못 하지만,
일단 그건 받아들이기로 하죠.

1249
01:08:57,680 --> 01:08:59,681
"아, 지식 노동만"이라고 말하면서
What fraction of the economy are we taking away by saying, "Oh, only knowledge work?"

1250
01:08:59,681 --> 01:09:02,103
경제의 어느 정도
비중을 덜어내는 걸까요?

1251
01:09:02,103 --> 01:09:03,665
정확한 수치는 모르겠어요.
I don't know the numbers.

1252
01:09:03,665 --> 01:09:08,408
제 느낌엔, 굳이 추측하자면 대략
10%에서 20% 정도가 지식 노동,
I feel about 10% to 20%, if I had to guess, is only knowledge work, someone could work from home and perform tasks, something like that.

1253
01:09:08,408 --> 01:09:12,908
그러니까 재택으로 일하며 처리할
수 있는 작업들, 그런 것 같아요.

1254
01:09:12,908 --> 01:09:16,320
그래도 정말 큰 시장이에요.
It's still a really large market.

1255
01:09:16,640 --> 01:09:19,360
경제 규모가 얼마고, 그 10%나
20%는 또 얼마나 되나요?
What is the size of the economy, and what is 10% or 20%?

1256
01:09:19,360 --> 01:09:26,080
미국만 봐도 여전히 수조 달러 규모의
시장 점유율이나 일거리 얘기예요.
We're still talking about a few trillion dollars, even in the US, of market share or work.

1257
01:09:26,080 --> 01:09:28,367
그러니까 여전히 굉장히
큰 덩어리인 거죠.
So it's still a very massive bucket.

1258
01:09:28,367 --> 01:09:31,853
다시 정의로 돌아가서,
제가 살펴보고 싶은 건
Going back to the definition, what I would be looking for is to what extent is that definition true?

1259
01:09:31,853 --> 01:09:35,200
그 정의가 어느 정도까지
맞아떨어지느냐예요.

1260
01:09:35,200 --> 01:09:37,458
일자리들이 있는 걸까요, 아니면
수많은 작업들이 있는 걸까요?
Are there jobs or lots of tasks?

1261
01:09:37,458 --> 01:09:40,400
일자리가 아니라 작업
단위로 생각해본다면요.
If we think of tasks as not jobs but tasks.

1262
01:09:40,400 --> 01:09:45,053
어려운 게, 사회는 일자리를
구성하는 작업들 중에 뭐가
It's difficult because the problem is society will refactor based on the tasks that make up jobs, based on what's automatable or not.

1263
01:09:45,053 --> 01:09:49,706
자동화 가능한지에 따라 재편될
거라는 문제가 있거든요.

1264
01:09:49,706 --> 01:09:52,160
오늘날 AI로 대체
가능한 일자리는 뭘까요?
Today, what jobs are replaceable by AI?

1265
01:09:52,160 --> 01:09:56,496
최근 좋은 예가 제프리 힌튼이
영상의학과 의사가 더 이상 일자리로 남지
A good example recently was Geoff Hinton's prediction that radiologists would not be a job anymore, and this turned out to be very wrong in a bunch of ways.

1266
01:09:56,496 --> 01:10:00,720
않을 거라고 한 예측인데, 여러
면에서 완전히 틀린 걸로 판명 났죠.

1267
01:10:00,720 --> 01:10:03,980
컴퓨터 비전이 영상에서 인식해야
할 온갖 것들을 정말, 정말 잘
Radiologists are alive and well and growing, even though computer vision is really, really good at recognizing all the different things that they have to recognize in images.

1268
01:10:03,980 --> 01:10:07,520
인식하는데도 영상의학과 의사들은
멀쩡히 잘 있고 오히려 늘고 있어요.

1269
01:10:07,520 --> 01:10:11,114
그냥 여러 측면이 얽힌
지저분하고 복잡한 일이에요,
It's just a messy, complicated job with a lot of surfaces and dealing with patients and all this stuff in the context of it.

1270
01:10:11,114 --> 01:10:14,837
환자를 상대하는 것까지 그
맥락 안에 다 포함되고요.

1271
01:10:14,837 --> 01:10:20,240
그 정의로 보면 AI가 아직 큰
흠집을 낸 것 같지는 않아요.
I don't know that by that definition AI has made a huge dent yet.

1272
01:10:20,240 --> 01:10:23,680
제가 눈여겨보고 싶은 일자리들
중 일부는, 다른 것보다
Some of the jobs that I would be looking for have some features that make it very amenable to automation earlier than later.

1273
01:10:23,680 --> 01:10:27,120
더 일찍 자동화되기 쉽게
만드는 특징들을 갖고 있어요.

1274
01:10:27,120 --> 01:10:28,778
예를 들어 콜센터 직원 얘기가 자주
As an example, call center employees often come up, and I think rightly so.

1275
01:10:28,778 --> 01:10:30,960
나오는데, 저는 그게
맞는 예시라고 생각해요.

1276
01:10:30,960 --> 01:10:33,725
콜센터 직원의 업무에는
오늘날 자동화 가능한
Call center employees have a number of simplifying properties with respect to what's automatable today.

1277
01:10:33,725 --> 01:10:36,259
것과 관련해 여러 단순화 특징이 있어요.

1278
01:10:36,259 --> 01:10:38,398
업무 자체가 꽤 단순하거든요.
Their jobs are pretty simple.

1279
01:10:38,398 --> 01:10:42,320
일련의 작업들이고, 매
작업이 서로 비슷해 보여요.
It's a sequence of tasks, and every task looks similar.

1280
01:10:42,320 --> 01:10:44,775
사람과 전화 통화를
하고, 한 10분 정도
You take a phone call with a person, it's 10 minutes of interaction or whatever it is, probably a bit longer.

1281
01:10:44,775 --> 01:10:47,123
상호작용하는데, 실제로는 좀 더 길겠죠.

1282
01:10:47,123 --> 01:10:49,600
제 경험상으론 훨씬 더 길던데요.
In my experience, a lot longer.

1283
01:10:49,600 --> 01:10:52,222
어떤 체계 안에서 작업을
완료하고, 데이터베이스
You complete some task in some scheme, and you change some database entries around or something like that.

1284
01:10:52,222 --> 01:10:54,440
항목 같은 걸 좀 바꾸고 그런 식이에요.

1285
01:10:54,440 --> 01:10:58,335
그러니까 뭔가를 계속 반복하는
거고, 그게 그 일이에요.
So you keep repeating something over and over again, and that's your job.

1286
01:10:58,335 --> 01:11:02,044
작업 하나를 완료하는 데
걸리는 시간을 따져봐야
You do want to bring in the task horizon—how long it takes to perform a task—and then you want to also remove context.

1287
01:11:02,044 --> 01:11:05,040
하고, 그다음엔 맥락도 제거해야 해요.

1288
01:11:05,040 --> 01:11:08,880
회사의 다른 서비스 부서나 다른
고객들을 상대할 일이 없어요.
You're not dealing with different parts of services of companies or other customers.

1289
01:11:08,880 --> 01:11:11,840
그냥 데이터베이스, 나, 그리고
응대하는 고객, 이렇게 셋뿐이에요.
It's just the database, you, and a person you're serving.

1290
01:11:11,840 --> 01:11:15,520
더 폐쇄적이고, 더 이해하기
쉽고, 순전히 디지털이에요.
It's more closed, it's more understandable, it's purely digital.

1291
01:11:15,520 --> 01:11:17,368
그래서 저라면 그런 요소들을
찾아볼 것 같아요.
So I would be looking for those things.

1292
01:11:17,368 --> 01:11:20,004
하지만 거기서도 아직 완전
자동화를 보는 건 아니에요.
But even there, I'm not looking at full automation yet.

1293
01:11:20,004 --> 01:11:21,760
저는 자율성 슬라이더를
찾고 있는 거예요.
I'm looking for an autonomy slider.

1294
01:11:21,760 --> 01:11:25,600
사람을 곧바로 대체하지는
않을 거라고 봐요.
I expect that we are not going to instantly replace people.

1295
01:11:25,600 --> 01:11:29,040
업무량의 80%를 처리하는
AI를 투입하게 될 거예요.
We're going to be swapping in AIs that do 80% of the volume.

1296
01:11:29,040 --> 01:11:32,558
나머지 20%는 사람에게
위임하고, 사람은 좀 더 정형화된
They delegate 20% of the volume to humans, and humans are supervising teams of five AIs doing the call center work that's more rote.

1297
01:11:32,558 --> 01:11:36,515
콜센터 업무를 하는 AI 다섯 대로
이뤄진 팀들을 감독하는 거죠.

1298
01:11:36,515 --> 01:11:41,726
저라면 아직 완벽하지 않은 이런
AI들을 관리할 수 있게 해주는
I would be looking for new interfaces or new companies that provide some layer that allows you to manage some of these AIs that are not yet perfect.

1299
01:11:41,726 --> 01:11:46,640
레이어, 그런 새 인터페이스나
새 회사를 찾아볼 것 같아요.

1300
01:11:46,640 --> 01:11:48,880
그리고 그게 경제 전반에 걸쳐
나타날 거라고 예상해요.
Then I would expect that across the economy.

1301
01:11:48,880 --> 01:11:52,080
많은 직업이 콜센터
직원보다 훨씬 어려워요.
A lot of jobs are a lot harder than a call center employee.

1302
01:11:52,080 --> 01:11:56,413
영상의학과 의사의 경우엔
완전히 추측일 뿐이고,
With radiologists, I'm totally speculating and I have no idea what the actual workflow of a radiologist involves.

1303
01:11:56,413 --> 01:12:00,080
실제 업무 흐름이 어떤지는 전혀 몰라요.

1304
01:12:00,080 --> 01:12:04,070
하지만 적용될 만한 비유가
있다면, 웨이모가 처음
But one analogy that might be applicable is when Waymos were first being rolled out, there'd be a person sitting in the front seat, and you just had to have them there to make sure that if something went really wrong, they're there to monitor.

1305
01:12:04,070 --> 01:12:08,355
나왔을 때 운전석에 사람이
앉아 있었는데, 뭔가 크게

1306
01:12:08,355 --> 01:12:12,640
잘못됐을 때를 대비해 그저
지켜보라고 앉혀둔 거였죠.

1307
01:12:12,640 --> 01:12:15,440
지금도 여전히 사람들이 잘
되고 있는지 지켜보고 있어요.
Even today, people are still watching to make sure things are going well.

1308
01:12:15,440 --> 01:12:19,120
막 배포된 로보택시에도
여전히 사람이 타고 있고요.
Robotaxi, which was just deployed, still has a person inside it.

1309
01:12:19,120 --> 01:12:22,738
그러면 지금 우리도 비슷한 상황에
있을 수 있어요. 어떤 일의
Now we could be in a similar situation where if you automate 99% of a job, that last 1% the human has to do is incredibly valuable because it's bottlenecking everything else.

1310
01:12:22,738 --> 01:12:26,142
99%를 자동화하면, 사람이
해야 할 마지막 1%가 오히려

1311
01:12:26,142 --> 01:12:29,760
엄청나게 중요해지거든요. 그게
나머지 전체의 병목이 되니까요.

1312
01:12:29,760 --> 01:12:34,278
영상의학과 의사처럼, 웨이모 운전석에
앉은 사람이 그 마지막 1%를
If it were the case with radiologists, where the person sitting in the front of Waymo has to be specially trained for years in order to provide the last 1%, their wages should go up tremendously because they're the one thing bottlenecking wide deployment.

1313
01:12:34,278 --> 01:12:39,040
제공하려고 몇 년씩 특별 훈련을
받아야 하는 경우라면, 그 사람 임금은

1314
01:12:39,040 --> 01:12:43,680
엄청나게 올라야 해요. 광범위한
배치를 가로막는 유일한 병목이니까요.

1315
01:12:43,680 --> 01:12:46,447
영상의학과 의사도 비슷한
이유로 임금이 올랐다고
Radiologists, I think their wages have gone up for similar reasons, if you're the last bottleneck and you're not fungible.

1316
01:12:46,447 --> 01:12:49,320
생각해요. 마지막 병목이면서
대체 불가능하다면요.

1317
01:12:49,320 --> 01:12:53,520
웨이모 운전자는 다른 사람으로
대체 가능할 수도 있고요.
A Waymo driver might be fungible with others.

1318
01:12:53,520 --> 01:12:56,752
그래서 99%에 도달할 때까지는
임금이 오르다가, 마지막
So you might see this thing where your wages go up until you get to 99% and then fall just like that when the last 1% is gone.

1319
01:12:56,752 --> 01:13:00,400
1%가 사라지는 순간 뚝 떨어지는
현상을 보게 될 수도 있어요.

1320
01:13:00,400 --> 01:13:03,638
영상의학과나 콜센터
직원 임금 같은 데서도
And I wonder if we're seeing similar things with radiology or salaries of call center workers or anything like that.

1321
01:13:03,638 --> 01:13:07,440
비슷한 일이 일어나고 있는
건 아닐지 궁금하네요.

1322
01:13:07,440 --> 01:13:09,080
흥미로운 질문이네요.
That's an interesting question.

1323
01:13:09,080 --> 01:13:13,449
지금 영상의학과에서 그런 일이
일어나고 있다고는 생각하지 않아요.
I don't think we're currently seeing that with radiology.

1324
01:13:15,600 --> 01:13:17,474
영상의학과는 좋은
예시가 아닌 것 같아요.
I think radiology is not a good example.

1325
01:13:17,474 --> 01:13:21,635
제프리 힌튼이 왜 하필 영상의학과를
콕 집었는지 모르겠어요.
I don't know why Geoff Hinton picked on radiology because I think it's an extremely messy, complicated profession.

1326
01:13:21,635 --> 01:13:25,040
굉장히 지저분하고 복잡한
직종이라고 생각하거든요.

1327
01:13:25,040 --> 01:13:27,780
저는 오히려 오늘날 콜센터
직원들에게 무슨 일이 일어나고
I would be a lot more interested in what's happening with call center employees today, for example, because I would expect a lot of the rote stuff to be automatable today.

1328
01:13:27,780 --> 01:13:30,254
있는지가 훨씬 궁금해요.
예를 들면 반복적인 업무는

1329
01:13:30,254 --> 01:13:32,640
지금도 상당히 자동화
가능할 거라고 예상하거든요.

1330
01:13:32,640 --> 01:13:35,472
제가 직접 접근할 수 있는 데이터는
아니지만, 콜센터 직원들한테
I don't have first-level access to it but I would be looking for trends of what's happening with the call center employees.

1331
01:13:35,472 --> 01:13:38,142
무슨 일이 일어나고 있는지 그
추세를 계속 지켜보고 싶어요.

1332
01:13:38,142 --> 01:13:41,894
제가 예상하는 것 중 하나는,
어쩌면 AI로 교체하더라도
Some of the things I would also expect is that maybe they are swapping in AI, but then I would still wait for a year or two because I would potentially expect them to pull back and rehire some of the people.

1333
01:13:41,894 --> 01:13:45,647
저는 여전히 1~2년 정도는
지켜볼 거라는 거예요. 다시

1334
01:13:45,647 --> 01:13:49,520
발을 빼고 사람 일부를 재고용할
가능성이 있다고 보거든요.

1335
01:13:49,520 --> 01:13:52,826
실제로 AI를 도입한 회사들
전반에서 이미 그런 일이
There's been evidence that that's already been happening generally in companies that have been adopting AI, which I think is quite surprising.

1336
01:13:52,826 --> 01:13:56,588
일어나고 있다는 증거가 있는데,
이건 꽤 놀랍다고 생각해요.

1337
01:13:56,588 --> 01:13:59,551
저도 정말 놀랍다고 느낀 게 있었어요.
I also found what was really surprising.

1338
01:13:59,551 --> 01:14:00,282
AGI 말이에요, 그렇죠?
AGI, right?

1339
01:14:00,282 --> 01:14:02,490
모든 걸 다 할 수 있는 존재요.
A thing which would do everything.

1340
01:14:02,490 --> 01:14:06,705
육체노동은 빼더라도, 모든
지식노동은 할 수 있어야 하잖아요.
We'll take out physical work, but it should be able to do all knowledge work.

1341
01:14:06,705 --> 01:14:11,816
순진하게 예상했던 진행
방식은, 컨설턴트가 하는
What you would have naively anticipated is that the way this progression would happen is that you take a little task that a consultant is doing, you take that out of the bucket.

1342
01:14:11,816 --> 01:14:16,731
작은 업무 하나를 그
업무 바구니에서 빼내고,

1343
01:14:16,731 --> 01:14:21,095
회계사가 하는 작은 업무
하나를 그 바구니에서 빼내고,
You take a little task that an accountant is doing, you take that out of the bucket.

1344
01:14:21,095 --> 01:14:23,609
이런 식으로 모든 지식노동에
걸쳐 진행되는 거였어요.
Then you're just doing this across all knowledge work.

1345
01:14:23,609 --> 01:14:27,152
그런데 만약 우리가 지금
패러다임으로 AGI로 가는 길 위에
But instead, if we do believe we're on the path of AGI with the current paradigm, the progression is very much not like that.

1346
01:14:27,152 --> 01:14:30,480
있다고 믿는다면, 실제 진행
양상은 전혀 그렇지 않아요.

1347
01:14:30,480 --> 01:14:34,000
컨설턴트나 회계사가 엄청난 생산성
향상을 얻고 있는 것 같지는 않아요.
It does not seem like consultants and accountants are getting huge productivity improvements.

1348
01:14:34,000 --> 01:14:36,819
오히려 프로그래머들의 업무가 점점 더
It's very much like programmers are getting more and more chiseled away at their work.

1349
01:14:36,819 --> 01:14:39,920
깎여 나가고 있는 모습에 훨씬 가까워요.

1350
01:14:39,920 --> 01:14:45,800
이 회사들의 매출을 보면, 구글
같은 데와 비슷한 일반 챗
If you look at the revenues of these companies, discounting normal chat revenue—which is similar to Google or something—just looking at API revenues, it's dominated by coding.

1351
01:14:45,800 --> 01:14:51,680
매출은 제외하고 API 매출만
봐도, 코딩이 압도적이에요.

1352
01:14:51,680 --> 01:14:55,117
그러니까 '범용적'이어야 하는,
어떤 지식노동이든 할 수 있어야
So this thing which is "general", which should be able to do any knowledge work, is just overwhelmingly doing only coding.

1353
01:14:55,117 --> 01:14:58,357
하는 이 존재가 사실상 압도적으로
코딩만 하고 있는 거예요.

1354
01:14:58,357 --> 01:15:02,594
AGI가 이런 식으로 쓰일
거라고 예상했던 모습은 아니죠.
It's a surprising way that you would expect the AGI to be deployed.

1355
01:15:02,594 --> 01:15:05,303
여기 흥미로운 지점이 있어요.
There's an interesting point here.

1356
01:15:05,303 --> 01:15:12,400
저는 코딩이 이런 LLM들과 에이전트들에게
완벽한 첫 단추라고 생각해요.
I do believe coding is the perfect first thing for these LLMs and agents.

1357
01:15:12,400 --> 01:15:17,040
왜냐하면 코딩은 원래부터 근본적으로
텍스트를 중심으로 돌아가거든요.
That’s because coding has always fundamentally worked around text.

1358
01:15:17,040 --> 01:15:20,560
컴퓨터 터미널도 텍스트고, 모든
게 텍스트를 기반으로 하죠.
It's computer terminals and text, and everything is based around text.

1359
01:15:20,560 --> 01:15:24,480
LLM은 인터넷 데이터로 학습되다
보니 텍스트를 좋아해요.
LLMs, the way they're trained on the Internet, love text.

1360
01:15:24,480 --> 01:15:27,815
완벽한 텍스트 처리기인 데다, 이미
그런 데이터가 세상에 넘쳐나죠.
They're perfect text processors, and there's all this data out there.

1361
01:15:27,815 --> 01:15:29,520
완벽하게 맞아떨어지는 조합인 거예요.
It's a perfect fit.

1362
01:15:29,520 --> 01:15:33,520
코드와 텍스트를 다루기 위한
인프라도 이미 많이 갖춰져 있고요.
We also have a lot of infrastructure pre-built for handling code and text.

1363
01:15:33,520 --> 01:15:38,389
예를 들어 Visual Studio
Code나 여러분이 쓰는 IDE가
For example, we have Visual Studio Code or your favorite IDE showing you code, and an agent can plug into that.

1364
01:15:38,389 --> 01:15:42,746
코드를 보여주는데, 에이전트는
거기에 바로 연결할 수 있어요.

1365
01:15:42,746 --> 01:15:46,820
에이전트가 어떤 변경을
했다면, 코드베이스의 차이를
If an agent has a diff where it made some change, we suddenly have all this code already that shows all the differences to a code base using a diff.

1366
01:15:46,820 --> 01:15:51,040
보여주는 diff라는 게
이미 다 마련돼 있는 거죠.

1367
01:15:51,040 --> 01:15:55,920
코드를 위한 인프라는 이미 상당 부분
미리 지어놓은 것과 마찬가지예요.
It's almost like we've pre-built a lot of the infrastructure for code.

1368
01:15:55,920 --> 01:15:58,880
이런 걸 전혀 누리지 못하는
것들과 비교해보면 다르죠.
Contrast that with some of the things that don't enjoy that at all.

1369
01:15:58,880 --> 01:16:01,541
예를 들어 코딩이 아니라 슬라이드를 위한
As an example, there are people trying to build automation not for coding, but for slides.

1370
01:16:01,541 --> 01:16:03,840
자동화를 만들려는 사람들이 있어요.

1371
01:16:03,840 --> 01:16:05,327
슬라이드 만드는 회사를 하나 봤는데요.
I saw a company doing slides.

1372
01:16:05,327 --> 01:16:06,616
그게 훨씬, 훨씬 더 어려워요.
That's much, much harder.

1373
01:16:06,616 --> 01:16:09,600
훨씬 어려운 이유는 슬라이드가
텍스트가 아니기 때문이에요.
The reason it's much harder is because slides are not text.

1374
01:16:09,600 --> 01:16:12,498
슬라이드는 작은 그래픽들이 공간적으로
Slides are little graphics, they're arranged spatially, and there's a visual component to it.

1375
01:16:12,498 --> 01:16:15,396
배치된 거고, 시각적인 요소가 있죠.

1376
01:16:15,396 --> 01:16:18,880
슬라이드에는 이렇게 미리
마련된 인프라가 없어요.
Slides don't have this pre-built infrastructure.

1377
01:16:18,880 --> 01:16:21,192
예를 들어 에이전트가 슬라이드를
For example, if an agent is to make a change to your slides, how does a thing show you the diff?

1378
01:16:21,192 --> 01:16:24,320
바꾼다면, 그 diff를
어떻게 보여주죠?

1379
01:16:24,320 --> 01:16:25,478
diff를 어떻게 확인하나요?
How do you see the diff?

1380
01:16:25,478 --> 01:16:27,853
슬라이드용 diff를 보여주는
건 아무것도 없어요.
There's nothing that shows diffs for slides.

1381
01:16:27,853 --> 01:16:29,713
누군가 만들어야 하는 거죠.
Someone has to build it.

1382
01:16:29,713 --> 01:16:33,835
이런 것들 중 일부는 지금의
AI, 그러니까 텍스트 처리기인
Some of these things are not amenable to AIs as they are, which are text processors, and code surprisingly is.

1383
01:16:33,835 --> 01:16:37,707
AI에 잘 맞지 않는데,
코딩은 의외로 딱 맞는 거예요.

1384
01:16:37,707 --> 01:16:41,670
그것만으로는 설명이 안 되는 것 같아요.
I’m not sure that alone explains it.

1385
01:16:42,160 --> 01:16:46,721
저는 개인적으로 순수하게
언어를 넣으면 언어가 나오는
I personally have tried to get LLMs to be useful in domains which are just pure language-in, language-out, like rewriting transcripts, coming up with clips based on transcripts.

1386
01:16:46,721 --> 01:16:52,069
영역—대본을 다시 쓴다거나,
대본을 바탕으로 클립을 만든다거나

1387
01:16:52,069 --> 01:16:56,788
하는 일—에서 LLM을 유용하게
쓰려고 시도해 봤어요.

1388
01:16:57,600 --> 01:17:00,720
제가 할 수 있는 걸 다 해본
건 아닐 가능성이 커요.
It's very plausible that I didn't do every single possible thing I could do.

1389
01:17:00,720 --> 01:17:03,805
컨텍스트에 좋은 예시들을
잔뜩 넣긴 했는데, 어쩌면
I put a bunch of good examples in context, but maybe I should have done some kind of fine-tuning.

1390
01:17:03,805 --> 01:17:06,560
파인튜닝 같은 걸 했어야
했는지도 모르겠어요.

1391
01:17:06,560 --> 01:17:11,784
저희 둘 다 아는 친구 앤디
마투샥은, 모델이 간격 반복 카드를
Our mutual friend, Andy Matuschak, told me that he tried 50 billion things to try to get models to be good at writing spaced repetition prompts.

1392
01:17:11,784 --> 01:17:16,560
잘 만들게 하려고 500억
가지를 시도해봤다고 하더라고요.

1393
01:17:16,560 --> 01:17:19,843
이것도 완전히 언어를 넣으면
언어가 나오는 작업이고,
Again, very much language-in, language-out tasks, the kind of thing that should be dead center in the repertoire of these LLMs.

1394
01:17:19,843 --> 01:17:22,560
LLM의 주특기 한복판에
있어야 할 일이죠.

1395
01:17:22,560 --> 01:17:25,920
그는 몇 개의 예시를 주는
인컨텍스트 러닝을 시도했어요.
He tried in-context learning with a few-shot examples.

1396
01:17:25,920 --> 01:17:31,857
지도 파인튜닝과
검색(retrieval)도 시도했고요.
He tried supervised fine-tuning and retrieval.

1397
01:17:31,857 --> 01:17:37,067
그런데도 자기 마음에 들게
카드를 만들게 할 수는 없었대요.
He could not get them to make cards to his satisfaction.

1398
01:17:37,067 --> 01:17:41,041
그래서 저는 언어를 출력하는
영역에서조차, 코딩을 제외하면 이
So I find it striking that even in language-out domains, it's very hard to get a lot of economic value out of these models separate from coding.

1399
01:17:41,041 --> 01:17:45,600
모델들에서 큰 경제적 가치를 뽑아내기가
굉장히 어렵다는 게 흥미로워요.

1400
01:17:45,600 --> 01:17:49,143
뭐가 원인인지 모르겠어요.
I don't know what explains it.

1401
01:17:49,143 --> 01:17:51,200
그건 말이 되네요.
That makes sense.

1402
01:17:51,200 --> 01:17:54,508
텍스트라고 다 쉽다는 얘기는 아니에요.
I'm not saying that anything text is trivial.

1403
01:17:54,508 --> 01:17:58,720
코드는 꽤 구조화되어 있다고 생각해요.
I do think that code is pretty structured.

1404
01:17:58,720 --> 01:18:04,880
텍스트는 훨씬 더 화려하고,
엔트로피가 훨씬 많다고 할까요.
Text is maybe a lot more flowery, and there's a lot more entropy in text, I would say.

1405
01:18:04,880 --> 01:18:07,277
달리 어떻게 표현해야 할지 모르겠네요.
I don't know how else to put it.

1406
01:18:07,277 --> 01:18:11,197
게다가 코드는 어려운 일이라,
아주 단순한 지식만으로도
Also code is hard, and so people feel quite empowered by LLMs, even from simple knowledge.

1407
01:18:11,197 --> 01:18:14,986
사람들이 LLM 덕분에 꽤
힘을 얻은 느낌을 받아요.

1408
01:18:14,986 --> 01:18:19,280
아주 좋은 답을 갖고 있는
건 아닌 것 같아요.
I don't know that I have a very good answer.

1409
01:18:19,280 --> 01:18:22,240
물론 텍스트라서 훨씬,
훨씬 쉬워지긴 하지만,
Obviously, text makes it much, much easier, but it doesn't mean that all text is trivial.

1410
01:18:22,240 --> 01:18:25,200
그렇다고 모든 텍스트가
쉽다는 뜻은 아니에요.

1411
01:18:25,200 --> 01:18:27,328
초지능은 어떻게 생각하세요?
How do you think about superintelligence?

1412
01:18:27,328 --> 01:18:31,013
평범한 인간이나 인간 회사들과는 질적으로
Do you expect it to feel qualitatively different from normal humans or human companies?

1413
01:18:31,013 --> 01:18:34,196
다르게 느껴질 거라고 예상하시나요?

1414
01:18:34,196 --> 01:18:38,895
저는 그걸 사회 속 자동화의
진행 과정으로 봐요.
I see it as a progression of automation in society.

1415
01:18:38,895 --> 01:18:42,797
컴퓨팅의 흐름을 그대로
연장해보면, 많은 것들이
Extrapolating the trend of computing, there will be a gradual automation of a lot of things, and superintelligence will an extrapolation of that.

1416
01:18:42,797 --> 01:18:47,600
점진적으로 자동화될 거고,
초지능은 그 연장선일 뿐이에요.

1417
01:18:47,600 --> 01:18:51,786
시간이 지날수록 점점 더 자율적인
개체들이 늘어나서 디지털 작업의 상당
We expect more and more autonomous entities over time that are doing a lot of the digital work and then eventually even the physical work some amount of time later.

1418
01:18:51,786 --> 01:18:56,080
부분을 하고, 어느 정도 지나면 물리적인
작업까지 하게 될 거라고 봐요.

1419
01:18:56,080 --> 01:19:00,560
그러니까 대략 말하자면,
저는 그냥 자동화라고 봐요.
Basically I see it as just automation, roughly speaking.

1420
01:19:00,560 --> 01:19:02,696
하지만 자동화는 인간이 이미
할 수 있는 일들을 포함하고,
But automation includes the things humans can already do, and superintelligence implies things humans can’t do.

1421
01:19:02,696 --> 01:19:04,498
초지능은 인간이 할 수
없는 일들을 의미하잖아요.

1422
01:19:04,498 --> 01:19:07,729
근데 사람들이 하는 일 중 하나가
새로운 걸 발명하는 건데, 저는
But one of the things that people do is invent new things, which I would just put into the automation if that makes sense.

1423
01:19:07,729 --> 01:19:10,960
그것도 그냥 자동화에 넣을 것
같아요, 말이 되는지 모르겠지만요.

1424
01:19:10,960 --> 01:19:15,108
그런데 좀 덜 추상적으로,
더 질적인 측면에서
But I guess, less abstractly and more qualitatively, do you expect something to feel like…

1425
01:19:15,108 --> 01:19:19,588
여쭤보면, 뭔가 이런
느낌일 거라고 예상하시나요…

1426
01:19:19,588 --> 01:19:24,793
이 존재가 너무 빨리 생각하거나,
사본이 너무 많거나, 그
Because this thing can either think so fast, or has so many copies, or the copies can merge back into themselves, or is much smarter, any number of advantages an AI might have, will the civilization in which these AIs exist just feel qualitatively different from humans?

1427
01:19:24,793 --> 01:19:29,835
사본들이 다시 하나로 합쳐지거나,
훨씬 더 똑똑하거나 —

1428
01:19:29,835 --> 01:19:35,203
AI가 가질 수 있는 그 어떤
이점 때문이든, 그런 AI들이

1429
01:19:35,203 --> 01:19:39,920
존재하는 문명이 인간과는
질적으로 다르게 느껴질까요?

1430
01:19:39,920 --> 01:19:40,822
그럴 것 같아요.
I think it will.

1431
01:19:40,822 --> 01:19:44,323
근본적으로는 자동화지만,
굉장히 낯설게 느껴질 거예요.
It is fundamentally automation, but it will be extremely foreign.

1432
01:19:44,323 --> 01:19:46,068
정말 이상해 보일 거예요.
It will look really strange.

1433
01:19:46,068 --> 01:19:50,009
말씀하신 대로, 이 모든
걸 컴퓨터 클러스터에서
Like you mentioned, we can run all of this on a computer cluster and much faster.

1434
01:19:50,009 --> 01:19:53,040
훨씬 더 빠르게 돌릴 수 있으니까요.

1435
01:19:53,040 --> 01:19:57,279
그런 세상이 되면 제가 불안해지기
시작하는 시나리오 중 하나가,
Some of the scenarios that I start to get nervous about when the world looks like that is this gradual loss of control and understanding of what's happening.

1436
01:19:57,279 --> 01:20:01,760
무슨 일이 일어나는지에 대한 통제력과
이해를 점점 잃어가는 거예요.

1437
01:20:01,760 --> 01:20:04,914
그게 가장 가능성 높은
결과인 것 같아요,
I think that's the most likely outcome, that there will be a gradual loss of understanding.

1438
01:20:04,914 --> 01:20:07,520
이해가 점점 사라지는 것 말이에요.

1439
01:20:07,520 --> 01:20:10,124
이런 것들을 계속 곳곳에
겹겹이 쌓아갈 거고,
We'll gradually layer all this stuff everywhere, and there will be fewer and fewer people who understand it.

1440
01:20:10,124 --> 01:20:12,520
그걸 이해하는 사람은
점점 줄어들 거예요.

1441
01:20:12,520 --> 01:20:14,812
그러다 결국 무슨 일이 일어나는지에 대한
Then there will be a gradual loss of control and understanding of what's happening.

1442
01:20:14,812 --> 01:20:17,000
통제력과 이해를 점점 잃게 될 거예요.

1443
01:20:17,000 --> 01:20:20,727
그게 이 모든 일이 흘러갈 가장
가능성 높은 결과로 보여요.
That to me seems the most likely outcome of how all this stuff will go down.

1444
01:20:20,727 --> 01:20:22,000
그 부분을 좀 더 파고들어 볼게요.
Let me probe on that a bit.

1445
01:20:22,000 --> 01:20:27,520
통제력 상실과 이해 상실이 같은
건지는 저한테는 분명하지 않아요.
It's not clear to me that loss of control and loss of understanding are the same things.

1446
01:20:27,520 --> 01:20:31,899
TSMC든 인텔이든,
아무 회사나 골라도,
A board of directors at TSMC, Intel—name a random company—they're just prestigious 80-year-olds.

1447
01:20:31,899 --> 01:20:37,040
이사회는 그냥 명망 있는
80대 어르신들이잖아요.

1448
01:20:37,040 --> 01:20:42,259
이해도는 거의 없고, 어쩌면
실질적인 통제력도 없을 수 있어요.
They have very little understanding, and maybe they don't practically actually have control.

1449
01:20:43,200 --> 01:20:45,632
더 나은 예는 미국 대통령이에요.
A better example is the President of the United States.

1450
01:20:45,632 --> 01:20:48,800
대통령은 정말 어마어마한
권력을 갖고 있잖아요.
The President has a lot of fucking power.

1451
01:20:48,800 --> 01:20:51,516
지금 재임 중인 사람을 좋게
평가하려는 건 아니에요—
I'm not trying to make a good statement about the current operant, or maybe I am, but the actual level of understanding is very different from the level of control.

1452
01:20:51,516 --> 01:20:53,951
아니 어쩌면 그런 걸 수도
있는데— 아무튼 실제

1453
01:20:53,951 --> 01:20:56,480
이해 수준은 통제 수준과는
매우 다르다는 거예요.

1454
01:20:56,480 --> 01:20:58,922
그건 맞는 말인 것 같아요.
I think that's fair.

1455
01:20:58,922 --> 01:21:01,712
좋은 반박이네요.
That's a good pushback.

1456
01:21:01,712 --> 01:21:05,200
저는 둘 다 잃게 될 거라고 예상해요.
I think I expect loss of both.

1457
01:21:05,200 --> 01:21:05,741
어째서요?
How come?

1458
01:21:05,741 --> 01:21:10,160
이해를 잃는 건 당연한데,
왜 통제력까지 잃는다는 거죠?
Loss of understanding is obvious, but why loss of control?

1459
01:21:10,160 --> 01:21:16,156
지금은 이게 어떤 모습일지 저도 잘
모르는 영역까지 와 있는데, 제가
We're really far into a territory where I don't know what this looks like, but if I were to write sci-fi novels, they would look along the lines of not even a single entity that takes over everything, but multiple competing entities that gradually become more and more autonomous.

1460
01:21:16,156 --> 01:21:21,679
SF 소설을 쓴다면 모든 걸
장악하는 단일 개체가 아니라, 점점

1461
01:21:21,679 --> 01:21:27,360
더 자율성이 커지는 여러 경쟁
개체들이 등장하는 식일 것 같아요.

1462
01:21:27,360 --> 01:21:31,040
그중 일부는 폭주하고,
나머지가 그걸 막아내는 거죠.
Some of them go rogue and the others fight them off.

1463
01:21:31,040 --> 01:21:37,600
우리가 위임해버린, 완전히 자율적인
활동들이 뒤섞인 도가니 같은 거예요.
It's this hot pot of completely autonomous activity that we've delegated to.

1464
01:21:37,600 --> 01:21:40,357
그런 느낌일 것 같아요.
I feel it would have that flavor.

1465
01:21:40,357 --> 01:21:45,786
통제력 상실을 가져오는 건 그들이
우리보다 똑똑하다는 사실이 아니에요.
It is not the fact that they are smarter than us that is resulting in the loss of control.

1466
01:21:45,786 --> 01:21:50,995
그들이 서로 경쟁한다는
사실, 그리고 그 경쟁에서
It's the fact that they are competing with each other, and whatever arises out of that competition leads to the loss of control.

1467
01:21:50,995 --> 01:21:55,818
나오는 결과물이 통제력
상실로 이어지는 거죠.

1468
01:21:58,960 --> 01:22:02,778
이런 것들 상당수는
사람들의 도구일 거고,
A lot of these things, they will be tools to people, they're acting on behalf of people or something like that.

1469
01:22:02,778 --> 01:22:06,264
사람을 대신해서 행동하는 식일 거예요.

1470
01:22:06,264 --> 01:22:10,105
그러니 그 사람들 개개인은 통제하고
있는 거겠지만, 우리가 원하는
So maybe those people are in control, but maybe it's a loss of control overall for society in the sense of outcomes we want.

1471
01:22:10,105 --> 01:22:13,840
결과라는 측면에서는 사회 전체로
보면 통제력 상실일 수 있어요.

1472
01:22:13,840 --> 01:22:16,752
개인들을 대신해 행동하는 개체들인데도,
You have entities acting on behalf of individuals that are still roughly seen as out of control.

1473
01:22:16,752 --> 01:22:20,080
대체로 통제 밖에 있는
것처럼 보이는 거죠.

1474
01:22:20,080 --> 01:22:22,020
이건 더 일찍 여쭤봤어야 할 질문인데요.
This is a question I should have asked earlier.

1475
01:22:22,020 --> 01:22:27,845
AI 엔지니어링이나 AI 리서치를 할
때, 지금은 이 모델들이 대체재라기보다는
We were talking about how currently it feels like when you're doing AI engineering or AI research, these models are more in the category of compiler rather than in the category of a replacement.

1476
01:22:27,845 --> 01:22:32,450
컴파일러 같은 범주에 더 가깝게
느껴진다는 얘기를 했었잖아요.

1477
01:22:32,450 --> 01:22:34,722
그런데 어느 시점에
AGI가 있다면, 그건
At some point, if you have AGI, it should be able to do what you do.

1478
01:22:34,722 --> 01:22:36,797
당신이 하는 일을 할 수 있어야 하죠.

1479
01:22:36,797 --> 01:22:40,210
당신 복제본 100만
개를 병렬로 돌리면 AI
Do you feel like having a million copies of you in parallel results in some huge speed-up of AI progress?

1480
01:22:40,210 --> 01:22:43,760
발전 속도가 엄청나게
빨라질 거라고 느끼시나요?

1481
01:22:43,760 --> 01:22:46,505
만약 그런 일이 일어난다면,
진짜 AGI를 갖게
If that does happen, do you expect to see an intelligence explosion once we have a true AGI?

1482
01:22:46,505 --> 01:22:49,356
됐을 때 지능 폭발이
일어날 거라고 예상하시나요?

1483
01:22:49,356 --> 01:22:52,445
오늘날의 LLM을 말하는 게 아니에요.
I'm not talking about LLMs today.

1484
01:22:52,445 --> 01:22:55,986
그럴 거라고 생각은 하는데,
그건 평소와 다를 바 없는
I do, but it's business as usual because we're in an intelligence explosion already and have been for decades.

1485
01:22:55,986 --> 01:23:00,000
일이에요. 우리는 이미 수십 년째
지능 폭발 속에 있으니까요.

1486
01:23:00,000 --> 01:23:02,505
기본적으로 그건 산업의
아주 많은 측면들에
It's basically the GDP curve that is an exponential weighted sum over so many aspects of the industry.

1487
01:23:02,505 --> 01:23:04,902
대한 지수적 가중합인 GDP 곡선이에요.

1488
01:23:04,902 --> 01:23:08,351
모든 것이 점진적으로 자동화되고
있고, 그건 수백 년째 그래 왔어요.
Everything is gradually being automated and has been for hundreds of years.

1489
01:23:08,351 --> 01:23:13,040
산업혁명도 자동화였고, 물리적 구성
요소들과 도구 제작 같은 것들이었죠.
The Industrial Revolution is automation and some of the physical components and tool building and all this stuff.

1490
01:23:13,040 --> 01:23:16,720
컴파일러는 초기 소프트웨어
자동화였고요, 등등.
Compilers are early software automation, et cetera.

1491
01:23:16,720 --> 01:23:21,760
우리는 오랫동안 재귀적으로 자기
개선을 하며 폭발해온 거예요.
We've been recursively self-improving and exploding for a long time.

1492
01:23:21,760 --> 01:23:26,026
다르게 보자면, 생체역학
같은 걸 들여다보지 않는 한
Another way to see it is that Earth was a pretty boring place if you don't look at the biomechanics and so on, and looked very similar.

1493
01:23:26,026 --> 01:23:30,440
지구는 꽤 지루한 곳이었고,
계속 비슷한 모습이었어요.

1494
01:23:30,440 --> 01:23:34,516
우주에서 보면 우리는 지금
폭죽이 터지는 사건 한가운데
If you look from space, we're in the middle of this firecracker event, but we're seeing it in slow motion.

1495
01:23:34,516 --> 01:23:38,320
있는 건데, 그걸 슬로우
모션으로 보고 있는 거죠.

1496
01:23:38,320 --> 01:23:42,800
이건 이미 아주 오랫동안 일어나고
있었다고 확실히 느껴요.
I definitely feel like this has already happened for a very long time.

1497
01:23:42,800 --> 01:23:46,077
다시 말하지만, 저는 AI를
오랫동안 이미 일어나고
Again, I don't see AI as a distinct technology with respect to what has already been happening for a long time.

1498
01:23:46,077 --> 01:23:49,120
있던 일과 구별되는 별개의
기술로 보지 않아요.

1499
01:23:49,120 --> 01:23:52,351
이게 그 초지수적 증가 추세랑
연속선상에 있다고 보시는 거죠?
You think it's continuous with this hyper-exponential trend?

1500
01:23:52,351 --> 01:23:52,661
네.
Yes.

1501
01:23:52,661 --> 01:23:55,045
그게 제게는 굉장히
흥미로웠어요. 한동안 GDP
That's why this was very interesting to me, because I was trying to find AI in the GDP for a while.

1502
01:23:55,045 --> 01:23:57,520
데이터 안에서 AI의
흔적을 찾아보려 했었거든요.

1503
01:23:57,520 --> 01:23:59,348
GDP가 올라가야 한다고 생각했어요.
I thought that GDP should go up.

1504
01:23:59,348 --> 01:24:02,568
그런데 컴퓨터나 휴대폰처럼, 제가 정말
But then I looked at some of the other technologies that I thought were very transformative, like computers or mobile phones or et cetera.

1505
01:24:02,568 --> 01:24:06,555
혁신적이라고 생각했던 다른
기술들을 살펴봤어요.

1506
01:24:06,555 --> 01:24:07,809
GDP에서는 그런 기술들이 안 보여요.
You can't find them in GDP.

1507
01:24:07,809 --> 01:24:09,184
GDP는 똑같은 지수함수 그대로예요.
GDP is the same exponential.

1508
01:24:09,184 --> 01:24:12,602
초기 아이폰조차 앱스토어도 없었고, 지금
Even the early iPhone didn't have the App Store, and it didn't have a lot of the bells and whistles that the modern iPhone has.

1509
01:24:12,602 --> 01:24:16,176
아이폰이 가진 온갖
부가 기능도 없었어요.

1510
01:24:16,176 --> 01:24:18,848
그래서 아이폰이 나온
2008년을 우리는 거대한
So even though we think of 2008, when the iPhone came out, as this major seismic change, it's actually not.

1511
01:24:18,848 --> 01:24:21,520
지각변동으로 생각하지만,
사실은 그렇지 않아요.

1512
01:24:21,520 --> 01:24:24,466
모든 게 너무 넓게 퍼지고
너무 천천히 확산돼서, 결국
Everything is so spread out and it so slowly diffuses that everything ends up being averaged up into the same exponential.

1513
01:24:24,466 --> 01:24:27,118
다 평균이 나면서 똑같은
지수함수 안에 들어가요.

1514
01:24:27,118 --> 01:24:28,720
컴퓨터도 정확히 똑같아요.
It's the exact same thing with computers.

1515
01:24:28,720 --> 01:24:30,180
GDP에서 '아, 이제 우리한테 컴퓨터가
You can't find them in the GDP like, "Oh, we have computers now."

1516
01:24:30,180 --> 01:24:31,440
생겼다' 이런 식으로는 안 보여요.

1517
01:24:31,440 --> 01:24:33,760
그런 일은 일어나지 않았어요,
진행이 워낙 느리니까요.
That's not what happened, because it's such slow progression.

1518
01:24:33,760 --> 01:24:35,700
AI도 똑같은 걸 보게 될 거예요.
With AI we're going to see the exact same thing.

1519
01:24:35,700 --> 01:24:36,769
그냥 자동화가 좀 더
늘어나는 것뿐이에요.
It's just more automation.

1520
01:24:36,769 --> 01:24:39,522
전에는 못 짰던 종류의
프로그램을 짤 수 있게 해주긴
It allows us to write different kinds of programs that we couldn't write before, but AI is still fundamentally a program.

1521
01:24:39,522 --> 01:24:42,560
하지만, AI도 근본적으로는
여전히 하나의 프로그램이에요.

1522
01:24:42,560 --> 01:24:46,880
새로운 종류의 컴퓨터고, 새로운
종류의 컴퓨팅 시스템이에요.
It's a new kind of computer and a new kind of computing system.

1523
01:24:46,880 --> 01:24:49,436
그런데 이런 온갖 문제들을
안고 있고, 시간이 지나며
But it has all these problems, it's going to diffuse over time, and it's still going to add up to the same exponential.

1524
01:24:49,436 --> 01:24:52,080
확산될 거고, 결국은 똑같은
지수함수로 합산될 거예요.

1525
01:24:52,080 --> 01:24:56,400
여전히 극도로 수직에 가까워지는
지수함수를 갖게 될 거예요.
We're still going to have an exponential that's going to get extremely vertical.

1526
01:24:56,400 --> 01:24:59,520
그런 환경에서 산다는 건
아주 낯설게 느껴질 거예요.
It's going to be very foreign to live in that kind of an environment.

1527
01:24:59,520 --> 01:25:04,143
산업혁명 이전부터 지금까지의
추세를 보면, 성장률 0%에서
Are you saying that, if you look at the trend before the Industrial Revolution to now, you have a hyper-exponential where you go from 0% growth to then 10,000 years ago, 0.02% growth, and to now when we're at 2% growth.

1528
01:25:04,143 --> 01:25:08,766
시작해서 1만 년 전엔 0.02%
성장으로, 그리고 지금은

1529
01:25:08,766 --> 01:25:13,534
2% 성장으로 이어지는 초지수적
증가가 있다는 말씀이신가요?

1530
01:25:13,534 --> 01:25:14,931
그게 초지수적 증가라는 거죠.
That's a hyper-exponential.

1531
01:25:14,931 --> 01:25:17,492
그럼 거기에 AI를
얹으면, AI가 성장률을
Are you saying if you're charting AI on there, then AI takes you to 20% growth or 200% growth?

1532
01:25:17,492 --> 01:25:20,160
20%나 200%로
끌어올린다는 말씀이신가요?

1533
01:25:20,160 --> 01:25:27,094
아니면 지난 300년을 보면 컴퓨터,
전기화, 증기기관, 철도 등등 기술이
Or are you saying that if you look at the last 300 years, what you've been seeing is that you have technology after technology—computers, electrification, steam engines, railways, et cetera—but the rate of growth is the exact same, it's 2%.

1534
01:25:27,094 --> 01:25:33,520
계속 이어졌지만 성장률 자체는 똑같이
2%였다는, 그런 말씀이신가요?

1535
01:25:33,520 --> 01:25:36,602
성장률 자체가 올라갈
거라는 말씀이신가요?
Are you saying the rate of growth will go up?

1536
01:25:36,602 --> 01:25:39,999
성장률도 대체로 일정하게 유지돼 왔죠?
The rate of growth has also stayed roughly constant, right?

1537
01:25:39,999 --> 01:25:41,520
그건 지난 200,
300년 동안만이에요.
Only over the last 200, 300 years.

1538
01:25:41,520 --> 01:25:44,320
하지만 인류 역사 전체로
보면 폭발적으로 늘었잖아요.
But over the course of human history it's exploded.

1539
01:25:44,320 --> 01:25:47,869
0%에서 점점 더 빨라지는
식으로 온 거예요.
It's gone from 0% to faster, faster, faster.

1540
01:25:47,869 --> 01:25:51,120
산업혁명 폭발기에도 2%였어요.
Industrial explosion, 2%.

1541
01:25:51,120 --> 01:25:53,605
한동안 GDP 곡선에서 AI를 찾아보려
For a while I tried to find AI or look for AI in the GDP curve, and I've convinced myself that this is false.

1542
01:25:53,605 --> 01:25:56,564
했는데, 결국 그건
틀렸다는 확신이 들었어요.

1543
01:25:56,564 --> 01:26:01,680
재귀적 자기 개선이니 연구소 얘기니
해도, 이건 다 늘 있던 일이에요.
Even when people talk about recursive self-improvement and labs and stuff like that, this is business as usual.

1544
01:26:01,680 --> 01:26:05,680
당연히 재귀적으로 자기 개선을
할 거고, 사실 계속 그래왔어요.
Of course it's going to recursively self-improve, and it's been recursively self-improving.

1545
01:26:05,680 --> 01:26:10,349
LLM 덕분에 엔지니어들이 다음
LLM을 훨씬 효율적으로 만들
LLMs allow the engineers to work much more efficiently to build the next round of LLM, and a lot more of the components are being automated and tuned and et cetera.

1546
01:26:10,349 --> 01:26:14,880
수 있고, 더 많은 구성 요소가
자동화되고 튜닝되고 있어요.

1547
01:26:14,880 --> 01:26:19,120
모든 엔지니어가 구글 검색을 쓸
수 있다는 것도 그 일부고요.
All the engineers having access to Google Search is part of it.

1548
01:26:19,120 --> 01:26:23,945
다들 IDE를 쓰고,
자동완성이나 Claude
All the engineers having an IDE, all of them having autocomplete or having Claude code, et cetera, it's all just part of the same speed-up of the whole thing.

1549
01:26:23,945 --> 01:26:29,157
Code를 쓰는 것도 다
같은 가속화의 일부예요.

1550
01:26:29,157 --> 01:26:30,880
그냥 아주 매끄럽게 이어지는 거죠.
It's just so smooth.

1551
01:26:30,880 --> 01:26:35,440
정리하면, 성장률 자체는
변하지 않는다는 말씀이신 거죠.
Just to clarify, you're saying that the rate of growth will not change.

1552
01:26:35,440 --> 01:26:38,817
지능 폭발은 그저 우리를 2% 성장
궤도에 계속 머물게 해주는 걸로
The intelligence explosion will show up as it just enabled us to continue staying on the 2% growth trajectory, just as the Internet helped us stay on the 2% growth trajectory.

1553
01:26:38,817 --> 01:26:42,560
나타난다는 거죠. 인터넷이 우리를 2%
성장 궤도에 머물게 해준 것처럼요.

1554
01:26:42,560 --> 01:26:46,968
네, 같은 패턴이
유지될 거라고 예상해요.
Yes, my expectation is that it stays in the same pattern.

1555
01:26:47,920 --> 01:26:53,541
반대 주장을 한번 던져보자면,
저는 폭발한다고 봐요. 진짜
Just to throw the opposite argument against you, my expectation is that it blows up because I think true AGI—and I'm not talking about LLM coding bots, I'm talking about actual replacement of a human in a server—is qualitatively different from these other productivity-improving technologies because it's labor itself.

1556
01:26:53,541 --> 01:26:59,161
AGI—LLM 코딩 봇이 아니라
서버 안에서 인간을 실제로

1557
01:26:59,161 --> 01:27:04,431
대체하는 걸 말하는 건데—는
노동력 그 자체이기 때문에

1558
01:27:04,431 --> 01:27:09,876
다른 생산성 향상 기술들과는
질적으로 다르다고 생각해요.

1559
01:27:09,876 --> 01:27:13,120
우리는 노동력이 몹시 부족한
세상에 살고 있다고 생각해요.
I think we live in a very labor-constrained world.

1560
01:27:13,120 --> 01:27:15,053
어떤 스타트업 창업자한테든, 아니면 그냥
If you talk to any startup founder or any person, you can be like, what do you need more of?

1561
01:27:15,053 --> 01:27:17,073
아무한테든 뭐가 더
필요하냐고 물어보면요.

1562
01:27:17,073 --> 01:27:18,928
정말 재능 있는 사람이
필요하다고 할 거예요.
You need really talented people.

1563
01:27:18,928 --> 01:27:22,867
그런데 수십억 명의 사람이
더 생겨서 뭔가를 발명하고,
And if you have billions of extra people who are inventing stuff, integrating themselves, making companies bottom start to finish, that feels qualitatively different from a single technology.

1564
01:27:22,867 --> 01:27:26,938
스스로 조직화하고, 회사를
처음부터 끝까지 만들어낸다면,

1565
01:27:26,938 --> 01:27:30,615
그건 단일 기술 하나와는
질적으로 다르게 느껴져요.

1566
01:27:30,615 --> 01:27:34,607
지구에 사람이 100억 명
더 생기는 것과 마찬가지예요.
It's as if you get 10 billion extra people on the planet.

1567
01:27:34,607 --> 01:27:36,341
반론을 하나 드려볼게요.
Maybe a counterpoint.

1568
01:27:36,341 --> 01:27:39,923
이 문제는 어느 쪽으로든
설득될 마음이 꽤 있어요.
I'm pretty willing to be convinced one way or another on this point.

1569
01:27:39,923 --> 01:27:42,000
하지만 예를 들어 컴퓨팅도
노동이라는 말씀은 드리고 싶어요.
But I will say, for example, computing is labor.

1570
01:27:42,000 --> 01:27:42,986
컴퓨팅은 원래 노동이었죠.
Computing was labor.

1571
01:27:42,986 --> 01:27:46,435
컴퓨터를 예로 들면, 디지털
정보 처리를 자동화하면서
Computers, a lot of jobs disappeared because computers are automating a bunch of digital information processing that you now don't need a human for.

1572
01:27:46,435 --> 01:27:50,240
사람이 필요 없어졌고, 그래서
많은 일자리가 사라졌잖아요.

1573
01:27:50,240 --> 01:27:54,002
그러니까 컴퓨터가 곧 노동력인
거고, 이미 그렇게 흘러왔어요.
So computers are labor, and that has played out.

1574
01:27:54,002 --> 01:27:58,270
자율주행도 예를 들면 컴퓨터가
노동을 하는 거고요.
Self-driving as an example is also computers doing labor.

1575
01:27:58,270 --> 01:28:00,298
그것도 이미 진행돼 온 일이에요.
That's already been playing out.

1576
01:28:00,298 --> 01:28:02,800
여전히 평소와 다름없는 흐름이죠.
It's still business as usual.

1577
01:28:02,800 --> 01:28:08,000
그런 걸 더 빠른 속도로
쏟아내는 기계가 있는 셈이고요.
You have a machine which is spitting out more things like that at potentially faster pace.

1578
01:28:08,000 --> 01:28:11,304
역사적으로 성장 체제 자체가 바뀐 사례가
Historically, we have examples of the growth regime changing where you went from 0.2% growth to 2% growth.

1579
01:28:11,304 --> 01:28:14,608
있잖아요, 0.2%에서 2% 성장으로요.

1580
01:28:14,608 --> 01:28:18,651
다음 자율주행차, 다음
인터넷 같은 걸 계속
It seems very plausible to me that a machine which is then spitting out the next self-driving car and the next Internet and whatever…

1581
01:28:18,651 --> 01:28:23,200
쏟아내는 기계가 있다는
게 꽤 그럴듯해 보이는데…

1582
01:28:23,200 --> 01:28:25,290
무슨 말씀인지 알겠어요.
I see where it's coming from.

1583
01:28:25,290 --> 01:28:29,725
그런데 사람들은 "상자 속의 신을
갖게 됐으니 이제 뭐든 다 할 수
At the same time, I do feel like people make this assumption of, "We have God in a box, and now it can do everything," and it just won't look like that.

1584
01:28:29,725 --> 01:28:34,040
있다"고 가정하는 것 같은데,
실제로는 그런 모습이 아닐 거예요.

1585
01:28:34,040 --> 01:28:36,240
몇몇 일은 할 수 있게 될 거고요.
It's going to be able to do some of the things.

1586
01:28:36,240 --> 01:28:37,745
다른 일들에는 실패할 거고요.
It's going to fail at some other things.

1587
01:28:37,745 --> 01:28:41,387
사회에 점진적으로 도입돼서, 결국
똑같은 패턴으로 귀결될 거고요.
It's going to be gradually put into society, and we'll end up with the same pattern.

1588
01:28:41,387 --> 01:28:42,552
그게 제 예측이에요.
That is my prediction.

1589
01:28:42,552 --> 01:28:47,663
갑자기 완전히 지능적이고 유연하고
범용적인 인간이 상자 안에
This assumption of suddenly having a completely intelligent, fully flexible, fully general human in a box, and we can dispense it at arbitrary problems in society, I don't think that we will have this discrete change.

1590
01:28:47,663 --> 01:28:52,619
생겨서, 그걸 사회 아무 문제에나
갖다 쓸 수 있다는 가정

1591
01:28:52,619 --> 01:28:57,266
말인데요, 그런 불연속적
변화는 없을 거라고 생각해요.

1592
01:28:57,600 --> 01:29:03,440
산업 전반에 똑같이 점진적으로 확산되는
쪽으로 귀결될 거라 생각해요.
I think we'll arrive at the same kind of gradual diffusion of this across the industry.

1593
01:29:03,440 --> 01:29:09,280
이런 대화에서는 종종
오해를 낳게 되더라고요.
It often ends up being misleading in these conversations.

1594
01:29:09,280 --> 01:29:14,026
이 맥락에서 '지능'이란 단어는
쓰고 싶지 않은데요, 그러면
I don't like to use the word intelligence in this context because intelligence implies you think there'll be a single superintelligence sitting in a server and it'll divine how to come up with new technologies and inventions that cause this explosion.

1595
01:29:14,026 --> 01:29:18,197
서버 한 대에 앉은 단일
초지능이 신통하게 새 기술과

1596
01:29:18,197 --> 01:29:22,800
발명을 알아내 폭발적 성장을
일으킨다는 뜻으로 들리니까요.

1597
01:29:22,800 --> 01:29:25,840
제가 20% 성장을 상상할 때
그리는 그림은 그게 아니에요.
That's not what I'm imagining when I'm imagining 20% growth.

1598
01:29:25,840 --> 01:29:30,095
제가 상상하는 건 수십억
개의 아주 똑똑한, 인간과
I'm imagining that there are billions of very smart human-like minds, potentially, or that's all that's required.

1599
01:29:30,095 --> 01:29:34,806
비슷한 정신들이에요. 어쩌면
그거면 충분할 수도 있고요.

1600
01:29:34,806 --> 01:29:39,668
하지만 중요한 건, 그런 정신이
수억, 수십억 개나 있고 각자 새로운
But the fact that there's hundreds of millions of them, billions of them, each individually making new products, figuring out how to integrate themselves into the economy.

1601
01:29:39,668 --> 01:29:44,275
제품을 만들고, 스스로 경제에
어떻게 편입될지 알아낸다는 거예요.

1602
01:29:44,275 --> 01:29:46,586
숙련되고 똑똑한 이민자가 한
명 입국한다고 하면, 그 사람을
If a highly experienced smart immigrant came to the country, you wouldn't need to figure out how we integrate them in the economy.

1603
01:29:46,586 --> 01:29:48,967
경제에 어떻게 편입시킬지 우리가
따로 고민할 필요는 없잖아요.

1604
01:29:48,967 --> 01:29:49,667
본인이 알아서 해내니까요.
They figure it out.

1605
01:29:49,667 --> 01:29:52,489
회사를 차릴 수도 있고, 발명을 할 수도
They could start a company, they could make inventions, or increase productivity in the world.

1606
01:29:52,489 --> 01:29:55,440
있고, 세상의 생산성을
높일 수도 있고요.

1607
01:29:55,440 --> 01:29:58,367
지금 체제 안에서도 10~20% 경제
We have examples, even in the current regime, of places that have had 10-20% economic growth.

1608
01:29:58,367 --> 01:30:01,440
성장을 이룬 지역들의 사례가 있잖아요.

1609
01:30:01,440 --> 01:30:07,055
사람은 많고 자본은
상대적으로 적으면 홍콩이나
If you just have a lot of people and less capital in comparison to the people, you can have Hong Kong or Shenzhen or whatever with decades of 10% plus growth.

1610
01:30:07,055 --> 01:30:13,120
선전처럼 수십 년간 10%
넘는 성장도 가능해요.

1611
01:30:13,120 --> 01:30:18,448
이런 불연속이 있었기 때문에
자원을 활용해 따라잡기를 할 준비가
There's a lot of really smart people who are ready to make use of the resources and do this period of catch-up because we've had this discontinuity, and I think AI might be similar.

1612
01:30:18,448 --> 01:30:23,929
된 똑똑한 사람들이 많았던 거죠.
AI도 비슷할 수 있다고 봐요.

1613
01:30:24,480 --> 01:30:28,080
이해는 하지만, 여전히 어떤 불연속적
도약을 전제하고 계신 것 같아요.
I understand, but I still think that you're presupposing some discrete jump.

1614
01:30:28,080 --> 01:30:30,113
우리가 손에 넣기를 기다리는
어떤 잠금 해제가 있다는 거죠.
There's some unlock that we're waiting to claim.

1615
01:30:30,113 --> 01:30:32,991
그리고 갑자기 데이터센터 안에
천재들이 생길 거라는 거고요.
And suddenly we're going to have geniuses in data centers.

1616
01:30:32,991 --> 01:30:37,510
여전히 역사적 전례가 없고 어떤
통계로도 찾을 수 없는 불연속적 도약을
I still think you're presupposing some discrete jump that has no historical precedent that I can't find in any of the statistics and that I think probably won't happen.

1617
01:30:37,510 --> 01:30:41,681
전제하시는 것 같고, 그런 일은
아마 일어나지 않을 거라고 봐요.

1618
01:30:41,681 --> 01:30:43,680
산업혁명이야말로 그런 도약이었잖아요.
I mean, the Industrial Revolution is such a jump.

1619
01:30:43,680 --> 01:30:46,240
0.2% 성장에서 2%
성장으로 뛰었으니까요.
You went from 0.2% growth to 2% growth.

1620
01:30:46,240 --> 01:30:49,440
저는 그런 도약을 또 보게
될 거라고 말씀드리는 거예요.
I'm just saying you'll see another jump like that.

1621
01:30:49,440 --> 01:30:53,760
좀 의심스러워요, 한번
확인해봐야 할 것 같아요.
I'm a little bit suspicious, I would have to take a look.

1622
01:30:53,760 --> 01:30:59,530
예를 들어 산업혁명 이전 기록 중에는
그리 좋지 않은 것들도 있거든요.
For example, some of the logs are not very good from before the Industrial Revolution.

1623
01:30:59,920 --> 01:31:04,640
좀 의심스럽긴 한데, 확고한
의견이 있는 건 아니에요.
I'm a bit suspicious of it but I don't have strong opinions.

1624
01:31:04,640 --> 01:31:07,440
그러니까 이게 극도로 마법 같은
단일한 사건이었다는 말씀이시죠.
You're saying that this was a singular event that was extremely magical.

1625
01:31:07,440 --> 01:31:09,357
그리고 어쩌면 그것과
똑같이 극도로 마법 같은
You're saying that maybe there's going to be another event that's going to be just like that, extremely magical.

1626
01:31:09,357 --> 01:31:11,120
또 다른 사건이 일어날
거라는 말씀이고요.

1627
01:31:11,120 --> 01:31:12,960
패러다임을 깨뜨리고, 뭐 그런 식으로요.
It will break the paradigm, and so on.

1628
01:31:12,960 --> 01:31:13,949
사실 저는 그렇게 생각하지 않는데요…
I actually don't think…

1629
01:31:13,949 --> 01:31:18,480
산업혁명에서 결정적인 건, 그게 마법
같은 일이 아니었다는 점이에요.
The crucial thing with the Industrial Revolution was that it was not magical.

1630
01:31:18,480 --> 01:31:23,269
그냥 확대해서 보면
1770년이나 1870년에 어떤
If you just zoomed in, what you would see in 1770 or 1870 is not that there was some key invention.

1631
01:31:23,269 --> 01:31:28,400
결정적인 발명이 있었던 게
아니라는 걸 알 수 있어요.

1632
01:31:28,400 --> 01:31:32,272
하지만 동시에 경제를 훨씬
빠른 진보의 국면으로
But at the same time, you did move the economy to a regime where the progress was much faster and the exponential 10x'd.

1633
01:31:32,272 --> 01:31:35,400
옮겼고, 지수 성장률이 10배가 됐죠.

1634
01:31:35,400 --> 01:31:38,935
AI도 비슷할 거라고
예상해요. 결정적 발명을
I expect a similar thing from AI where it's not like there's going to be a single moment where we've made the crucial invention.

1635
01:31:38,935 --> 01:31:42,470
이뤄낸 단일한 순간이
있는 게 아니라는 거죠.

1636
01:31:42,470 --> 01:31:44,136
쌓여 있던 오버행이 풀리는 거예요.
It’s an overhang that's being unlocked.

1637
01:31:44,136 --> 01:31:45,760
예를 들어 새로운
에너지원이 나오는 것처럼요.
Like maybe there's a new energy source.

1638
01:31:45,760 --> 01:31:48,342
어떤 잠금 해제가 있는 거죠.
이 경우엔 일종의 인지적
There's some unlock—in this case, some kind of a cognitive capacity—and there's an overhang of cognitive work to do.

1639
01:31:48,342 --> 01:31:51,269
역량이고, 해야 할 인지적 작업의
오버행이 쌓여 있는 거예요.

1640
01:31:51,269 --> 01:31:52,160
맞아요.
That's right.

1641
01:31:52,160 --> 01:31:54,400
그 오버행이 이 신기술이 임계점을 넘는
You're expecting that overhang to be filled by this new technology when it crosses the threshold.

1642
01:31:54,400 --> 01:31:56,640
순간 채워질 거라고 기대하시는 거군요.

1643
01:31:56,640 --> 01:32:00,675
이렇게 생각해 볼 수 있을 것
같아요. 역사를 통틀어 성장의 상당
Maybe one way to think about it is throughout history, a lot of growth comes because people come up with ideas, and then people are out there doing stuff to execute those ideas and make valuable output.

1644
01:32:00,675 --> 01:32:04,598
부분은 사람들이 아이디어를
떠올리고, 그 아이디어를 실행해 가치

1645
01:32:04,598 --> 01:32:08,745
있는 결과물을 만들어내는 사람들이
있었기 때문에 일어났다는 거예요.

1646
01:32:08,745 --> 01:32:11,706
이 기간 대부분에 인구가
폭발적으로 늘어났죠.
Through most of this time, the population has been exploding.

1647
01:32:11,706 --> 01:32:12,954
그게 성장을 이끌어온 거고요.
That has been driving growth.

1648
01:32:12,954 --> 01:32:15,907
지난 50년간은 성장이
정체됐다는 주장이 있었어요.
For the last 50 years, people have argued that growth has stagnated.

1649
01:32:15,907 --> 01:32:18,652
선진국들의 인구도 정체됐고요.
The population in frontier countries has also stagnated.

1650
01:32:18,652 --> 01:32:23,357
인구의 지수적 성장이
산출의 초지수적 성장을
I think we go back to the exponential growth in population that causes hyper-exponential growth in output.

1651
01:32:23,357 --> 01:32:28,454
낳는다는 얘기로 결국
돌아가게 되는 것 같아요.

1652
01:32:28,960 --> 01:32:30,446
정말 판단하기 어려운 문제예요.
It's really hard to tell.

1653
01:32:30,446 --> 01:32:32,103
그 관점은 이해가 가요.
I understand that viewpoint.

1654
01:32:32,103 --> 01:32:38,270
그런데 직관적으로 와닿지는 않아요.
I don't intuitively feel that viewpoint.

1655
01:33:06,360 --> 01:33:13,193
저한테 닉 레인의 책을
추천해주셨었잖아요.
You recommended Nick Lane's book to me.

1656
01:33:40,560 --> 01:33:45,200
그 덕분에 저도 정말 흥미롭게
읽었고, 그분을 인터뷰까지 했어요.
On that basis, I also found it super interesting and I interviewed him.

1657
01:33:45,200 --> 01:33:49,120
지능과 진화의 역사를 어떻게 봐야
할지에 대해 여쭤보고 싶은 게 있어요.
I have some questions about thinking about intelligence and evolutionary history.

1658
01:33:49,120 --> 01:33:53,836
지난 20년간 AI 연구를 해오시면서,
지능이 무엇이고 그걸 만들어내는
Now that you, over the last 20 years of doing AI research, you maybe have a more tangible sense of what intelligence is, what it takes to develop it.

1659
01:33:53,836 --> 01:33:58,189
데 무엇이 필요한지에 대해 더
구체적인 감을 갖게 되셨을 텐데요.

1660
01:33:58,189 --> 01:34:02,982
그 결과로, 진화가 그야말로
우연히 지능을 발견해냈다는
Are you more or less surprised as a result that evolution just spontaneously stumbled upon it?

1661
01:34:02,982 --> 01:34:06,976
게 더 놀라우신가요,
아니면 덜 놀라우신가요?

1662
01:34:06,976 --> 01:34:09,906
저도 닉 레인의 책을 정말 좋아해요.
I love Nick Lane's books.

1663
01:34:09,906 --> 01:34:13,698
여기 오는 길에도 마침 그분
팟캐스트를 듣고 있었어요.
I was just listening to his podcast on the way up here.

1664
01:34:13,698 --> 01:34:18,971
지능과 그 진화라는 관점에서 보면,
이건 정말, 정말 최근 일이에요.
With respect to intelligence and its evolution, it's very, very recent.

1665
01:34:18,971 --> 01:34:23,040
지능이 진화했다는 사실 자체가 놀라워요.
I am surprised that it evolved.

1666
01:34:23,040 --> 01:34:25,120
저 밖에 있을 온갖 세계들을
생각해보는 게 정말 흥미로워요.
I find it fascinating to think about all the worlds out there.

1667
01:34:25,120 --> 01:34:26,164
지구 같은 행성이 천 개쯤 있다고
Say there's a thousand planets like Earth and what they look like.

1668
01:34:26,164 --> 01:34:27,440
치면, 그것들이 어떤 모습일지 말이에요.

1669
01:34:27,440 --> 01:34:30,880
닉 레인이 여기 와서 가장 초기
단계에 대해 이야기했던 것 같아요.
I think Nick Lane was here talking about some of the earliest parts.

1670
01:34:30,880 --> 01:34:33,588
대략적으로는 아주 비슷한
생명체가, 그러니까 대부분의
He expects very similar life forms, roughly speaking, and bacteria-like things in most of them.

1671
01:34:33,588 --> 01:34:36,577
행성에 박테리아 비슷한 것들이
있을 거라고 예상하더라고요.

1672
01:34:36,577 --> 01:34:39,920
그 안에 몇 번의 단절점이 있고요.
There are a few breaks in there.

1673
01:34:39,920 --> 01:34:45,377
지능의 진화는 직관적으로 꽤
드문 사건이어야 할 것 같아요.
The evolution of intelligence intuitively feels to me like it should be a fairly rare event.

1674
01:34:45,920 --> 01:34:47,684
어쩌면 그게 얼마나 오래 존재해왔는지를
Maybe you should base it on how long something has existed.

1675
01:34:47,684 --> 01:34:49,280
기준으로 삼아야 할지도 모르겠어요.

1676
01:34:49,280 --> 01:34:53,006
박테리아가 20억 년 동안
있었는데 아무 일도 안
If bacteria were around for 2 billion years and nothing happened, then going to eukaryote is probably pretty hard because bacteria came up quite early in Earth's evolution or history.

1677
01:34:53,006 --> 01:34:57,283
일어났다면, 진핵생물로 가는
건 꽤 어려운 일일 거예요.

1678
01:34:57,283 --> 01:35:01,423
박테리아가 지구 진화 역사에서
꽤 일찍 등장했으니까요.

1679
01:35:02,240 --> 01:35:03,350
동물은 얼마나 오래 존재했나요?
How long have we had animals?

1680
01:35:03,350 --> 01:35:06,017
아마 몇 억 년 정도일 텐데, 뛰어다니고
Maybe a couple hundred million years, multicellular animals that run around, crawl, et cetera.

1681
01:35:06,017 --> 01:35:08,320
기어다니는 다세포 동물들 말이에요.

1682
01:35:08,320 --> 01:35:11,805
그게 지구 수명의 한 10% 정도죠.
That’s maybe 10% of Earth's lifespan.

1683
01:35:11,805 --> 01:35:17,248
그 정도 시간 규모라면 그렇게
어렵지 않을 수도 있고요.
Maybe on that timescale it's not too tricky.

1684
01:35:18,000 --> 01:35:20,480
그래도 직관적으로는 그게
발달했다는 게 여전히 놀라워요.
It's still surprising to me, intuitively, that it developed.

1685
01:35:20,480 --> 01:35:22,705
저는 그냥 동물 같은
생명체들이 동물 같은
I would maybe expect just a lot of animal-like life forms doing animal-like things.

1686
01:35:22,705 --> 01:35:24,640
행동을 하는 걸 예상했을 것 같아요.

1687
01:35:24,640 --> 01:35:28,215
문화와 지식을 만들어내고 축적할 수 있는
The fact that you can get something that creates culture and knowledge and accumulates it is surprising to me.

1688
01:35:28,215 --> 01:35:31,627
존재가 나왔다는 게 저한테는 놀라워요.

1689
01:35:31,627 --> 01:35:35,440
흥미로운 후속 질문이 몇 개 있는데요.
There's a couple of interesting follow-ups.

1690
01:35:35,440 --> 01:35:41,920
지능의 핵심이 동물 지능이라는
서튼의 관점을 받아들인다면...
If you buy the Sutton perspective that the crux of intelligence is animal intelligence…

1691
01:35:41,920 --> 01:35:44,402
그가 한 말이
"다람쥐까지만 가면 AGI의
The quote he said is "If you got to the squirrel, you'd be most of the way to AGI."

1692
01:35:44,402 --> 01:35:46,560
대부분에 도달한 것"이라는 거잖아요.

1693
01:35:46,560 --> 01:35:51,200
6억 년 전 캄브리아기 대폭발 직후에
다람쥐 수준의 지능에 도달했고요.
We got to squirrel intelligence right after the Cambrian explosion 600 million years ago.

1694
01:35:51,200 --> 01:35:56,000
그걸 촉발한 게 6억 년 전의
산소화 사건인 것 같아요.
It seems like what instigated that was the oxygenation event 600 million years ago.

1695
01:35:56,000 --> 01:36:02,480
그런데 곧바로 다람쥐 지능을 만들어낼
지능 알고리즘이 있었던 거죠.
But immediately the intelligence algorithm was there to make the squirrel intelligence.

1696
01:36:02,480 --> 01:36:06,240
동물 지능이 그런 식이었다는
게 시사하는 바가 있어요.
It's suggestive that animal intelligence was like that.

1697
01:36:06,240 --> 01:36:09,365
환경에 산소가 생기자마자
진핵생물이 생기고,
As soon as you had the oxygen in the environment, you had the eukaryote, you could just get the algorithm.

1698
01:36:09,365 --> 01:36:11,970
그 알고리즘을 그냥 얻을 수 있었죠.

1699
01:36:11,970 --> 01:36:16,226
진화가 그렇게 빨리 우연히
발견한 걸 수도 있는데,
Maybe it was an accident that evolution stumbled upon it so fast, but I don't know if that suggests that at the end it's going to be quite simple.

1700
01:36:16,226 --> 01:36:20,785
그게 결국 꽤 단순한 거라는
암시인지는 잘 모르겠어요.

1701
01:36:20,785 --> 01:36:23,200
이런 건 뭐든 판단하기가 정말 어려워요.
It's so hard to tell with any of this stuff.

1702
01:36:23,200 --> 01:36:25,716
뭔가가 얼마나 오래 존재했는지,
혹은 얼마나 오래 병목에 걸려
You can base it a bit on how long something has existed or how long it feels like something has been bottlenecked.

1703
01:36:25,716 --> 01:36:28,158
있었던 것처럼 느껴지는지를 어느
정도 근거로 삼을 수 있죠.

1704
01:36:28,158 --> 01:36:32,358
닉 레인은 박테리아와 고세균의 이
뚜렷한 병목 현상을 아주 잘 설명해요.
Nick Lane is very good about describing this very apparent bottleneck in bacteria and archaea.

1705
01:36:32,358 --> 01:36:34,240
20억 년 동안 아무
일도 일어나지 않았어요.
For two billion years, nothing happened.

1706
01:36:34,240 --> 01:36:37,975
생화학적으로는 극도로 다양한데, 그럼에도
There’s extreme diversity of biochemistry, and yet nothing grows to become animals.

1707
01:36:37,975 --> 01:36:41,200
동물로 자라나는 건 하나도 없었죠.

1708
01:36:41,200 --> 01:36:42,336
20억 년이나요.
Two billion years.

1709
01:36:42,336 --> 01:36:45,767
말씀하신 것처럼, 동물과
지능에서 정확히 그에
I don't know that we've seen exactly that kind of an equivalent with animals and intelligence, to your point.

1710
01:36:45,767 --> 01:36:48,923
상응하는 걸 본 적이
있는지는 모르겠어요.

1711
01:36:48,923 --> 01:36:52,193
특정 지능이 개별적으로
몇 번이나 독자적으로
We could also look at it with respect to how many times we think certain intelligence has individually sprung up.

1712
01:36:52,193 --> 01:36:55,600
생겨났다고 보는지의
관점에서도 볼 수 있고요.

1713
01:36:55,600 --> 01:36:59,077
정말 파고들 만한 좋은 주제네요.
That's a really good thing to investigate.

1714
01:36:59,077 --> 01:37:00,775
그거에 대해 한 가지 생각이 있는데요.
One thought on that.

1715
01:37:00,775 --> 01:37:05,513
인류 지능이 있고,
또 조류 지능이 있죠.
There's hominid intelligence, and then there's bird intelligence.

1716
01:37:05,513 --> 01:37:09,403
까마귀 같은 새들은 정말
영리하지만, 뇌 구조
Ravens, etc., are extremely clever, but their brain parts are quite distinct, and we don't have that much in common.

1717
01:37:09,403 --> 01:37:13,760
자체가 상당히 다르고 우리와
공통점이 별로 없어요.

1718
01:37:13,760 --> 01:37:18,880
그건 지능이 여러 번 따로 생겨났을
수도 있다는 살짝 힌트 같은 거죠.
That's a slight indication of maybe intelligence springing up a few times.

1719
01:37:18,880 --> 01:37:22,680
그렇다면 더 자주 나타났을
거라고 예상할 텐데요.
In that case, you'd expect it more frequently.

1720
01:37:22,680 --> 01:37:26,235
예전 게스트였던
그웬(Gwern)과 칼 슐먼이
A former guest, Gwern, and Carl Shulman, they’ve made a really interesting point about that.

1721
01:37:26,235 --> 01:37:29,506
그것에 대해 정말
흥미로운 얘기를 했어요.

1722
01:37:29,506 --> 01:37:34,256
그들 관점은, 인간과 영장류가
가진 확장 가능한 알고리즘이
Their perspective is that the scalable algorithm which humans have and primates have, arose in birds as well, and maybe other times as well.

1723
01:37:34,256 --> 01:37:39,600
조류에서도 생겨났고, 어쩌면 다른
때에도 생겨났을 거라는 거예요.

1724
01:37:39,600 --> 01:37:43,954
하지만 인간은 지능이 조금씩
늘어나는 걸 보상해주는
But humans found an evolutionary niche which rewarded marginal increases in intelligence and also had a scalable brain algorithm that could achieve those increases in intelligence.

1725
01:37:43,954 --> 01:37:48,619
진화적 니치를 찾아냈고,
동시에 그 지능 증가를 실제로

1726
01:37:48,619 --> 01:37:53,440
이뤄낼 확장 가능한 뇌
알고리즘도 가지고 있었다는 거죠.

1727
01:37:53,440 --> 01:37:57,200
예를 들어 새는 뇌가 더 커지면
그냥 하늘에서 떨어져 버려요.
For example, if a bird had a bigger brain, it would just collapse out of the air.

1728
01:37:57,200 --> 01:38:00,015
뇌 크기에 비해서는
정말 똑똑하지만, 뇌가
It's very smart for the size of its brain, but it's not in a niche which rewards the brain getting bigger.

1729
01:38:00,015 --> 01:38:03,320
커지는 걸 보상해주는
니치에 있는 건 아닌 거죠.

1730
01:38:03,320 --> 01:38:07,511
어쩌면 정말 똑똑한
무언가랑 비슷할 수도…
It’s maybe similar to some really smart…

1731
01:38:08,880 --> 01:38:09,264
돌고래처럼요?
Like dolphins?

1732
01:38:09,264 --> 01:38:12,309
맞아요, 인간은 손이 있어서 도구
사용법을 배우는 게 보상이 되죠.
Exaclty, humans, we have hands that reward being able to learn how to do tool use.

1733
01:38:12,309 --> 01:38:14,566
소화를 외부화할 수 있어서
뇌에 더 많은 에너지를 쓸 수
We can externalize digestion, more energy to the brain, and that kicks off the flywheel.

1734
01:38:14,566 --> 01:38:16,823
있고, 그게 선순환의 플라이휠을
돌리기 시작하는 거예요.

1735
01:38:16,823 --> 01:38:18,245
손으로 다룰 거리가 있다는 것도 있고요.
Also stuff to work with.

1736
01:38:18,245 --> 01:38:22,230
제가 돌고래였다면 더
어려웠을 것 같아요.
I'm guessing it would be harder if I were a dolphin.

1737
01:38:22,230 --> 01:38:24,210
불을 어떻게 피우겠어요?
How do you have fire?

1738
01:38:24,210 --> 01:38:29,107
물속에서 할 수 있는 것들의
범위는, 그냥 화학적으로만
The universe of things you can do in water, inside water, is probably lower than what you can do on land, just chemically.

1739
01:38:29,107 --> 01:38:33,840
봐도 육지에서 할 수 있는
것보다 훨씬 적을 거예요.

1740
01:38:33,840 --> 01:38:37,866
이런 니치와 무엇이 보상되는지에
대한 이 관점에는 저도 동의해요.
I do agree with this viewpoint of these niches and what's being incentivized.

1741
01:38:37,866 --> 01:38:39,668
그래도 여전히 기적 같다고 생각해요.
I still find it miraculous.

1742
01:38:39,668 --> 01:38:43,178
저라면 그냥 근육이 더 큰 동물 쪽에
I would have expected things to get stuck on animals with bigger muscles.

1743
01:38:43,178 --> 01:38:47,040
머물러 있을 거라고 예상했을 것 같아요.

1744
01:38:47,040 --> 01:38:51,520
지능 쪽으로 뚫고 나가는 건 정말
흥미로운 돌파 지점인 것 같아요.
Going through intelligence is a really fascinating breaking point.

1745
01:38:51,520 --> 01:38:55,996
그웬 식으로 말하면, 그게
그렇게 어려웠던 이유는, 어떤
The way Gwern put it is the reason it was so hard is that it's a very tight line between being in a situation where something is so important to learn that it's not worth distilling the exact right circuits directly back into your DNA, versus it's not important enough to learn at all.

1746
01:38:55,996 --> 01:39:00,616
걸 배우는 게 너무 중요해서
정확한 회로를 DNA에 그대로

1747
01:39:00,616 --> 01:39:05,524
새겨넣는 게 오히려 아까울 정도인
상황과, 아예 배울 가치조차

1748
01:39:05,524 --> 01:39:10,000
없는 상황 사이의 경계가
굉장히 좁기 때문이라는 거예요.

1749
01:39:10,000 --> 01:39:13,337
그건 평생에 걸쳐 배우는 알고리즘을
It has to be something that incentivizes building the algorithm to learn in a lifetime.

1750
01:39:13,337 --> 01:39:17,200
만들도록 유인하는 무언가여야 하는 거죠.

1751
01:39:17,200 --> 01:39:19,691
적응력 같은 걸 유도해야 해요.
You have to incentivize some kind of adaptability.

1752
01:39:19,691 --> 01:39:22,269
예측 불가능한 환경이
필요해요, 그래야 진화가
You want environments that are unpredictable so evolution can't bake your algorithms into your weights.

1753
01:39:22,269 --> 01:39:24,640
알고리즘을 가중치에
구워 넣지 못하니까요.

1754
01:39:24,640 --> 01:39:27,647
이런 의미에서 많은 동물들은
미리 구워져 있는 셈이에요.
A lot of animals are pre-baked in this sense.

1755
01:39:27,647 --> 01:39:32,577
인간은 태어난 뒤 테스트
시점에 스스로 알아내야 하고요.
Humans have to figure it out at test time when they get born.

1756
01:39:32,577 --> 01:39:37,046
정말 빠르게 변화하는
환경이 필요해요, 뭐가
You want these environments that change really rapidly, where you can't foresee what will work well.

1757
01:39:37,046 --> 01:39:41,514
잘 통할지 미리 알 수
없는 그런 환경이요.

1758
01:39:42,000 --> 01:39:45,200
그래서 테스트 시점에 알아낼
수 있는 지능을 만드는 거예요.
You create intelligence to figure it out at test time.

1759
01:39:45,200 --> 01:39:48,374
퀸틴 포프가 쓴 흥미로운
블로그 글이 있는데, 급격한
Quintin Pope had this interesting blog post where he's saying the reason he doesn't expect a sharp takeoff is that humans had the sharp takeoff where 60,000 years ago we seem to have had the cognitive architectures that we have today.

1760
01:39:48,374 --> 01:39:51,657
도약을 예상하지 않는 이유가
인간에게도 이미 그 급격한

1761
01:39:51,657 --> 01:39:55,378
도약이 있었기 때문이라는 거예요
— 60,000년 전에 우리는

1762
01:39:55,378 --> 01:39:58,771
이미 지금과 같은 인지 구조를
갖고 있었던 것 같거든요.

1763
01:39:58,771 --> 01:40:02,034
10,000년 전엔 농업
혁명, 그리고 현대죠.
10,000 years ago, agricultural revolution, modernity.

1764
01:40:02,034 --> 01:40:04,560
그럼 그 50,000년 동안
무슨 일이 있었던 걸까요?
What was happening in that 50,000 years?

1765
01:40:04,560 --> 01:40:11,520
세대를 거쳐 지식을 축적할 수 있는
문화적 발판을 만들어야 했던 거예요.
You had to build this cultural scaffold where you can accumulate knowledge over generations.

1766
01:40:11,520 --> 01:40:16,386
이건 우리가 AI를 훈련하는 방식에서는
그냥 공짜로 딸려오는 능력이에요.
This is an ability that exists for free in the way we do AI training.

1767
01:40:16,386 --> 01:40:18,983
많은 경우 말 그대로 증류되니까요.
In many cases they are literally distilled.

1768
01:40:18,983 --> 01:40:23,946
모델을 재훈련할 때 서로를 학습에 쓸
수도 있고, 같은 사전학습 코퍼스로
If you retrain a model, they can be trained on each other, they can be trained on the same pre-training corpus, they don't literally have to start from scratch.

1769
01:40:23,946 --> 01:40:28,413
학습할 수도 있어서, 말 그대로
처음부터 시작할 필요가 없거든요.

1770
01:40:28,413 --> 01:40:32,089
인간은 이 문화적 순환 고리를
돌리기까지 오래 걸렸지만,
There's a sense in which it took humans a long time to get this cultural loop going, but it just comes for free with the way we do LLM training.

1771
01:40:32,089 --> 01:40:36,240
LLM 훈련 방식에서는 그냥
공짜로 딸려온다는 의미에서 그래요.

1772
01:40:36,240 --> 01:40:37,920
맞기도 하고 아니기도 해요. LLM에는
Yes and no. Because LLMs don't really have the equivalent of culture.

1773
01:40:37,920 --> 01:40:39,440
문화에 상응하는 게 사실 없거든요.

1774
01:40:39,440 --> 01:40:41,420
어쩌면 우리가 너무 많은
걸 줘버려서, 그걸 만들어낼
Maybe we're giving them way too much and incentivizing not to create it or something like that.

1775
01:40:41,420 --> 01:40:43,537
유인 자체를 없애고 있는
건지도 몰라요, 뭐 그런 거죠.

1776
01:40:43,537 --> 01:40:47,136
하지만 문화의 발명, 문자
기록, 서로 메모를 물려주는
But the invention of culture and of written record and of passing down notes between each other, I don't think there's an equivalent of that with LLMs right now.

1777
01:40:47,136 --> 01:40:50,975
것 — 지금 LLM에는 이에
상응하는 게 없는 것 같아요.

1778
01:40:50,975 --> 01:40:56,043
지금 LLM에는 문화가 사실상 없고,
이게 장애물 중 하나라고 생각해요.
LLMs don't really have culture right now and it's one of the impediments I would say.

1779
01:40:56,043 --> 01:40:59,983
LLM의 문화가 어떤 모습일지
좀 감을 잡게 해주실 수 있나요?
Can you give me some sense of what LLM culture might look like?

1780
01:40:59,983 --> 01:41:02,980
가장 단순한 경우엔, LLM이
직접 편집할 수 있는
In the simplest case it would be a giant scratchpad that the LLM can edit and as it's reading stuff or as it's helping out with work, it's editing the scratchpad for itself.

1781
01:41:02,980 --> 01:41:05,977
거대한 스크래치패드가 있어서,
뭔가를 읽거나 작업을

1782
01:41:05,977 --> 01:41:08,653
도우면서 스스로 그걸
계속 수정해나가는 거죠.

1783
01:41:08,653 --> 01:41:10,971
왜 LLM이 다른 LLM들을
위해 책을 쓰지 못할까요?
Why can't an LLM write a book for the other LLMs?

1784
01:41:10,971 --> 01:41:12,339
그럼 정말 멋질 것 같아요.
That would be cool.

1785
01:41:12,339 --> 01:41:15,288
왜 다른 LLM들이
이 LLM의 책을 읽고
Why can't other LLMs read this LLM's book and be inspired by it or shocked by it or something like that?

1786
01:41:15,288 --> 01:41:18,365
영감을 받거나 충격을
받거나 하지 못할까요?

1787
01:41:18,365 --> 01:41:20,400
이런 것들에 상응하는
게 지금은 전혀 없어요.
There's no equivalence for any of this stuff.

1788
01:41:20,400 --> 01:41:20,913
흥미롭네요.
Interesting.

1789
01:41:20,913 --> 01:41:24,640
그런 일이 언제쯤 일어나기
시작할 거라고 보세요?
When would you expect that kind of thing to start happening?

1790
01:41:24,640 --> 01:41:27,556
멀티 에이전트 시스템이나, 일종의
Also, multi-agent systems and a sort of independent AI civilization and culture?

1791
01:41:27,556 --> 01:41:31,120
독립적인 AI 문명과 문화 같은 것도요?

1792
01:41:31,120 --> 01:41:33,840
멀티 에이전트 영역에는
강력한 아이디어가 두 가지
There are two powerful ideas in the realm of multi-agent that have both not been really claimed or so on.

1793
01:41:33,840 --> 01:41:36,459
있는데, 둘 다 아직
제대로 실현되지 못했어요.

1794
01:41:36,459 --> 01:41:40,087
첫 번째는 문화예요 —
LLM들이 자기들만의
The first one I would say is culture and LLMs having a growing repertoire of knowledge for their own purposes.

1795
01:41:40,087 --> 01:41:44,320
목적을 위해 지식 레퍼토리를
점점 늘려가는 것이죠.

1796
01:41:44,320 --> 01:41:47,520
두 번째는 셀프플레이라는 강력한
아이디어와 훨씬 더 비슷해 보여요.
The second one looks a lot more like the powerful idea of self-play.

1797
01:41:47,520 --> 01:41:50,359
제가 보기엔 이게 굉장히
강력한 아이디어예요.
In my mind it’s extremely powerful.

1798
01:41:50,359 --> 01:41:56,513
진화에는 지능과 진화를 이끄는
경쟁이 많이 관여하잖아요.
Evolution has a lot of competition driving intelligence and evolution.

1799
01:41:56,513 --> 01:41:59,946
좀 더 알고리즘적으로
보면, 알파고가 자기 자신과
In AlphaGo more algorithmically, AlphaGo is playing against itself and that's how it learns to get really good at Go.

1800
01:41:59,946 --> 01:42:03,760
대국을 두면서 바둑을 정말
잘하게 되는 게 그런 예죠.

1801
01:42:03,760 --> 01:42:05,771
LLM판 셀프플레이
같은 건 아직 없지만,
There's no equivalent of self-playing LLMs, but I would expect that to also exist.

1802
01:42:05,771 --> 01:42:07,520
저는 그것도 결국 나올 거라고 봐요.

1803
01:42:07,520 --> 01:42:08,621
아직 아무도 만들지 않았을 뿐이에요.
No one has done it yet.

1804
01:42:08,621 --> 01:42:11,154
예를 들어, 왜 한 LLM이
문제를 잔뜩 만들어내고
Why can't an LLM for example, create a bunch of problems that another LLM is learning to solve?

1805
01:42:11,154 --> 01:42:13,596
다른 LLM이 그걸 풀도록
학습하면 안 되겠어요?

1806
01:42:13,596 --> 01:42:16,306
그러면 그 LLM은
계속 더 어려운 문제를
Then the LLM is always trying to serve more and more difficult problems, stuff like that.

1807
01:42:16,306 --> 01:42:19,016
내주려고 하게 되겠죠,
뭐 그런 식으로요.

1808
01:42:19,016 --> 01:42:22,160
이걸 조직하는 방법은
여러 가지가 있어요.
There's a bunch of ways to organize it.

1809
01:42:22,160 --> 01:42:25,790
이건 하나의 연구 영역이긴
한데, 이 두 멀티 에이전트
It's a realm of research, but I haven't seen anything that convincingly claims both of those multi-agent improvements.

1810
01:42:25,790 --> 01:42:29,178
개선을 설득력 있게 보여준
사례는 아직 못 봤어요.

1811
01:42:29,178 --> 01:42:32,245
지금은 대부분 단일 개별 에이전트 수준에
We're mostly in the realm of a single individual agent, but that will change.

1812
01:42:32,245 --> 01:42:34,893
머물러 있지만, 그건 바뀔 거예요.

1813
01:42:34,893 --> 01:42:38,953
문화 영역에서는, 저는 조직들도
여기에 포함시키고 싶어요.
In the realm of culture also, I would also bucket organizations.

1814
01:42:38,953 --> 01:42:41,708
그런 것도 설득력 있게 본 적은 없어요.
We haven't seen anything like that convincingly either.

1815
01:42:41,708 --> 01:42:43,615
그래서 우리가 아직 초기 단계인 거예요.
That's why we're still early.

1816
01:42:43,615 --> 01:42:50,160
이런 LLM들 간의 협업을 가로막는
핵심 병목을 짚어주실 수 있나요?
Can you identify the key bottleneck that's preventing this kind of collaboration between LLMs?

1817
01:42:50,160 --> 01:42:54,521
이렇게 말할 수 있을 것
같은데, 이런 비유들 중 일부는
Maybe the way I would put it is, some of these analogies work and they shouldn't, but somehow, remarkably, they do.

1818
01:42:54,521 --> 01:42:58,600
원래 안 맞아야 하는데
어쩐지 놀랍게도 맞아떨어져요.

1819
01:42:58,600 --> 01:43:03,379
더 작은, 그러니까 더 멍청한
모델들 상당수는 놀랍게도
A lot of the smaller models, or the dumber models, remarkably resemble a kindergarten student, or an elementary school student or high school student.

1820
01:43:03,379 --> 01:43:07,520
유치원생이나 초등학생,
고등학생을 닮아 있어요.

1821
01:43:07,520 --> 01:43:09,887
그런데 어쩐지 우리는 아직,
이 애들이 진짜로 일을
Somehow, we still haven't graduated enough where this stuff can take over.

1822
01:43:09,887 --> 01:43:12,000
넘겨받을 만큼 '졸업'하지는
못한 것 같아요.

1823
01:43:12,000 --> 01:43:14,520
제 Claude Code나 Codex도
My Claude Code or Codex, they still feel like this elementary-grade student.

1824
01:43:14,520 --> 01:43:17,040
여전히 이런 초등학생 같은 느낌이에요.

1825
01:43:17,040 --> 01:43:20,483
박사 과정 퀴즈를 풀 수
있다는 건 알지만, 인지적으로는
I know that they can take PhD quizzes, but they still cognitively feel like a kindergarten or an elementary school student.

1826
01:43:20,483 --> 01:43:23,259
여전히 유치원생이나
초등학생 같은 느낌이에요.

1827
01:43:23,259 --> 01:43:26,712
이 애들은 아직 어린애들이라서
문화를 만들 순 없다고 봐요.
I don't think they can create culture because they're still kids.

1828
01:43:26,712 --> 01:43:28,552
서번트 같은 아이들이에요.
They're savant kids.

1829
01:43:28,552 --> 01:43:33,200
이 모든 걸 완벽하게 기억하죠.
They have perfect memory of all this stuff.

1830
01:43:33,200 --> 01:43:36,720
정말 그럴듯해 보이는 온갖
슬롭을 설득력 있게 만들어내요.
They can convincingly create all kinds of slop that looks really good.

1831
01:43:36,720 --> 01:43:40,293
그래도 자기가 뭘 하는지 진짜
아는 것도 아니고, 우리가 계속
But I still think they don't really know what they're doing and they don't really have the cognition across all these little checkboxes that we still have to collect.

1832
01:43:40,293 --> 01:43:43,760
채워야 할 자잘한 체크박스
전반에 대한 인지는 없다고 봐요.

1833
01:43:43,760 --> 01:43:50,160
2017년부터 2022년까지 테슬라에서
자율주행을 이끄셨다고 하셨죠.
You've talked about how you were at Tesla leading self-driving from 2017 to 2022.

1834
01:43:50,160 --> 01:43:54,579
그리고 멋진 데모에서 지금은 수천 대가
And you firsthand saw this progress from cool demos to now thousands of cars out there actually autonomously doing drives.

1835
01:43:54,579 --> 01:43:59,840
실제로 자율주행하는
데까지 직접 지켜보셨고요.

1836
01:43:59,840 --> 01:44:01,280
왜 그게 10년이나 걸렸을까요?
Why did that take a decade?

1837
01:44:01,280 --> 01:44:03,920
그 기간 동안 무슨 일이 있었나요?
What was happening through that time?

1838
01:44:03,920 --> 01:44:08,504
하나 바로 반박하자면,
이건 제가 곧 얘기할
One thing I will almost instantly push back on is that this is not even near done, in a bunch of ways that I'm going to get to.

1839
01:44:08,504 --> 01:44:13,280
여러 면에서 아직 끝난
것과는 거리가 멀어요.

1840
01:44:13,280 --> 01:44:16,535
자율주행은 정말 흥미로운
주제인데, 거기에 5년을
Self-driving is very interesting because it's definitely where I get a lot of my intuitions because I spent five years on it.

1841
01:44:16,535 --> 01:44:19,548
쏟아서 제 직관의 상당
부분이 거기서 나와요.

1842
01:44:19,548 --> 01:44:25,636
자율주행 첫 데모는 1980년대까지
거슬러 올라가는 역사가 있어요.
It has this entire history where the first demos of self-driving go all the way to the 1980s.

1843
01:44:25,636 --> 01:44:28,160
1986년 CMU에서 한
데모를 볼 수 있는데,
You can see a demo from CMU in 1986.

1844
01:44:28,160 --> 01:44:31,470
도로 위를 스스로 달리는 트럭이 있죠.
There's a truck that's driving itself on roads.

1845
01:44:31,470 --> 01:44:32,436
시간을 빨리 감아 보면요.
Fast forward.

1846
01:44:32,436 --> 01:44:37,074
제가 테슬라에 합류할 즈음, 웨이모의
아주 초창기 데모를 봤어요.
When I was joining Tesla, I had a very early demo of Waymo.

1847
01:44:37,074 --> 01:44:41,318
2014년쯤이었나,
완벽한 주행을 보여줬어요.
It basically gave me a perfect drive in 2014 or something like that, so a perfect Waymo drive a decade ago.

1848
01:44:41,318 --> 01:44:46,240
그러니까 10년 전에 완벽한
웨이모 주행을 본 거죠.

1849
01:44:46,240 --> 01:44:50,640
거기서 일하는 친구가 있어서
팔로알토 이곳저곳을 태워다 줬죠.
It took us around Palo Alto and so on because I had a friend who worked there.

1850
01:44:50,640 --> 01:44:54,800
거의 다 됐다고 생각했는데,
그러고도 오랜 시간이 걸렸어요.
I thought it was very close and then it still took a long time.

1851
01:44:54,800 --> 01:44:59,860
어떤 작업이나 일들은
데모와 제품의 간극이
For some kinds of tasks and jobs and so on, there's a very large demo-to-product gap where the demo is very easy, but the product is very hard.

1852
01:44:59,860 --> 01:45:04,919
아주 커요. 데모는
쉬운데 제품은 어렵죠.

1853
01:45:04,919 --> 01:45:11,760
자율주행처럼 실패 비용이 너무
큰 경우에 특히 그래요.
It's especially the case in cases like self-driving where the cost of failure is too high.

1854
01:45:11,760 --> 01:45:15,020
많은 산업이나 일들은 그런
속성이 없을 수도 있지만,
Many industries, tasks, and jobs maybe don't have that property, but when you do have that property, that definitely increases the timelines.

1855
01:45:15,020 --> 01:45:17,943
그 속성이 있으면 확실히
개발 기간이 늘어나요.

1856
01:45:17,943 --> 01:45:22,200
예를 들어 소프트웨어 엔지니어링에는
그런 속성이 분명 있다고 봐요.
For example, in software engineering, I do think that property does exist.

1857
01:45:22,200 --> 01:45:24,560
바이브 코딩 상당수에는 그게 없지만요.
For a lot of vibe coding, it doesn't.

1858
01:45:24,560 --> 01:45:28,434
하지만 실제 프로덕션급 코드를
짠다면 그 속성이 있어야 해요.
But if you're writing actual production-grade code, that property should exist, because any kind of mistake leads to a security vulnerability or something like that.

1859
01:45:28,434 --> 01:45:32,080
자칫하면 실수 하나가 보안
취약점 같은 걸로 이어지니까요.

1860
01:45:32,080 --> 01:45:38,665
수백만, 수억 명의 개인 사회보장번호
같은 정보가 유출될 수도 있고요.
Millions and hundreds of millions of people's personal Social Security numbers get leaked or something like that.

1861
01:45:38,665 --> 01:45:43,905
그러니까 소프트웨어에서도
자율주행에서처럼 조심해야 해요.
So in software, people should be careful, kind of like in self-driving.

1862
01:45:43,905 --> 01:45:48,079
자율주행에서는 뭔가 잘못되면
다칠 수도 있잖아요.
In self-driving, if things go wrong, you might get injured.

1863
01:45:48,079 --> 01:45:50,429
더 나쁜 결과도 있고요.
There are worse outcomes.

1864
01:45:50,429 --> 01:45:55,868
하지만 소프트웨어에서는 얼마나 끔찍해질
수 있는지가 거의 무한대예요.
But in software, it's almost unbounded how terrible something could be.

1865
01:45:55,868 --> 01:45:59,920
이 둘이 그런 속성을
공유한다고 생각해요.
I do think that they share that property.

1866
01:45:59,920 --> 01:46:02,400
시간이 오래 걸리는
이유이자 이걸 이해하는
What takes the long amount of time and the way to think about it is that it's a march of nines.

1867
01:46:02,400 --> 01:46:04,880
방식은, 이게 '9의
행진'이라는 거예요.

1868
01:46:04,880 --> 01:46:07,688
9 하나하나에 들어가는 노력은 일정해요.
Every single nine is a constant amount of work.

1869
01:46:07,688 --> 01:46:10,320
9 하나하나에 드는
노력의 양은 똑같아요.
Every single nine is the same amount of work.

1870
01:46:10,320 --> 01:46:13,297
데모를 봤는데 뭔가가 90%의 확률로
When you get a demo and something works 90% of the time, that's just the first nine.

1871
01:46:13,297 --> 01:46:16,720
작동한다면, 그건 그냥
9 하나인 거예요.

1872
01:46:16,720 --> 01:46:18,880
그다음엔 9 둘, 9 셋,
9 넷, 9 다섯이 필요해요.
Then you need the second nine, a third nine, a fourth nine, a fifth nine.

1873
01:46:18,880 --> 01:46:21,093
제가 테슬라에 한 5년
정도 있는 동안, 아마
While I was at Tesla for five years or so, we went through maybe three nines or two nines.

1874
01:46:21,093 --> 01:46:23,040
9 둘이나 9 셋 정도를 거쳤을 거예요.

1875
01:46:23,040 --> 01:46:25,600
정확히는 모르겠지만, 여러 개의
9를 거치는 반복이었어요.
I don't know what it is, but multiple nines of iteration.

1876
01:46:25,600 --> 01:46:27,477
아직 가야 할 9가 더 남아 있어요.
There are still more nines to go.

1877
01:46:27,477 --> 01:46:30,965
그래서 이런 일들이 이렇게
오래 걸리는 거예요.
That's why these things take so long.

1878
01:46:31,520 --> 01:46:33,200
뭔가가 데모에 불과했던 순간을 지켜본 건
It's definitely formative for me, seeing something that was a demo.

1879
01:46:33,200 --> 01:46:34,956
저한테 확실히 큰
영향을 준 경험이었어요.

1880
01:46:34,956 --> 01:46:36,709
저는 데모에 정말 감흥이 없어요.
I'm very unimpressed by demos.

1881
01:46:36,709 --> 01:46:42,319
뭐가 됐든 데모를 볼 때마다,
저는 전혀 감흥이 없어요.
Whenever I see demos of anything, I'm extremely unimpressed by that.

1882
01:46:43,440 --> 01:46:45,920
누군가 보여주기용으로 급조한
데모라면, 더 심하죠.
If it's a demo that someone cooked up as a showing, it's worse.

1883
01:46:45,920 --> 01:46:47,600
직접 상호작용해볼 수
있다면, 조금 낫고요.
If you can interact with it, it's a bit better.

1884
01:46:47,600 --> 01:46:48,808
하지만 그래도 끝난 게 아니에요.
But even then, you're not done.

1885
01:46:48,808 --> 01:46:49,903
실제 제품이 필요해요.
You need the actual product.

1886
01:46:49,903 --> 01:46:52,606
현실과 부딪히면서 온갖
난관에 부딪힐 거고,
It's going to face all these challenges when it comes in contact with reality and all these different pockets of behavior that need patching.

1887
01:46:52,606 --> 01:46:55,647
패치해야 할 온갖 구석의
행동들이 드러날 거예요.

1888
01:46:55,647 --> 01:46:57,702
이런 일들이 실제로 펼쳐지는
걸 보게 될 거예요.
We're going to see all this stuff play out.

1889
01:46:57,702 --> 01:46:58,907
그게 바로 9의 행진이에요.
It's a march of nines.

1890
01:46:58,907 --> 01:47:00,111
9 하나하나가 일정해요.
Each nine is constant.

1891
01:47:00,111 --> 01:47:01,316
데모들은 고무적이에요.
Demos are encouraging.

1892
01:47:01,316 --> 01:47:04,431
하지만 여전히 해야 할
일이 어마어마하게 많죠.
It’s still a huge amount of work to do.

1893
01:47:04,431 --> 01:47:08,071
바이브 코딩을 하는 게
아니라면, 이건 안전이 정말
It is a critical safety domain, unless you're doing vibe coding, which is all nice and fun and so on.

1894
01:47:08,071 --> 01:47:11,840
중요한 영역이에요. 바이브
코딩이야 즐겁고 좋지만요.

1895
01:47:11,840 --> 01:47:16,000
그런 관점에서도 이게 제 타임라인
전망을 뒷받침해준 거예요.
That's why this also enforced my timelines from that perspective.

1896
01:47:16,000 --> 01:47:19,238
소프트웨어에 필요한
안전 보증이 자율주행과
It's very interesting to hear you say that, that the safety guarantees you need from software are not dissimilar to self-driving.

1897
01:47:19,238 --> 01:47:22,617
크게 다르지 않다는
말씀, 정말 흥미롭네요.

1898
01:47:22,617 --> 01:47:26,587
사람들이 흔히 하는 말은,
자율주행이 그렇게 오래 걸린
What people will often say is that self-driving took so long because the cost of failure is so high.

1899
01:47:26,587 --> 01:47:30,160
이유가 실패 비용이 워낙
크기 때문이라는 거예요.

1900
01:47:30,160 --> 01:47:34,320
사람은 평균적으로 40만 마일,
혹은 7년에 한 번 실수를 하죠.
A human makes a mistake on average every 400,000 miles or every seven years.

1901
01:47:34,320 --> 01:47:37,971
만약 최소 7년 동안은
실수하지 않는 코딩 에이전트를
If you had to release a coding agent that couldn't make a mistake for at least seven years, it would be much harder to deploy.

1902
01:47:37,971 --> 01:47:41,371
내놓아야 한다면, 배포하기가
훨씬 어려울 거예요.

1903
01:47:41,371 --> 01:47:44,549
하지만 말씀하신 요점은,
7년에 한 번 정도 중요한
But your point is that if you made a catastrophic coding mistake, like breaking some important system every seven years...

1904
01:47:44,549 --> 01:47:47,840
시스템을 망가뜨리는 치명적인
코딩 실수를 한다면...

1905
01:47:47,840 --> 01:47:48,898
그건 아주 쉽게 일어날 수 있죠.
Very easy to do.

1906
01:47:48,898 --> 01:47:52,670
사실 실제 시간(wall clock
time) 기준으로는 7년보다
In fact, in terms of wall clock time, it would be much less than seven years because you're constantly outputting code like that.

1907
01:47:52,670 --> 01:47:56,023
훨씬 짧을 거예요, 계속 그런
코드를 쏟아내고 있으니까요.

1908
01:47:57,280 --> 01:47:58,875
토큰 수 기준으로는 7년일 거예요.
In terms of tokens, it would be seven years.

1909
01:47:58,875 --> 01:48:00,080
그런데 실제 시간 기준으로는...
But in terms of wall clock time...

1910
01:48:00,080 --> 01:48:01,784
어떤 면에서는 훨씬 더 어려운 문제예요.
In some ways, it's a much harder problem.

1911
01:48:01,784 --> 01:48:04,741
자율주행은 사람들이 하는 수천
가지 일 중 하나일 뿐이잖아요.
Self-driving is just one of thousands of things that people do.

1912
01:48:04,741 --> 01:48:07,120
말하자면 거의 하나의
버티컬에 가까운 것 같아요.
It's almost like a single vertical, I suppose.

1913
01:48:07,120 --> 01:48:10,112
반면 범용 소프트웨어 엔지니어링
얘기를 하면, 그건 훨씬 더...
Whereas when we're talking about general software engineering, it's even more...

1914
01:48:10,112 --> 01:48:11,840
다뤄야 할 표면적이 더 넓죠.
There's more surface area.

1915
01:48:11,840 --> 01:48:18,027
그 비유에 대해 사람들이 제기하는
또 다른 반론은, 자율주행에서
There's another objection people make to that analogy, which is that with self-driving, what took a big fraction of that time was solving the problem of having basic perception that's robust, building representations, and having a model that has some common sense so it can generalize to when it sees something that's slightly out of distribution.

1916
01:48:18,027 --> 01:48:23,329
시간의 상당 부분을 차지한
게 바로 강건한 기본 지각을

1917
01:48:23,329 --> 01:48:29,339
갖추고 표현을 구축하고, 약간
분포를 벗어난 걸 봐도 일반화할

1918
01:48:29,339 --> 01:48:34,642
수 있는 상식을 가진 모델을
만드는 문제였다는 거예요.

1919
01:48:34,642 --> 01:48:36,619
누군가 도로에서 이런 식으로 손을 흔들고
If somebody's waving down the road this way, you don't need to train for it.

1920
01:48:36,619 --> 01:48:38,686
있다면, 그걸 따로
학습시킬 필요가 없죠.

1921
01:48:38,686 --> 01:48:42,590
그런 상황에 어떻게 반응해야 할지
어느 정도는 알고 있을 테니까요.
The thing will have some understanding of how to respond to something like that.

1922
01:48:42,590 --> 01:48:46,190
이런 건 오늘날 LLM이나
VLM에서 공짜로 얻는 것들이라,
These are things we're getting for free with LLMs or VLMs today, so we don't have to solve these very basic representation problems.

1923
01:48:46,190 --> 01:48:49,680
이런 아주 기본적인 표현 문제들은
따로 풀 필요가 없어요.

1924
01:48:49,680 --> 01:48:52,748
그러니 이제 AI를 여러
도메인에 배포하는 건, 지금
So now deploying AIs across different domains will sort of be like deploying a self-driving car with current models to a different city, which is hard but not like a 10-year-long task.

1925
01:48:52,748 --> 01:48:55,815
모델로 자율주행차를 다른
도시에 배포하는 것과 비슷할

1926
01:48:55,815 --> 01:48:59,200
거예요. 어렵긴 해도 10년씩
걸리는 일은 아니라는 거죠.

1927
01:48:59,200 --> 01:49:01,182
그 말에 100%
동의하는지는 잘 모르겠어요.
I'm not 100% sure if I fully agree with that.

1928
01:49:01,182 --> 01:49:03,840
우리가 정말 얼마나 공짜로
얻고 있는 건지 모르겠어요.
I don't know how much we're getting for free.

1929
01:49:03,840 --> 01:49:07,680
우리가 뭘 얻고 있는지에 대한
이해에는 아직 빈틈이 많아요.
There's still a lot of gaps in understanding what we are getting.

1930
01:49:07,680 --> 01:49:11,232
확실히 하나의 개체 안에서 더
일반화 가능한 지능을 얻고 있죠.
We're definitely getting more generalizable intelligence in a single entity, whereas self-driving is a very special-purpose task that requires.

1931
01:49:11,232 --> 01:49:14,480
반면 자율주행은 아주 특수
목적의 과제라서 필요한 게...

1932
01:49:14,480 --> 01:49:17,687
어떤 면에선 특수 목적 과제를
만드는 게 오히려 더 어려울
In some sense building a special-purpose task is maybe even harder in a certain sense because it doesn't fall out from a more general thing that you're doing at scale, if that makes sense.

1933
01:49:17,687 --> 01:49:20,794
수도 있어요. 대규모로 하는
더 일반적인 작업에서 저절로

1934
01:49:20,794 --> 01:49:23,701
따라 나오는 게 아니니까요.
무슨 말인지 아시겠어요?

1935
01:49:24,240 --> 01:49:29,116
하지만 그 비유가 완전히
와닿진 않아요. LLM은 여전히
But the analogy still doesn't fully resonate because the LLMs are still pretty fallible and they have a lot of gaps that still need to be filled in.

1936
01:49:29,116 --> 01:49:33,520
꽤 오류가 많고 아직 채워야
할 빈틈도 많으니까요.

1937
01:49:33,520 --> 01:49:36,278
어떤 의미에서는 마법 같은 일반화를 그냥
I don't think that we're getting magical generalization completely out of the box, in a certain sense.

1938
01:49:36,278 --> 01:49:39,036
곧바로 얻고 있는 건 아니라고 생각해요.

1939
01:49:39,036 --> 01:49:43,713
다시 돌아가고 싶은 다른
측면은, 자율주행차가
The other aspect that I wanted to return to is that self-driving cars are nowhere near done still.

1940
01:49:43,713 --> 01:49:47,455
아직 완성과는 거리가 멀다는 거예요.

1941
01:49:47,455 --> 01:49:51,360
배포 규모는 꽤 미미해요.
The deployments are pretty minimal.

1942
01:49:51,360 --> 01:49:53,024
웨이모 같은 곳도 차량
대수가 아주 적어요.
Even Waymo and so on has very few cars.

1943
01:49:53,024 --> 01:49:56,440
대략 말하자면, 경제성이 없기
때문에 그렇게 하는 거예요.
They're doing that roughly speaking because they're not economical.

1944
01:49:56,440 --> 01:50:00,320
그들은 미래에 사는
무언가를 만든 거예요.
They've built something that lives in the future.

1945
01:50:00,320 --> 01:50:05,214
미래를 앞당겨 오긴 했지만,
비경제적으로 만들 수밖에 없었어요.
They've had to pull back the future, but they had to make it uneconomical.

1946
01:50:05,840 --> 01:50:09,409
차량 운영·유지에 드는
한계비용뿐 아니라 전체
There are all these costs, not just marginal costs for those cars and their operation and maintenance, but also the capex of the entire thing.

1947
01:50:09,409 --> 01:50:13,120
시스템의 자본적 지출까지,
온갖 비용이 들어요.

1948
01:50:13,120 --> 01:50:17,608
그걸 경제적으로 만드는 건 여전히
그들에게 힘겨운 싸움이 될 거예요.
Making it economical is still going to be a slog for them.

1949
01:50:17,920 --> 01:50:21,661
그리고 이 차들을 보면 아무도
운전을 안 하는 것 같지만,
Also, when you look at these cars and there's no one driving, I actually think it's a little bit deceiving because there are very elaborate teleoperation centers of people kind of in a loop with these cars.

1950
01:50:21,661 --> 01:50:25,635
사실 좀 눈속임이라고 생각해요.
아주 정교한 원격 조작 센터가

1951
01:50:25,635 --> 01:50:29,493
있어서 사람들이 이 차들과 어느
정도 상호작용하고 있거든요.

1952
01:50:29,493 --> 01:50:31,810
정확한 범위는 저도 몰라요. 하지만
I don't have the full extent of it, but there's more human-in-the-loop than you might expect.

1953
01:50:31,810 --> 01:50:34,615
사람이 생각보다 더
많이 개입되어 있어요.

1954
01:50:34,615 --> 01:50:38,425
저 어딘가에서 하늘 위로부터
신호를 보내는 사람들이 있는 거죠.
There are people somewhere out there beaming in from the sky.

1955
01:50:38,425 --> 01:50:41,321
그 사람들이 운전에 완전히
관여하는지는 모르겠어요.
I don't know if they're fully in the loop with the driving.

1956
01:50:41,321 --> 01:50:44,183
어떤 때는 그렇고, 어쨌든 분명히
관여하고 있고 사람이 있어요.
Some of the time they are, but they're certainly involved and there are people.

1957
01:50:44,183 --> 01:50:46,422
어떤 의미에서는 사람을 없앤 게 아니라,
In some sense, we haven't actually removed the person, we've moved them to somewhere where you can't see them.

1958
01:50:46,422 --> 01:50:48,560
안 보이는 곳으로 옮겨놓은 것뿐이에요.

1959
01:50:48,560 --> 01:50:50,633
말씀하신 것처럼, 환경마다 옮겨가는 데는
I still think there will be some work, as you mentioned, going from environment to environment.

1960
01:50:50,633 --> 01:50:52,800
여전히 작업이 좀
필요할 거라고 생각해요.

1961
01:50:52,800 --> 01:50:55,680
자율주행을 현실로 만드는 데는
여전히 난제가 남아 있어요.
There are still challenges to make self-driving real.

1962
01:50:55,680 --> 01:50:58,659
하지만 정말 원격 조작이
아니라면, 이미 현실처럼
But I do agree that it's definitely crossed a threshold where it kind of feels real, unless it's really teleoperated.

1963
01:50:58,659 --> 01:51:01,528
느껴지는 문턱은 확실히
넘었다는 데는 동의해요.

1964
01:51:01,528 --> 01:51:05,056
예를 들어 웨이모는 도시의 모든
지역을 다 갈 수는 없어요.
For example, Waymo can't go to all the different parts of the city.

1965
01:51:05,056 --> 01:51:09,632
제 추측으로는 신호가 잘 안
잡히는 지역들일 것 같아요.
My suspicion is that it's parts of the city where you don't get good signal.

1966
01:51:09,632 --> 01:51:13,015
아무튼 그 스택에 대해서는
제가 아는 게 전혀 없어요.
Anyway, I don't know anything about the stack.

1967
01:51:13,015 --> 01:51:14,811
저도 그냥 대충 지어내는 말이에요.
I'm just making stuff up.

1968
01:51:14,811 --> 01:51:17,920
테슬라에서 5년간
자율주행을 이끄셨잖아요.
You led self-driving for five years at Tesla.

1969
01:51:17,920 --> 01:51:21,120
죄송한데, 웨이모의 세부
사항은 전혀 몰라요.
Sorry, I don't know anything about the specifics of Waymo.

1970
01:51:21,120 --> 01:51:24,346
그나저나 저는 웨이모를 정말
좋아하고 항상 타거든요.
By the way, I love Waymo and I take it all the time.

1971
01:51:24,880 --> 01:51:28,181
그냥 사람들이 그 진전에
대해 가끔 좀 너무 순진하게
I just think that people are sometimes a little bit too naive about some of the progress and there's still a huge amount of work.

1972
01:51:28,181 --> 01:51:31,254
생각하는 것 같아요, 아직
할 일이 산더미거든요.

1973
01:51:31,254 --> 01:51:33,907
제 생각엔 테슬라가 훨씬 더 확장 가능한
Tesla took in my mind a much more scalable approach and the team is doing extremely well.

1974
01:51:33,907 --> 01:51:36,681
접근을 택했고, 팀도
정말 잘하고 있어요.

1975
01:51:36,681 --> 01:51:38,800
이게 어떻게 흘러갈지에 대해서는 제가
I'm kind of on the record for predicting how this thing will go.

1976
01:51:38,800 --> 01:51:40,920
공개적으로 예측해 둔 게 있긴 해요.

1977
01:51:40,920 --> 01:51:42,715
웨이모는 일찍 출발했는데, 센서를 그만큼
Waymo had an early start because you can package up so many sensors.

1978
01:51:42,715 --> 01:51:44,266
많이 욱여넣을 수 있기 때문이에요.

1979
01:51:44,266 --> 01:51:46,455
하지만 테슬라가 더 확장
가능한 전략을 취하고 있다고
But I do think Tesla is taking the more scalable strategy and it's going to look a lot more like that.

1980
01:51:46,455 --> 01:51:48,720
생각하고, 앞으로는 그쪽
모습에 훨씬 가까워질 거예요.

1981
01:51:48,720 --> 01:51:51,539
그러니 이건 아직 결과가
나오지 않았고, 지켜봐야 해요.
So this will still have to play out and hasn't.

1982
01:51:51,539 --> 01:51:56,030
근데 자율주행이 10년 걸렸다는
식으로 말하고 싶진 않아요,
But I don't want to talk about self-driving as something that took a decade because it didn't take it yet, if that makes sense.

1983
01:51:56,030 --> 01:51:59,840
아직 끝난 게 아니니까요,
무슨 말인지 아시겠지만.

1984
01:51:59,840 --> 01:52:02,231
왜냐하면 첫째, 시작점은
10년 전이 아니라
Because one, the start is at 1980 and not 10 years ago, and then two, the end is not here yet.

1985
01:52:02,231 --> 01:52:05,120
1980년이고, 둘째, 아직
끝이 온 게 아니거든요.

1986
01:52:05,120 --> 01:52:08,120
끝이 아직 가까워지지 않은
이유는, 자율주행이라고 할 때
The end is not near yet because when we're talking about self-driving, usually in my mind it's self-driving at scale.

1987
01:52:08,120 --> 01:52:11,024
제 머릿속엔 보통 대규모
자율주행을 뜻하기 때문이에요.

1988
01:52:11,024 --> 01:52:15,136
사람들이 운전면허를 안 따도
되는 수준 말이죠. 이 비유가
People don't have to get a driver's license, etc. I'm curious to bounce two other ways in which the analogy might be different.

1989
01:52:15,136 --> 01:52:19,120
다를 수 있는 다른 두 가지
지점을 좀 짚어보고 싶어요.

1990
01:52:19,120 --> 01:52:22,802
제가 이 부분이 특히 궁금한
이유는, AI가 얼마나
The reason I'm especially curious about this is because the question of how fast AI is deployed, how valuable it is when it's early on is potentially the most important question in the world right now.

1991
01:52:22,802 --> 01:52:26,220
빨리 배포되고 초기에
얼마나 가치 있는지가 지금

1992
01:52:26,220 --> 01:52:29,902
세상에서 가장 중요한 질문일
수도 있기 때문이에요.

1993
01:52:29,902 --> 01:52:33,208
2030년이 어떤 모습일지
모델링하려 한다면, 바로
If you're trying to model what the year 2030 looks like, this is the question you ought to have some understanding of.

1994
01:52:33,208 --> 01:52:36,160
이 질문을 어느 정도는
이해하고 있어야 해요.

1995
01:52:36,160 --> 01:52:38,877
또 하나 생각해볼 수 있는 건, 첫째로
Another thing you might think is one, you have this latency requirement with self-driving.

1996
01:52:38,877 --> 01:52:42,240
자율주행에는 지연시간
요구조건이 있다는 거예요.

1997
01:52:42,240 --> 01:52:46,890
실제 모델이 뭔지는 전혀 모르지만,
아마 수천만 개 파라미터 정도일 거라고
I have no idea what the actual models are, but I assume it’s like tens of millions of parameters or something, which is not the necessary constraint for knowledge work with LLMs.

1998
01:52:46,890 --> 01:52:51,200
짐작하는데, 이건 LLM으로 하는
지식노동에는 필요한 제약이 아니죠.

1999
01:52:51,200 --> 01:52:54,416
컴퓨터 사용 같은 데서는
그럴 수도 있겠지만요.
Maybe it might be with computer use and stuff.

2000
01:52:54,416 --> 01:52:57,132
근데 다른 큰 요인은, 어쩌면 더 중요한
But the other big one is, maybe more importantly, on this capex question.

2001
01:52:57,132 --> 01:52:59,725
건 이 자본지출(capex) 문제예요.

2002
01:52:59,725 --> 01:53:05,577
네, 모델 한 카피를 더 서빙하는
데 추가 비용이 들긴 하지만,
Yes, there is additional cost to serving up an additional copy of a model, but the opex of a session is quite low and you can amortize the cost of AI into the training run itself, depending on how inference scaling goes and stuff.

2003
01:53:05,577 --> 01:53:11,094
세션당 운영비(opex)는 꽤
낮고, 추론 스케일링이 어떻게

2004
01:53:11,094 --> 01:53:17,280
되느냐에 따라 AI 비용을 학습
과정 자체에 상각시킬 수도 있어요.

2005
01:53:17,280 --> 01:53:20,343
하지만 모델 인스턴스
하나를 더 서빙하려고 차를
But it's certainly not as much as building a whole new car to serve another instance of a model.

2006
01:53:20,343 --> 01:53:23,760
통째로 새로 만드는 것에
비할 바는 확실히 아니에요.

2007
01:53:23,760 --> 01:53:28,560
그러니 더 폭넓게 배포하는
경제성이 훨씬 유리한 거죠.
So the economics of deploying more widely are much more favorable.

2008
01:53:28,560 --> 01:53:29,468
그 말이 맞는 것 같아요.
I think that's right.

2009
01:53:29,468 --> 01:53:32,629
비트의 영역에만 머문다면,
비트는 물리적 세계를
If you're sticking to the realm of bits, bits are a million times easier than anything that touches the physical world.

2010
01:53:32,629 --> 01:53:35,912
건드리는 그 어떤 것보다도
백만 배는 더 쉬워요.

2011
01:53:35,912 --> 01:53:37,454
그 점은 확실히 인정합니다.
I definitely grant that.

2012
01:53:37,454 --> 01:53:40,230
비트는 완전히 바뀔 수 있고, 아주 빠른
Bits are completely changeable, arbitrarily reshuffleable at a very rapid speed.

2013
01:53:40,230 --> 01:53:42,880
속도로 임의로 재배열할 수 있으니까요.

2014
01:53:42,880 --> 01:53:48,556
그럼 업계 같은 데서도 훨씬
빠른 적응을 기대하시겠네요.
You would expect a much faster adaptation also in the industry and so on.

2015
01:53:48,556 --> 01:53:50,320
첫 번째가 뭐였죠?
What was the first one?

2016
01:53:50,320 --> 01:53:53,520
지연 시간 요구사항이 모델 크기에
미치는 영향, 그거 말씀이신가요?
The latency requirements and its implications for model size?

2017
01:53:53,520 --> 01:53:54,602
대략 맞는 것 같아요.
I think that's roughly right.

2018
01:53:54,602 --> 01:53:58,368
그리고 지식노동을 대규모로
다룬다면, 현실적으로 어느
I also think that if we are talking about knowledge work at scale, there will be some latency requirements, practically speaking, because we're going to have to create a huge amount of compute and serve that.

2019
01:53:58,368 --> 01:54:02,264
정도 지연 시간 요구사항이
생길 거라고 봐요. 왜냐하면

2020
01:54:02,264 --> 01:54:06,160
엄청난 양의 컴퓨트를 만들어서
그걸 서빙해야 하니까요.

2021
01:54:06,160 --> 01:54:11,532
마지막으로 아주 간단히 얘기하고 싶은
부분은 그 밖의 나머지 전부예요.
The last aspect that I very briefly want to also talk about is all the rest of it.

2022
01:54:13,280 --> 01:54:14,976
사회는 그것을 어떻게 생각할까요?
What does society think about it?

2023
01:54:14,976 --> 01:54:16,672
법적으로는 어떤 파장이 있을까요?
What are the legal ramifications?

2024
01:54:16,672 --> 01:54:18,183
법적으로는 어떻게 돌아가고 있을까요?
How is it working legally?

2025
01:54:18,183 --> 01:54:20,689
보험 쪽으로는 어떻게 돌아가고 있을까요?
How is it working insurance-wise?

2026
01:54:20,689 --> 01:54:25,040
그 층위와 측면들은 어떤 게 있을까요?
What are those layers of it and aspects of it?

2027
01:54:25,040 --> 01:54:28,800
사람들이 웨이모 위에 콘을 올려놓는
것, 그에 해당하는 건 뭘까요?
What is the equivalent of people putting a cone on a Waymo?

2028
01:54:28,800 --> 01:54:31,800
그 모든 것에 대응하는
것들이 생길 거예요.
There are going to be equivalents of all that.

2029
01:54:31,800 --> 01:54:33,936
그래서 자율주행이 여러 가지를 빌려올
So I feel like self-driving is a very nice analogy that you can borrow things from.

2030
01:54:33,936 --> 01:54:36,178
수 있는 아주 좋은 비유인 것 같아요.

2031
01:54:36,178 --> 01:54:38,000
차에서 콘에 해당하는 건 뭘까요?
What is the equivalent of a cone in the car?

2032
01:54:38,000 --> 01:54:41,467
숨어 있는 원격 조작 인력에 해당하는
What is the equivalent of a teleoperating worker who's hidden away and all the aspects of it.

2033
01:54:41,467 --> 01:54:45,280
건 뭘까요, 그리고 그 모든 측면들도요.

2034
01:54:45,280 --> 01:54:49,502
이게 지금의 AI 인프라 구축에
어떤 의미를 갖는지 의견이
Do you have any opinions on what this implies about the current AI buildout, which would 10x the amount of available compute in the world in a year or two and maybe more than 100x it by the end of the decade.

2035
01:54:49,502 --> 01:54:54,119
있으신가요? 1~2년 안에 전
세계 가용 컴퓨트를 10배로, 이

2036
01:54:54,119 --> 01:54:58,605
10년이 끝날 때쯤엔 100배
넘게 늘리는 그 구축 말이에요.

2037
01:54:58,605 --> 01:55:02,355
AI 활용도가 일부 사람들이 순진하게
예측하는 것보다 낮다면, 그건
If the use of AI will be lower than some people naively predict, does that mean that we're overbuilding compute or is that a separate question?

2038
01:55:02,355 --> 01:55:06,511
우리가 컴퓨트를 과잉 구축하고 있다는
뜻일까요, 아니면 별개의 질문일까요?

2039
01:55:06,511 --> 01:55:08,560
철도 때 있었던 일과 좀 비슷하게요.
Kind of like what happened with railroads.

2040
01:55:08,560 --> 01:55:09,659
죄송한데, 뭐라고요?
With what, sorry?

2041
01:55:09,659 --> 01:55:10,880
철도였나요, 아니면?
Was it railroads or?

2042
01:55:10,880 --> 01:55:11,794
네, 맞아요.
Yeah, it was.

2043
01:55:11,794 --> 01:55:12,186
네.
Yeah.

2044
01:55:12,186 --> 01:55:14,080
역사적 선례가 있죠.
There's historical precedent.

2045
01:55:14,080 --> 01:55:16,280
아니면 통신 산업 쪽이었나요?
Or was it with the telecommunication industry?

2046
01:55:16,280 --> 01:55:20,599
10년 뒤에나 온 인터넷을
미리 깔아놓으면서,
Pre-paving the internet that only came a decade later and creating a whole bubble in the telecommunications industry in the late '90s.

2047
01:55:20,599 --> 01:55:25,436
90년대 후반 통신 산업에
거품 전체를 만들어냈죠.

2048
01:55:28,000 --> 01:55:30,963
제가 지금 되게 비관적으로
들린다는 거 알아요.
I understand I'm sounding very pessimistic here.

2049
01:55:30,963 --> 01:55:32,474
사실 저는 낙관적이에요.
I'm actually optimistic.

2050
01:55:32,474 --> 01:55:33,669
이게 잘될 거라고 생각해요.
I think this will work.

2051
01:55:33,669 --> 01:55:34,691
다룰 수 있는 문제라고 봐요.
I think it's tractable.

2052
01:55:34,691 --> 01:55:38,270
제가 비관적으로 들리는 건,
그냥 트위터 타임라인에
I'm only sounding pessimistic because when I go on my Twitter timeline, I see all this stuff that makes no sense to me.

2053
01:55:38,270 --> 01:55:41,848
들어가면 말이 안 되는
것들이 보여서 그런 거예요.

2054
01:55:42,560 --> 01:55:45,098
그게 존재하는 데는 이유가 많아요.
There's a lot of reasons for why that exists.

2055
01:55:45,098 --> 01:55:47,360
솔직히 그중 상당 부분은
그냥 투자 유치 때문이에요.
A lot of it is honestly just fundraising.

2056
01:55:47,360 --> 01:55:48,945
그냥 인센티브 구조 문제죠.
It's just incentive structures.

2057
01:55:48,945 --> 01:55:50,480
상당 부분은 투자 유치
때문일 수도 있고요.
A lot of it may be fundraising.

2058
01:55:50,480 --> 01:55:54,064
상당 부분은 그냥
관심(attention)이에요.
A lot of it is just attention, converting attention to money on the internet, stuff like that.

2059
01:55:54,064 --> 01:55:57,913
인터넷에서 관심을 돈으로
바꾸는 것, 그런 것들이요.

2060
01:55:57,913 --> 01:56:02,990
그런 일이 많이 일어나고 있고, 저는
그냥 거기에 반응하는 것뿐이에요.
There's a lot of that going on, and I'm only reacting to that.

2061
01:56:02,990 --> 01:56:05,920
하지만 전반적으로 저는 여전히
기술에 대해 매우 낙관적이에요.
But I'm still overall very bullish on technology.

2062
01:56:05,920 --> 01:56:08,015
우리는 이 모든 걸 헤쳐나갈 거예요.
We're going to work through all this stuff.

2063
01:56:08,015 --> 01:56:09,920
정말 빠른 진전이 있었죠.
There's been a rapid amount of progress.

2064
01:56:09,920 --> 01:56:12,293
과잉 구축(overbuilding)이
있는지는 잘 모르겠어요.
I don't know that there's overbuilding.

2065
01:56:12,293 --> 01:56:14,901
제가 이해하기로는,
지금 지어지고 있는 걸
I think we're going to be able to gobble up what, in my understanding, is being built.

2066
01:56:14,901 --> 01:56:17,622
우리가 다 흡수할 수
있을 거라고 생각해요.

2067
01:56:17,622 --> 01:56:19,711
예를 들어 Claude
Code나 OpenAI
For example, Claude Code or OpenAI Codex and stuff like that didn't even exist a year ago.

2068
01:56:19,711 --> 01:56:22,302
Codex 같은 것들도 1년
전엔 존재하지도 않았잖아요.

2069
01:56:22,302 --> 01:56:24,339
맞죠?
Is that right?

2070
01:56:24,960 --> 01:56:27,623
이건 존재하지 않았던
기적 같은 기술이에요.
This is a miraculous technology that didn't exist.

2071
01:56:27,623 --> 01:56:30,645
ChatGPT에서 이미 보이는 수요처럼,
There's going to be a huge amount of demand, as we see the demand in ChatGPT already and so on.

2072
01:56:30,645 --> 01:56:33,254
앞으로 엄청난 수요가 있을 거예요.

2073
01:56:33,254 --> 01:56:37,435
그러니까 과잉 구축이
있는지는 잘 모르겠어요.
So I don't know that there's overbuilding.

2074
01:56:37,920 --> 01:56:40,220
저는 그냥 사람들이
계속 잘못 말하는 아주
I'm just reacting to some of the very fast timelines that people continue to say incorrectly.

2075
01:56:40,220 --> 01:56:42,320
빠른 타임라인들에 반응하는 것뿐이에요.

2076
01:56:42,320 --> 01:56:46,122
제가 AI 분야에서 15년을
지내오면서, 아주 평판 좋은
I've heard many, many times over the course of my 15 years in AI where very reputable people keep getting this wrong all the time.

2077
01:56:46,122 --> 01:56:49,925
분들도 이 부분을 계속 틀리는
걸 정말 여러 번 봤어요.

2078
01:56:49,925 --> 01:56:54,990
제대로 캘리브레이션됐으면
하는 문제고, 이런 질문
I want this to be properly calibrated, and some of this also has geopolitical ramifications and things like that with some of these questions.

2079
01:56:54,990 --> 01:56:59,680
중 일부는 지정학적 파장
같은 것도 있잖아요.

2080
01:56:59,680 --> 01:57:04,080
그런 영역에서 사람들이
실수하지 않았으면 해요.
I don't want people to make mistakes in that sphere of things.

2081
01:57:04,080 --> 01:57:06,262
기술이 실제로 뭘 할 수 있고 뭘 못
I do want us to be grounded in the reality of what technology is and isn't.

2082
01:57:06,262 --> 01:57:08,880
하는지, 현실에 발붙이고
있었으면 좋겠어요.

2083
01:57:08,880 --> 01:57:12,231
교육과 유레카 랩스 얘기를 해보죠.
Let's talk about education and Eureka.

2084
01:57:12,231 --> 01:57:15,359
하실 수 있는 일 중
하나는 또 다른 AI
One thing you could do is start another AI lab and then try to solve those problems.

2085
01:57:15,359 --> 01:57:18,758
랩을 세워서 그 문제들을
풀어보는 걸 텐데요.

2086
01:57:18,758 --> 01:57:24,075
지금 뭘 하고 계신지 궁금하고, 왜
AI 연구 자체는 아닌지도 궁금해요.
I’m curious what you're up to now, and why not AI research itself?

2087
01:57:24,075 --> 01:57:28,883
이렇게 표현할 수 있을 것
같은데, AI 랩들이 하는
I guess the way I would put it is I feel some amount of determinism around the things that AI labs are doing.

2088
01:57:28,883 --> 01:57:33,360
일에는 어느 정도 결정론적인
면이 있다고 느껴요.

2089
01:57:33,360 --> 01:57:37,800
제가 거기서 도움이 될
수는 있겠지만, 저만이 할
I feel like I could help out there, but I don't know that I would uniquely improve it.

2090
01:57:37,800 --> 01:57:42,240
수 있는 방식으로 개선할
수 있을지는 모르겠어요.

2091
01:57:42,240 --> 01:57:46,003
개인적으로 가장 두려운 건,
이런 일들이 인류를 배제한
My personal big fear is that a lot of this stuff happens on the side of humanity, and that humanity gets disempowered by it.

2092
01:57:46,003 --> 01:57:49,640
채 진행되고 그로 인해
인류가 힘을 잃는 상황이에요.

2093
01:57:49,640 --> 01:57:53,347
저는 우리가, 혹은 AI가
완전히 자율적으로 지을 다이슨
I care not just about all the Dyson spheres that we're going to build and that AI is going to build in a fully autonomous way, I care about what happens to humans.

2094
01:57:53,347 --> 01:57:57,771
스피어들뿐 아니라, 인간에게 무슨
일이 일어날지에도 관심이 있어요.

2095
01:57:57,771 --> 01:58:00,480
미래에 인간이 잘 살았으면 좋겠어요.
I want humans to be well off in the future.

2096
01:58:00,480 --> 01:58:04,078
최전선 랩에서 점진적으로
개선하는 것보다, 그 지점에서
I feel like that's where I can a lot more uniquely add value than an incremental improvement in the frontier lab.

2097
01:58:04,078 --> 01:58:07,677
제가 훨씬 더 고유하게 가치를
더할 수 있다고 느껴요.

2098
01:58:07,677 --> 01:58:12,238
제가 가장 두려워하는 건 월-E나
이디오크러시 같은 영화 속
I'm most afraid of something depicted in movies like WALL-E or Idiocracy or something like that, where humanity is on the side of this stuff.

2099
01:58:12,238 --> 01:58:16,800
모습이에요, 인류가 이런 일에서
밀려나 곁다리가 되는 거죠.

2100
01:58:16,800 --> 01:58:21,120
이 미래에서 인간이 훨씬,
훨씬 더 나아졌으면 좋겠어요.
I want humans to be much, much better in this future.

2101
01:58:21,120 --> 01:58:26,000
제게는 이걸 이룰 수 있는
길이 바로 교육이에요.
To me, this is through education that you can achieve this.

2102
01:58:26,000 --> 01:58:28,215
그럼 거기서 뭘 작업하고 계신가요?
So what are you working on there?

2103
01:58:28,215 --> 01:58:32,779
가장 쉽게 설명하자면, 저희는 스타플릿
아카데미를 만들려고 하고 있어요.
The easiest way I can describe it is we're trying to build the Starfleet Academy.

2104
01:58:32,779 --> 01:58:34,800
스타트렉을 보셨는지 모르겠네요.
I don’t know if you’ve watched Star Trek.

2105
01:58:34,800 --> 01:58:35,794
안 봤어요.
I haven’t.

2106
01:58:35,794 --> 01:58:40,711
스타플릿 아카데미는 최첨단
기술을 다루는 엘리트 기관이에요,
Starfleet Academy is this elite institution for frontier technology, building spaceships, and graduating cadets to be the pilots of these spaceships and whatnot.

2107
01:58:40,711 --> 01:58:45,927
우주선을 만들고 생도들을 그
우주선 조종사로 졸업시키는 곳이죠.

2108
01:58:45,927 --> 01:58:51,299
그러니까 저는 기술 지식을
위한 엘리트 기관, 아주
So I just imagine an elite institution for technical knowledge and a kind of school that's very up-to-date and a premier institution.

2109
01:58:51,299 --> 01:58:56,480
최신이면서도 최고 수준인
학교를 상상하는 거예요.

2110
01:58:56,480 --> 01:59:02,841
여쭤보고 싶은 질문들 중 하나는,
기술적이거나 과학적인 내용을
A category of questions I have for you is explaining how one teaches technical or scientific content well, because you are one of the world masters at it.

2111
01:59:02,841 --> 01:59:08,640
잘 가르치는 법인데요, 그
방면의 세계적인 대가시니까요.

2112
01:59:08,640 --> 01:59:12,551
이미 유튜브에 올리신 콘텐츠는
어떻게 생각하시는지,
I'm curious both about how you think about it for content you've already put out there on YouTube, but also, to the extent it's any different, how you think about it for Eureka.

2113
01:59:12,551 --> 01:59:16,880
유레카의 경우는 다르다면
어떻게 다른지 둘 다 궁금해요.

2114
01:59:16,880 --> 01:59:21,032
유레카 랩스와 관련해서, 교육에서
정말 흥미로운 점 하나는, AI가
With respect to Eureka, one thing that is very fascinating to me about education is that I do think education will pretty fundamentally change with AIs on the side.

2115
01:59:21,032 --> 01:59:24,960
옆에 있으면 교육이 꽤 근본적으로
바뀔 거라 생각한다는 거예요.

2116
01:59:24,960 --> 01:59:28,024
그건 어느 정도는 새로
짜고 바꿔야 하는 거죠.
It has to be rewired and changed to some extent.

2117
01:59:28,024 --> 01:59:30,400
그래도 아직은 꽤 초기
단계인 것 같아요.
I still think that we're pretty early.

2118
01:59:30,400 --> 01:59:33,440
많은 사람들이 뻔한
것들부터 시도해볼 거예요.
There's going to be a lot of people who are going to try to do the obvious things.

2119
01:59:33,440 --> 01:59:35,631
LLM을 두고 질문을 던지는 식으로요.
Have an LLM and ask it questions.

2120
01:59:35,631 --> 01:59:39,500
지금 프롬프팅으로 할 법한
기본적인 걸 다 해보는 거죠.
Do all the basic things that you would do via prompting right now.

2121
01:59:39,500 --> 01:59:42,255
도움은 되지만, 제겐 여전히
좀 슬롭처럼 느껴져요.
It's helpful, but it still feels to me a bit like slop.

2122
01:59:42,255 --> 01:59:47,582
제대로 하고 싶은데, 제가 원하는
수준의 능력은 아직 없는 것 같아요.
I'd like to do it properly, and I think the capability is not there for what I would want.

2123
01:59:47,582 --> 01:59:51,360
제가 원하는 건 진짜 튜터 경험이에요.
What I'd want is an actual tutor experience.

2124
01:59:51,360 --> 01:59:54,181
제 머릿속에 떠오르는
대표적인 예가, 최근에
A prominent example in my mind is I was recently learning Korean, so language learning.

2125
01:59:54,181 --> 01:59:57,120
한국어를 배웠거든요,
그러니까 언어 학습이요.

2126
01:59:57,120 --> 02:00:00,320
인터넷으로 혼자 한국어를
공부하던 시기가 있었어요.
I went through a phase where I was learning Korean by myself on the internet.

2127
02:00:00,320 --> 02:00:04,121
한국에서 여러 사람들과 함께
소규모 반에서 한국어를
I went through a phase where I was part of a small class in Korea taking Korean with a bunch of other people, which was really funny.

2128
02:00:04,121 --> 02:00:07,244
배우던 시기도 있었는데,
정말 재밌었어요.

2129
02:00:07,244 --> 02:00:09,947
선생님 한 분에 한국어를
배우는 사람이 10명쯤 있었죠.
We had a teacher and 10 people or so taking Korean.

2130
02:00:09,947 --> 02:00:13,600
그러다 일대일 튜터로 바꿨어요.
Then I switched to a one-on-one tutor.

2131
02:00:13,600 --> 02:00:17,570
제가 흥미로웠던 건, 정말
좋은 튜터를 만났었는데, 그
I guess what was fascinating to me was, I think I had a really good tutor, but just thinking through what this tutor was doing for me and how incredible that experience was and how high the bar is for what I want to build eventually.

2132
02:00:17,570 --> 02:00:21,540
튜터가 저를 위해 무엇을
해줬는지 곰곰이 생각해보니 그

2133
02:00:21,540 --> 02:00:25,246
경험이 얼마나 대단했는지,
그리고 제가 결국 만들고

2134
02:00:25,246 --> 02:00:29,216
싶은 것의 기준이 얼마나
높은지 알게 됐다는 점이에요.

2135
02:00:29,216 --> 02:00:32,488
아주 짧은 대화만으로
그분은 제가 학생으로서 어느
Instantly from a very short conversation, she understood where I am as a student, what I know and don't know.

2136
02:00:32,488 --> 02:00:35,760
수준인지, 뭘 알고 뭘
모르는지 바로 파악했어요.

2137
02:00:35,760 --> 02:00:38,224
제 월드 모델을 파악하려고 정확히 어떤
She was able to probe exactly the kinds of questions or things to understand my world model.

2138
02:00:38,224 --> 02:00:41,040
질문들을 던져야 하는지
짚어낼 수 있었어요.

2139
02:00:41,040 --> 02:00:44,320
지금 어떤 LLM도 그걸 100%
해주지 못해요, 근처에도 못 가요.
No LLM will do that for you 100% right now, not even close.

2140
02:00:44,320 --> 02:00:46,933
하지만 좋은 튜터라면 그걸 해내죠.
But a tutor will do that if they're good.

2141
02:00:46,933 --> 02:00:49,866
일단 파악하고 나면,
그분은 제 현재 능력의 딱
Once she understands, she really served me all the things that I needed at my current sliver of capability.

2142
02:00:49,866 --> 02:00:52,800
그 좁은 구간에 필요한
걸 정말 잘 채워줬어요.

2143
02:00:52,800 --> 02:00:54,909
저는 항상 적절한 수준으로
도전받아야 해요.
I need to be always appropriately challenged.

2144
02:00:54,909 --> 02:00:58,494
너무 어렵거나 너무 쉬운
걸 마주하면 안 되는데,
I can't be faced with something too hard or too trivial, and a tutor is really good at serving you just the right stuff.

2145
02:00:58,494 --> 02:01:01,680
튜터는 딱 맞는 걸 주는
데 정말 능숙해요.

2146
02:01:01,680 --> 02:01:04,761
제가 학습의 유일한
제약이라는 느낌이 들었어요.
I felt like I was the only constraint to learning.

2147
02:01:04,761 --> 02:01:07,419
저는 항상 완벽한 정보를 제공받았어요.
I was always given the perfect information.

2148
02:01:07,419 --> 02:01:08,560
제가 유일한 제약이에요.
I'm the only constraint.

2149
02:01:08,560 --> 02:01:11,120
존재하는 유일한 장애물이 저
자신이라는 게 오히려 기분 좋았어요.
I felt good because I'm the only impediment that exists.

2150
02:01:11,120 --> 02:01:14,218
지식을 못 찾거나 설명이
부실해서가 아니에요.
It's not that I can't find knowledge or that it's not properly explained or etc. It's just my ability to memorize and so on.

2151
02:01:14,218 --> 02:01:16,821
그냥 제 암기력 같은 게 문제인 거죠.

2152
02:01:16,821 --> 02:01:18,640
이게 바로 제가 사람들에게
해주고 싶은 거예요.
This is what I want for people.

2153
02:01:18,640 --> 02:01:20,027
그걸 어떻게 자동화하나요?
How do you automate that?

2154
02:01:20,027 --> 02:01:21,093
아주 좋은 질문이네요.
Very good question.

2155
02:01:21,093 --> 02:01:23,888
지금 수준의 역량으로는 안 되죠.
At the current capability, you don't.

2156
02:01:23,888 --> 02:01:29,428
그래서 지금이 이런 AI 튜터를
만들 때는 아니라고 봐요.
That's why I think it's not actually the right time to build this kind of an AI tutor.

2157
02:01:29,428 --> 02:01:34,664
저는 여전히 유용한 제품이라고
생각하고, 많은 사람들이 만들
I still think it's a useful product, and lots of people will build it, but the bar is so high and the capability is not there.

2158
02:01:34,664 --> 02:01:39,900
거예요. 하지만 기준이 워낙
높아서 아직 그 역량은 없어요.

2159
02:01:40,400 --> 02:01:45,440
지금도 ChatGPT는 정말
훌륭한 교육용 제품이라고 생각해요.
Even today, I would say ChatGPT is an extremely valuable educational product.

2160
02:01:45,440 --> 02:01:48,640
하지만 저한테는 그 기준이 얼마나
높은지 보는 게 정말 흥미로웠어요.
But for me, it was so fascinating to see how high the bar is.

2161
02:01:48,640 --> 02:01:53,040
그분과 함께 있을 때, 거의 '이건
도저히 못 만들겠다' 싶었어요.
When I was with her, I almost felt like there's no way I can build this.

2162
02:01:53,040 --> 02:01:54,155
그래도 지금 만들고 계시잖아요, 그렇죠?
But you are building it, right?

2163
02:01:54,155 --> 02:01:56,534
정말 좋은 과외 선생님을
겪어본 사람이라면
Anyone who's had a really good tutor is like, "How are you going to build this?"

2164
02:01:56,534 --> 02:01:58,914
다들 '이걸 어떻게
만들려고?'라고 하죠.

2165
02:01:58,914 --> 02:02:01,366
저는 그 역량이 나오길 기다리고 있어요.
I'm waiting for that capability.

2166
02:02:01,366 --> 02:02:06,747
컴퓨터 비전 쪽으로 AI
컨설팅을 좀 했었어요.
I did some AI consulting for computer vision.

2167
02:02:06,747 --> 02:02:11,306
많은 경우, 제가 회사에 준 가치는
'AI를 쓰지 말라'는 조언이었어요.
A lot of times, the value that I brought to the company was telling them not to use AI.

2168
02:02:11,306 --> 02:02:13,254
제가 AI 전문가였는데, 회사가 문제를
I was the AI expert, and they described the problem, and I said, "Don't use AI."

2169
02:02:13,254 --> 02:02:15,572
설명하면 저는 'AI
쓰지 마세요'라고 했죠.

2170
02:02:15,572 --> 02:02:16,793
이게 제가 준 부가가치였어요.
This is my value add.

2171
02:02:16,793 --> 02:02:20,217
지금 교육 분야도 비슷한
것 같아요. 제가 생각하는
I feel like it's the same in education right now, where I feel like for what I have in mind, it's not yet the time, but the time will come.

2172
02:02:20,217 --> 02:02:24,008
그림을 실현할 때는 아직
아니지만, 언젠가는 올 거예요.

2173
02:02:24,008 --> 02:02:27,104
지금은 좀 더 평범해
보이는 걸 만들고 있어요.
For now, I'm building something that looks maybe a bit more conventional that has a physical and digital component and so on.

2174
02:02:27,104 --> 02:02:30,320
물리적 요소와 디지털
요소가 섞인 그런 것들이요.

2175
02:02:30,320 --> 02:02:35,040
하지만 미래에 이게 어떤
모습이어야 할지는 분명해요.
But it's obvious how this should look in the future.

2176
02:02:35,040 --> 02:02:40,554
말씀해 주실 수 있는 선에서, 올해나
내년에 나오길 바라는 건 뭔가요?
To the extent you're willing to say, what is the thing you hope will be released this year or next year?

2177
02:02:40,554 --> 02:02:42,667
첫 강좌를 만들고 있어요.
I'm building the first course.

2178
02:02:42,667 --> 02:02:46,244
정말, 정말 좋은 강좌를
만들고 싶어요. AI를 배우려면
I want to have a really, really good course, the obvious state-of-the-art destination you go to to learn, AI in this case.

2179
02:02:46,244 --> 02:02:49,591
당연히 여기로 와야 하는,
최첨단 목적지 같은 거요.

2180
02:02:49,591 --> 02:02:51,936
제가 잘 아는 분야이기도 하니, 제대로
That's just what I'm familiar with, so it's a really good first product to get to be really good at it.

2181
02:02:51,936 --> 02:02:54,281
잘해내기에 정말 좋은 첫 제품인 거죠.

2182
02:02:54,281 --> 02:02:55,654
그래서 그걸 만들고 있어요.
So that's what I'm building.

2183
02:02:55,654 --> 02:02:58,850
잠깐 언급하신
nanochat은, 제가 만들고
Nanochat, which you briefly mentioned, is a capstone project of LLM101N, which is a class that I'm building.

2184
02:02:58,850 --> 02:03:02,173
있는 강좌 LLM101n의
캡스톤 프로젝트예요.

2185
02:03:02,480 --> 02:03:03,551
그게 정말 큰 비중을 차지하는 부분이죠.
That's a really big piece of it.

2186
02:03:03,551 --> 02:03:07,603
하지만 이제 중간 단계들을
많이 만들어야 하고, 소규모
But now I have to build out a lot of the intermediates, and then I have to hire a small team of TAs and so on and build the entire course.

2187
02:03:07,603 --> 02:03:11,520
조교(TA) 팀도 꾸려서
강좌 전체를 구축해야 해요.

2188
02:03:11,520 --> 02:03:16,480
한 가지 더 말씀드리면,
사람들이 교육을 생각할 때 흔히
One more thing that I would say is that many times, when people think about education, they think more about what I would say is a softer component of diffusing knowledge.

2189
02:03:16,480 --> 02:03:21,760
지식을 전파하는 좀 더 부드러운
측면을 떠올리는 것 같아요.

2190
02:03:21,760 --> 02:03:24,556
저는 훨씬 더 단단하고 기술적인
걸 염두에 두고 있어요.
I have something very hard and technical in mind.

2191
02:03:24,556 --> 02:03:27,479
제게 교육이란 지식으로 가는 램프를
In my mind, education is the very difficult technical process of building ramps to knowledge.

2192
02:03:27,479 --> 02:03:30,864
만드는, 아주 어려운 기술적 과정이에요.

2193
02:03:30,864 --> 02:03:35,518
제 생각엔 nanochat도 지식으로
가는 램프예요, 아주 단순하니까요.
In my mind, nanochat is a ramp to knowledge because it's very simple.

2194
02:03:35,518 --> 02:03:38,000
완전히 단순화된 풀스택 결과물이거든요.
It's the super simplified full-stack thing.

2195
02:03:38,000 --> 02:03:43,379
이 결과물을 누군가에게 주고 살펴보게
하면, 정말 많은 걸 배우게 돼요.
If you give this artifact to someone and they look through it, they're learning a ton of stuff.

2196
02:03:43,760 --> 02:03:48,080
제가 말하는 '초당 유레카', 그러니까
초당 이해량이 아주 높은 거죠.
It's giving you a lot of what I call eurekas per second, which is understanding per second.

2197
02:03:48,080 --> 02:03:50,611
제가 원하는 게 바로
그거예요, 높은 초당 유레카.
That's what I want, lots of eurekas per second.

2198
02:03:50,611 --> 02:03:53,247
그러니까 제게 이건, 이런
지식으로 가는 램프를
So to me, this is a technical problem of how do we build these ramps to knowledge.

2199
02:03:53,247 --> 02:03:55,578
어떻게 만들 것인가
하는 기술적 문제예요.

2200
02:03:55,578 --> 02:03:59,413
그래서 저는 유레카 랩스가
프론티어 연구소들이나 거기서
So I almost think of Eureka as maybe not that different from some of the frontier labs or some of the work that's going on there.

2201
02:03:59,413 --> 02:04:03,120
진행되는 작업들과 그리
다르지 않다고 거의 생각해요.

2202
02:04:03,120 --> 02:04:07,869
사람들이 절대 막히지 않도록,
항상 너무 어렵지도 너무
I want to figure out how to build these ramps very efficiently so that people are never stuck and everything is always not too hard or not too trivial, and you have just the right material to progress.

2203
02:04:07,869 --> 02:04:11,984
쉽지도 않게, 딱 맞는
진도의 자료를 갖도록 이

2204
02:04:11,984 --> 02:04:16,575
램프를 아주 효율적으로
만드는 법을 알아내고 싶어요.

2205
02:04:16,575 --> 02:04:22,189
단기적으로 보면, 튜터가 이해도를
짚어주는 대신 스스로를 충분히 자각해서
You're imagining in the short term that instead of a tutor being able to probe your understanding, if you have enough self-awareness to be able to probe yourself, you're never going to be stuck.

2206
02:04:22,189 --> 02:04:27,241
스스로 짚어낼 수 있다면, 절대
막히지 않을 거라는 말씀이시군요.

2207
02:04:27,241 --> 02:04:30,390
조교와 이야기하는 것, LLM과
대화하는 것, 참조 구현을
You can find the right answer between talking to the TA or talking to an LLM and looking at the reference implementation.

2208
02:04:30,390 --> 02:04:33,440
살펴보는 것, 그 사이에서
정답을 찾아낼 수 있는 거죠.

2209
02:04:33,440 --> 02:04:38,880
자동화나 AI가 그렇게 큰
부분은 아닌 것 같네요.
It sounds like automation or AI is not a significant part.

2210
02:04:38,880 --> 02:04:44,018
지금까지는요, 여기서 큰
알파는 AI를 설명해내는 능력이
So far, the big alpha here is your ability to explain AI codified in the source material of the class.

2211
02:04:44,018 --> 02:04:48,825
강좌의 소스 자료에 그대로
체화되어 있다는 점이에요.

2212
02:04:48,825 --> 02:04:51,360
그게 본질적으로 이 강좌의 정체예요.
That's fundamentally what the course is.

2213
02:04:51,360 --> 02:04:55,920
업계에 어떤 능력이 존재하는지에
항상 맞춰서 보정해야 해요.
You always have to be calibrated to what capability exists in the industry.

2214
02:04:55,920 --> 02:04:58,560
많은 사람들이 그냥 ChatGPT
같은 데 물어보는 쪽을
A lot of people are going to pursue just asking ChatGPT, etc. But I think right now, for example, if you go to ChatGPT and you say, teach me AI, there's no way.

2215
02:04:58,560 --> 02:05:01,370
택할 텐데요. 하지만 지금
당장, 예를 들어 ChatGPT에

2216
02:05:01,370 --> 02:05:03,840
가서 'AI 가르쳐줘'라고
해 봤자, 어림도 없어요.

2217
02:05:03,840 --> 02:05:06,084
그냥 슬롭을 내놓을 거예요.
It's going to give you some slop.

2218
02:05:06,084 --> 02:05:09,120
지금 AI는 절대 nanochat을
작성해내지 못해요.
AI is never going to write nanochat right now.

2219
02:05:09,120 --> 02:05:13,520
하지만 nanochat은 정말
유용한 중간 지점이에요.
But nanochat is a really useful intermediate point.

2220
02:05:13,520 --> 02:05:15,824
이 모든 자료를 만드는
데 AI와 협업하고
I'm collaborating with AI to create all this material, so AI is still fundamentally very helpful.

2221
02:05:15,824 --> 02:05:18,529
있으니, AI는 여전히
근본적으로 아주 유용해요.

2222
02:05:18,529 --> 02:05:23,316
예전에 스탠퍼드에서 CS231n을
만들었는데, 스탠퍼드 최초의
Earlier on, I built CS231n at Stanford, which I think was the first deep learning class at Stanford, which became very popular.

2223
02:05:23,316 --> 02:05:27,680
딥러닝 강좌였던 것 같고,
그게 굉장히 인기를 끌었어요.

2224
02:05:27,680 --> 02:05:29,905
그때 231n을 만들던 것과 지금
The difference in building out 231n then and LLM101N now is quite stark.

2225
02:05:29,905 --> 02:05:33,120
LLM101n을 만드는
건 차이가 꽤 뚜렷해요.

2226
02:05:33,120 --> 02:05:35,770
지금 존재하는 LLM들 덕분에
정말 힘을 얻는 느낌이지만,
I feel really empowered by the LLMs as they exist right now, but I'm very much in the loop.

2227
02:05:35,770 --> 02:05:37,840
저는 여전히 그 과정에
깊이 관여하고 있어요.

2228
02:05:37,840 --> 02:05:40,960
LLM들이 자료 만드는 걸
도와줘서 훨씬 빨리 진행돼요.
They're helping me build the materials, I go much faster.

2229
02:05:40,960 --> 02:05:44,132
지루한 작업들을 많이 대신해주고
해서 강좌 개발이 훨씬
They're doing a lot of the boring stuff, etc. I feel like I'm developing the course much faster, and it's LLM-infused, but it's not yet at a place where it can creatively create the content.

2230
02:05:44,132 --> 02:05:47,199
빨라진 느낌이에요. LLM이
곳곳에 녹아 있긴 한데,

2231
02:05:47,199 --> 02:05:50,160
아직 콘텐츠를 창의적으로
만들어낼 수준은 아니에요.

2232
02:05:50,160 --> 02:05:51,926
그건 아직 제가 직접
해야 하는 부분이에요.
I'm still there to do that.

2233
02:05:51,926 --> 02:05:55,316
까다로운 건 항상 지금 존재하는 것에
스스로를 맞춰 조정하는 일이에요.
The trickiness is always calibrating yourself to what exists.

2234
02:05:55,316 --> 02:05:59,893
몇 년 후 유레카 랩스를 통해
무엇을 쓸 수 있을지 상상해보면,
When you imagine what is available through Eureka in a couple of years, it seems like the big bottleneck is going to be finding Karpathys in field after field who can convert their understanding into these ramps.

2235
02:05:59,893 --> 02:06:04,994
가장 큰 병목은 각 분야마다 자기
이해를 이런 '지식으로 가는 램프'로

2236
02:06:04,994 --> 02:06:09,440
바꿔낼 수 있는 카파시 같은
사람을 찾는 일이 될 것 같아요.

2237
02:06:09,440 --> 02:06:11,319
시간이 지나면서 바뀔 거예요.
It would change over time.

2238
02:06:11,319 --> 02:06:16,465
지금 당장은 AI와, 그리고
아마 팀원들과 손발을 맞춰
Right now, it would be hiring faculty to help work hand-in-hand with AI and a team of people probably to build state-of-the-art courses.

2239
02:06:16,465 --> 02:06:21,440
최첨단 강좌를 만들 교수진을
채용하는 방식일 거예요.

2240
02:06:21,440 --> 02:06:24,835
시간이 지나면 조교 중 일부는
AI가 대신할 수도 있겠죠.
Over time maybe some of the TAs can become AIs.

2241
02:06:24,835 --> 02:06:29,752
강좌 자료를 전부 넣어두면, 학생들이
좀 더 기초적인 질문 같은 걸
You just take all the course materials and then I think you could serve a very good automated TA for the student when they have more basic questions or something like that.

2242
02:06:29,752 --> 02:06:34,668
할 때 아주 훌륭한 자동화된 조교
역할을 해줄 수 있을 것 같아요.

2243
02:06:34,668 --> 02:06:37,915
하지만 강좌 전체 설계와,
그게 잘 맞아떨어지는지
But I think you'll need faculty for the overall architecture of a course and making sure that it fits.

2244
02:06:37,915 --> 02:06:40,320
확인하는 건 교수진이 필요할 거예요.

2245
02:06:40,320 --> 02:06:42,783
그러니까 이게 어떻게 진화해갈지
단계적인 흐름이 보여요.
So I see a progression of how this will evolve.

2246
02:06:42,783 --> 02:06:45,349
어쩌면 미래 어느 시점엔 제가
그다지 쓸모 있지 않게 되고,
Maybe at some future point I'm not even that useful and AI is doing most of the design much better than I could.

2247
02:06:45,349 --> 02:06:47,760
AI가 설계 대부분을 저보다
훨씬 잘 해낼 수도 있어요.

2248
02:06:47,760 --> 02:06:50,880
하지만 그게 실현되려면 아직
시간이 좀 걸릴 거라고 생각해요.
But I still think that's going to take some time to play out.

2249
02:06:50,880 --> 02:06:56,448
다른 분야 전문가들이 강좌를 만들어
기여하는 걸 그리시는 건가요,
Are you imagining that people who have expertise in other fields are then contributing courses, or do you feel like it's quite essential to the vision that you, given your understanding of how you want to teach, are the one designing the content?

2250
02:06:56,448 --> 02:07:02,016
아니면 어떻게 가르치고 싶은지에
대한 본인의 이해를 바탕으로 직접

2251
02:07:02,016 --> 02:07:07,120
콘텐츠를 설계하는 게 이 비전에
꽤 핵심적이라고 느끼시나요?

2252
02:07:07,120 --> 02:07:09,520
살 칸은 칸 아카데미의 모든
영상을 직접 내레이션하잖아요.
Sal Khan is narrating all the videos on Khan Academy.

2253
02:07:09,520 --> 02:07:11,285
그런 걸 상상하시는 건가요?
Are you imagining something like that?

2254
02:07:11,285 --> 02:07:13,350
아니요, 저는 교수진을 채용할 거예요.
No, I will hire faculty because there are domains in which I'm not an expert.

2255
02:07:13,350 --> 02:07:15,513
제가 전문가가 아닌 분야들도 있으니까요.

2256
02:07:15,513 --> 02:07:21,298
결국 그게 학생에게 최첨단 경험을
제공할 수 있는 유일한 방법이에요.
That's the only way to offer the state-of-the-art experience for the student ultimately.

2257
02:07:21,298 --> 02:07:23,933
교수진을 채용하긴 하겠지만, 저 자신은
I do expect that I would hire faculty, but I will probably stick around in AI for some time.

2258
02:07:23,933 --> 02:07:27,069
당분간 AI 쪽에 계속
남아 있을 것 같아요.

2259
02:07:27,069 --> 02:07:30,555
지금 이 시점의 능력치를
감안하면, 사람들이 예상하는
I do have something more conventional in mind for the current capability than what people would probably anticipate.

2260
02:07:30,555 --> 02:07:33,680
것보다 좀 더 전통적인
방식을 생각하고 있어요.

2261
02:07:33,680 --> 02:07:37,820
스타플릿 아카데미를 만든다고 할
때, 저는 아마 물리적인 기관을
When I'm building Starfleet Academy, I do probably imagine a physical institution, and maybe a tier below that a digital offering that is not the state-of-the-art experience you would get when someone comes in physically full-time and we work through material from start to end and make sure you understand it.

2262
02:07:37,820 --> 02:07:41,723
상상하고 있고, 그 아래 단계로는
디지털 서비스를 생각해요.

2263
02:07:41,723 --> 02:07:45,863
디지털 쪽은 누군가 직접 풀타임으로
와서 처음부터 끝까지 자료를

2264
02:07:45,863 --> 02:07:50,003
함께 짚어가며 확실히 이해시키는,
그런 최첨단 경험은 아니에요.

2265
02:07:50,003 --> 02:07:51,579
그게 물리적 오프라인 프로그램이에요.
That's the physical offering.

2266
02:07:51,579 --> 02:07:53,730
디지털 오퍼링은 인터넷에
있는 여러 자료들,
The digital offering is a bunch of stuff on the internet and maybe some LLM assistant.

2267
02:07:53,730 --> 02:07:55,702
그리고 아마 LLM 어시스턴트 정도예요.

2268
02:07:55,702 --> 02:07:58,877
그 한 단계 아래 티어는
좀 더 눈속임에 가깝지만,
It's a bit more gimmicky in a tier below, but at least it's accessible to 8 billion people.

2269
02:07:58,877 --> 02:08:01,485
적어도 80억 명
모두가 접근할 순 있죠.

2270
02:08:01,485 --> 02:08:09,047
지금 있는 도구들로 대학이란 걸
원점에서 다시 발명하면서, 자료에
I think you're basically inventing college from first principles for the tools that are available today and just selecting for people who have the motivation and the interest of really engaging with material.

2271
02:08:09,047 --> 02:08:16,818
진짜 몰입할 동기와 관심이 있는
사람들만 걸러내고 계신 것 같아요.

2272
02:08:18,080 --> 02:08:21,360
교육뿐 아니라 재교육도 정말
많이 필요해질 거예요.
There's going to have to be a lot of not just education but also re-education.

2273
02:08:21,360 --> 02:08:24,510
그 부분에서 저도 도움이 되고 싶어요,
I would love to help out there because the jobs will probably change quite a bit.

2274
02:08:24,510 --> 02:08:27,360
일자리들이 꽤 많이 바뀔 테니까요.

2275
02:08:27,360 --> 02:08:29,840
예를 들어 요즘 많은 사람들이 특히
AI 쪽으로 역량을 키우려 하잖아요.
For example, today a lot of people are trying to upskill in AI specifically.

2276
02:08:29,840 --> 02:08:33,857
그런 점에서 정말 가르칠 만한
좋은 강좌라고 생각해요.
I think it's a really good course to teach in this respect.

2277
02:08:34,960 --> 02:08:38,040
동기 부여 측면에서, AGI
이전엔 동기 문제가 아주
Motivation-wise, before AGI motivation is very simple to solve because people want to make money.

2278
02:08:38,040 --> 02:08:41,120
간단하게 풀려요. 사람들이
돈을 벌고 싶어 하니까요.

2279
02:08:41,120 --> 02:08:44,260
이게 오늘날 이 업계에서
돈을 버는 방법이니까요.
This is how you make money in the industry today.

2280
02:08:44,260 --> 02:08:48,520
AGI 이후는 훨씬 더
흥미로울 수 있어요. 모든 게
Post-AGI is a lot more interesting possibly because if everything is automated and there's nothing to do for anyone, why would anyone go to a school?

2281
02:08:48,520 --> 02:08:53,661
자동화돼서 아무도 할 일이 없다면,
대체 누가 학교에 가겠어요?

2282
02:08:53,661 --> 02:08:58,719
저는 종종 이렇게 말해요, AGI
이전 교육은 '유용'하다고요.
I often say that pre-AGI education is useful.

2283
02:08:58,719 --> 02:09:01,269
AGI 이후 교육은
'재미'있는 거라고요.
Post-AGI education is fun.

2284
02:09:01,269 --> 02:09:06,560
비슷하게, 요즘 사람들은
헬스장에 가잖아요.
In a similar way, people go to the gym today.

2285
02:09:06,560 --> 02:09:09,165
무거운 물건을 옮기는
데 이제 사람 힘은 필요
We don't need their physical strength to manipulate heavy objects because we have machines that do that.

2286
02:09:09,165 --> 02:09:11,457
없어요. 기계가 그 일을 대신해주니까요.

2287
02:09:11,457 --> 02:09:12,400
그런데도 사람들은 여전히 헬스장에 가요.
They still go to the gym.

2288
02:09:12,400 --> 02:09:13,666
왜 헬스장에 갈까요?
Why do they go to the gym?

2289
02:09:13,666 --> 02:09:20,411
재밌고, 건강에도 좋고, 식스팩
있으면 멋있어 보이니까요.
Because it's fun, it's healthy, and you look hot when you have a six-pack.

2290
02:09:20,411 --> 02:09:29,744
인류에게는 아주 깊은 심리적, 진화적
의미에서 그게 매력적인 거예요.
It's attractive for people to do that in a very deep, psychological, evolutionary sense for humanity.

2291
02:09:30,320 --> 02:09:31,999
교육도 똑같은 방식으로 흘러갈 거예요.
Education will play out in the same way.

2292
02:09:31,999 --> 02:09:35,219
헬스장에 가듯이 학교에 가게 되는 거죠.
You'll go to school like you go to the gym.

2293
02:09:36,000 --> 02:09:40,082
지금은 배우는 게 어려워서 그렇게
많은 사람이 배우진 않아요.
Right now, not that many people learn because learning is hard.

2294
02:09:40,082 --> 02:09:41,461
자료 앞에서 자꾸 튕겨 나가버리니까요.
You bounce from material.

2295
02:09:41,461 --> 02:09:46,000
어떤 사람들은 그 장벽을 넘어서지만,
대부분에겐 어려운 일이죠.
Some people overcome that barrier, but for most people, it's hard.

2296
02:09:46,000 --> 02:09:47,914
이건 풀어야 할 기술적인 문제예요.
It's a technical problem to solve.

2297
02:09:47,914 --> 02:09:52,109
제가 한국어를 배울 때 튜터가 해줬던
걸 해내는 것도 기술적 문제고요.
It's a technical problem to do what my tutor did for me when I was learning Korean.

2298
02:09:52,109 --> 02:09:54,641
다룰 수 있고 만들 수 있는
문제라서, 누군가는 만들어야 해요.
It's tractable and buildable, and someone should build it.

2299
02:09:54,641 --> 02:09:57,726
뭘 배우든 쉽고 하고 싶은
일이 되게 만들 거예요.
It's going to make learning anything trivial and desirable, and people will do it for fun because it's trivial.

2300
02:09:57,726 --> 02:10:00,480
너무 쉬워서 사람들이
재미로 하게 될 거고요.

2301
02:10:00,480 --> 02:10:03,483
어떤 지식이든 그런
튜터가 있다면 뭘 배우든
If I had a tutor like that for any arbitrary piece of knowledge, it's going to be so much easier to learn anything, and people will do it.

2302
02:10:03,483 --> 02:10:06,736
훨씬 쉬워질 거고, 사람들이
그렇게 할 거예요.

2303
02:10:06,736 --> 02:10:10,354
헬스장에 가는 것과 같은
이유로 그렇게 할 거예요.
They'll do it for the same reasons they go to the gym.

2304
02:10:10,354 --> 02:10:14,160
그건 좀 다른 것 같은데요…
That sounds different from using…

2305
02:10:14,160 --> 02:10:21,280
그러니까 AGI 이후엔 이걸 오락이나
자기계발로 쓰신다는 거네요.
So post-AGI, you're using this as entertainment or as self-betterment.

2306
02:10:21,280 --> 02:10:24,353
그런데 이 교육이 인류가
AI를 통제하는 것과도
But it sounded like you had a vision also that this education is relevant to keeping humanity in control of AI.

2307
02:10:24,353 --> 02:10:27,308
관련 있다는 비전도 갖고
계신 것 같았거든요.

2308
02:10:27,308 --> 02:10:28,692
그건 다른 얘기 같은데요.
That sounds different.

2309
02:10:28,692 --> 02:10:30,159
어떤 사람들에게는 오락이고, 다른
Is it entertaining for some people, but then empowerment for some others?

2310
02:10:30,159 --> 02:10:31,952
사람들에게는 힘을 실어주는 거란 건가요?

2311
02:10:31,952 --> 02:10:32,800
그 부분은 어떻게 생각하세요?
How do you think about that?

2312
02:10:32,800 --> 02:10:41,440
결국엔 좀 승산 없는 게임이라고
봐요, 무슨 말인지 아시겠지만요.
I do think eventually it's a bit of a losing game, if that makes sense.

2313
02:10:41,440 --> 02:10:42,829
장기적으로는 그래요.
It is in the long term.

2314
02:10:42,829 --> 02:10:45,219
장기적으로 보면요, 업계
대부분이 생각하는 것보다
In the long term, which is longer than maybe most people in the industry think about, it's a losing game.

2315
02:10:45,219 --> 02:10:47,520
훨씬 긴 장기로 봤을 때
승산 없는 게임이에요.

2316
02:10:47,520 --> 02:10:50,339
사람들이 정말 멀리까지 갈
수 있다고 봐요. 한 사람이
I do think people can go so far and we've barely scratched the surface of how much a person can go.

2317
02:10:50,339 --> 02:10:53,440
얼마나 멀리 갈 수 있는지는
아직 극히 일부밖에 못 봤고요.

2318
02:10:53,440 --> 02:10:55,926
그건 그냥 사람들이 너무
쉽거나 너무 어려운
That's just because people are bouncing off of material that's too easy or too hard.

2319
02:10:55,926 --> 02:10:58,102
자료에 부딪혀 튕겨 나가기 때문이에요.

2320
02:10:59,280 --> 02:11:01,160
사람들은 훨씬 더 멀리까지
갈 수 있게 될 거예요.
People will be able to go much further.

2321
02:11:01,160 --> 02:11:03,638
누구나 5개 국어를 하게 될
거예요, 안 될 이유가 없잖아요?
Anyone will speak five languages because why not?

2322
02:11:03,638 --> 02:11:05,298
너무 쉬우니까요.
Because it's so trivial.

2323
02:11:05,298 --> 02:11:09,680
누구나 학부 기초 커리큘럼
같은 걸 다 알게 될 거고요.
Anyone will know all the basic curriculum of undergrad, et cetera.

2324
02:11:09,680 --> 02:11:14,080
이제 그 비전이 이해가
되네요, 정말 흥미로운데요.
Now that I'm understanding the vision, that's very interesting.

2325
02:11:14,080 --> 02:11:16,569
헬스장 문화에 완벽한 비유가 있어요.
It has a perfect analog in gym culture.

2326
02:11:16,569 --> 02:11:19,755
100년 전에는 그렇게 근육질인
사람이 아무도 없었을 것 같아요.
I don't think 100 years ago anybody would be ripped.

2327
02:11:19,755 --> 02:11:22,841
누구도 그냥 저절로 벤치프레스로 플레이트
Nobody would have been able to just spontaneously bench two plates or three plates or something.

2328
02:11:22,841 --> 02:11:26,067
두 장, 세 장을 들
수는 없었을 거예요.

2329
02:11:26,067 --> 02:11:30,099
그런데 지금은 헬스장에서 체계적으로
훈련하고 웨이트를 드는 것, 혹은
It's very common now because of this idea of systematically training and lifting weights in the gym, or systematically training to be able to run a marathon, which is a capability most humans would not spontaneously have.

2330
02:11:30,099 --> 02:11:34,342
체계적으로 훈련해서 마라톤을 뛸 수
있게 되는 것 같은 개념 덕분에 아주

2331
02:11:34,342 --> 02:11:38,480
흔해졌어요. 이건 대부분의 인간이
저절로 갖고 있지 않은 능력이거든요.

2332
02:11:38,480 --> 02:11:42,445
학습에 대해서도 여러 다른
영역에서 비슷한 걸 상상하시는
You're imagining similar things for learning across many different domains, much more intensely, deeply, faster.

2333
02:11:42,445 --> 02:11:45,770
거네요. 훨씬 더 강도
높고, 깊고, 빠르게요.

2334
02:11:45,770 --> 02:11:46,317
맞아요.
Exactly.

2335
02:11:46,317 --> 02:11:49,487
저는 인간 본성이 변치 않는다는 데 어느
I am betting a bit implicitly on some of the timelessness of human nature.

2336
02:11:49,487 --> 02:11:52,368
정도 암묵적으로 걸고 있는 셈이에요.

2337
02:11:52,368 --> 02:11:57,878
이런 걸 하는 게 바람직하게
여겨질 거고, 수천
It will be desirable to do all these things, and I think people will look up to it as they have for millennia.

2338
02:11:57,878 --> 02:12:03,600
년간 그래왔듯 사람들이
우러러볼 거라고 생각해요.

2339
02:12:03,600 --> 02:12:05,175
이건 앞으로도 계속 그럴 거예요.
This will continue to be true.

2340
02:12:05,175 --> 02:12:07,360
역사적으로 그걸 뒷받침하는
증거가 좀 있어요.
There's some evidence of that historically.

2341
02:12:07,360 --> 02:12:12,069
예를 들어 귀족들이나 고대 그리스
같은 걸 보면, 어떤 의미에서
If you look at, for example, aristocrats, or you look at ancient Greece or something like that, whenever you had little pocket environments that were post-AGI in a certain sense, people have spent a lot of their time flourishing in a certain way, either physically or cognitively.

2342
02:12:12,069 --> 02:12:17,585
'포스트 AGI'적인 작은 국지적
환경이 있을 때마다 사람들은 신체적으로든

2343
02:12:17,585 --> 02:12:22,160
인지적으로든 나름의 방식으로
번영하는 데 많은 시간을 썼어요.

2344
02:12:22,160 --> 02:12:24,893
저는 그 전망에 대해서는
꽤 괜찮다고 느껴요.
I feel okay about the prospects of that.

2345
02:12:24,893 --> 02:12:29,554
만약 이게 틀렸고 제가 잘못
짚어서 월-E나 이디오크러시 같은
If this is false and I'm wrong and we end up in a WALL-E or Idiocracy future, then I don't even care if there are Dyson spheres.

2346
02:12:29,554 --> 02:12:33,941
미래로 간다면, 다이슨 스피어가
있어도 전 신경 안 써요.

2347
02:12:33,941 --> 02:12:35,915
그건 끔찍한 결말이에요.
This is a terrible outcome.

2348
02:12:35,915 --> 02:12:39,124
저는 인류에 대해
정말로 마음을 쓰거든요.
I really do care about humanity.

2349
02:12:39,124 --> 02:12:43,401
모두가 어떤 의미에서는
초인적이어야만 하는 거죠.
Everyone has to just be superhuman in a certain sense.

2350
02:12:43,401 --> 02:12:45,147
그래도 그게 우리로 하여금 뭔가를 할
It's still a world in which that is not enabling us to…

2351
02:12:45,147 --> 02:12:46,980
수 있게 해주는 건 아닌 세상인 거죠…

2352
02:12:46,980 --> 02:12:49,140
그거 딱 그 컬처 세계관
같은 거잖아요, 그렇죠?
It's like the culture world, right?

2353
02:12:49,140 --> 02:12:54,188
자기 자신의 노동이나
사고만으로는 기술의 궤적을
You're not fundamentally going to be able to transform the trajectory of technology or influence decisions by your own labor or cognition alone.

2354
02:12:54,188 --> 02:13:00,400
근본적으로 바꾸거나 의사결정에
영향을 줄 수 없는 거예요.

2355
02:13:00,400 --> 02:13:04,848
AI가 승인을 구하러 오니
의사결정에 영향을 줄 수는
Maybe you can influence decisions because the AI is asking for your approval, but it's not because I've invented something or I've come up with a new design that I'm really influencing the future.

2356
02:13:04,848 --> 02:13:08,989
있겠지만, 그건 제가
뭔가를 발명했거나 새 설계를

2357
02:13:08,989 --> 02:13:13,130
내놔서 미래에 진짜 영향을
미치는 것과는 다르죠.

2358
02:13:13,130 --> 02:13:13,584
그럴 수도 있죠.
Maybe.

2359
02:13:13,584 --> 02:13:17,406
저는 과도기가 있을 거라고
생각해요. 많은 걸 이해하고
I think there will be a transitional period where we are going to be able to be in the loop and advance things if we understand a lot of stuff.

2360
02:13:17,406 --> 02:13:21,227
있다면 루프 안에 남아서
발전을 이끌 수 있는 시기요.

2361
02:13:21,227 --> 02:13:25,040
장기적으로는 그마저도
아마 사라질 거예요.
In the long-term, that probably goes away.

2362
02:13:25,040 --> 02:13:26,653
심지어 하나의 스포츠가 될 수도 있어요.
It might even become a sport.

2363
02:13:26,653 --> 02:13:30,709
지금도 이 방향으로 극단까지
가는 파워리프터들이 있잖아요.
Right now you have powerlifters who go extreme in this direction.

2364
02:13:30,709 --> 02:13:33,520
인지의 시대에서
파워리프팅이란 건 뭘까요?
What is powerlifting in a cognitive era?

2365
02:13:33,520 --> 02:13:38,258
아마 뭔가를 아는 것 자체로 올림픽을
만들려는 사람들일지도 몰라요.
Maybe it's people who are really trying to make Olympics out of knowing stuff.

2366
02:13:39,600 --> 02:13:43,600
완벽한 AI 튜터가 있다면 정말
멀리까지 갈 수 있을지도 몰라요.
If you have a perfect AI tutor, maybe you can get extremely far.

2367
02:13:43,600 --> 02:13:47,682
오늘날의 천재들도 인간
정신이 할 수 있는
I feel that the geniuses of today are barely scratching the surface of what a human mind can do, I think.

2368
02:13:47,682 --> 02:13:52,120
것의 겉만 간신히 긁고
있다는 느낌이 들어요.

2369
02:13:52,120 --> 02:13:53,703
저는 이 비전이 정말 마음에 들어요.
I love this vision.

2370
02:13:53,703 --> 02:14:00,064
저도 당신 제품과 가장 잘 맞는
사용자인 것 같아요. 제 일이
I also feel like the person you have the most product-market fit with is me because my job involves having to learn different subjects every week, and I am very excited.

2371
02:14:00,064 --> 02:14:06,425
매주 다른 분야를 배워야 하는
일이다 보니, 정말 설레거든요.

2372
02:14:06,425 --> 02:14:09,278
그 점은 저도 비슷해요.
I'm similar, for that matter.

2373
02:14:09,278 --> 02:14:13,489
예를 들어 많은 사람들은 학교를
싫어하고 얼른 벗어나고 싶어 하잖아요.
A lot of people, for example, hate school and want to get out of it.

2374
02:14:13,489 --> 02:14:14,678
저는 학교를 정말 좋아했어요.
I really liked school.

2375
02:14:14,678 --> 02:14:15,936
뭔가를 배우는 것
자체를 정말 좋아했고요.
I loved learning things, et cetera.

2376
02:14:15,936 --> 02:14:16,800
학교에 계속 남아 있고 싶었어요.
I wanted to stay in school.

2377
02:14:16,800 --> 02:14:21,919
박사까지 쭉 남아 있었는데, 더는
못 있게 해서 결국 업계로 갔어요.
I stayed all the way until Ph.D. and then they wouldn't let me stay longer, so I went to the industry.

2378
02:14:21,919 --> 02:14:26,172
대략 말하면, 배우는 것 자체가
좋기도 하지만, 배움이 일종의
Roughly speaking, I love learning, even for the sake of learning, but I also love learning because it's a form of empowerment and being useful and productive.

2379
02:14:26,172 --> 02:14:30,676
힘이 되고 유용하고 생산적인 사람이
되게 해준다는 점도 좋아해요.

2380
02:14:30,676 --> 02:14:34,720
아까 미묘한 얘기를 하나 하셨는데,
그걸 좀 풀어서 짚어보고 싶어요.
You also made a point that was subtle and I want to spell it out.

2381
02:14:34,720 --> 02:14:39,622
지금까지 나온 온라인
강좌들만으로는, 왜 아직
With what’s happened so far with online courses, why haven't they already enabled us to enable every single human to know everything?

2382
02:14:39,622 --> 02:14:44,720
모든 사람이 모든 걸 알게
만들지 못한 걸까요?

2383
02:14:44,720 --> 02:14:48,336
명확한 진입 램프가 없다 보니 동기부여
They're just so motivation-laden because there are no obvious on-ramps and it's so easy to get stuck.

2384
02:14:48,336 --> 02:14:52,640
부담이 너무 크고, 너무
쉽게 막혀버리거든요.

2385
02:14:52,640 --> 02:14:57,518
대신 정말 훌륭한 인간 과외
선생님 같은 게 있다면, 동기
If you had this thing instead—like a really good human tutor—it would just be such an unlock from a motivation perspective.

2386
02:14:57,518 --> 02:15:02,092
부여 측면에서 완전히 다른
차원의 돌파구가 될 거예요.

2387
02:15:02,092 --> 02:15:02,753
그런 것 같아요.
I think so.

2388
02:15:02,753 --> 02:15:04,779
학습 자료에서 튕겨져
나오면 기분이 안 좋잖아요.
It feels bad to bounce from material.

2389
02:15:04,779 --> 02:15:05,533
기분이 안 좋죠.
It feels bad.

2390
02:15:05,533 --> 02:15:10,532
시간을 쏟았는데 결과가 안
나오면 부정적 보상을 받게 되고,
You get negative reward from sinking an amount of time in something and it doesn't pan out, or being completely bored because what you're getting is too easy or too hard.

2391
02:15:10,532 --> 02:15:15,532
아니면 너무 쉽거나 너무 어려워서
완전히 지루해지기도 하죠.

2392
02:15:16,160 --> 02:15:18,613
제대로 하면, 배우는
건 기분 좋은 일이에요.
When you do it properly, learning feels good.

2393
02:15:18,613 --> 02:15:21,920
거기 도달하는 건 기술적인 문제예요.
It's a technical problem to get there.

2394
02:15:21,920 --> 02:15:24,520
한동안은 AI와 인간의
협업일 거고, 어느
For a while, it's going to be AI plus human collab, and at some point, maybe it's just AI.

2395
02:15:24,520 --> 02:15:27,120
시점엔 아마 AI
단독이 될 수도 있고요.

2396
02:15:27,120 --> 02:15:30,032
잘 가르치는 것에 대해
몇 가지 여쭤봐도 될까요?
Can I ask some questions about teaching well?

2397
02:15:30,032 --> 02:15:35,131
만약 당신이 관심 있는 다른
분야의 교육자에게, 당신이
If you had to give advice to another educator in another field that you're curious about to make the kinds of YouTube tutorials you've made.

2398
02:15:35,131 --> 02:15:40,400
만든 것 같은 유튜브 튜토리얼을
만들라고 조언해준다면요.

2399
02:15:40,400 --> 02:15:44,124
누군가에게 코드를 짜보게 해서
기술적 이해도를 테스트할
Maybe it might be especially interesting to talk about domains where you can't test someone's technical understanding by having them code something up or something.

2400
02:15:44,124 --> 02:15:47,600
수 없는 분야를 얘기하면
특히 흥미로울 것 같아요.

2401
02:15:47,600 --> 02:15:50,369
어떤 조언을 해주시겠어요?
What advice would you give them?

2402
02:15:50,369 --> 02:15:52,802
꽤 광범위한 주제네요.
That's a pretty broad topic.

2403
02:15:52,802 --> 02:15:56,924
제가 반쯤 무의식적으로 하는 팁과 요령이
There are 10–20 tips and tricks that I semi-consciously do probably.

2404
02:15:56,924 --> 02:16:00,483
한 10~20개는 있을 것 같아요.

2405
02:16:00,483 --> 02:16:04,349
그런데 이런 건 상당 부분 제
물리학 배경에서 나온 거예요.
But a lot of this comes from my physics background.

2406
02:16:04,349 --> 02:16:06,080
저는 물리학을 정말, 정말 좋아했어요.
I really, really did enjoy my physics background.

2407
02:16:06,080 --> 02:16:11,777
왜 모두가 어릴 때 물리학을 배워야
하는지에 대해 할 말이 많은데요,
I have a whole rant on how everyone should learn physics in early school education because early school education is not about accumulating knowledge or memory for tasks later in the industry.

2408
02:16:11,777 --> 02:16:17,474
초기 교육은 나중에 업계에서 쓸
지식이나 기억을 쌓는 게 아니거든요.

2409
02:16:17,474 --> 02:16:18,960
그보다는 뇌를 부팅시키는 일에 가까워요.
It's about booting up a brain.

2410
02:16:18,960 --> 02:16:22,616
물리학이 유독 뇌를 가장 잘
부팅시키는 이유는, 물리학을 하면서
Physics uniquely boots up the brain the best because some of the things that they get you to do in your brain during physics is extremely valuable later.

2411
02:16:22,616 --> 02:16:26,480
뇌 안에서 하게 되는 어떤 작업들이
나중에 정말 값지기 때문이에요.

2412
02:16:26,480 --> 02:16:30,108
모델과 추상화를 세우고,
시스템 대부분을 설명하는
The idea of building models and abstractions and understanding that there's a first-order approximation that describes most of the system, but then there're second-order, third-order, fourth-order terms that may or may not be present.

2413
02:16:30,108 --> 02:16:33,737
1차 근사가 있지만 그
뒤에 있을 수도 없을 수도

2414
02:16:33,737 --> 02:16:37,231
있는 2차, 3차, 4차
항이 있다는 발상이요.

2415
02:16:37,231 --> 02:16:40,155
아주 잡음이 많은 시스템을
관찰하고 있지만, 그 안에
The idea that you're observing a very noisy system, but there are these fundamental frequencies that you can abstract away.

2416
02:16:40,155 --> 02:16:43,280
추상화해낼 수 있는 근본적인
주파수들이 있다는 발상이요.

2417
02:16:43,280 --> 02:16:47,069
물리학자가 수업에 들어와서
"구형 소를 가정하라"고
When a physicist walks into the class and they say, "Assume there's a spherical cow," everyone laughs at that, but this is brilliant.

2418
02:16:47,069 --> 02:16:50,858
하면 다들 웃지만, 사실
그게 정말 명석한 거예요.

2419
02:16:50,858 --> 02:16:54,757
업계 전반에 아주 잘
일반화되는 명석한 사고인데,
It's brilliant thinking that's very generalizable across the industry because a cow can be approximated as a sphere in a bunch of ways.

2420
02:16:54,757 --> 02:16:58,800
소를 여러 면에서 구로
근사할 수 있기 때문이에요.

2421
02:16:58,800 --> 02:17:01,638
예를 들어 정말 좋은 책이 있는데,
《Scale》이라는 책이에요.
There's a really good book, for example, Scale.

2422
02:17:01,638 --> 02:17:04,240
생물학에 대해 이야기하는
물리학자가 쓴 책이에요.
It's from a physicist talking about biology.

2423
02:17:04,240 --> 02:17:06,560
이것도 제가 추천하고
싶은 책 중 하나예요.
Maybe this is also a book I would recommend reading.

2424
02:17:06,560 --> 02:17:08,775
정말 흥미로운 근사들을
많이 얻을 수 있고,
You can get a lot of really interesting approximations and chart scaling laws of animals.

2425
02:17:08,775 --> 02:17:11,359
동물들의 스케일링 법칙도
그래프로 그릴 수 있어요.

2426
02:17:11,359 --> 02:17:14,024
심장 박동수 같은 걸 보면, 그게
You can look at their heartbeats and things like that, and they line up with the size of the animal and things like that.

2427
02:17:14,024 --> 02:17:17,281
동물의 크기 같은 것과 딱 맞아떨어져요.

2428
02:17:17,281 --> 02:17:20,419
동물을 하나의 부피로
이야기할 수 있어요.
You can talk about an animal as a volume.

2429
02:17:20,880 --> 02:17:24,283
그 열 발산에 대해서도 이야기할
수 있는데, 열 발산은
You can talk about the heat dissipation of that, because your heat dissipation grows as the surface area, which is growing as a square.

2430
02:17:24,283 --> 02:17:27,800
표면적에 비례해 늘어나고,
표면적은 제곱으로 커지거든요.

2431
02:17:27,800 --> 02:17:31,228
그런데 열 생성량은 세제곱으로 늘어나요.
But your heat creation or generation is growing as a cube.

2432
02:17:31,228 --> 02:17:33,786
그래서 물리학자들은 세상의
문제를 풀어내는 데 필요한
So I just feel like physicists have all the right cognitive tools to approach problem solving in the world.

2433
02:17:33,786 --> 02:17:36,080
인지적 도구를 다 갖추고
있다는 생각이 들어요.

2434
02:17:36,080 --> 02:17:38,709
그런 훈련 덕분에 저는 항상 모든 것의
So because of that training, I always try to find the first-order terms or the second-order terms of everything.

2435
02:17:38,709 --> 02:17:41,338
1차 항이나 2차 항을 찾으려고 해요.

2436
02:17:41,338 --> 02:17:44,093
어떤 시스템이나 대상을
관찰할 때, 제 머릿속에는
When I'm observing a system or a thing, I have a tangle of a web of ideas or knowledge in my mind.

2437
02:17:44,093 --> 02:17:46,440
뒤엉킨 아이디어와
지식의 그물망이 있어요.

2438
02:17:46,440 --> 02:17:49,350
그중에서 정말 중요한 게
뭔지 찾으려고 하는 거죠.
I'm trying to find, what is the thing that matters?

2439
02:17:49,350 --> 02:17:50,868
1차 성분이 뭘까요?
What is the first-order component?

2440
02:17:50,868 --> 02:17:51,866
어떻게 하면 단순화할 수 있을까요?
How can I simplify it?

2441
02:17:51,866 --> 02:17:54,948
그걸 보여주는, 실제로 작동하는
가장 단순한 형태를 어떻게
How can I have a simplest thing that shows that thing, shows it in action, and then I can tack on the other terms?

2442
02:17:54,948 --> 02:17:58,319
만들고, 그다음에 나머지 항들을
덧붙일 수 있을까 하는 거예요.

2443
02:17:58,319 --> 02:18:00,774
제 레포 중에 이걸 잘
보여준다고 생각하는 예가
Maybe an example from one of my repos that I think illustrates it well is called micrograd.

2444
02:18:00,774 --> 02:18:03,040
하나 있는데,
micrograd라는 거예요.

2445
02:18:03,040 --> 02:18:05,122
이거 알고 계신지 모르겠는데요.
I don't know if you're familiar with this.

2446
02:18:05,122 --> 02:18:08,457
micrograd는 역전파를
보여주는 100줄짜리 코드예요.
So micrograd is 100 lines of code that shows backpropagation.

2447
02:18:08,457 --> 02:18:12,972
덧셈, 곱셈 같은 단순한 연산들로
신경망을 만들 수 있어요.
You can create neural networks out of simple operations like plus and times, et cetera.

2448
02:18:12,972 --> 02:18:14,461
신경망의 레고 블록인 셈이죠.
Lego blocks of neural networks.

2449
02:18:14,461 --> 02:18:16,739
연산 그래프를 쌓아 올려서 정방향 패스와
You build up a computational graph and you do a forward pass and a backward pass to get the gradients.

2450
02:18:16,739 --> 02:18:19,120
역방향 패스로 그래디언트를
구하는 거예요.

2451
02:18:19,120 --> 02:18:21,760
이게 모든 신경망 학습의 핵심이에요.
Now, this is at the heart of all neural network learning.

2452
02:18:21,760 --> 02:18:24,267
micrograd는 꽤
이해하기 쉬운 100줄짜리
So micrograd is a 100 lines of pretty interpretable Python code, and it can do forward and backward arbitrary neural networks, but not efficiently.

2453
02:18:24,267 --> 02:18:26,959
파이썬 코드인데, 임의의
신경망에 대해 정방향·역방향

2454
02:18:26,959 --> 02:18:29,280
계산을 할 수 있어요.
다만 효율적이진 않죠.

2455
02:18:29,280 --> 02:18:31,645
그러니까 micrograd,
이 100줄의 파이썬 코드가
So micrograd, these 100 lines of Python, are everything you need to understand how neural networks train.

2456
02:18:31,645 --> 02:18:34,010
신경망이 어떻게 학습되는지
이해하는 데 필요한 전부예요.

2457
02:18:34,010 --> 02:18:36,029
나머지는 그냥 다 효율성의 문제고요.
Everything else is just efficiency.

2458
02:18:36,029 --> 02:18:37,767
나머지는 전부 효율성이에요.
Everything else is efficiency.

2459
02:18:37,767 --> 02:18:39,779
효율성을 얻으려면
엄청난 작업이 들어가요.
There's a huge amount of work to get efficiency.

2460
02:18:39,779 --> 02:18:42,494
텐서를 만들고, 배치하고,
스트라이드를 정하고, 커널이 메모리
You need your tensors, you lay them out, you stride them, you make sure your kernels, orchestrating memory movement correctly, et cetera.

2461
02:18:42,494 --> 02:18:45,209
이동을 제대로 오케스트레이션하도록
해야 하고, 그런 것들이요.

2462
02:18:45,209 --> 02:18:47,120
대략 말하면, 그건 다
그냥 효율성 문제예요.
It's all just efficiency, roughly speaking.

2463
02:18:47,120 --> 02:18:50,239
하지만 신경망 학습의 핵심적인 지적
요소는 micrograd예요.
But the core intellectual piece of neural network training is micrograd.

2464
02:18:50,239 --> 02:18:50,880
100줄짜리거든요.
It's 100 lines.

2465
02:18:50,880 --> 02:18:52,280
쉽게 이해할 수 있어요.
You can easily understand it.

2466
02:18:52,280 --> 02:18:55,180
체인룰을 재귀적으로 적용해서
그래디언트를 구하는 건데,
It's a recursive application of chain rule to derive the gradient, which allows you to optimize any arbitrary differentiable function.

2467
02:18:55,180 --> 02:18:58,080
그걸로 임의의 미분 가능한
함수를 최적화할 수 있어요.

2468
02:18:58,080 --> 02:19:02,349
그래서 저는 이런 작은
핵심 요소들을 찾아내서
So I love finding these small-order terms and serving them on a platter and discovering them.

2469
02:19:02,349 --> 02:19:06,960
발견하고, 접시에 담아내듯
보여주는 걸 좋아해요.

2470
02:19:06,960 --> 02:19:13,348
교육이 지적으로 가장 흥미로운 일인
것 같아요. 뒤엉킨 이해를 놓고,
I feel like education is the most intellectually interesting thing because you have a tangle of understanding and you're trying to lay it out in a way that creates a ramp where everything only depends on the thing before it.

2471
02:19:13,348 --> 02:19:19,400
모든 게 바로 앞의 것에만 의존하는
램프를 만들어내려는 거니까요.

2472
02:19:19,400 --> 02:19:22,437
이렇게 지식을 풀어내는
게 인지적 과제로서
I find that this untangling of knowledge is just so intellectually interesting as a cognitive task.

2473
02:19:22,437 --> 02:19:24,946
정말 지적으로 흥미로운 것 같아요.

2474
02:19:24,946 --> 02:19:27,712
개인적으로 이 일을 정말
좋아하는데, 뭔가를 특정한
I love doing it personally, but I just have a fascination with trying to lay things out in a certain way.

2475
02:19:27,712 --> 02:19:30,280
방식으로 배치하는 데 그냥
매료돼 있는 거예요.

2476
02:19:30,280 --> 02:19:31,200
그게 저한테 도움이 되는 것 같아요.
Maybe that helps me.

2477
02:19:31,200 --> 02:19:35,439
그리고 그게 학습 경험을 훨씬
더 동기부여되게 만들어요.
It also makes the learning experience so much more motivated.

2478
02:19:35,439 --> 02:19:39,068
카파시 님의 트랜스포머 강의는
바이그램에서 시작하죠. 말
Your tutorial on the transformer begins with bigrams, literally a lookup table from, "Here's the word right now, or here's the previous word, here's the next word."

2479
02:19:39,068 --> 02:19:42,814
그대로 룩업 테이블이에요.
"지금 이 단어가 있으면, 혹은

2480
02:19:42,814 --> 02:19:46,560
이전 단어가 있으면, 다음
단어는 이거다" 하는 식으로요.

2481
02:19:46,560 --> 02:19:47,850
말 그대로 그냥 룩업 테이블인 거예요.
It's literally just a lookup table.

2482
02:19:47,850 --> 02:19:48,960
그게 핵심이에요, 맞아요.
That’s the essence of it, yeah.

2483
02:19:48,960 --> 02:19:53,600
룩업 테이블로 시작해서 트랜스포머로
가는 건 정말 영리한 방식이에요.
It’s such a brilliant way, starting with a lookup table and then going to a transformer.

2484
02:19:53,600 --> 02:19:54,649
각 요소마다 다 이유가 있는 거죠.
Each piece is motivated.

2485
02:19:54,649 --> 02:19:55,656
왜 그걸 추가하는 걸까요?
Why would you add that?

2486
02:19:55,656 --> 02:19:57,040
왜 그다음 걸 추가하는 걸까요?
Why would you add the next thing?

2487
02:19:57,040 --> 02:20:00,415
어텐션 공식이야 그냥 외울
수도 있겠지만, 각 요소가 왜
You could memorize the attention formula, but having an understanding of why every single piece is relevant, what problem it solves.

2488
02:20:00,415 --> 02:20:03,790
필요한지, 어떤 문제를 푸는
건지 이해하는 게 중요해요.

2489
02:20:03,790 --> 02:20:07,359
해법을 보여주기 전에 먼저 고통을
보여주는 거죠, 정말 영리하지 않나요?
You're presenting the pain before you present a solution, and how clever is that?

2490
02:20:07,359 --> 02:20:10,039
학생을 그 과정 그대로
따라가게 해주고 싶은 거예요.
You want to take the student through that progression.

2491
02:20:10,039 --> 02:20:15,611
그걸 재미있고 몰입감 있게
만드는 자잘한 요소들도 많아요.
There are a lot of other small things that make it nice and engaging and interesting.

2492
02:20:15,611 --> 02:20:17,600
항상 학생에게 먼저 물어보는 거죠.
Always prompting the student.

2493
02:20:17,600 --> 02:20:19,916
이런 자잘한 것들이 중요한데, 훌륭한
There's a lot of small things like that are important and a lot of good educators will do this.

2494
02:20:19,916 --> 02:20:22,348
교육자들 중 많은 분들이 이렇게 해요.

2495
02:20:22,348 --> 02:20:23,855
이건 어떻게 풀 것 같아요?
How would you solve this?

2496
02:20:23,855 --> 02:20:27,100
당신이 스스로 추측해보기 전에는
해법을 먼저 보여주지 않을 거예요.
I'm not going to present the solution before you guess.

2497
02:20:27,100 --> 02:20:28,607
그건 낭비니까요.
That would be wasteful.

2498
02:20:28,607 --> 02:20:33,621
그건 좀… 욕은 안 하고
싶지만, 스스로 생각해볼 기회도
That's a little bit of a…I don’t want to swear but it’s a dick move towards you to present you with the solution before I give you a shot to try to come up with it yourself.

2499
02:20:33,621 --> 02:20:38,149
주지 않고 해법부터 보여주는
건 몰상식한 짓이에요.

2500
02:20:38,149 --> 02:20:45,423
스스로 생각해보면 행동 공간이
뭔지, 목표가 뭔지, 그리고 왜
Because if you try to come up with it yourself, you get a better understanding of what the action space is, what the objective is, and then why only this action fulfills that objective.

2501
02:20:45,423 --> 02:20:52,482
그 행동만이 그 목표를 만족하는지
더 잘 이해하게 되니까요.

2502
02:20:53,439 --> 02:20:56,097
직접 시도해볼 기회를
가지면, 나중에 제가
You have a chance to try it yourself, and you have an appreciation when I give you the solution.

2503
02:20:56,097 --> 02:20:58,640
해법을 알려줄 때 그 진가를 알게 되죠.

2504
02:20:58,640 --> 02:21:02,880
새로운 사실 하나가 더해질 때마다
얻는 지식의 양을 최대화하는 거예요.
It maximizes the amount of knowledge per new fact added.

2505
02:21:02,880 --> 02:21:07,882
왜 보통 자기 분야의 진짜 전문가들이 막
Why do you think, by default, people who are genuine experts in their field are often bad at explaining it to somebody ramping up?

2506
02:21:07,882 --> 02:21:13,566
시작하는 사람에게 설명하는
데는 서툰 걸까요?

2507
02:21:13,566 --> 02:21:16,399
지식의 저주, 그리고 전문성의 저주죠.
It's the curse of knowledge and expertise.

2508
02:21:16,399 --> 02:21:21,040
이건 실제로 있는 현상이고, 저도
안 그러려고 애써도 겪는 일이에요.
This is a real phenomenon, and I suffered from it myself as much as I try not to.

2509
02:21:21,040 --> 02:21:23,578
어떤 것들을 당연하게
여기게 돼서, 이제 막
But you take certain things for granted, and you can't put yourself in the shoes of new people who are just starting out.

2510
02:21:23,578 --> 02:21:26,117
시작하는 사람 입장이
되어보질 못하는 거죠.

2511
02:21:26,117 --> 02:21:28,381
이건 아주 흔한 일이고
저한테도 일어나요.
This is pervasive and happens to me as well.

2512
02:21:28,381 --> 02:21:30,185
정말 도움이 되는 게 하나 있어요.
One thing that's extremely helpful.

2513
02:21:30,185 --> 02:21:33,851
예를 들어 최근에 누가
생물학 논문을 보여주려고
As an example, someone was trying to show me a paper in biology recently, and I just instantly had so many terrible questions.

2514
02:21:33,851 --> 02:21:38,080
했는데, 저는 바로 형편없는
질문들이 쏟아져 나왔어요.

2515
02:21:38,080 --> 02:21:41,195
제가 한 건, 논문을
컨텍스트 윈도우에 넣고
What I did was I used ChatGPT to ask the questions with the paper in the context window.

2516
02:21:41,195 --> 02:21:43,920
ChatGPT로 질문을 던진 거였어요.

2517
02:21:43,920 --> 02:21:45,906
간단한 것들은 그럭저럭 풀어내더라고요.
It worked through some of the simple things.

2518
02:21:45,906 --> 02:21:49,141
그다음 그 대화를 그 논문을 쓴 사람,
Then I shared the thread to the person who wrote that paper or worked on that work.

2519
02:21:49,141 --> 02:21:52,068
그 작업을 한 사람에게 공유했어요.

2520
02:21:52,068 --> 02:21:55,602
제가 한 멍청한 질문들을
그들이 보면, 앞으로
I felt like if they could see the dumb questions I had, it might help them explain better in the future.

2521
02:21:55,602 --> 02:21:59,136
더 잘 설명하는 데
도움이 될 것 같았거든요.

2522
02:22:00,160 --> 02:22:04,343
제 자료에 대해서도, 사람들이 제가
만든 것에 관해 ChatGPT와
For my material, I would love it if people shared their dumb conversations with ChatGPT about the stuff that I've created because it really helps me put myself again in the shoes of someone who's starting out.

2523
02:22:04,343 --> 02:22:07,622
나눈 멍청한 대화들을
공유해주면 정말 좋겠어요. 처음

2524
02:22:07,622 --> 02:22:11,353
시작하는 사람의 입장에 다시
서보는 데 큰 도움이 되거든요.

2525
02:22:11,353 --> 02:22:16,240
놀라울 정도로 잘 통하는
또 다른 요령이 있어요.
Another trick that just works astoundingly well.

2526
02:22:16,240 --> 02:22:23,041
누군가 논문이나 블로그 글, 공지문을
쓴다고 하면, 점심을 먹으면서
If somebody writes a paper or a blog post or an announcement, it is in 100% of cases that just the narration or the transcription of how they would explain it to you over lunch is way more, not only understandable, but actually also more accurate and scientific, in the sense that people have a bias to explain things in the most abstract, jargon-filled way possible and to clear their throat for four paragraphs before they explain the central idea.

2527
02:22:23,041 --> 02:22:29,658
설명해주듯 그대로 말로 풀어낸
서술이 예외 없이 훨씬 더 이해하기

2528
02:22:29,658 --> 02:22:36,275
쉬울 뿐 아니라 실제로 더 정확하고
과학적이기까지 해요. 사람들은

2529
02:22:36,275 --> 02:22:43,260
뭔가를 설명할 때 최대한 추상적이고
전문 용어로 가득 채운 뒤, 핵심

2530
02:22:43,260 --> 02:22:50,061
아이디어를 말하기 전에 네 문단씩
헛기침부터 하는 편향이 있거든요.

2531
02:22:50,061 --> 02:22:53,786
그런데 사람과 일대일로 소통할 때는 그냥
But there's something about communicating one-on-one with a person which compels you to just say the thing.

2532
02:22:53,786 --> 02:22:57,680
핵심을 바로 말하게
만드는 뭔가가 있어요.

2533
02:22:57,680 --> 02:22:58,564
그냥 핵심만 말하게 되는 거죠.
Just say the thing.

2534
02:22:58,564 --> 02:23:00,640
그 트윗을 봤는데, 정말
좋다고 생각했어요.
I saw that tweet, I thought it was really good.

2535
02:23:00,640 --> 02:23:03,012
여러 사람한테 공유했었죠.
I shared it with a bunch of people.

2536
02:23:03,012 --> 02:23:06,160
이런 걸 정말 여러 번 느꼈어요.
I noticed this many, many times.

2537
02:23:06,160 --> 02:23:11,040
가장 대표적인 예로, 박사과정
때 연구하던 시절이 기억나요.
The most prominent example is that I remember back in my PhD days doing research.

2538
02:23:11,040 --> 02:23:15,359
누군가의 논문을 읽고, 그게 뭘
하는 건지 이해하려고 애쓰죠.
You read someone's paper, and you work to understand what it's doing.

2539
02:23:15,359 --> 02:23:17,819
그러다 나중에 학회에서 그
사람을 만나 맥주를 마시면서
Then you catch them, you're having beers at the conference later, and you ask them, "So this paper, what were you doing?

2540
02:23:17,819 --> 02:23:20,362
물어보는 거예요. "그래서
이 논문, 뭘 하신 거예요?"

2541
02:23:20,362 --> 02:23:21,571
"이 논문이 뭐에 관한 건가요?"
What is the paper about?"

2542
02:23:21,571 --> 02:23:24,194
그러면 그 논문의 본질을
완벽하게 담아낸 세 문장
They will just tell you these three sentences that perfectly captured the essence of that paper and totally give you the idea.

2543
02:23:24,194 --> 02:23:26,720
정도로 말해줘서, 아이디어가
확 와닿는 거예요.

2544
02:23:26,720 --> 02:23:28,646
논문을 읽을 필요도 없었던 거죠.
And you didn't have to read the paper.

2545
02:23:28,646 --> 02:23:31,399
맥주 한잔 놓고 테이블에
앉아 있을 때만, "아 그
It's only when you're sitting at the table with a beer or something, and they're like, "Oh yeah, the paper is just, you take this idea, you take that idea and try this experiment and you try out this thing."

2546
02:23:31,399 --> 02:23:34,250
논문은 그냥 이 아이디어랑
저 아이디어를 가져다가 이

2547
02:23:34,250 --> 02:23:37,200
실험을 해보고 저것도 해본
거예요"라고 말해주는 거죠.

2548
02:23:37,200 --> 02:23:40,800
대화체로 완벽하게 풀어내는
나름의 방식이 있는 거예요.
They have a way of just putting it conversationally just perfectly.

2549
02:23:40,800 --> 02:23:43,767
그게 왜 초록이 아닌 거죠?
Why isn't that the abstract?

2550
02:23:43,767 --> 02:23:44,687
바로 그거예요.
Exactly.

2551
02:23:44,687 --> 02:23:48,001
이건 아이디어를 설명하려는
사람이 어떻게 하면 더 잘
This is coming from the perspective of how somebody who's trying to explain an idea should formulate it better.

2552
02:23:48,001 --> 02:23:51,200
정리할 수 있는가 하는
관점에서 드리는 말씀이고요.

2553
02:23:51,200 --> 02:23:55,283
카파시 같은 사람이 아이디어를
설명해주지 않는 상황이라면,
What is your advice as a student to other students, if you don't have a Karpathy who is doing the exposition of an idea?

2554
02:23:55,283 --> 02:23:58,984
학생 입장에서 다른 학생들에게
해주실 조언은 뭔가요?

2555
02:23:58,984 --> 02:24:04,859
누군가의 논문을 읽거나 책을
읽을 때, 본인이 전문가가 아닌
If you're reading a paper from somebody or reading a book, what strategies do you employ to learn material you're interested in in fields you're not an expert at?

2556
02:24:04,859 --> 02:24:10,555
분야에서 관심 있는 내용을
배우려면 어떤 전략을 쓰시나요?

2557
02:24:10,555 --> 02:24:15,650
솔직히 저만의 특별한 팁이나
요령이 있는지는 모르겠어요.
I don't know that I have unique tips and tricks, to be honest.

2558
02:24:15,650 --> 02:24:18,615
고통스러운 과정이에요.
It's a painful process.

2559
02:24:18,615 --> 02:24:24,424
항상 꽤 도움이 됐던 것
하나는—이것에 대해 짧게 트윗을
One thing that has always helped me quite a bit is—I had a small tweet about this—learning things on demand is pretty nice.

2560
02:24:24,424 --> 02:24:30,607
올린 적이 있는데—필요할 때
배우는 게 꽤 괜찮다는 거예요.

2561
02:24:30,607 --> 02:24:31,680
깊이 파고드는 학습 말이에요.
Learning depth-wise.

2562
02:24:31,680 --> 02:24:35,320
필요할 때 깊이 파고드는 학습—어떤
프로젝트를 완수해서 보상을 얻으려는
I do feel you need a bit of alternation of learning depth-wise, on demand—you're trying to achieve a certain project that you're going to get a reward from—and learning breadth-wise, which is just, "Oh, let's do whatever 101, and here's all the things you might need."

2563
02:24:35,320 --> 02:24:38,959
학습—과 그냥 "자, 무슨무슨 101을
하고, 필요할 만한 건 다 여기

2564
02:24:38,959 --> 02:24:42,319
있어" 하는 폭넓은 학습 사이를
어느 정도 오가야 한다고 느껴요.

2565
02:24:42,319 --> 02:24:44,642
그게 학교 교육의 많은
부분이죠—"믿어봐,
Which is a lot of school—does breadth-wise learning, like, "Oh, trust me, you'll need this later," that kind of stuff.

2566
02:24:44,642 --> 02:24:47,368
나중에 필요할 거야" 하는
식의 폭넓은 학습이요.

2567
02:24:47,368 --> 02:24:48,525
네, 믿을게요.
Okay, I trust you.

2568
02:24:48,525 --> 02:24:50,960
필요할 것 같으니까 배워둘게요.
I'll learn it because I guess I need it.

2569
02:24:50,960 --> 02:24:53,214
하지만 저는 뭔가를 함으로써 보상을 얻는
But I love the kind of learning where you'll get a reward out of doing something, and you're learning on demand.

2570
02:24:53,214 --> 02:24:55,878
학습, 필요할 때 배우는
학습을 정말 좋아해요.

2571
02:24:55,878 --> 02:24:59,458
정말 큰 도움이 됐다고
느낀 또 다른 것은요.
The other thing that I've found extremely helpful.

2572
02:24:59,840 --> 02:25:03,328
이건 교육이 좀 더 이타적인
측면인데, 사람들에게
This is an aspect where education is a bit more selfless, but explaining things to people is a beautiful way to learn something more deeply.

2573
02:25:03,328 --> 02:25:07,333
설명하는 건 뭔가를 더 깊이
배우는 아름다운 방법이에요.

2574
02:25:07,333 --> 02:25:09,040
저한테는 이런 일이 항상 일어나요.
This happens to me all the time.

2575
02:25:09,040 --> 02:25:12,348
다른 사람들도 아마 그럴
텐데, 뭔가를 제대로 이해하지
It probably happens to other people too because I realize if I don't really understand something, I can't explain it.

2576
02:25:12,348 --> 02:25:15,105
못하면 설명할 수 없다는
걸 깨닫게 되거든요.

2577
02:25:15,105 --> 02:25:18,886
설명하려다가 "어, 나 이거
이해 못 했네" 싶은 거죠.
I'm trying and I'm like, "Oh, I don't understand this."

2578
02:25:18,886 --> 02:25:21,280
그걸 인정하는 게 정말 짜증나요.
It's so annoying to come to terms with that.

2579
02:25:21,280 --> 02:25:23,476
다시 돌아가서 제대로
이해했는지 확인할 수 있어요.
You can go back and make sure you understood it.

2580
02:25:23,476 --> 02:25:25,359
그게 이해의 빈틈들을 채워줘요.
It fills these gaps of your understanding.

2581
02:25:25,359 --> 02:25:28,479
그 빈틈들을 인정하고 메우도록 만들어요.
It forces you to come to terms with them and to reconcile them.

2582
02:25:28,479 --> 02:25:30,671
저는 다시 설명하는 걸 좋아하고, 다른
I love to re-explain things and people should be doing that more as well.

2583
02:25:30,671 --> 02:25:33,280
사람들도 그걸 더 많이
해야 한다고 생각해요.

2584
02:25:33,280 --> 02:25:35,701
그건 지식을 직접 다루게
만들고, 설명할 때
That forces you to manipulate the knowledge and make sure that you know what you're talking about when you're explaining it.

2585
02:25:35,701 --> 02:25:38,223
자기가 무슨 말을 하는지
제대로 알게 해줘요.

2586
02:25:38,223 --> 02:25:40,060
마무리하기에 정말 좋은 이야기네요.
That's an excellent note to close on.

2587
02:25:40,060 --> 02:25:41,483
안드레이, 정말 좋았어요.
Andrej, that was great.

2588
02:25:41,483 --> 02:25:43,592
감사합니다.
Thank you.