1
00:00:00,240 --> 00:00:02,080
뭐가 신기한지 아세요?
You know what's crazy?

2
00:00:02,080 --> 00:00:04,160
이 모든 게 실제로
일어나고 있다는 거요.
That all of this is real.

3
00:00:04,160 --> 00:00:05,200
무슨 의미인가요?
Meaning what?

4
00:00:05,200 --> 00:00:06,464
그렇게 생각 안 하세요?
Don't you think so?

5
00:00:06,464 --> 00:00:08,891
이 모든 AI 이야기랑 베이 에어리어
All this AI stuff and all this Bay Area… that it's happening.

6
00:00:08,891 --> 00:00:11,440
일들이… 실제로 일어나고 있다는 거요.

7
00:00:11,440 --> 00:00:14,128
완전히 SF 같지 않나요?
Isn't it straight out of science fiction?

8
00:00:14,128 --> 00:00:18,758
또 신기한 건, '느린 이륙'이
이렇게 평범하게 느껴진다는 거예요.
Another thing that's crazy is how normal the slow takeoff feels.

9
00:00:18,758 --> 00:00:22,819
GDP의 1%를 AI에
투자한다는 게 훨씬 더
The idea that we'd be investing 1% of GDP in AI, I feel like it would have felt like a bigger deal, whereas right now it just feels...

10
00:00:22,819 --> 00:00:26,880
큰 일처럼 느껴졌을 것
같은데, 지금은 그냥…

11
00:00:26,880 --> 00:00:29,915
사람은 생각보다 빨리 적응하나 봐요.
We get used to things pretty fast, it turns out.

12
00:00:29,915 --> 00:00:31,897
근데 또 좀 추상적이기도 해요.
But also it's kind of abstract.

13
00:00:31,897 --> 00:00:33,013
그게 무슨 뜻인가요?
What does it mean?

14
00:00:33,013 --> 00:00:36,374
뉴스에서 어느 회사가 얼마를 투자한다고
It means that you see it in the news, that such and such company announced such and such dollar amount.

15
00:00:36,374 --> 00:00:40,056
발표했다더라, 그런
걸 보게 된다는 거죠.

16
00:00:40,056 --> 00:00:41,836
보이는 건 그게 다예요.
That's all you see.

17
00:00:41,836 --> 00:00:45,840
지금까지는 다른 방식으로는
딱히 체감되지 않아요.
It's not really felt in any other way so far.

18
00:00:45,840 --> 00:00:46,757
아예 여기서부터 시작해 볼까요?
Should we actually begin here?

19
00:00:46,757 --> 00:00:48,000
흥미로운 주제인 것 같아요.
I think this is an interesting discussion.

20
00:00:48,000 --> 00:00:48,461
좋아요.
Sure.

21
00:00:48,461 --> 00:00:52,742
평범한 사람 입장에선 별로
달라진 게 없다는 그
I think your point, about how from the average person's point of view nothing is that different, will continue being true even into the singularity.

22
00:00:52,742 --> 00:00:57,517
말씀은, 특이점에 이르러서도
계속 사실일 것 같아요.

23
00:00:57,517 --> 00:00:58,880
아니요, 저는 그렇게 생각 안 해요.
No, I don't think so.

24
00:00:58,880 --> 00:01:00,035
아, 흥미롭네요.
Okay, interesting.

25
00:01:00,035 --> 00:01:06,767
제가 체감이 안 된다고 말씀드린
건, 어느 회사가 가늠하기
The thing which I was referring to not feeling different is, okay, such and such company announced some difficult-to-comprehend dollar amount of investment.

26
00:01:06,767 --> 00:01:12,447
힘든 액수의 투자를
발표했다더라, 그런 거였어요.

27
00:01:12,447 --> 00:01:15,920
그 정보로 뭘 해야 할지
아는 사람은 없을 거예요.
I don't think anyone knows what to do with that.

28
00:01:15,920 --> 00:01:20,167
하지만 AI의 영향은
체감될 거라고 생각해요.
But I think the impact of AI is going to be felt.

29
00:01:20,167 --> 00:01:24,160
AI가 경제 전반에 확산될 거예요.
AI is going to be diffused through the economy.

30
00:01:24,160 --> 00:01:27,396
여기엔 아주 강한 경제적
힘이 작용할 거고,
There'll be very strong economic forces for this, and I think the impact is going to be felt very strongly.

31
00:01:27,396 --> 00:01:30,632
그 영향은 아주 강하게
체감될 거라고 봐요.

32
00:01:30,632 --> 00:01:32,640
그 영향은 언제쯤 나타날 거라고 보세요?
When do you expect that impact?

33
00:01:32,640 --> 00:01:38,480
모델들이 경제적 영향이 보여주는
것보다 더 똑똑해 보이는 것 같아요.
I think the models seem smarter than their economic impact would imply.

34
00:01:38,480 --> 00:01:38,986
네.
Yeah.

35
00:01:38,986 --> 00:01:44,720
이게 지금 모델들을 두고 정말
혼란스러운 지점 중 하나예요.
This is one of the very confusing things about the models right now.

36
00:01:44,720 --> 00:01:49,184
평가(evals)에서는 이렇게 잘하는데,
How to reconcile the fact that they are doing so well on evals?

37
00:01:49,184 --> 00:01:53,040
그 사실을 어떻게 이해해야 할까요?

38
00:01:53,040 --> 00:01:56,858
평가를 보면 '이거 꽤
어려운 평가네' 싶어요.
You look at the evals and you go, "Those are pretty hard evals."

39
00:01:56,858 --> 00:01:58,566
그런데 정말 잘 해내거든요.
They are doing so well.

40
00:01:58,566 --> 00:02:05,482
그런데 경제적 영향은 훨씬
뒤처져 있는 것 같고요.
But the economic impact seems to be dramatically behind.

41
00:02:07,920 --> 00:02:14,355
어떻게 모델이 한편으론 이렇게 놀라운
일을 해내면서, 다른 한편으론 어떤
It's very difficult to make sense of, how can the model, on the one hand, do these amazing things, and then on the other hand, repeat itself twice in some situation?

42
00:02:14,355 --> 00:02:20,307
상황에서는 같은 일을 두 번
반복하는지, 이해하기가 정말 어려워요.

43
00:02:20,560 --> 00:02:24,560
예를 들어 바이브 코딩으로
뭔가를 만든다고 해볼게요.
An example would be, let's say you use vibe coding to do something.

44
00:02:24,560 --> 00:02:26,960
어딘가에서 버그가 하나 생겨요.
You go to some place and then you get a bug.

45
00:02:26,960 --> 00:02:30,089
그럼 모델한테 "이 버그
좀 고쳐줄래?"라고 말하죠.
Then you tell the model, "Can you please fix the bug?"

46
00:02:30,089 --> 00:02:32,770
그럼 모델이 "아,
정말 맞는 말씀이세요.
And the model says, "Oh my God, you're so right.

47
00:02:32,770 --> 00:02:33,404
저한테 버그가 있었네요.
I have a bug.

48
00:02:33,404 --> 00:02:34,356
고쳐볼게요"라고 해요.
Let me go fix that."

49
00:02:34,356 --> 00:02:36,960
그러면서 두 번째 버그를 만들어내죠.
And it introduces a second bug.

50
00:02:36,960 --> 00:02:39,413
그래서 "이번엔 새로 생긴
이 두 번째 버그요"라고
Then you tell it, "You have this new second bug," and it tells you, "Oh my God, how could I have done it?

51
00:02:39,413 --> 00:02:41,778
하면, 모델은 "아이고,
제가 어쩌다 그랬을까요.

52
00:02:41,778 --> 00:02:45,105
다시 한번 정말 맞는
말씀이세요"라면서 첫 번째 버그를
You're so right again," and brings back the first bug, and you can alternate between those.

53
00:02:45,105 --> 00:02:48,211
도로 가져와요. 그렇게 계속
왔다 갔다 하는 거죠.

54
00:02:48,211 --> 00:02:50,196
어떻게 그런 일이 가능한 걸까요?
How is that possible?

55
00:02:50,196 --> 00:02:56,890
확실친 않지만, 뭔가 이상한 일이
벌어지고 있다는 건 분명해요.
I'm not sure, but it does suggest that something strange is going on.

56
00:02:56,890 --> 00:03:00,284
가능한 설명이 두 가지 있어요.
I have two possible explanations.

57
00:03:00,284 --> 00:03:06,239
좀 더 엉뚱한 설명은, 어쩌면
강화학습(RL) 훈련이 모델을 지나치게
The more whimsical explanation is that maybe RL training makes the models a little too single-minded and narrowly focused, a little bit too unaware, even though it also makes them aware in some other ways.

58
00:03:06,239 --> 00:03:11,881
한 가지에만 몰두하게 만들고 시야를
좁혀서, 어떤 면에서는 인식을

59
00:03:11,881 --> 00:03:17,680
더 키워주면서도 다른 면에서는
오히려 좀 둔감하게 만든다는 거예요.

60
00:03:17,680 --> 00:03:21,444
그래서 기본적인 것들을 못 하는 거고요.
Because of this, they can't do basic things.

61
00:03:21,444 --> 00:03:24,287
하지만 또 다른 설명도 있어요.
But there is another explanation.

62
00:03:24,287 --> 00:03:28,287
사전학습(pre-training)을
하던 시절에는
Back when people were doing pre-training, the question of what data to train on was answered, because that answer was everything.

63
00:03:28,287 --> 00:03:32,138
'어떤 데이터로 학습할
것인가'라는 질문에 이미

64
00:03:32,138 --> 00:03:36,138
답이 나와 있었어요. 답이
'전부 다'였으니까요.

65
00:03:36,138 --> 00:03:41,040
사전학습을 할 때는 모든
데이터가 필요해요.
When you do pre-training, you need all the data.

66
00:03:41,040 --> 00:03:44,960
그러니 이 데이터로 할지 저
데이터로 할지 고민할 필요가 없죠.
So you don't have to think if it's going to be this data or that data.

67
00:03:44,960 --> 00:03:48,560
하지만 사람들이 RL 훈련을
할 때는 고민이 필요해요.
But when people do RL training, they do need to think.

68
00:03:48,560 --> 00:03:51,767
"좋아, 이건 이런 RL 훈련으로, 저건
They say, "Okay, we want to have this kind of RL training for this thing and that kind of RL training for that thing."

69
00:03:51,767 --> 00:03:55,120
저런 RL 훈련으로
하자"고 말하는 거죠.

70
00:03:55,120 --> 00:03:59,038
제가 듣기로는 모든
회사에 새로운 RL 환경만
From what I hear, all the companies have teams that just produce new RL environments and just add it to the training mix.

71
00:03:59,038 --> 00:04:02,800
만들어서 훈련 믹스에
추가하는 팀이 있대요.

72
00:04:02,800 --> 00:04:04,483
질문은, 그게 대체 뭐냐는 거죠.
The question is, well, what are those?

73
00:04:04,483 --> 00:04:06,080
자유도가 너무 많아요.
There are so many degrees of freedom.

74
00:04:06,080 --> 00:04:11,519
만들 수 있는 RL 환경의
종류가 정말 다양하죠.
There is such a huge variety of RL environments you could produce.

75
00:04:12,720 --> 00:04:16,819
할 수 있는 한 가지는, 이건
의도치 않게 벌어지는 일
One thing you could do, and I think this is something that is done inadvertently, is that people take inspiration from the evals.

76
00:04:16,819 --> 00:04:21,327
같은데, 사람들이 평가(evals)에서
영감을 얻는 거예요.

77
00:04:21,327 --> 00:04:26,830
"자, 우리 모델이 출시될
때 정말 잘했으면 좋겠다.
You say, "Hey, I would love our model to do really well when we release it.

78
00:04:26,830 --> 00:04:28,720
평가(evals) 결과가
멋지게 나왔으면 좋겠다.
I want the evals to look great.

79
00:04:28,720 --> 00:04:33,840
이 과제에 도움이 될 RL
훈련이 뭘까?"라고 하는 거죠.
What would be RL training that could help on this task?"

80
00:04:33,840 --> 00:04:36,440
이런 일이 실제로
벌어진다고 생각하고, 지금
I think that is something that happens, and it could explain a lot of what's going on.

81
00:04:36,440 --> 00:04:39,040
일어나는 많은 일을
설명할 수 있다고 봐요.

82
00:04:39,040 --> 00:04:44,059
여기에 모델의 일반화가 실제로
부족하다는 점까지 더하면, 지금
If you combine this with generalization of the models actually being inadequate, that has the potential to explain a lot of what we are seeing, this disconnect between eval performance and actual real-world performance, which is something that we don't today even understand, what we mean by that.

83
00:04:44,059 --> 00:04:49,077
우리가 목격하는 현상, 즉
평가(evals) 성능과 실제 성능

84
00:04:49,077 --> 00:04:54,243
사이의 이 괴리를 상당 부분
설명할 수 있어요. 사실 이 괴리가

85
00:04:54,243 --> 00:05:00,000
정확히 무엇을 뜻하는지조차 오늘날
우리는 제대로 이해하지 못하고 있죠.

86
00:05:00,000 --> 00:05:04,428
진짜 보상 해킹은
평가(evals)에 매몰된
I like this idea that the real reward hacking is the human researchers who are too focused on the evals.

87
00:05:04,428 --> 00:05:09,040
인간 연구자들이라는 이
생각이 마음에 드네요.

88
00:05:09,040 --> 00:05:12,294
방금 지적하신 부분을 이해하는, 혹은
I think there are two ways to understand, or to try to think about, what you have just pointed out.

89
00:05:12,294 --> 00:05:15,874
생각해보는 방법이 두 가지 있다고 봐요.

90
00:05:15,874 --> 00:05:21,245
하나는, 만약 코딩 대회에서
초인적인 수준이 된다고 해서
One is that if it's the case that simply by becoming superhuman at a coding competition, a model will not automatically become more tasteful and exercise better judgment about how to improve your codebase, well then you should expand the suite of environments such that you're not just testing it on having the best performance in coding competition.

91
00:05:21,245 --> 00:05:25,924
모델이 자동으로 더 감각
있고 코드베이스를 개선할

92
00:05:25,924 --> 00:05:31,122
판단력까지 좋아지는 게
아니라면, 그땐 코딩 대회 최고

93
00:05:31,122 --> 00:05:36,840
성능만 테스트하지 않도록 환경의
폭을 넓혀야 한다는 거예요.

94
00:05:36,840 --> 00:05:41,602
X나 Y나 Z를 위한 최고의
애플리케이션도 만들 수 있어야 하는 거죠.
It should also be able to make the best kind of application for X thing or Y thing or Z thing.

95
00:05:41,602 --> 00:05:45,962
다른 하나는, 아마 이게
암시하신 부분일 텐데, "애초에
Another, maybe this is what you're hinting at, is to say, "Why should it be the case in the first place that becoming superhuman at coding competitions doesn't make you a more tasteful programmer more generally?"

96
00:05:45,962 --> 00:05:50,040
코딩 대회에서 초인적이
된다고 해서 왜 더 전반적으로

97
00:05:50,040 --> 00:05:54,400
감각 있는 프로그래머가 되지
않는가?"라고 묻는 거예요.

98
00:05:54,400 --> 00:05:59,255
어쩌면 해야 할 일은 환경의
양과 다양성을 계속 쌓는
Maybe the thing to do is not to keep stacking up the amount and diversity of environments, but to figure out an approach which lets you learn from one environment and improve your performance on something else.

99
00:05:59,255 --> 00:06:03,775
게 아니라, 한 환경에서
배운 걸 다른 것의 성능

100
00:06:03,775 --> 00:06:08,798
향상으로 이어지게 하는 접근법을
찾는 걸 수도 있어요.

101
00:06:08,798 --> 00:06:14,160
도움이 될 만한 인간
유비가 하나 있어요.
I have a human analogy which might be helpful.

102
00:06:14,160 --> 00:06:17,309
말씀하신 김에 경쟁 프로그래밍의
경우를 예로 들어보죠.
Let's take the case of competitive programming, since you mentioned that.

103
00:06:17,309 --> 00:06:18,911
학생 두 명이 있다고 해보죠.
Suppose you have two students.

104
00:06:18,911 --> 00:06:23,018
한 명은 최고의 경쟁 프로그래머가 되기로
One of them decided they want to be the best competitive programmer, so they will practice 10,000 hours for that domain.

105
00:06:23,018 --> 00:06:27,685
마음먹고, 그 분야에서
1만 시간을 연습해요.

106
00:06:27,685 --> 00:06:33,947
모든 문제를 풀고, 모든
증명 기법을 암기하고, 모든
They will solve all the problems, memorize all the proof techniques, and be very skilled at quickly and correctly implementing all the algorithms.

107
00:06:33,947 --> 00:06:40,640
알고리즘을 빠르고 정확하게
구현하는 데 아주 능숙해지죠.

108
00:06:40,640 --> 00:06:43,818
그렇게 해서 그 학생은
최고 중 한 명이 됐죠.
By doing so, they became one of the best.

109
00:06:43,818 --> 00:06:48,290
두 번째 학생은 '오, 경쟁 프로그래밍
재밌겠다' 정도로 생각했어요.
Student number two thought, "Oh, competitive programming is cool."

110
00:06:48,290 --> 00:06:52,471
아마 100시간 정도, 훨씬 적게
연습했는데도 역시 아주 잘했어요.
Maybe they practiced for 100 hours, much less, and they also did really well.

111
00:06:52,471 --> 00:06:56,158
둘 중 누가 나중에 커리어에서
더 잘할 것 같으세요?
Which one do you think is going to do better in their career later on?

112
00:06:56,158 --> 00:06:56,800
두 번째요.
The second.

113
00:06:56,800 --> 00:06:57,121
맞아요.
Right.

114
00:06:57,121 --> 00:06:59,047
저는 기본적으로 그게 지금
벌어지고 있는 일이라고 생각해요.
I think that's basically what's going on.

115
00:06:59,047 --> 00:07:02,279
모델들은 첫 번째 학생과 훨씬 더
비슷한데, 그 정도가 더 심해요.
The models are much more like the first student, but even more.

116
00:07:02,279 --> 00:07:05,943
왜냐하면 우리는 '모델이 경쟁
프로그래밍을 잘해야 하니까
Because then we say, the model should be good at competitive programming so let's get every single competitive programming problem ever.

117
00:07:05,943 --> 00:07:10,080
존재하는 모든 경쟁 프로그래밍
문제를 다 모으자'라고 하거든요.

118
00:07:10,080 --> 00:07:13,054
그리고 데이터 증강까지
해서 경쟁 프로그래밍
And then let's do some data augmentation so we have even more competitive programming problems, and we train on that.

119
00:07:13,054 --> 00:07:15,656
문제를 더 늘리고, 그걸로 학습시키죠.

120
00:07:15,656 --> 00:07:18,480
그러면 이제 엄청난 경쟁
프로그래머가 생기는 거예요.
Now you've got this great competitive programmer.

121
00:07:18,480 --> 00:07:22,988
이 비유로 보니 더
직관적으로 이해되네요.
With this analogy, I think it's more intuitive.

122
00:07:22,988 --> 00:07:28,165
네, 그렇게까지 훈련받았다면
온갖 알고리즘과
Yeah, okay, if it's so well trained, all the different algorithms and all the different proof techniques are right at its fingertips.

123
00:07:28,165 --> 00:07:32,480
증명 기법이 다 손끝에 있는 거네요.

124
00:07:32,480 --> 00:07:35,917
그리고 이 정도로 준비된
상태라면 다른 영역으로 꼭
And it's more intuitive that with this level of preparation, it would not necessarily generalize to other things.

125
00:07:35,917 --> 00:07:39,354
일반화되지는 않는다는 것도
더 직관적으로 와닿아요.

126
00:07:39,354 --> 00:07:43,594
그럼 두 번째 학생이 그
100시간의 파인튜닝을
But then what is the analogy for what the second student is doing before they do the 100 hours of fine-tuning?

127
00:07:43,594 --> 00:07:48,160
하기 전에 하고 있던 건
뭐에 비유할 수 있을까요?

128
00:07:48,160 --> 00:07:51,232
저는 그 학생에게 '그것'이
있었다고 생각해요.
I think they have "it."

129
00:07:51,232 --> 00:07:53,408
'그것'이요.
The "it" factor.

130
00:07:53,408 --> 00:07:57,435
제가 학부생이었을 때, 저랑
같이 공부했던 학생 중에 그런
When I was an undergrad, I remember there was a student like this that studied with me, so I know it exists.

131
00:07:57,435 --> 00:08:01,840
사람이 있었던 게 기억나요.
그래서 그게 실재한다는 걸 알아요.

132
00:08:01,840 --> 00:08:06,160
'그것'을 사전학습이 하는 일과
구분하는 게 흥미롭다고 생각해요.
I think it's interesting to distinguish "it" from whatever pre-training does.

133
00:08:06,160 --> 00:08:09,051
방금 사전학습에서는 데이터를
굳이 골라야 할 필요가
One way to understand what you just said about not having to choose the data in pre-training is to say it's actually not dissimilar to the 10,000 hours of practice.

134
00:08:09,051 --> 00:08:12,046
없다고 하신 걸 이렇게
이해할 수도 있을 것 같아요.

135
00:08:12,046 --> 00:08:15,040
사실 그게 1만 시간의
연습과 그리 다르지 않다고요.

136
00:08:15,040 --> 00:08:19,034
다만 그 1만 시간의
연습을 공짜로 얻는 거죠.
It's just that you get that 10,000 hours of practice for free because it's already somewhere in the pre-training distribution.

137
00:08:19,034 --> 00:08:22,720
이미 사전학습 분포
어딘가에 들어있으니까요.

138
00:08:22,720 --> 00:08:24,900
그런데 어쩌면 말씀하시려는
건 사전학습에서 나오는
But maybe you're suggesting there's actually not that much generalization from pre-training.

139
00:08:24,900 --> 00:08:26,999
일반화가 사실 그렇게 많지
않다는 거 아닐까요.

140
00:08:26,999 --> 00:08:29,187
사전학습에는 그냥 데이터가
엄청 많은 것뿐이지, 그게
There's just so much data in pre-training, but it's not necessarily generalizing better than RL.

141
00:08:29,187 --> 00:08:31,451
RL보다 일반화를 더 잘
시켜준다는 건 아니라는 거죠.

142
00:08:31,451 --> 00:08:35,386
사전학습의 가장 큰 강점은
이거예요. 첫째, 양이
The main strength of pre-training is that: A, there is so much of it, and B, you don't have to think hard about what data to put into pre-training.

143
00:08:35,386 --> 00:08:38,738
정말 방대하다는 것.
둘째, 어떤 데이터를

144
00:08:38,738 --> 00:08:42,965
사전학습에 넣을지 굳이
고민할 필요가 없다는 것이죠.

145
00:08:42,965 --> 00:08:49,174
아주 자연스러운 데이터고, 그
안에는 사람들이 하는 일들,
It's very natural data, and it does include in it a lot of what people do: people's thoughts and a lot of the features.

146
00:08:49,174 --> 00:08:54,800
즉 사람들의 생각과 여러
특성들이 많이 담겨 있어요.

147
00:08:54,800 --> 00:08:59,559
마치 사람들이 세상 전체를
텍스트에 투영해놓은 것과
It's like the whole world as projected by people onto text, and pre-training tries to capture that using a huge amount of data.

148
00:08:59,559 --> 00:09:04,997
같고, 사전학습은 방대한 데이터로
그걸 포착하려는 거예요.

149
00:09:04,997 --> 00:09:10,967
사전학습은 따져보기가 정말
어려운데, 모델이 사전학습
Pre-training is very difficult to reason about because it's so hard to understand the manner in which the model relies on pre-training data.

150
00:09:10,967 --> 00:09:17,760
데이터에 의존하는 방식을
이해하기가 너무 어렵기 때문이에요.

151
00:09:17,760 --> 00:09:21,643
모델이 실수할 때마다,
어쩌다 보니 그게 사전학습
Whenever the model makes a mistake, could it be because something by chance is not as supported by the pre-training data?

152
00:09:21,643 --> 00:09:26,102
데이터로 충분히 뒷받침되지
않아서일 수도 있지 않을까요?

153
00:09:26,102 --> 00:09:30,720
'사전학습이 뒷받침한다'는 건
어쩌면 느슨한 표현일 수도 있어요.
"Support by pre-training" is maybe a loose term.

154
00:09:30,720 --> 00:09:35,126
이 부분에 대해 더 유용하게
보탤 말이 있을지는 모르겠네요.
I don't know if I can add anything more useful on this.

155
00:09:36,000 --> 00:09:39,440
사전학습에 대응하는 인간의
유사물은 없다고 봐요.
I don't think there is a human analog to pre-training.

156
00:09:39,440 --> 00:09:41,278
사전학습에 대응하는 인간의 유사물이
Here are analogies that people have proposed for what the human analogy to pre-training is.

157
00:09:41,278 --> 00:09:43,600
무엇인지, 사람들이
제안한 비유들이 있어요.

158
00:09:43,600 --> 00:09:47,920
그게 왜 틀렸을 수도 있는지
그 생각을 듣고 싶어요.
I'm curious to get your thoughts on why they're potentially wrong.

159
00:09:47,920 --> 00:09:53,274
하나는 사람이 태어나서
18년, 혹은 15년, 13년
One is to think about the first 18, or 15, or 13 years of a person's life when they aren't necessarily economically productive, but they are doing something that is making them understand the world better and so forth.

160
00:09:53,274 --> 00:09:58,628
동안 경제적으로 꼭 생산적이진
않지만, 세상을 더 잘

161
00:09:58,628 --> 00:10:03,797
이해하게 만드는 무언가를
하고 있다고 보는 거예요.

162
00:10:03,797 --> 00:10:09,549
다른 하나는 진화가 30억 년
동안 일종의 탐색을 해온 결과로,
The other is to think about evolution as doing some kind of search for 3 billion years, which then results in a human lifetime instance.

163
00:10:09,549 --> 00:10:14,480
한 인간의 일생이라는 인스턴스가
나온다고 보는 거예요.

164
00:10:14,480 --> 00:10:18,000
이 둘 중 어느 쪽이든 사전학습에
비견될 수 있다고 보시는지 궁금해요.
I'm curious if you think either of these are analogous to pre-training.

165
00:10:18,000 --> 00:10:22,800
사전학습이 아니라면, 인간의 평생에
걸친 학습은 어떤 것이라고 보세요?
How would you think about what lifetime human learning is like, if not pre-training?

166
00:10:22,800 --> 00:10:26,644
이 둘 다 사전학습과
비슷한 면이 있다고 봐요.
I think there are some similarities between both of these and pre-training, and pre-training tries to play the role of both of these.

167
00:10:26,644 --> 00:10:30,636
사전학습은 이 둘의 역할을
동시에 하려는 셈이죠.

168
00:10:30,636 --> 00:10:34,400
하지만 큰 차이점들도 있다고 생각해요.
But I think there are some big differences as well.

169
00:10:34,400 --> 00:10:40,895
사전학습 데이터의 양은
정말, 정말 어마어마해요.
The amount of pre-training data is very, very staggering.

170
00:10:40,895 --> 00:10:41,520
네.
Yes.

171
00:10:41,520 --> 00:10:45,375
그런데 신기하게도 인간은
15년이 지나도, 사전학습
Somehow a human being, after even 15 years with a tiny fraction of the pre-training data, they know much less.

172
00:10:45,375 --> 00:10:49,230
데이터의 극히 일부만 가지고
아는 건 훨씬 적어요.

173
00:10:49,230 --> 00:10:54,050
하지만 아는 건 뭐든, 왠지
훨씬 깊이 알고 있어요.
But whatever they do know, they know much more deeply somehow.

174
00:10:54,050 --> 00:10:58,844
그 나이만 돼도 이미, 우리 AI들이
저지르는 실수는 하지 않죠.
Already at that age, you would not make mistakes that our AIs make.

175
00:10:58,844 --> 00:11:00,098
또 한 가지가 있어요.
There is another thing.

176
00:11:00,098 --> 00:11:02,854
혹시 진화 같은 것 아니냐고
물으실 수도 있겠죠.
You might say, could it be something like evolution?

177
00:11:02,854 --> 00:11:04,027
답은, 그럴 수도 있다는 거예요.
The answer is maybe.

178
00:11:04,027 --> 00:11:08,880
하지만 이 경우엔, 오히려 진화 쪽이
우위에 있을 수도 있다고 생각해요.
But in this case, I think evolution might actually have an edge.

179
00:11:08,880 --> 00:11:14,280
이 사례를 읽었던 기억이 나요.
I remember reading about this case.

180
00:11:14,280 --> 00:11:20,942
신경과학자들이 뇌에 대해
알아내는 한 가지 방법은, 뇌의
One way in which neuroscientists can learn about the brain is by studying people with brain damage to different parts of the brain.

181
00:11:20,942 --> 00:11:26,960
여러 부위에 손상을 입은
사람들을 연구하는 거예요.

182
00:11:26,960 --> 00:11:29,709
상상도 못 할 만큼 이상한
증상을 겪는 사람들이 있어요.
Some people have the most strange symptoms you could imagine.

183
00:11:29,709 --> 00:11:32,215
정말 굉장히 흥미로운 이야기예요.
It's actually really, really interesting.

184
00:11:32,215 --> 00:11:35,680
그것과 관련해서 떠오르는
사례가 하나 있어요.
One case that comes to mind that's relevant.

185
00:11:35,680 --> 00:11:41,872
뇌졸중이나 사고로 뇌 손상을
입어서 감정을 처리하는
I read about this person who had some kind of brain damage, a stroke or an accident, that took out his emotional processing.

186
00:11:41,872 --> 00:11:48,065
부분이 망가진 사람에 대한
글을 읽은 적이 있어요.

187
00:11:48,065 --> 00:11:52,918
그래서 그는 더 이상 어떤
감정도 느끼지 못하게 됐어요.
So he stopped feeling any emotion.

188
00:11:54,800 --> 00:11:57,662
여전히 말은 또렷하게 잘했고 작은 퍼즐도
He still remained very articulate and he could solve little puzzles, and on tests he seemed to be just fine.

189
00:11:57,662 --> 00:12:00,785
풀 수 있었고, 검사에서도
멀쩡해 보였어요.

190
00:12:00,785 --> 00:12:02,311
하지만 그는 아무
감정도 느끼지 못했어요.
But he felt no emotion.

191
00:12:02,311 --> 00:12:06,830
슬픔도, 분노도, 어떤
활기도 느끼지 못했죠.
He didn't feel sad, he didn't feel anger, he didn't feel animated.

192
00:12:06,830 --> 00:12:11,152
그런데 그는 어쩐 일인지 어떤 결정을
내리는 데도 극도로 서툴러졌어요.
He became somehow extremely bad at making any decisions at all.

193
00:12:11,152 --> 00:12:14,592
양말 한 켤레 고르는 데도
몇 시간이 걸렸어요.
It would take him hours to decide on which socks to wear.

194
00:12:14,592 --> 00:12:18,561
재정적으로도 아주 잘못된
결정을 내리곤 했어요.
He would make very bad financial decisions.

195
00:12:23,120 --> 00:12:28,592
그게 본질적으로, 우리를
제대로 작동하는 행위자로 만드는
What does it say about the role of our built-in emotions in making us a viable agent, essentially?

196
00:12:28,592 --> 00:12:34,240
데 타고난 감정이 어떤 역할을
한다는 걸 말해주는 걸까요?

197
00:12:34,240 --> 00:12:39,386
사전학습에 대한 질문과 연결해보면,
사전학습에서 모든 걸 온전히
To connect to your question about pre-training, maybe if you are good enough at getting everything out of pre-training, you could get that as well.

198
00:12:39,386 --> 00:12:44,237
끌어낼 만큼 잘한다면 그것 역시
얻어낼 수 있을지도 몰라요.

199
00:12:44,237 --> 00:12:47,928
그런데 그건 어쩐지...
But that's the kind of thing which seems...

200
00:12:50,960 --> 00:12:56,160
음, 사전학습에서 그걸 얻는 게
가능할 수도 있고 아닐 수도 있어요.
Well, it may or may not be possible to get that from pre-training.

201
00:12:56,160 --> 00:12:57,846
'그것'이 뭔가요?
What is "that"?

202
00:12:57,846 --> 00:13:01,534
분명히 감정 그 자체는 아니에요.
Clearly not just directly emotion.

203
00:13:01,534 --> 00:13:06,995
어떤 결정에 대해서든 최종
보상이 무엇이어야 하는지를
It seems like some almost value function-like thing which is telling you what the end reward for any decision should be.

204
00:13:06,995 --> 00:13:12,080
알려주는, 거의 가치 함수
같은 무언가로 보여요.

205
00:13:12,080 --> 00:13:15,200
그게 사전학습에서 암묵적으로 나오는
건 아니라고 생각하시는 건가요?
You think that doesn't sort of implicitly come from pre-training?

206
00:13:15,200 --> 00:13:16,563
나올 수도 있다고 생각해요.
I think it could.

207
00:13:16,563 --> 00:13:20,400
그냥 100% 명확한
건 아니라는 거예요.
I'm just saying it's not 100% obvious.

208
00:13:20,400 --> 00:13:21,625
그런데 '그것'이 뭔가요?
But what is that?

209
00:13:21,625 --> 00:13:23,870
감정을 어떻게 생각하세요?
How do you think about emotions?

210
00:13:23,870 --> 00:13:26,320
감정에 대한 ML적 비유는 뭘까요?
What is the ML analogy for emotions?

211
00:13:26,320 --> 00:13:29,015
아마 일종의 가치 함수
같은 것일 거예요.
It should be some kind of a value function thing.

212
00:13:29,015 --> 00:13:32,585
다만 지금 사람들이 하는 일에서
가치 함수가 그렇게 두드러진
But I don’t think there is a great ML analogy because right now, value functions don't play a very prominent role in the things people do.

213
00:13:32,585 --> 00:13:36,480
역할을 하는 게 아니라서, 딱 맞는
ML 비유는 없는 것 같아요.

214
00:13:36,480 --> 00:13:38,617
괜찮으시다면 청취자들을 위해 가치 함수가
It might be worth defining for the audience what a value function is, if you want to do that.

215
00:13:38,617 --> 00:13:40,560
뭔지 정의해 주셔도 좋을 것 같아요.

216
00:13:40,560 --> 00:13:45,978
물론이죠, 기꺼이 설명해 드릴게요.
Certainly, I'll be very happy to do that.

217
00:13:45,978 --> 00:13:51,188
사람들이 강화학습(RL)을 할
때, 그러니까 지금 방식대로
When people do reinforcement learning, the way reinforcement learning is done right now, how do people train those agents?

218
00:13:51,188 --> 00:13:56,560
강화학습이 이뤄질 때, 그
에이전트들을 어떻게 훈련시킬까요?

219
00:13:56,560 --> 00:13:59,216
신경망이 있고, 거기에
문제를 하나 줘요. 그러고
You have your neural net and you give it a problem, and then you tell the model, "Go solve it."

220
00:13:59,216 --> 00:14:01,774
나서 모델한테 "가서
풀어봐"라고 하는 거예요.

221
00:14:01,774 --> 00:14:05,487
모델은 수천, 수십만 번의 행동이나 사고
The model takes maybe thousands, hundreds of thousands of actions or thoughts or something, and then it produces a solution.

222
00:14:05,487 --> 00:14:08,863
같은 걸 거쳐서 답을 하나 내놓아요.

223
00:14:08,863 --> 00:14:10,619
그 답은 채점을 받고요.
The solution is graded.

224
00:14:10,619 --> 00:14:14,286
그리고 그 점수가 궤적 안의 행동
And then the score is used to provide a training signal for every single action in your trajectory.

225
00:14:14,286 --> 00:14:19,176
하나하나에 대한 훈련
신호로 쓰이는 거예요.

226
00:14:19,176 --> 00:14:26,215
그러면 오래 걸리는 일— 푸는 데
시간이 오래 걸리는 과제를 훈련시킬
That means that if you are doing something that goes for a long time—if you're training a task that takes a long time to solve—it will do no learning at all until you come up with the proposed solution.

227
00:14:26,215 --> 00:14:33,440
때는, 최종 답을 내놓을 때까지
학습이 전혀 일어나지 않는다는 뜻이죠.

228
00:14:33,440 --> 00:14:37,062
강화학습을 순진하게 할
때는 이런 식이에요.
That's how reinforcement learning is done naively.

229
00:14:37,062 --> 00:14:40,800
o1, R1도 겉보기엔 이런
식으로 만들어진 것 같고요.
That's how o1, R1 ostensibly are done.

230
00:14:40,800 --> 00:14:45,612
가치 함수는 이런 거예요.
"항상은 아니어도, 가끔은
The value function says something like, "Maybe I could sometimes, not always, tell you if you are doing well or badly."

231
00:14:45,612 --> 00:14:50,424
네가 잘하고 있는지 못하고
있는지 알려줄 수 있어."

232
00:14:50,424 --> 00:14:54,680
가치 함수라는 개념은 어떤 영역에서는
다른 영역보다 더 유용해요.
The notion of a value function is more useful in some domains than others.

233
00:14:54,680 --> 00:14:59,164
예를 들어 체스를 두다가 기물을
잃으면, '아, 망했다' 싶잖아요.
For example, when you play chess and you lose a piece, I messed up.

234
00:14:59,164 --> 00:15:04,350
게임을 끝까지 둬봐야 방금 한 수가
나빴다는 걸 아는 게 아니라,
You don't need to play the whole game to know that what I just did was bad, and therefore whatever preceded it was also bad.

235
00:15:04,350 --> 00:15:08,960
그 전에 한 것들도 나빴다는
걸 바로 알 수 있는 거예요.

236
00:15:08,960 --> 00:15:16,217
가치 함수는 끝까지 기다릴 필요
없이 그 과정을 단축시켜 줘요.
The value function lets you short-circuit the wait until the very end.

237
00:15:19,040 --> 00:15:22,920
수학 문제나 프로그래밍
문제를 풀면서 특정
Let's suppose that you are doing some kind of a math thing or a programming thing, and you're trying to explore a particular solution or direction.

238
00:15:22,920 --> 00:15:26,800
방향이나 풀이를 탐색하고
있다고 해볼게요.

239
00:15:26,800 --> 00:15:30,320
한 1000 스텝 정도 생각한 뒤에, 이
After, let's say, a thousand steps of thinking, you concluded that this direction is unpromising.

240
00:15:30,320 --> 00:15:34,320
방향은 가망이 없다고
결론을 내렸다고 해봐요.

241
00:15:34,320 --> 00:15:38,789
이 결론을 내리는 순간, 사실은
1000 스텝 전— 이 경로를
As soon as you conclude this, you could already get a reward signal a thousand timesteps previously, when you decided to pursue down this path.

242
00:15:38,789 --> 00:15:43,520
택했던 바로 그 시점에 이미 보상
신호를 받을 수 있었던 거예요.

243
00:15:43,520 --> 00:15:48,169
"다음엔 비슷한 상황에서 이
경로를 택하지 말아야겠다"는
You say, "Next time I shouldn't pursue this path in a similar situation," long before you actually came up with the proposed solution.

244
00:15:48,169 --> 00:15:53,118
걸, 실제로 최종 답을 내놓기
훨씬 전에 알 수 있는 거죠.

245
00:15:53,118 --> 00:15:59,690
딥시크 R1 논문에 이런 얘기가
있었는데— 궤적의 공간이 워낙 넓어서,
This was in the DeepSeek R1 paper— that the space of trajectories is so wide that maybe it's hard to learn a mapping from an intermediate trajectory and value.

246
00:15:59,690 --> 00:16:05,756
중간 궤적과 가치 사이의 매핑을
학습하기가 어려울 수도 있다고요.

247
00:16:05,756 --> 00:16:09,304
그리고 예를 들어 코딩할
때는, 잘못된 아이디어를
And also given that, in coding for example you'll have the wrong idea, then you'll go back, then you'll change something.

248
00:16:09,304 --> 00:16:12,720
냈다가 다시 돌아가서
뭔가를 바꾸기도 하잖아요.

249
00:16:12,720 --> 00:16:16,800
그건 딥러닝에 대한 믿음이
너무 없는 말 같은데요.
This sounds like such lack of faith in deep learning.

250
00:16:16,800 --> 00:16:23,520
물론 어려울 수는 있죠. 하지만
딥러닝이 못 할 일은 없어요.
Sure it might be difficult, but nothing deep learning can't do.

251
00:16:23,520 --> 00:16:29,095
제 예상으로는 가치 함수가
분명 유용할 거고, 이미
My expectation is that a value function should be useful, and I fully expect that they will be used in the future, if not already.

252
00:16:29,095 --> 00:16:34,869
쓰이고 있지 않다면 앞으로는
분명 쓰이게 될 거예요.

253
00:16:34,869 --> 00:16:40,911
제가 감정 중추가 손상된 사람
이야기로 암시하려던 건,
What I was alluding to with the person whose emotional center got damaged, it’s more that maybe what it suggests is that the value function of humans is modulated by emotions in some important way that's hardcoded by evolution.

254
00:16:40,911 --> 00:16:47,355
어쩌면 인간의 가치 함수가
진화가 하드코딩해 놓은 방식으로

255
00:16:47,355 --> 00:16:54,202
감정에 의해 중요하게 조절된다는
걸 시사하는 거라는 점이에요.

256
00:16:55,360 --> 00:16:58,064
그리고 그게 사람들이 세상에서 효과적으로
And maybe that is important for people to be effective in the world.

257
00:16:58,064 --> 00:17:00,400
살아가는 데 중요한 걸지도 몰라요.

258
00:17:00,400 --> 00:17:02,640
그게 제가 여쭤보려던 질문이었어요.
That's the thing I was planning on asking you.

259
00:17:02,640 --> 00:17:09,400
가치 함수로서의 감정에 대해
정말 흥미로운 점은, 이해하기엔
There's something really interesting about emotions of the value function, which is that it's impressive that they have this much utility while still being rather simple to understand.

260
00:17:09,400 --> 00:17:16,160
꽤 단순한데도 이 정도로
유용하다는 게 인상적이라는 거예요.

261
00:17:16,160 --> 00:17:18,301
제 답은 두 가지예요.
I have two responses.

262
00:17:18,301 --> 00:17:24,911
저희가 학습시키는 것들, 저희가
얘기하는 그런 종류의 AI에
I do agree that compared to the kind of things that we learn and the things we are talking about, the kind of AI we are talking about, emotions are relatively simple.

263
00:17:24,911 --> 00:17:31,120
비하면 감정이 상대적으로
단순하다는 데는 저도 동의해요.

264
00:17:31,120 --> 00:17:33,266
어쩌면 너무 단순해서
사람이 이해할 수 있는
They might even be so simple that maybe you could map them out in a human-understandable way.

265
00:17:33,266 --> 00:17:35,680
방식으로 지도를 그릴 수
있을 정도일지도 몰라요.

266
00:17:35,680 --> 00:17:38,544
그걸 해보면 멋질 것 같아요.
I think it would be cool to do.

267
00:17:38,544 --> 00:17:45,103
다만 유용성 면에서는 복잡성과
강건성 사이에 트레이드오프가
In terms of utility though, I think there is a thing where there is this complexity-robustness tradeoff, where complex things can be very useful, but simple things are very useful in a very broad range of situations.

268
00:17:45,103 --> 00:17:51,048
있다고 생각해요. 복잡한
건 아주 유용할 수 있지만,

269
00:17:51,048 --> 00:17:56,377
단순한 건 아주 넓은
범위의 상황에서 유용하죠.

270
00:18:00,240 --> 00:18:04,805
지금 보이는 걸 해석하는 한
방법은, 우리 감정 대부분이
One way to interpret what we are seeing is that we've got these emotions that evolved mostly from our mammal ancestors and then fine-tuned a little bit while we were hominids, just a bit.

271
00:18:04,805 --> 00:18:09,371
포유류 조상에게서 진화해 왔고
그다음 인류 조상 단계에서

272
00:18:09,371 --> 00:18:13,200
아주 조금, 정말 조금만
파인튜닝됐다는 거예요.

273
00:18:13,200 --> 00:18:18,940
다만 포유류에겐 없을 법한 사회적
감정은 저희에게 꽤 있어요.
We do have a decent amount of social emotions though which mammals may lack.

274
00:18:18,940 --> 00:18:21,128
하지만 그렇게 정교하지는 않아요.
But they're not very sophisticated.

275
00:18:21,128 --> 00:18:24,421
그리고 정교하지 않기 때문에,
우리가 실제로 살아온
And because they're not sophisticated, they serve us so well in this very different world compared to the one that we've been living in.

276
00:18:24,421 --> 00:18:28,067
세상과는 아주 다른 이런
세상에서도 잘 작동하는 거고요.

277
00:18:28,067 --> 00:18:29,830
사실 실수도 하긴 해요.
Actually, they also make mistakes.

278
00:18:29,830 --> 00:18:31,288
예를 들면 우리 감정이…
For example, our emotions…

279
00:18:31,288 --> 00:18:32,800
음, 사실 잘 모르겠네요.
Well actually, I don’t know.

280
00:18:32,800 --> 00:18:35,192
배고픔도 감정에 들어가나요?
Does hunger count as an emotion?

281
00:18:35,192 --> 00:18:36,352
그건 논쟁의 여지가 있죠.
It's debatable.

282
00:18:36,352 --> 00:18:43,077
하지만 예를 들어 배고픔이라는
직관적 감각은, 먹을 게 풍족한
But I think, for example, our intuitive feeling of hunger is not succeeding in guiding us correctly in this world with an abundance of food.

283
00:18:43,077 --> 00:18:50,000
이 세상에서는 우리를 제대로
이끌어주지 못하고 있다고 생각해요.

284
00:18:50,000 --> 00:18:52,695
사람들은 데이터 스케일링, 파라미터
People have been talking about scaling data, scaling parameters, scaling compute.

285
00:18:52,695 --> 00:18:56,240
스케일링, 컴퓨트 스케일링
얘기를 해왔잖아요.

286
00:18:56,240 --> 00:18:58,000
스케일링을 더 일반적으로
생각할 방법이 있을까요?
Is there a more general way to think about scaling?

287
00:18:58,000 --> 00:19:03,084
다른 스케일링 축은 뭐가 있을까요?
What are the other scaling axes?

288
00:19:03,084 --> 00:19:10,917
제가 맞을 수도 있다고
생각하는 관점이 하나 있어요.
Here's a perspective that I think might be true.

289
00:19:12,160 --> 00:19:17,288
예전에 ML이 돌아가던 방식은,
사람들이 그냥 이것저것
The way ML used to work is that people would just tinker with stuff and try to get interesting results.

290
00:19:17,288 --> 00:19:22,074
만지작거리면서 흥미로운
결과를 얻어보려던 거였어요.

291
00:19:22,074 --> 00:19:27,692
과거에는 그런 식으로 흘러갔던 거죠.
That's what's been going on in the past.

292
00:19:27,692 --> 00:19:31,493
그러다 스케일링에 대한 통찰이 찾아왔죠.
Then the scaling insight arrived.

293
00:19:31,493 --> 00:19:35,662
스케일링 법칙, GPT-3가 나오고 다들
Scaling laws, GPT-3, and suddenly everyone realized we should scale.

294
00:19:35,662 --> 00:19:40,400
스케일링을 해야 한다는
걸 갑자기 깨달았어요.

295
00:19:40,400 --> 00:19:45,464
이건 언어가 사고에 영향을
미치는 하나의 사례예요.
This is an example of how language affects thought.

296
00:19:45,464 --> 00:19:48,292
'스케일링'은 그냥 한
단어지만, 사람들에게 뭘
"Scaling" is just one word, but it's such a powerful word because it informs people what to do.

297
00:19:48,292 --> 00:19:51,120
해야 할지 알려주기 때문에
아주 강력한 단어죠.

298
00:19:51,120 --> 00:19:54,504
다들 "일단 스케일링을
해보자"라고 말하는 거예요.
They say, "Let's try to scale things."

299
00:19:54,504 --> 00:19:57,280
그럼 '뭘 스케일링하지?'라고
묻게 되죠.
So you say, what are we scaling?

300
00:19:57,280 --> 00:19:59,829
사전학습이 바로 스케일링할 대상이었어요.
Pre-training was the thing to scale.

301
00:19:59,829 --> 00:20:02,240
그건 특정한 스케일링 레시피였던 거예요.
It was a particular scaling recipe.

302
00:20:02,240 --> 00:20:08,000
사전학습의 큰 돌파구는 바로 이
레시피가 좋다는 걸 깨달은 거였어요.
The big breakthrough of pre-training is the realization that this recipe is good.

303
00:20:08,000 --> 00:20:12,250
"자, 컴퓨트랑 데이터를
어느 정도 섞어서
You say, "Hey, if you mix some compute with some data into a neural net of a certain size, you will get results.

304
00:20:12,250 --> 00:20:16,870
일정 크기의 신경망에
넣으면 결과가 나옵니다.

305
00:20:16,870 --> 00:20:19,122
그 레시피를 그냥 스케일링하기만 하면
You will know that you'll be better if you just scale the recipe up."

306
00:20:19,122 --> 00:20:21,599
더 좋아질 거라는 것도 알 수 있고요."

307
00:20:21,599 --> 00:20:23,080
이것도 훌륭하죠.
This is also great.

308
00:20:23,080 --> 00:20:30,730
기업들은 이걸 좋아해요, 자원을
투자하는 아주 저위험 방법을 주니까요.
Companies love this because it gives you a very low-risk way of investing your resources.

309
00:20:30,730 --> 00:20:35,550
연구에 자원을 투자하는
건 그보다 훨씬 어렵죠.
It's much harder to invest your resources in research.

310
00:20:35,550 --> 00:20:36,357
한번 비교해보세요.
Compare that.

311
00:20:36,357 --> 00:20:40,959
연구를 한다면 "연구자들이여, 가서
연구해서 뭔가 만들어내라"가 돼야
If you research, you need to be like, "Go forth researchers and research and come up with something", versus get more data, get more compute.

312
00:20:40,959 --> 00:20:45,440
하는데, 그에 비하면 데이터를 더
얻고 컴퓨트를 더 얻는 건 쉽죠.

313
00:20:45,440 --> 00:20:49,315
사전학습에서는 뭔가 나온다는
걸 알 수 있어요.
You know you'll get something from pre-training.

314
00:20:49,315 --> 00:20:55,320
실제로 트위터에서 몇몇 사람들이
하는 말을 보면, 어쩌면 제미나이가
Indeed, it looks like, based on various things some people say on Twitter, maybe it appears that Gemini have found a way to get more out of pre-training.

315
00:20:55,320 --> 00:21:01,488
사전학습에서 더 많은 걸 뽑아내는
방법을 찾은 것처럼 보이기도 해요.

316
00:21:01,488 --> 00:21:04,466
하지만 어느 시점엔 사전학습도
데이터가 바닥날 거예요.
At some point though, pre-training will run out of data.

317
00:21:04,466 --> 00:21:06,262
데이터는 명백히 유한하니까요.
The data is very clearly finite.

318
00:21:06,262 --> 00:21:07,465
그럼 다음엔 뭘 해야 할까요?
What do you do next?

319
00:21:07,465 --> 00:21:11,334
이전과는 다른 레시피로
강화된 사전학습을 하거나,
Either you do some kind of souped-up pre-training, a different recipe from the one you've done before, or you're doing RL, or maybe something else.

320
00:21:11,334 --> 00:21:15,920
강화학습(RL)을 하거나,
아니면 또 다른 뭔가를 하겠죠.

321
00:21:15,920 --> 00:21:19,052
하지만 이제 컴퓨트가 커졌어요,
지금 컴퓨트는 아주 크죠,
But now that compute is big, compute is now very big, in some sense we are back to the age of research.

322
00:21:19,052 --> 00:21:22,184
어떤 의미에서는 우리가 다시
연구의 시대로 돌아온 거예요.

323
00:21:22,184 --> 00:21:24,160
이걸 다르게 표현할
수도 있을 것 같아요.
Maybe here's another way to put it.

324
00:21:24,160 --> 00:21:31,280
2020년까지, 그러니까
2012~2020년은 연구의 시대였어요.
Up until 2020, from 2012 to 2020, it was the age of research.

325
00:21:31,280 --> 00:21:34,981
자, 2020년부터 2025년까지는
스케일링의 시대였죠—그
Now, from 2020 to 2025, it was the age of scaling—maybe plus or minus, let's add error bars to those years—because people say, "This is amazing.

326
00:21:34,981 --> 00:21:38,914
연도엔 오차범위를 좀 두기로
하고요—사람들이 "이거 대단하다.

327
00:21:38,914 --> 00:21:40,338
더 스케일링해야겠다.
You've got to scale more.

328
00:21:40,338 --> 00:21:41,462
계속 스케일링하자"라고 말했으니까요.
Keep scaling."

329
00:21:41,462 --> 00:21:43,184
한 단어로 하면, 스케일링이었죠.
The one word: scaling.

330
00:21:43,184 --> 00:21:46,320
그런데 이제 규모가 정말 커요.
But now the scale is so big.

331
00:21:46,320 --> 00:21:50,028
정말 믿음이 "오, 엄청
크긴 한데, 100배
Is the belief really, "Oh, it's so big, but if you had 100x more, everything would be so different?"

332
00:21:50,028 --> 00:21:53,440
더 있으면 완전히
달라질 거야"인 건가요?

333
00:21:53,440 --> 00:21:55,686
분명 달라지긴 할 거예요.
It would be different, for sure.

334
00:21:55,686 --> 00:21:58,346
그런데 규모를 100배로 늘리면 모든 게
But is the belief that if you just 100x the scale, everything would be transformed?

335
00:21:58,346 --> 00:22:01,247
완전히 바뀔 거라는 게
정말 그 믿음인가요?

336
00:22:01,247 --> 00:22:03,036
저는 그게 사실이라고 생각하지 않아요.
I don't think that's true.

337
00:22:03,036 --> 00:22:05,607
그래서 다시 연구의
시대로 돌아온 거예요,
So it's back to the age of research again, just with big computers.

338
00:22:05,607 --> 00:22:07,619
다만 이번엔 큰 컴퓨터와 함께요.

339
00:22:07,619 --> 00:22:10,400
그거 정말 흥미로운 표현이네요.
That's a very interesting way to put it.

340
00:22:10,400 --> 00:22:12,560
그럼 방금 직접 던지신
질문을 제가 다시 여쭤볼게요.
But let me ask you the question you just posed then.

341
00:22:12,560 --> 00:22:15,000
우리가 스케일링하는 건 정확히 뭐고,
What are we scaling, and what would it mean to have a recipe?

342
00:22:15,000 --> 00:22:17,440
레시피가 있다는 건 무슨 의미일까요?

343
00:22:17,440 --> 00:22:21,333
사전학습에 있었던 것 같은, 물리 법칙에
I guess I'm not aware of a very clean relationship that almost looks like a law of physics which existed in pre-training.

344
00:22:21,333 --> 00:22:25,934
가까운 아주 깔끔한 관계는
저는 잘 모르겠네요.

345
00:22:25,934 --> 00:22:30,920
데이터나 컴퓨트, 파라미터와 손실
사이엔 거듭제곱 법칙이 있었잖아요.
There was a power law between data or compute or parameters and loss.

346
00:22:30,920 --> 00:22:35,580
우리가 찾아야 할 관계는
어떤 종류이고, 이 새로운
What is the kind of relationship we should be seeking, and how should we think about what this new recipe might look like?

347
00:22:35,580 --> 00:22:40,240
레시피가 어떤 모습일지는
어떻게 생각해봐야 할까요?

348
00:22:40,240 --> 00:22:44,953
우리는 이미 한 종류의
스케일링에서 다른 종류의
We've already witnessed a transition from one type of scaling to a different type of scaling, from pre-training to RL.

349
00:22:44,953 --> 00:22:50,391
스케일링으로의 전환을 목격했죠,
사전학습에서 RL로요.

350
00:22:50,391 --> 00:22:52,974
이제 사람들은 RL을
스케일링하고 있어요.
Now people are scaling RL.

351
00:22:52,974 --> 00:22:57,315
트위터에서 사람들이 하는 말을
보면, 지금은 사전학습보다
Now based on what people say on Twitter, they spend more compute on RL than on pre-training at this point, because RL can actually consume quite a bit of compute.

352
00:22:57,315 --> 00:23:00,816
RL에 컴퓨트를 더 많이
쓴다고 해요, RL이

353
00:23:00,816 --> 00:23:04,597
실제로 컴퓨트를 꽤 많이
잡아먹을 수 있으니까요.

354
00:23:04,597 --> 00:23:07,404
아주 긴 롤아웃을
만드니까, 그 롤아웃들을
You do very long rollouts, so it takes a lot of compute to produce those rollouts.

355
00:23:07,404 --> 00:23:09,600
만드는 데 컴퓨트가 많이 들어요.

356
00:23:09,600 --> 00:23:13,182
그런데 롤아웃 하나당
얻는 학습량은 상대적으로
Then you get a relatively small amount of learning per rollout, so you really can spend a lot of compute.

357
00:23:13,182 --> 00:23:17,193
적어서, 정말 컴퓨트를
엄청나게 쓸 수 있는 거죠.

358
00:23:21,680 --> 00:23:24,283
저라면 그걸 스케일링이라고
부르지도 않을 거예요.
I wouldn't even call it scaling.

359
00:23:24,283 --> 00:23:27,280
저는 이렇게 말할 것 같아요,
"자, 지금 뭐 하고 있는 거야?
I would say, "Hey, what are you doing?

360
00:23:27,280 --> 00:23:31,840
지금 하는 게 할 수 있는
일 중 가장 생산적인 일이야?
Is the thing you are doing the most productive thing you could be doing?

361
00:23:31,840 --> 00:23:36,000
컴퓨트를 쓰는 더 생산적인
방법을 찾을 수는 없어?"
Can you find a more productive way of using your compute?"

362
00:23:36,000 --> 00:23:39,520
저희가 앞서 가치 함수
얘기를 했었잖아요.
We've discussed the value function business earlier.

363
00:23:39,520 --> 00:23:43,787
사람들이 가치 함수를
잘 다루게 되면, 아마
Maybe once people get good at value functions, they will be using their resources more productively.

364
00:23:43,787 --> 00:23:47,520
자원을 더 생산적으로 쓰게 될 거예요.

365
00:23:47,520 --> 00:23:51,880
모델을 학습시키는 완전히 다른
방법을 찾아낸다면, 이렇게 말할 수도
If you find a whole other way of training models, you could say, "Is this scaling or is it just using your resources?"

366
00:23:51,880 --> 00:23:56,240
있겠죠. "이게 스케일링인가,
아니면 그냥 자원을 잘 쓰는 건가?"

367
00:23:56,240 --> 00:23:57,980
그러면 좀 애매해지는 것 같아요.
I think it becomes a little bit ambiguous.

368
00:23:57,980 --> 00:24:00,890
그런 의미에서, 예전에
연구의 시대였을 때는 이랬죠.
In the sense that, when people were in the age of research back then, it was, "Let's try this and this and this.

369
00:24:00,890 --> 00:24:03,600
"이것도 해보고, 이것도
해보고, 이것도 해보자.

370
00:24:03,600 --> 00:24:05,334
저것도 해보고, 저것도
해보고, 저것도 해보자.
Let's try that and that and that.

371
00:24:05,334 --> 00:24:07,680
오, 이것 봐, 뭔가
흥미로운 일이 일어나네."
Oh, look, something interesting is happening."

372
00:24:07,680 --> 00:24:10,174
저는 그런 식으로 다시
돌아갈 거라고 봐요.
I think there will be a return to that.

373
00:24:10,174 --> 00:24:13,672
연구의 시대로 돌아온
거라면, 한발 물러서서 봤을
If we're back in the era of research, stepping back, what is the part of the recipe that we need to think most about?

374
00:24:13,672 --> 00:24:17,040
때 레시피에서 가장 고민해야
할 부분은 뭘까요?

375
00:24:17,040 --> 00:24:20,023
가치 함수라고 하셨는데,
사람들은 이미 지금 레시피에
When you say value function, people are already trying the current recipe, but then having LLM-as-a-Judge and so forth.

376
00:24:20,023 --> 00:24:23,108
LLM-as-a-Judge
같은 걸 얹어보고 있잖아요.

377
00:24:23,108 --> 00:24:25,842
그것도 가치 함수라고
할 수 있겠지만, 훨씬
You could say that's a value function, but it sounds like you have something much more fundamental in mind.

378
00:24:25,842 --> 00:24:28,348
더 근본적인 걸 염두에 두신 것 같아요.

379
00:24:29,920 --> 00:24:34,019
사전학습 과정 끝에 단계를
더 붙이는 게 아니라,
Should we even rethink pre-training at all and not just add more steps to the end of that process?

380
00:24:34,019 --> 00:24:37,359
사전학습 자체를 다시 생각해봐야 할까요?

381
00:24:38,240 --> 00:24:41,600
가치 함수에 대한 논의,
흥미로웠던 것 같아요.
The discussion about value function, I think it was interesting.

382
00:24:41,600 --> 00:24:46,737
제가 강조하고 싶은 건, 가치
함수가 RL을 더 효율적으로
I want to emphasize that I think the value function is something that's going to make RL more efficient, and I think that makes a difference.

383
00:24:46,737 --> 00:24:52,035
만들어줄 거라는 거예요. 그리고
그게 차이를 만든다고 봐요.

384
00:24:52,035 --> 00:24:55,474
하지만 가치 함수로 할 수
있는 건 뭐든, 가치 함수
But I think anything you can do with a value function, you can do without, just more slowly.

385
00:24:55,474 --> 00:24:58,795
없이도 할 수 있다고 봐요.
그냥 더 느릴 뿐이죠.

386
00:24:58,795 --> 00:25:03,472
제가 가장 근본적이라고 보는
건, 이 모델들이 어쩐
The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people.

387
00:25:03,472 --> 00:25:07,815
일인지 사람보다 일반화를
훨씬 못한다는 거예요.

388
00:25:07,815 --> 00:25:09,444
이건 너무 명백하죠.
It's super obvious.

389
00:25:09,444 --> 00:25:13,569
이게 아주 근본적인 것 같아요.
That seems like a very fundamental thing.

390
00:25:13,569 --> 00:25:17,203
그러니까 핵심은 일반화예요.
So this is the crux: generalization.

391
00:25:17,203 --> 00:25:19,358
여기엔 두 가지 하위 질문이 있어요.
There are two sub-questions.

392
00:25:19,358 --> 00:25:22,798
하나는 샘플 효율성에 관한
거예요. 왜 이 모델들은
There's one which is about sample efficiency: why should it take so much more data for these models to learn than humans?

393
00:25:22,798 --> 00:25:26,360
사람보다 학습하는 데 훨씬
많은 데이터가 필요할까요?

394
00:25:26,360 --> 00:25:27,884
두 번째 질문이 있어요.
There's a second question.

395
00:25:27,884 --> 00:25:32,973
데이터양과는 별개로, 왜
모델에게 원하는 걸 가르치는
Even separate from the amount of data it takes, why is it so hard to teach the thing we want to a model than to a human?

396
00:25:32,973 --> 00:25:37,360
게 사람에게 가르치는
것보다 훨씬 어려울까요?

397
00:25:37,360 --> 00:25:42,814
사람의 경우엔, 굳이 검증
가능한 보상이 없어도…
For a human, we don't necessarily need a verifiable reward to be able to…

398
00:25:42,814 --> 00:25:46,503
지금도 아마 여러 연구자들을
멘토링하고 계실 텐데, 그들과
You're probably mentoring a bunch of researchers right now, and you're talking with them, you're showing them your code, and you're showing them how you think.

399
00:25:46,503 --> 00:25:50,653
이야기하면서 코드도 보여주고,
어떻게 생각하는지도 보여주시잖아요.

400
00:25:50,653 --> 00:25:54,607
그런 모습을 보면서 사고방식과 연구를
어떻게 해야 하는지를 배우는 거죠.
From that, they're picking up your way of thinking and how they should do research.

401
00:25:54,607 --> 00:25:56,517
그 사람들한테 검증 가능한
보상을 정해줄 필요는
You don’t have to set a verifiable reward for them that's like, "Okay, this is the next part of the curriculum, and now this is the next part of your curriculum.

402
00:25:56,517 --> 00:25:58,720
없잖아요, 이런 식으로요.
"자, 이게 커리큘럼의 다음

403
00:25:58,720 --> 00:26:00,850
부분이고, 이제 이게 네
커리큘럼의 다음 부분이야."

404
00:26:00,850 --> 00:26:03,121
"아, 이번 훈련은 불안정했네."
Oh, this training was unstable."

405
00:26:03,121 --> 00:26:06,640
그런 번거롭고 일일이 맞춤 제작해야
하는 과정이 없는 거예요.
There's not this schleppy, bespoke process.

406
00:26:06,640 --> 00:26:10,843
어쩌면 이 두 문제가 실제로는 서로
연결돼 있을 수도 있는데, 저는 두
Perhaps these two issues are actually related in some way, but I'd be curious to explore this second thing, which is more like continual learning, and this first thing, which feels just like sample efficiency.

407
00:26:10,843 --> 00:26:14,831
번째 문제, 그러니까 지속 학습에
더 가까운 것과, 첫 번째 문제,

408
00:26:14,831 --> 00:26:19,034
그러니까 그냥 샘플 효율성처럼 느껴지는
것을 둘 다 탐구해보고 싶어요.

409
00:26:19,034 --> 00:26:24,554
사실 인간의 샘플 효율성에
대해 고려해야 할
You could actually wonder that one possible explanation for the human sample efficiency that needs to be considered is evolution.

410
00:26:24,554 --> 00:26:30,534
가능한 설명 하나로 진화를
떠올려볼 수 있어요.

411
00:26:31,760 --> 00:26:35,320
진화는 우리에게 가능한 한 가장 유용한
Evolution has given us a small amount of the most useful information possible.

412
00:26:35,320 --> 00:26:38,880
정보를 아주 적은 양으로 물려준 거죠.

413
00:26:38,880 --> 00:26:44,882
시각, 청각, 이동 능력 같은
것들에 대해서는, 진화가 우리에게
For things like vision, hearing, and locomotion, I think there's a pretty strong case that evolution has given us a lot.

414
00:26:44,882 --> 00:26:50,027
많은 걸 물려줬다는 주장이
꽤 설득력 있다고 생각해요.

415
00:26:50,027 --> 00:26:54,483
예를 들어 인간의
손재주는 훨씬 뛰어난데…
For example, human dexterity far exceeds…

416
00:26:54,483 --> 00:26:57,282
물론 로봇도 시뮬레이션에서 엄청난 양의
I mean robots can become dexterous too if you subject them to a huge amount of training in simulation.

417
00:26:57,282 --> 00:27:00,480
훈련을 시키면 손재주가
좋아질 수는 있어요.

418
00:27:00,480 --> 00:27:03,923
하지만 사람처럼 실제 세계에서
로봇을 훈련시켜 새로운
But to train a robot in the real world to quickly pick up a new skill like a person does seems very out of reach.

419
00:27:03,923 --> 00:27:07,485
기술을 빠르게 익히게 하는
건 아직 훨씬 멀어 보여요.

420
00:27:07,485 --> 00:27:10,560
여기서 이렇게 말할 수도 있겠죠.
"아, 맞아, 이동 능력."
Here you could say, "Oh yeah, locomotion.

421
00:27:10,560 --> 00:27:15,920
"우리 조상들은 모두 뛰어난 이동
능력이 필요했지, 다람쥐 때부터."
All our ancestors needed great locomotion, squirrels.

422
00:27:15,920 --> 00:27:17,802
"그러니까 이동 능력에
대해서는 우리한테 믿기
So with locomotion, maybe we've got some unbelievable prior."

423
00:27:17,802 --> 00:27:19,760
힘들 정도로 강력한
프라이어가 있을지도 몰라."

424
00:27:19,760 --> 00:27:22,109
시각에 대해서도 같은
주장을 할 수 있어요.
You could make the same case for vision.

425
00:27:22,109 --> 00:27:26,381
제가 알기로는 얀 르쿤이
아이들은 10시간만 연습하면
I believe Yann LeCun made the point that children learn to drive after 10 hours of practice, which is true.

426
00:27:26,381 --> 00:27:30,800
운전을 배운다고 지적한 적이
있는데, 그건 사실이에요.

427
00:27:30,800 --> 00:27:33,613
하지만 우리 시각은 정말 뛰어나죠.
But our vision is so good.

428
00:27:33,613 --> 00:27:38,236
적어도 저는, 다섯 살
때의 제 모습이 기억나요.
At least for me, I remember myself being a five-year-old.

429
00:27:38,236 --> 00:27:41,120
그때 저는 자동차에
완전히 빠져 있었어요.
I was very excited about cars back then.

430
00:27:41,120 --> 00:27:43,850
제 자동차 인식 능력은 다섯 살 때 이미
I'm pretty sure my car recognition was more than adequate for driving already as a five-year-old.

431
00:27:43,850 --> 00:27:47,200
운전하기에 충분하고도
남았을 거라고 꽤 확신해요.

432
00:27:47,200 --> 00:27:49,040
다섯 살짜리는 그렇게 많은
데이터를 접하지 못하잖아요.
You don't get to see that much data as a five-year-old.

433
00:27:49,040 --> 00:27:51,328
대부분의 시간을 부모님 집에서 보내니까,
You spend most of your time in your parents' house, so you have very low data diversity.

434
00:27:51,328 --> 00:27:53,200
데이터 다양성이 아주 낮은 거죠.

435
00:27:53,200 --> 00:27:56,650
하지만 어쩌면 그것도 진화
덕분이라고 말할 수 있어요.
But you could say maybe that's evolution too.

436
00:27:56,650 --> 00:28:00,400
하지만 언어, 수학,
코딩에서는 아마 아닐 거예요.
But in language and math and coding, probably not.

437
00:28:00,400 --> 00:28:02,290
그래도 여전히 모델보다는
나은 것 같아요.
It still seems better than models.

438
00:28:02,290 --> 00:28:06,564
모델이 언어, 수학, 코딩에서는
평균적인 사람보다 나은 게 분명하죠.
Obviously, models are better than the average human at language, math, and coding.

439
00:28:06,564 --> 00:28:09,628
하지만 학습에 있어서도
평균적인 사람보다 나을까요?
But are they better than the average human at learning?

440
00:28:09,628 --> 00:28:10,171
아, 그럼요.
Oh yeah.

441
00:28:10,171 --> 00:28:11,437
네, 확실히 그래요.
Oh yeah, absolutely.

442
00:28:11,437 --> 00:28:16,873
제 말은, 언어·수학·코딩에서,
특히 수학과 코딩에서
What I meant to say is that language, math, and coding—and especially math and coding—suggests that whatever it is that makes people good at learning is probably not so much a complicated prior, but something more, some fundamental thing.

443
00:28:16,873 --> 00:28:22,496
그렇다는 건 사람을 학습에
능하게 만드는 그것이 복잡한

444
00:28:22,496 --> 00:28:28,869
프라이어라기보다는 뭔가 더 근본적인
것임을 시사한다는 거예요.

445
00:28:28,869 --> 00:28:30,679
잘 이해가 안 되네요.
I'm not sure I understood.

446
00:28:30,679 --> 00:28:32,880
왜 그런 거죠?
Why should that be the case?

447
00:28:32,880 --> 00:28:40,120
자, 사람들이 어떤 스킬에서
상당한 신뢰성을 보인다고 해보죠.
So consider a skill in which people exhibit some kind of great reliability.

448
00:28:40,120 --> 00:28:46,302
그 스킬이 수백만 년, 아니
수억 년 동안 우리 조상들에게
If the skill is one that was very useful to our ancestors for many millions of years, hundreds of millions of years, you could argue that maybe humans are good at it because of evolution, because we have a prior, an evolutionary prior that's encoded in some very non-obvious way that somehow makes us so good at it.

449
00:28:46,302 --> 00:28:52,484
정말 유용했던 것이었다면,
인간이 그걸 잘하는 이유는 진화

450
00:28:52,484 --> 00:28:58,472
때문이다, 즉 아주 알기
어려운 방식으로 부호화된 진화적

451
00:28:58,472 --> 00:29:05,620
프라이어가 있어서 그렇게 잘하게
된 거라고 주장할 수 있을 거예요.

452
00:29:07,200 --> 00:29:14,343
하지만 사람들이 최근까지 존재하지도
않았던 영역에서 뛰어난 능력,
But if people exhibit great ability, reliability, robustness, and ability to learn in a domain that really did not exist until recently, then this is more an indication that people might have just better machine learning, period.

453
00:29:14,343 --> 00:29:21,089
신뢰성, 강건성, 학습 능력을
보인다면, 이건 사람이 그냥 더

454
00:29:21,089 --> 00:29:28,033
나은 머신러닝을 갖고 있다는
신호에 더 가까워요. 그게 다예요.

455
00:29:29,395 --> 00:29:33,995
그게 뭔지는 어떻게 생각해봐야 할까요?
How should we think about what that is?

456
00:29:33,995 --> 00:29:35,878
ML로 치면 뭐에 해당하나요?
What is the ML analogy?

457
00:29:35,878 --> 00:29:39,314
흥미로운 지점이 몇 가지 있어요.
There are a couple of interesting things about it.

458
00:29:39,314 --> 00:29:40,931
샘플이 더 적게 들어요.
It takes fewer samples.

459
00:29:40,931 --> 00:29:42,426
더 비지도적이에요.
It's more unsupervised.

460
00:29:42,426 --> 00:29:44,555
아이가 운전을 배운다고 하면…
A child learning to drive a car…

461
00:29:44,555 --> 00:29:47,200
아, 아이들이 운전을 배우는 건 아니죠.
Children are not learning to drive a car.

462
00:29:47,200 --> 00:29:52,009
십 대가 운전을 배울
때, 미리 짜인 검증
A teenager learning how to drive a car is not exactly getting some prebuilt, verifiable reward.

463
00:29:52,009 --> 00:29:56,400
가능한 보상을 딱히 받는 게 아니에요.

464
00:29:56,400 --> 00:30:02,720
그건 기계, 그리고 환경과의
상호작용에서 나오는 거예요.
It comes from their interaction with the machine and with the environment.

465
00:30:02,720 --> 00:30:04,475
샘플이 훨씬 더 적게 들죠.
It takes much fewer samples.

466
00:30:04,475 --> 00:30:06,169
더 비지도적인 것 같고요.
It seems more unsupervised.

467
00:30:06,169 --> 00:30:07,440
더 강건한 것 같은데요?
It seems more robust?

468
00:30:07,440 --> 00:30:08,835
훨씬 더 강건하죠.
Much more robust.

469
00:30:08,835 --> 00:30:13,822
인간의 강건성은 정말 놀라울 정도예요.
The robustness of people is really staggering.

470
00:30:14,160 --> 00:30:16,189
이 모든 게 한꺼번에 일어나는 이유를
Do you have a unified way of thinking about why all these things are happening at once?

471
00:30:16,189 --> 00:30:18,320
하나로 묶어 설명할 방법이 있으신가요?

472
00:30:18,320 --> 00:30:25,330
이런 걸 실현할 수 있는
머신러닝 비유는 뭘까요?
What is the ML analogy that could realize something like this?

473
00:30:26,320 --> 00:30:32,288
질문하신 것 중 하나는, 십대
운전자가 외부 선생님 없이
One of the things that you've been asking about is how can the teenage driver self-correct and learn from their experience without an external teacher?

474
00:30:32,288 --> 00:30:37,679
어떻게 스스로 교정하며
경험에서 배우느냐는 거였죠.

475
00:30:37,679 --> 00:30:41,600
답은, 그들에게 가치
함수가 있다는 겁니다.
The answer is that they have their value function.

476
00:30:41,600 --> 00:30:45,075
전반적인 감각을 갖고 있는데, 사실 이게
They have a general sense which is also, by the way, extremely robust in people.

477
00:30:45,075 --> 00:30:48,235
사람한테는 굉장히 강건하기도 합니다.

478
00:30:50,480 --> 00:30:54,723
인간의 가치 함수가 뭐든
간에, 중독 관련 몇몇
Whatever the human value function is, with a few exceptions around addiction, it's actually very, very robust.

479
00:30:54,723 --> 00:30:58,476
예외를 빼면 실제로
아주, 아주 강건해요.

480
00:30:58,476 --> 00:31:04,546
그래서 예를 들어 운전을 배우는
십대의 경우, 운전을 시작하자마자
So for something like a teenager that's learning to drive, they start to drive, and they already have a sense of how they're driving immediately, how badly they are, how unconfident.

481
00:31:04,546 --> 00:31:10,448
스스로 얼마나 서투른지, 얼마나
자신 없는지 바로 느끼게 되죠.

482
00:31:10,448 --> 00:31:12,029
그러고 나서 "아,
그렇구나" 하고 알게 되고요.
And then they see, "Okay."

483
00:31:12,029 --> 00:31:15,707
그리고 당연히, 십대의 학습
속도는 정말 빠르고요.
And then, of course, the learning speed of any teenager is so fast.

484
00:31:15,707 --> 00:31:17,520
10시간이면 이미 운전할
준비가 되는 거죠.
After 10 hours, you're good to go.

485
00:31:17,520 --> 00:31:20,397
인간에게는 어떤 해법이 있는
것 같은데, 그걸 어떻게
It seems like humans have some solution, but I'm curious about how they are doing it and why is it so hard?

486
00:31:20,397 --> 00:31:22,977
하는 건지, 왜 그렇게
어려운 건지 궁금하네요.

487
00:31:22,977 --> 00:31:26,199
이런 걸 가능하게
하려면 모델을 학습시키는
How do we need to reconceptualize the way we're training models to make something like this possible?

488
00:31:26,199 --> 00:31:28,720
방식을 어떻게 재구상해야 할까요?

489
00:31:28,720 --> 00:31:37,200
좋은 질문이네요, 그리고 제가
의견이 많은 질문이기도 하고요.
That is a great question to ask, and it's a question I have a lot of opinions about.

490
00:31:37,200 --> 00:31:41,828
그런데 안타깝게도, 우리는 모든
머신러닝 아이디어를 자유롭게 논할
But unfortunately, we live in a world where not all machine learning ideas are discussed freely, and this is one of them.

491
00:31:41,828 --> 00:31:46,327
수 없는 세상에 살고 있고, 이게
바로 그런 경우 중 하나예요.

492
00:31:46,327 --> 00:31:49,360
아마 방법이 있을 겁니다.
There's probably a way to do it.

493
00:31:49,360 --> 00:31:51,345
저는 이게 가능하다고 생각해요.
I think it can be done.

494
00:31:51,345 --> 00:31:56,178
사람들이 실제로 그렇다는 사실 자체가,
이게 가능하다는 증거라고 봅니다.
The fact that people are like that, I think it's a proof that it can be done.

495
00:31:56,178 --> 00:32:01,769
다만 다른 장애물이 있을
수도 있는데, 인간 뉴런이
There may be another blocker though, which is that there is a possibility that the human neurons do more compute than we think.

496
00:32:01,769 --> 00:32:07,760
우리 생각보다 더 많은 컴퓨트를
쓸 가능성이 그거예요.

497
00:32:07,760 --> 00:32:13,760
그게 사실이고 중요한 역할을 한다면,
일이 더 어려워질 수도 있고요.
If that is true, and if that plays an important role, then things might be more difficult.

498
00:32:13,760 --> 00:32:18,424
하지만 어쨌든, 이건 제가
의견을 갖고 있는 어떤
But regardless, I do think it points to the existence of some machine learning principle that I have opinions on.

499
00:32:18,424 --> 00:32:23,089
머신러닝 원리가 존재한다는
걸 가리킨다고 봅니다.

500
00:32:23,089 --> 00:32:28,679
다만 안타깝게도, 여건상
자세히 논하기는 어렵네요.
But unfortunately, circumstances make it hard to discuss in detail.

501
00:32:28,679 --> 00:32:32,560
아무도 이 팟캐스트 안 들어요, 일리야.
Nobody listens to this podcast, Ilya.

502
00:32:32,560 --> 00:32:36,560
궁금하네요.
I'm curious.

503
00:33:00,934 --> 00:33:06,115
다시 연구의 시대로 돌아왔다고 하셨는데,
If you say we are back in an era of research, you were there from 2012 to 2020.

504
00:33:06,115 --> 00:33:11,767
2012~2020년에
그 현장에 계셨잖아요.

505
00:35:55,840 --> 00:36:00,640
연구의 시대로 돌아간다면
지금 분위기는 어떨까요?
What is the vibe now going to be if we go back to the era of research?

506
00:36:00,640 --> 00:36:06,935
예를 들어, 알렉스넷 이후에도
실험에 쓰이는 컴퓨트양은
For example, even after AlexNet, the amount of compute that was used to run experiments kept increasing, and the size of frontier systems kept increasing.

507
00:36:06,935 --> 00:36:13,440
계속 늘었고, 프론티어 시스템의
규모도 계속 커졌잖아요.

508
00:36:13,440 --> 00:36:16,456
이제 다시 연구의 시대로 접어들면, 그
Do you think now that this era of research will still require tremendous amounts of compute?

509
00:36:16,456 --> 00:36:19,760
시대도 여전히 엄청난
컴퓨트가 필요할까요?

510
00:36:19,760 --> 00:36:25,843
오래된 자료들을 다시 꺼내 옛
논문들을 읽어야 하게 될까요?
Do you think it will require going back into the archives and reading old papers?

511
00:36:28,000 --> 00:36:34,960
연구 분위기가 더 강했던 시절에 구글,
오픈AI, 스탠퍼드에 계셨잖아요?
You were at Google and OpenAI and Stanford, these places, when there was more of a vibe of research?

512
00:36:34,960 --> 00:36:40,160
커뮤니티에서는 어떤
것들을 기대해야 할까요?
What kind of things should we be expecting in the community?

513
00:36:40,160 --> 00:36:46,108
스케일링의 시대가 낳은 결과
중 하나는, 스케일링이
One consequence of the age of scaling is that scaling sucked out all the air in the room.

514
00:36:46,108 --> 00:36:50,994
방 안의 공기를 전부
빨아들였다는 거예요.

515
00:36:53,120 --> 00:36:56,263
스케일링이 방 안의
공기를 전부 빨아들이다
Because scaling sucked out all the air in the room, everyone started to do the same thing.

516
00:36:56,263 --> 00:36:59,680
보니, 모두가 똑같은
일을 하기 시작한 거죠.

517
00:36:59,680 --> 00:37:08,566
결국 아이디어보다 회사 수가 훨씬
더 많은 세상에 이르렀어요.
We got to the point where we are in a world where there are more companies than ideas by quite a bit.

518
00:37:08,566 --> 00:37:13,853
그것과 관련해서,
실리콘밸리에는 "아이디어는
Actually on that, there is this Silicon Valley saying that says that ideas are cheap, execution is everything.

519
00:37:13,853 --> 00:37:18,480
싸고, 실행이 전부다"라는 말이 있죠.

520
00:37:18,480 --> 00:37:22,421
다들 그렇게 말하고,
거기엔 일리가 있어요.
People say that a lot, and there is truth to that.

521
00:37:22,421 --> 00:37:27,035
그런데 트위터에서 누군가 이런 말을
하는 걸 봤어요. "아이디어가
But then I saw someone say on Twitter something like, "If ideas are so cheap, how come no one's having any ideas?"

522
00:37:27,035 --> 00:37:30,880
그렇게 싸다면, 왜 아무도
아이디어를 못 내는 거지?"

523
00:37:30,880 --> 00:37:33,490
그리고 저는 그것도 맞는
말이라고 생각해요.
And I think it's true too.

524
00:37:33,490 --> 00:37:42,622
연구의 진전을 병목이라는 관점에서
생각해보면, 병목이 여러 개 있어요.
If you think about research progress in terms of bottlenecks, there are several bottlenecks.

525
00:37:42,622 --> 00:37:47,882
하나는 아이디어고, 다른 하나는
그걸 현실로 만드는 능력이에요.
One of them is ideas, and one of them is your ability to bring them to life, which might be compute but also engineering.

526
00:37:47,882 --> 00:37:52,240
이건 컴퓨트일 수도 있고,
엔지니어링일 수도 있고요.

527
00:37:52,240 --> 00:37:55,200
90년대로 돌아가 보면,
꽤 좋은 아이디어를 가진
If you go back to the '90s, let's say, you had people who had pretty good ideas, and if they had much larger computers, maybe they could demonstrate that their ideas were viable.

528
00:37:55,200 --> 00:37:58,160
사람들이 있었어요. 훨씬
더 큰 컴퓨터가 있었다면

529
00:37:58,160 --> 00:38:01,120
그 아이디어가 유효하다는
걸 보여줄 수 있었겠죠.

530
00:38:01,120 --> 00:38:04,469
하지만 그럴 수 없었기
때문에, 아무도 설득
But they could not, so they could only have a very, very small demonstration that did not convince anyone.

531
00:38:04,469 --> 00:38:07,400
못 하는 아주 작은 시연밖에 못 했죠.

532
00:38:07,400 --> 00:38:09,673
그러니까 병목은 컴퓨트였던 거예요.
So the bottleneck was compute.

533
00:38:09,673 --> 00:38:13,914
그러다 스케일링의 시대에
들어서면서 컴퓨트가 크게 늘어났죠.
Then in the age of scaling, compute has increased a lot.

534
00:38:13,914 --> 00:38:18,144
물론 컴퓨트가 얼마나
필요한가 하는 질문은
Of course, there is a question of how much compute is needed, but compute is large.

535
00:38:18,144 --> 00:38:21,823
남아있지만, 컴퓨트 자체는 방대해요.

536
00:38:21,823 --> 00:38:27,440
컴퓨트가 이미 방대해서,
아이디어를 입증하는 데 그보다
Compute is large enough such that it's not obvious that you need that much more compute to prove some idea.

537
00:38:27,440 --> 00:38:32,683
훨씬 더 많은 컴퓨트가
필요한지는 분명하지 않아요.

538
00:38:32,683 --> 00:38:34,707
비유를 하나 들어볼게요.
I'll give you an analogy.

539
00:38:34,707 --> 00:38:37,006
알렉스넷은 GPU 2개로 만들어졌어요.
AlexNet was built on two GPUs.

540
00:38:37,006 --> 00:38:40,640
그게 거기에 사용된 컴퓨트의 전부였죠.
That was the total amount of compute used for it.

541
00:38:40,640 --> 00:38:44,680
트랜스포머는 GPU 8개에서
64개로 만들어졌어요.
The transformer was built on 8 to 64 GPUs.

542
00:38:44,680 --> 00:38:50,535
트랜스포머 논문의 그 어떤 실험도
2017년 기준 GPU 64개를 넘게
No single transformer paper experiment used more than 64 GPUs of 2017, which would be like, what, two GPUs of today?

543
00:38:50,535 --> 00:38:56,090
쓴 적이 없는데, 그게 지금 GPU로
치면 한 2개 정도일 거예요.

544
00:38:56,090 --> 00:38:57,996
ResNet도 있었죠?
The ResNet, right?

545
00:38:57,996 --> 00:39:03,114
o1 추론이 세상에서 가장 컴퓨트가 많이
You could argue that the o1 reasoning was not the most compute-heavy thing in the world.

546
00:39:03,114 --> 00:39:08,000
드는 건 아니었다고 주장할 수도 있죠.

547
00:39:08,000 --> 00:39:15,397
그러니까 연구에는 어느 정도의
컴퓨트가 분명히 필요하지만, 역대
So for research, you definitely need some amount of compute, but it's far from obvious that you need the absolutely largest amount of compute ever for research.

548
00:39:15,397 --> 00:39:22,160
최대 규모의 컴퓨트가 꼭
필요한지는 전혀 명확하지 않아요.

549
00:39:22,160 --> 00:39:27,613
이렇게 주장할 수도 있고, 저도
사실이라고 생각하는데요. 절대적으로
You might argue, and I think it is true, that if you want to build the absolutely best system then it helps to have much more compute.

550
00:39:27,613 --> 00:39:33,360
최고의 시스템을 만들려면 컴퓨트가
훨씬 많은 게 도움이 된다는 거예요.

551
00:39:33,360 --> 00:39:38,377
특히 모두가 같은
패러다임 안에 있을 땐,
Especially if everyone is within the same paradigm, then compute becomes one of the big differentiators.

552
00:39:38,377 --> 00:39:43,393
컴퓨트가 큰 차별화
요소 중 하나가 되죠.

553
00:39:46,400 --> 00:39:48,400
역사를 여쭤보는 이유는, 실제로
그 현장에 계셨기 때문이에요.
I'm asking you for the history, because you were actually there.

554
00:39:48,400 --> 00:39:49,956
실제로 무슨 일이
있었는지는 저도 잘 몰라요.
I'm not sure what actually happened.

555
00:39:49,956 --> 00:39:52,591
최소한의 컴퓨트만으로도 이런 아이디어들을
It sounds like it was possible to develop these ideas using minimal amounts of compute.

556
00:39:52,591 --> 00:39:54,747
개발하는 게 가능했던 것 같네요.

557
00:39:54,747 --> 00:39:57,898
하지만 트랜스포머가 곧바로
유명해진 건 아니었어요.
But the transformer didn't immediately become famous.

558
00:39:57,898 --> 00:40:02,589
점점 더 큰 규모의 컴퓨트에서
검증되면서, 모두가 그걸 쓰기
It became the thing everybody started doing and then started experimenting on top of and building on top of because it was validated at higher and higher levels of compute.

559
00:40:02,589 --> 00:40:06,853
시작하고 그 위에서 실험하고
쌓아 올리기 시작한 거죠.

560
00:40:06,853 --> 00:40:07,360
맞아요.
Correct.

561
00:40:07,360 --> 00:40:12,225
그럼 SSI에 아이디어가
50개 있다고 할 때, 다른
And if you at SSI have 50 different ideas, how will you know which one is the next transformer and which one is brittle, without having the kinds of compute that other frontier labs have?

562
00:40:12,225 --> 00:40:17,089
프론티어 기업들 같은 컴퓨트
없이 그중 어떤 게 다음

563
00:40:17,089 --> 00:40:22,960
트랜스포머고 어떤 게 부실한
아이디어인지 어떻게 알 수 있나요?

564
00:40:22,960 --> 00:40:25,487
그 부분은 제가 말씀드릴 수 있어요.
I can comment on that.

565
00:40:25,487 --> 00:40:30,320
짧게 말씀드리면, 방금
SSI를 언급하셨는데요.
The short comment is that you mentioned SSI.

566
00:40:30,320 --> 00:40:35,028
구체적으로 저희 얘기를 하자면, SSI가
Specifically for us, the amount of compute that SSI has for research is really not that small.

567
00:40:35,028 --> 00:40:41,020
연구용으로 가진 컴퓨트는
사실 그렇게 적지 않아요.

568
00:40:41,020 --> 00:40:42,269
왜 그런지 설명해 드리고 싶어요.
I want to explain why.

569
00:40:42,269 --> 00:40:48,043
간단한 계산만으로도, 저희가
가진 컴퓨트가 연구용으로는
Simple math can explain why the amount of compute that we have is comparable for research than one might think.

570
00:40:48,043 --> 00:40:53,239
생각보다 비슷한 수준이라는
걸 설명할 수 있어요.

571
00:40:53,239 --> 00:40:55,213
설명해 드릴게요.
I'll explain.

572
00:40:55,213 --> 00:41:02,493
SSI는 30억 달러를 조달했는데,
절대적인 기준으로 봐도 큰 금액이죠.
SSI has raised $3 billion, which is a lot by any absolute sense.

573
00:41:02,493 --> 00:41:05,669
하지만 "다른 회사들은 훨씬 더 많이
But you could say, "Look at the other companies raising much more."

574
00:41:05,669 --> 00:41:09,163
조달하잖아"라고 말할 수도 있을 거예요.

575
00:41:09,163 --> 00:41:13,920
하지만 그들의 컴퓨트 중 상당
부분은 인퍼런스로 들어가요.
But a lot of their compute goes for inference.

576
00:41:13,920 --> 00:41:16,617
그 큰 숫자들, 그 큰 대출들은 인퍼런스
These big numbers, these big loans, it's earmarked for inference.

577
00:41:16,617 --> 00:41:18,823
용도로 이미 정해져 있는 거예요.

578
00:41:18,823 --> 00:41:20,160
그게 첫 번째고요.
That's number one.

579
00:41:20,160 --> 00:41:23,825
두 번째로, 인퍼런스를
수행하는 제품을 가지려면
Number two, if you want to have a product on which you do inference, you need to have a big staff of engineers, salespeople.

580
00:41:23,825 --> 00:41:28,053
엔지니어와 영업 인력으로
이루어진 큰 조직이 필요해요.

581
00:41:28,053 --> 00:41:34,280
연구 인력의 상당수가 온갖 제품 관련
기능을 만드는 데 투입돼야 하죠.
A lot of the research needs to be dedicated to producing all kinds of product-related features.

582
00:41:34,280 --> 00:41:41,689
그래서 실제로 연구에 남는 몫을 보면,
그 차이가 훨씬 작아지는 거예요.
So then when you look at what's actually left for research, the difference becomes a lot smaller.

583
00:41:41,689 --> 00:41:46,364
다른 문제는요, 정말 다른
걸 하고 있다면 그걸
The other thing is, if you are doing something different, do you really need the absolute maximal scale to prove it?

584
00:41:46,364 --> 00:41:51,040
증명하는 데 꼭 절대적
최대 규모가 필요한가요?

585
00:41:51,040 --> 00:41:54,109
전혀 그렇지 않다고 봐요.
I don't think that's true at all.

586
00:41:54,109 --> 00:41:58,562
저희 경우엔, 저희가 하는 일이
옳다는 걸 저희 자신에게도,
I think that in our case, we have sufficient compute to prove, to convince ourselves and anyone else, that what we are doing is correct.

587
00:41:58,562 --> 00:42:02,880
다른 누구에게도 증명할 만큼
충분한 컴퓨트가 있다고 봐요.

588
00:42:02,880 --> 00:42:06,458
오픈AI 같은 회사들이
실험에만 지금까지 연간
There have been public estimates that companies like OpenAI spend on the order of $5-6 billion a year just so far, on experiments.

589
00:42:06,458 --> 00:42:11,038
50억~60억 달러 규모를
쓴다는 공개된 추정치가 있었죠.

590
00:42:11,038 --> 00:42:16,333
이건 인퍼런스 등에 쓰는
비용과는 별개의 금액이고요.
This is separate from the amount of money they're spending on inference and so forth.

591
00:42:16,333 --> 00:42:19,727
그러면 연구 실험에만 쓰는 연간 지출이
So it seems like they're spending more a year running research experiments than you guys have in total funding.

592
00:42:19,727 --> 00:42:22,960
SSI의 총 펀딩보다 많은 셈이네요.

593
00:42:22,960 --> 00:42:25,123
그건 그걸로 무엇을
하느냐의 문제라고 봐요.
I think it's a question of what you do with it.

594
00:42:25,123 --> 00:42:28,335
그걸로 무엇을 하느냐의 문제예요.
It's a question of what you do with it.

595
00:42:29,840 --> 00:42:32,541
그들의 경우, 다른 회사들의 경우엔 훈련
In their case, in the case of others, there is a lot more demand on the training compute.

596
00:42:32,541 --> 00:42:35,120
컴퓨트에 대한 수요가 훨씬 더 많아요.

597
00:42:35,120 --> 00:42:41,759
작업 흐름도 훨씬 다양하고 모달리티도
다양하고, 그냥 할 일이 더 많죠.
There’s a lot more different work streams, there are different modalities, there is just more stuff.

598
00:42:41,759 --> 00:42:44,131
그래서 파편화되는 거예요.
So it becomes fragmented.

599
00:42:44,131 --> 00:42:47,729
SSI는 어떻게 돈을 벌 건가요?
How will SSI make money?

600
00:42:48,480 --> 00:42:52,116
이 질문에 대한 제 답은 대략 이래요.
My answer to this question is something like this.

601
00:42:52,116 --> 00:42:58,550
지금은 그냥 연구에 집중하고 있고
그 답은 저절로 드러날 거라고 봐요.
Right now, we just focus on the research, and then the answer to that question will reveal itself.

602
00:42:58,550 --> 00:43:01,360
가능한 답이 여러 개
있을 거라고 생각해요.
I think there will be lots of possible answers.

603
00:43:01,360 --> 00:43:05,040
SSI의 계획은 여전히
초지능으로 직행하는 건가요?
Is SSI's plan still to straight shot superintelligence?

604
00:43:05,040 --> 00:43:05,586
글쎄요.
Maybe.

605
00:43:05,586 --> 00:43:08,316
거기엔 나름의 장점이 있다고 봐요.
I think that there is merit to it.

606
00:43:08,316 --> 00:43:13,078
장점이 많다고 생각하는
게, 일상적인 시장
I think there's a lot of merit because it's very nice to not be affected by the day-to-day market competition.

607
00:43:13,078 --> 00:43:17,840
경쟁에 영향받지 않는다는
게 참 좋거든요.

608
00:43:17,840 --> 00:43:25,200
하지만 계획을 바꾸게 만들 수도
있는 이유가 두 가지 있다고 봐요.
But I think there are two reasons that may cause us to change the plan.

609
00:43:25,200 --> 00:43:31,360
하나는 실용적인 건데, 타임라인이
길어질 경우예요. 그럴 수도 있고요.
One is pragmatic, if timelines turned out to be long, which they might.

610
00:43:31,360 --> 00:43:37,307
둘째, 가장 뛰어나고
강력한 AI가 세상에 나가
Second, I think there is a lot of value in the best and most powerful AI being out there impacting the world.

611
00:43:37,307 --> 00:43:42,568
영향을 미치는 데 큰
가치가 있다고 봐요.

612
00:43:42,568 --> 00:43:46,480
이건 의미 있게 가치
있는 일이라고 생각해요.
I think this is a meaningfully valuable thing.

613
00:43:46,480 --> 00:43:49,440
그러면 왜 기본 계획이
초지능으로 직행하는 건가요?
So then why is your default plan to straight shot superintelligence?

614
00:43:49,440 --> 00:43:52,892
오픈AI, 앤트로픽,
다른 회사들은 명시적으로
Because it sounds like OpenAI, Anthropic, all these other companies, their explicit thinking is, "Look, we have weaker and weaker intelligences that the public can get used to and prepare for."

615
00:43:52,892 --> 00:43:56,897
"보세요, 저희는 점점 약한
지능들을 내놓아서 대중이

616
00:43:56,897 --> 00:44:01,040
익숙해지고 대비하게 합니다"라고
생각하는 것 같거든요.

617
00:44:01,040 --> 00:44:06,400
초지능을 직행으로 만드는 게
왜 더 나을 수 있을까요?
Why is it potentially better to build a superintelligence directly?

618
00:44:06,400 --> 00:44:09,908
찬성 논거와 반대 논거를
둘 다 말씀드릴게요.
I'll make the case for and against.

619
00:44:09,908 --> 00:44:14,767
찬성 논거는, 시장 안에
있을 때 사람들이 마주치는
The case for is that one of the challenges that people face when they're in the market is that they have to participate in the rat race.

620
00:44:14,767 --> 00:44:20,320
어려움 중 하나가 '무한 경쟁'에
참여해야 한다는 거예요.

621
00:44:20,320 --> 00:44:23,980
무한 경쟁이 힘든 건,
힘겨운 트레이드오프에
The rat race is quite difficult in that it exposes you to difficult trade-offs which you need to make.

622
00:44:23,980 --> 00:44:27,945
노출되고 그걸 스스로
감수해야 하기 때문이에요.

623
00:44:27,945 --> 00:44:33,344
"이 모든 것으로부터 우리를 격리하고
연구에만 집중하다가, 준비됐을
It is nice to say, "We'll insulate ourselves from all this and just focus on the research and come out only when we are ready, and not before."

624
00:44:33,344 --> 00:44:38,160
때만, 그전엔 절대 나가지
않겠다"라고 말하는 건 근사하죠.

625
00:44:38,160 --> 00:44:43,600
하지만 반론도 타당하고, 그 둘은 서로
반대 방향으로 작용하는 힘이에요.
But the counterpoint is valid too, and those are opposing forces.

626
00:44:43,600 --> 00:44:50,880
반론은 이래요. "자, 강력한
AI를 세상이 보는 건 유용하다.
The counterpoint is, "Hey, it is useful for the world to see powerful AI.

627
00:44:50,880 --> 00:44:53,058
강력한 AI를 세상이 보는
게 유용한 이유는, 그게
It is useful for the world to see powerful AI because that's the only way you can communicate it."

628
00:44:53,058 --> 00:44:55,159
그걸 전달할 수 있는
유일한 방법이기 때문이다."

629
00:44:55,159 --> 00:44:57,665
음, 꼭 아이디어를
전달할 수 있다는 것만도
Well, I guess not even just that you can communicate the idea— Communicate the AI, not the idea.

630
00:44:57,665 --> 00:45:00,588
아니고— 아이디어가 아니라
AI를 전달하는 거예요.

631
00:45:00,588 --> 00:45:01,772
AI를 전달하는 거예요.
Communicate the AI.

632
00:45:01,772 --> 00:45:04,640
"AI를 전달한다"는 게 무슨 뜻인가요?
What do you mean, "communicate the AI"?

633
00:45:04,640 --> 00:45:08,459
AI에 관한 에세이를 쓴다고 해보죠.
그 에세이가 "AI는 이렇게
Let's suppose you write an essay about AI, and the essay says, "AI is going to be this, and AI is going to be that, and it's going to be this."

634
00:45:08,459 --> 00:45:12,278
될 거고, 저렇게 될 거고, 또
이렇게 될 거다"라고 말한다고요.

635
00:45:12,278 --> 00:45:15,839
그걸 읽고 "그래, 흥미로운
에세이네"라고 말하죠.
You read it and you say, "Okay, this is an interesting essay."

636
00:45:15,839 --> 00:45:20,219
이제 AI가 이걸 하고, 저걸
하는 걸 실제로 본다고 해보세요.
Now suppose you see an AI doing this, an AI doing that.

637
00:45:20,219 --> 00:45:22,329
비교가 안 되죠.
It is incomparable.

638
00:45:22,329 --> 00:45:29,130
기본적으로 저는 AI가 대중 앞에
있다는 데서 큰 이점이 있다고
Basically I think that there is a big benefit from AI being in the public, and that would be a reason for us to not be quite straight shot.

639
00:45:29,130 --> 00:45:36,320
생각하고, 그게 저희가 완전한
직행을 하지 않을 이유가 될 거예요.

640
00:45:36,320 --> 00:45:40,320
꼭 그것만은 아니지만, 그게
중요한 부분이라고는 생각해요.
I guess it's not even that, but I do think that is an important part of it.

641
00:45:40,320 --> 00:45:45,477
다른 큰 문제는, 인간의 공학과
연구를 통틀어 최종 결과물이 그저
The other big thing is that I can't think of another discipline in human engineering and research where the end artifact was made safer mostly through just thinking about how to make it safe, as opposed to, why airplane crashes per mile are so much lower today than they were decades ago.

642
00:45:45,477 --> 00:45:50,633
'어떻게 안전하게 만들까'라는
생각만으로 더 안전해진 분야를 저는

643
00:45:50,633 --> 00:45:55,646
떠올릴 수 없다는 거예요 —
오히려 오늘날 비행기 사고율이 수십

644
00:45:55,646 --> 00:46:00,230
년 전보다 마일당 왜 훨씬
낮아졌는지를 생각해보면 말이죠.

645
00:46:00,230 --> 00:46:04,547
왜 리눅스에서 버그를 찾는 게 수십
년 전보다 훨씬 어려워졌을까요?
Why is it so much harder to find a bug in Linux than it would have been decades ago?

646
00:46:04,547 --> 00:46:06,614
저는 그게 대부분 이 시스템들이 실제
I think it's mostly because these systems were deployed to the world.

647
00:46:06,614 --> 00:46:08,680
세상에 배포됐기 때문이라고 생각해요.

648
00:46:08,680 --> 00:46:14,255
실패가 발견되고, 그 실패들이
고쳐지면서 시스템이 더 강건해진 거죠.
You noticed failures, those failures were corrected and the systems became more robust.

649
00:46:14,255 --> 00:46:19,719
AGI와 초인적 지능이라고 왜
다를지 저는 잘 모르겠어요. 특히—이
I'm not sure why AGI and superhuman intelligence would be any different, especially given—and I hope we're going to get to this—it seems like the harms of superintelligence are not just about having some malevolent paper clipper out there.

650
00:46:19,719 --> 00:46:24,739
얘기는 나중에 다루면 좋겠는데—초지능의
해악이 단순히 어딘가에

651
00:46:24,739 --> 00:46:29,760
악의적인 페이퍼클립 AI가 있다는
문제만은 아닌 것 같거든요.

652
00:46:29,760 --> 00:46:33,345
이건 정말 강력한 것인데, 사람들이
그것과 어떻게 상호작용할지,
But this is a really powerful thing and we don't even know how to conceptualize how people interact with it, what people will do with it.

653
00:46:33,345 --> 00:46:37,134
사람들이 그걸로 뭘 할지조차 저희는
개념화하는 법을 모르고 있어요.

654
00:46:37,134 --> 00:46:41,425
점진적으로 접근하게 하는 게,
아마 그 영향을 분산시키고
Having gradual access to it seems like a better way to maybe spread out the impact of it and to help people prepare for it.

655
00:46:41,425 --> 00:46:45,440
사람들이 대비하도록 돕는
더 나은 방법인 것 같아요.

656
00:46:45,440 --> 00:46:51,673
음, 이 점에서는 직행
시나리오에서도 결국 점진적으로
Well I think on this point, even in the straight shot scenario, you would still do a gradual release of it, that’s how I would imagine it.

657
00:46:51,673 --> 00:46:58,121
출시하게 될 거라고 생각해요,
제가 상상하기론 그래요.

658
00:46:58,121 --> 00:47:02,766
점진적 접근은 어떤 계획에도
필연적으로 포함될 거예요.
Gradualism would be an inherent component of any plan.

659
00:47:02,766 --> 00:47:07,258
그냥 뭘 제일 먼저
세상에 내놓느냐의 문제죠.
It's just a question of what is the first thing that you get out of the door.

660
00:47:07,258 --> 00:47:08,682
그게 첫 번째고요.
That's number one.

661
00:47:08,682 --> 00:47:14,545
두 번째는, 다른 사람들보다 지속
학습을 더 강하게 주장해오신
Number two, I believe you have advocated for continual learning more than other people, and I actually think that this is an important and correct thing.

662
00:47:14,545 --> 00:47:20,064
걸로 아는데, 저는 이게 중요하고
맞는 얘기라고 생각해요.

663
00:47:20,064 --> 00:47:21,695
이유를 말씀드릴게요.
Here is why.

664
00:47:21,695 --> 00:47:29,600
언어가 사고에 영향을 미치는
또 다른 예를 들어볼게요.
I'll give you another example of how language affects thinking.

665
00:47:29,600 --> 00:47:37,266
이번엔, 모두의 사고를 형성해온 단어
두 개일 거라고 저는 생각해요.
In this case, it will be two words that have shaped everyone's thinking, I maintain.

666
00:47:37,520 --> 00:47:39,646
첫 번째 단어, AGI.
First word: AGI.

667
00:47:39,646 --> 00:47:43,023
두 번째 단어, 사전학습.
Second word: pre-training.

668
00:47:43,023 --> 00:47:45,023
설명해 드릴게요.
Let me explain.

669
00:47:45,023 --> 00:47:49,316
AGI라는 용어, 이게 왜 존재할까요?
The term AGI, why does this term exist?

670
00:47:49,316 --> 00:47:51,531
굉장히 특이한 용어예요.
It's a very particular term.

671
00:47:51,531 --> 00:47:52,982
왜 존재하는 걸까요?
Why does it exist?

672
00:47:52,982 --> 00:47:54,356
이유가 있어요.
There's a reason.

673
00:47:54,356 --> 00:48:01,862
제 생각에 AGI라는 용어가 존재하는
이유는, 지능의 어떤 최종 상태를
The reason that the term AGI exists is, in my opinion, not so much because it's a very important, essential descriptor of some end state of intelligence, but because it is a reaction to a different term that existed, and the term is narrow AI.

674
00:48:01,862 --> 00:48:09,175
나타내는 대단히 중요하고 본질적인
표현이라서가 아니라, 예전에 있었던

675
00:48:09,175 --> 00:48:16,873
다른 용어에 대한 반작용이기 때문이에요.
그 용어가 바로 좁은 AI예요.

676
00:48:16,873 --> 00:48:20,375
체커 AI, 체스 AI,
컴퓨터 게임 AI 같은
If you go back to ancient history of gameplay and AI, of checkers AI, chess AI, computer games AI, everyone would say, look at this narrow intelligence.

677
00:48:20,375 --> 00:48:24,013
게임과 AI의 아득한
역사로 거슬러 올라가 보면,

678
00:48:24,013 --> 00:48:27,515
다들 이렇게 말했죠. "이
좁은 지능 좀 봐."

679
00:48:27,515 --> 00:48:29,367
"체스 AI가 카스파로프를 이길 순
Sure, the chess AI can beat Kasparov, but it can't do anything else.

680
00:48:29,367 --> 00:48:31,609
있어도, 그거 말곤
아무것도 못 하잖아."

681
00:48:31,609 --> 00:48:33,311
"정말 좁다니까. 인공 좁은
지능(artificial
It is so narrow, artificial narrow intelligence.

682
00:48:33,311 --> 00:48:34,720
narrow
intelligence)이지."

683
00:48:34,720 --> 00:48:38,287
그래서 그에 대한
반작용으로, 어떤 사람들은
So in response, as a reaction to this, some people said, this is not good.

684
00:48:38,287 --> 00:48:41,110
이렇게 말했죠. "이건 안 좋다."

685
00:48:41,110 --> 00:48:42,946
"너무 좁다."
It is so narrow.

686
00:48:42,946 --> 00:48:52,181
"우리에게 필요한 건 일반 AI,
그러니까 모든 걸 다 하는 AI다."
What we need is general AI, an AI that can just do all the things.

687
00:48:53,040 --> 00:48:56,005
그 용어가 큰 주목을 받게 된 거죠.
That term just got a lot of traction.

688
00:48:56,005 --> 00:49:03,120
두 번째로 크게 주목받은 건 사전학습,
정확히는 사전학습의 레시피예요.
The second thing that got a lot of traction is pre-training, specifically the recipe of pre-training.

689
00:49:03,120 --> 00:49:08,318
요즘 사람들이 RL을 하는
방식은 어쩌면 사전학습이
I think the way people do RL now is maybe undoing the conceptual imprint of pre-training.

690
00:49:08,318 --> 00:49:12,960
남긴 개념적 각인을
되돌리고 있는 것 같아요.

691
00:49:12,960 --> 00:49:15,038
그런데 사전학습에는
이런 특성이 있었어요.
But pre-training had this property.

692
00:49:15,038 --> 00:49:23,846
사전학습을 더 하면 모델이 거의
모든 면에서 고르게 좋아져요.
You do more pre-training and the model gets better at everything, more or less uniformly.

693
00:49:23,846 --> 00:49:25,497
일반 AI요.
General AI.

694
00:49:25,497 --> 00:49:28,797
사전학습이 AGI를 만들어줘요.
Pre-training gives AGI.

695
00:49:28,797 --> 00:49:33,614
그런데 AGI와 사전학습에
일어난 일은 어떤
But the thing that happened with AGI and pre-training is that in some sense they overshot the target.

696
00:49:33,614 --> 00:49:37,829
의미에서 목표를 넘어서 쏴버린 거예요.

697
00:49:38,160 --> 00:49:43,902
'AGI'라는 용어를, 특히
사전학습 맥락에서 생각해보면
If you think about the term "AGI", especially in the context of pre-training, you will realize that a human being is not an AGI.

698
00:49:43,902 --> 00:49:48,718
인간은 AGI가 아니라는
걸 알게 되실 거예요.

699
00:49:48,718 --> 00:49:57,885
네, 분명 기초 능력은 있지만
인간에겐 방대한 지식이 빠져 있어요.
Yes, there is definitely a foundation of skills, but a human being lacks a huge amount of knowledge.

700
00:50:00,080 --> 00:50:03,821
대신 우리는 지속 학습에 의존하죠.
Instead, we rely on continual learning.

701
00:50:03,821 --> 00:50:08,030
그러니까 "좋아, 우리가 성공해서 안전한
So when you think about, "Okay, so let's suppose that we achieve success and we produce some kind of safe superintelligence."

702
00:50:08,030 --> 00:50:12,240
초지능을 만들어냈다고 하자"라고 하면요.

703
00:50:12,240 --> 00:50:14,513
질문은, 그걸 어떻게 정의하느냐예요.
The question is, how do you define it?

704
00:50:14,513 --> 00:50:18,480
지속 학습 곡선의 어느 지점에 있을까요?
Where on the curve of continual learning is it going to be?

705
00:50:18,480 --> 00:50:23,050
저는 아주 의욕 넘치는 15살짜리
초지능을 만들어낸 거예요.
I produce a superintelligent 15-year-old that's very eager to go.

706
00:50:23,050 --> 00:50:27,313
아는 건 별로 없지만 훌륭한
학생이고 의욕이 넘치죠.
They don't know very much at all, a great student, very eager.

707
00:50:27,313 --> 00:50:31,930
"가서 프로그래머가 돼라, 가서
의사가 돼라, 가서 배워라."
You go and be a programmer, you go and be a doctor, go and learn.

708
00:50:31,930 --> 00:50:38,880
그러니 배포 자체가 일종의 시행착오
학습 기간을 포함하는 셈이죠.
So you could imagine that the deployment itself will involve some kind of a learning trial-and-error period.

709
00:50:38,880 --> 00:50:44,240
완성품을 딱 내놓는 게
아니라 하나의 과정인 거예요.
It's a process, as opposed to you dropping the finished thing.

710
00:50:44,240 --> 00:50:44,827
그렇군요.
I see.

711
00:50:44,827 --> 00:50:50,516
그러니까 지금 말씀하시는
초지능은 경제의 모든
You're suggesting that the thing you're pointing out with superintelligence is not some finished mind which knows how to do every single job in the economy.

712
00:50:50,516 --> 00:50:56,660
일을 할 줄 아는 완성된
정신이 아니라는 거네요.

713
00:50:58,560 --> 00:51:03,744
예를 들어 오픈AI 헌장에서
AGI를 정의하는 방식은, 인간이
Because the way, say, the original OpenAI charter or whatever defines AGI is like, it can do every single job, every single thing a human can do.

714
00:51:03,744 --> 00:51:08,624
할 수 있는 모든 일을 다 할
수 있어야 한다는 거잖아요.

715
00:51:08,624 --> 00:51:11,831
대신 모든 일을 배울 수 있는 정신을
You're proposing instead a mind which can learn to do every single job, and that is superintelligence.

716
00:51:11,831 --> 00:51:15,520
제안하시는 거고, 그게
바로 초지능이고요.

717
00:51:15,520 --> 00:51:15,990
맞아요.
Yes.

718
00:51:15,990 --> 00:51:20,795
그런데 일단 학습
알고리즘이 갖춰지면 사람이
But once you have the learning algorithm, it gets deployed into the world the same way a human laborer might join an organization.

719
00:51:20,795 --> 00:51:25,200
조직에 들어가듯 세상에 배포되는 거예요.

720
00:51:25,200 --> 00:51:25,623
정확해요.
Exactly.

721
00:51:25,623 --> 00:51:31,490
이 둘 중 하나가 일어날 것 같은데
어쩌면 둘 다 아닐 수도 있고요.
It seems like one of these two things might happen, maybe neither of these happens.

722
00:51:31,490 --> 00:51:37,317
하나는, 이 초효율적인 학습
알고리즘이 ML 연구라는 작업에서
One, this super-efficient learning algorithm becomes superhuman, becomes as good as you and potentially even better, at the task of ML research.

723
00:51:37,317 --> 00:51:43,316
초인적이 돼서 당신만큼, 어쩌면
더 뛰어나질 수 있다는 거예요.

724
00:51:43,316 --> 00:51:48,212
그 결과 알고리즘 자체가 점점
더 초인적으로 되어가는 거고요.
As a result the algorithm itself becomes more and more superhuman.

725
00:51:48,212 --> 00:51:52,597
다른 하나는, 설령 그런 일이
일어나지 않더라도—이건 명시적으로
The other is, even if that doesn't happen, if you have a single model—this is explicitly your vision—where instances of a model which are deployed through the economy doing different jobs, learning how to do those jobs, continually learning on the job, picking up all the skills that any human could pick up, but picking them all up at the same time, and then amalgamating their learnings, you basically have a model which functionally becomes superintelligent even without any sort of recursive self-improvement in software.

726
00:51:52,597 --> 00:51:56,857
당신의 비전인데요—단일 모델이
있어서, 그 모델의 인스턴스들이

727
00:51:56,857 --> 00:52:01,242
경제 전반에 배포되어 서로 다른
일을 하고, 그 일을 하는 법을

728
00:52:01,242 --> 00:52:05,627
배우고, 일을 하면서 지속 학습을
하고, 인간이 습득할 수 있는

729
00:52:05,627 --> 00:52:09,761
모든 기술을 습득하는데, 그것도
전부 동시에 습득한 다음 그

730
00:52:09,761 --> 00:52:14,021
학습 결과들을 하나로 합친다면,
소프트웨어 차원의 재귀적 자기

731
00:52:14,021 --> 00:52:18,030
개선 없이도 사실상 초지능이
되는 모델을 갖게 되는 거죠.

732
00:52:18,030 --> 00:52:21,483
왜냐하면 이제 경제의 모든 일을
다 할 수 있는 모델 하나가
Because you now have one model that can do every single job in the economy and humans can't merge our minds in the same way.

733
00:52:21,483 --> 00:52:25,040
생기는 거고, 인간은 그런 식으로
정신을 합칠 수 없으니까요.

734
00:52:25,040 --> 00:52:28,640
그럼 광범위한 배포로부터 일종의 지능
폭발이 일어날 거라고 보시나요?
So do you expect some sort of intelligence explosion from broad deployment?

735
00:52:28,640 --> 00:52:37,280
저는 우리가 빠른 경제 성장을
이루게 될 가능성이 높다고 봐요.
I think that it is likely that we will have rapid economic growth.

736
00:52:37,280 --> 00:52:42,064
광범위한 배포와
관련해서는, 서로 상충하는
I think with broad deployment, there are two arguments you could make which are conflicting.

737
00:52:42,064 --> 00:52:46,640
주장 두 가지를 할 수 있다고 생각해요.

738
00:52:46,640 --> 00:52:52,862
하나는, 실제로 AI가 빠르게
뭔가를 배울 수 있는 지점에
One is that once indeed you get to a point where you have an AI that can learn to do things quickly and you have many of them, then there will be a strong force to deploy them in the economy unless there will be some kind of a regulation that stops it, which by the way there might be.

739
00:52:52,862 --> 00:52:58,890
도달하고 그런 AI가 많이
있게 되면, 어떤 규제가 막지

740
00:52:58,890 --> 00:53:05,307
않는 한 그것들을 경제에
배치하려는 강한 힘이 작용할 거라는

741
00:53:05,307 --> 00:53:11,140
거예요. 그런데 그런 규제가
실제로 있을 수도 있고요.

742
00:53:13,360 --> 00:53:18,327
하지만 한동안 매우 빠른 경제
성장이 일어난다는 아이디어,
But the idea of very rapid economic growth for some time, I think it’s very possible from broad deployment.

743
00:53:18,327 --> 00:53:22,518
그건 광범위한 배포로부터
충분히 가능하다고 봐요.

744
00:53:22,518 --> 00:53:25,440
문제는 그게 얼마나
빠를 것이냐는 거고요.
The question is how rapid it's going to be.

745
00:53:25,440 --> 00:53:28,026
이건 알기 어렵다고
생각하는데요, 한편으로는
I think this is hard to know because on the one hand you have this very efficient worker.

746
00:53:28,026 --> 00:53:30,720
이렇게 매우 효율적인
노동자가 있는 거잖아요.

747
00:53:30,720 --> 00:53:34,998
다른 한편으로는 세상은 정말
크고 처리할 일이 정말
On the other hand, the world is just really big and there's a lot of stuff, and that stuff moves at a different speed.

748
00:53:34,998 --> 00:53:38,818
많은데, 그 일은 또
다른 속도로 움직이고요.

749
00:53:38,818 --> 00:53:41,600
그런데 또 다른
한편으로는, 이제 AI가…
But then on the other hand, now the AI could…

750
00:53:41,600 --> 00:53:44,923
그래서 저는 매우 빠른 경제
성장이 가능하다고 봐요.
So I think very rapid economic growth is possible.

751
00:53:44,923 --> 00:53:51,983
온갖 일들이 다 벌어질 거예요.
나라마다 규칙이 다르고, 더
We will see all kinds of things like different countries with different rules and the ones which have the friendlier rules, the economic growth will be faster.

752
00:53:51,983 --> 00:53:59,256
우호적인 규칙을 가진 나라일수록
경제 성장이 더 빠를 거고요.

753
00:54:18,187 --> 00:54:22,687
예측하기 어렵죠.
Hard to predict.

754
00:54:32,482 --> 00:54:40,149
제가 보기엔 이건 아주
위태로운 상황인 것 같아요.
It seems to me that this is a very precarious situation to be in.

755
00:55:12,599 --> 00:55:15,945
극한으로 가면, 이게 가능해야
한다는 건 이미 알고 있는 거죠.
In the limit, we know that this should be possible.

756
00:55:15,945 --> 00:55:19,812
학습 면에서 인간만큼
뛰어나면서도, 인간은 할 수 없는
If you have something that is as good as a human at learning, but which can merge its brains—merge different instances in a way that humans can't merge—already, this seems like a thing that should physically be possible.

757
00:55:19,812 --> 00:55:24,066
방식으로 서로 다른 인스턴스들의
뇌를 합칠 수 있는 무언가가

758
00:55:24,066 --> 00:55:28,320
있다면, 이건 이미 물리적으로
가능해야 하는 일처럼 보여요.

759
00:55:28,320 --> 00:55:30,800
인간도 가능하고, 디지털
컴퓨터도 가능하잖아요.
Humans are possible, digital computers are possible.

760
00:55:30,800 --> 00:55:33,440
그 둘을 합치기만 하면 이런
존재가 만들어지는 거고요.
You just need both of those combined to produce this thing.

761
00:55:33,440 --> 00:55:41,107
이런 존재는 또한 극도로
강력할 것 같기도 하고요.
It also seems this kind of thing is extremely powerful.

762
00:55:41,440 --> 00:55:43,429
경제 성장이라는 게 그걸
표현하는 한 방식이죠.
Economic growth is one way to put it.

763
00:55:43,429 --> 00:55:45,680
다이슨 스피어는 엄청난
경제 성장이잖아요.
A Dyson sphere is a lot of economic growth.

764
00:55:45,680 --> 00:55:49,008
하지만 또 다른 표현
방식은, 어쩌면 아주 짧은
But another way to put it is that you will have, in potentially a very short period of time...

765
00:55:49,008 --> 00:55:52,080
시간 안에 이런 걸 갖게
될 거라는 거예요…

766
00:55:52,080 --> 00:55:53,996
SSI에서 사람을 채용하면, 아마 6개월
You hire people at SSI, and in six months, they're net productive, probably.

767
00:55:53,996 --> 00:55:56,000
안에는 순수하게 생산적인
인력이 되잖아요.

768
00:55:56,000 --> 00:55:58,537
인간은 정말 빠르게 배우는데, 이것은
A human learns really fast, and this thing is becoming smarter and smarter very fast.

769
00:55:58,537 --> 00:56:01,200
점점 더 빠르게 더 똑똑해지고 있고요.

770
00:56:01,200 --> 00:56:03,690
그 일이 잘 풀리게 하려면
어떻게 해야 한다고 보시나요?
How do you think about making that go well?

771
00:56:03,690 --> 00:56:05,840
SSI가 그걸 잘 해낼 수 있는
위치에 있는 이유는 뭔가요?
Why is SSI positioned to do that well?

772
00:56:05,840 --> 00:56:09,623
결국 제가 여쭙고 싶은 건, 거기서
SSI의 계획이 무엇이냐는 거예요.
What is SSI's plan there, is basically what I'm trying to ask.

773
00:56:12,160 --> 00:56:19,753
제 생각이 달라져 온 방식 중
하나는, 이제 AI를 점진적으로,
One of the ways in which my thinking has been changing is that I now place more importance on AI being deployed incrementally and in advance.

774
00:56:19,753 --> 00:56:25,827
그리고 미리 배포하는 데
더 무게를 둔다는 거예요.

775
00:56:28,920 --> 00:56:35,645
AI에 관해 정말 어려운 점
하나는, 아직 존재하지 않는
One very difficult thing about AI is that we are talking about systems that don't yet exist and it's hard to imagine them.

776
00:56:35,645 --> 00:56:42,587
시스템 얘기를 하고 있다 보니
상상하기가 어렵다는 거예요.

777
00:56:43,600 --> 00:56:48,100
벌어지고 있는 일 중
하나는, 실제로는 AGI를
I think that one of the things that's happening is that in practice, it's very hard to feel the AGI.

778
00:56:48,100 --> 00:56:52,080
체감하기가 정말 어렵다는
거라고 생각해요.

779
00:56:52,080 --> 00:56:56,688
AGI를 체감하기는 정말 어려워요.
It's very hard to feel the AGI.

780
00:56:56,688 --> 00:57:02,359
그것에 대해 이야기할 순
있지만, 나이 들고 노쇠해졌을
We can talk about it, but imagine having a conversation about how it is like to be old when you're old and frail.

781
00:57:02,359 --> 00:57:07,840
때 늙는다는 게 어떤 건지
대화하는 상상을 해보세요.

782
00:57:07,840 --> 00:57:12,768
대화를 나눌 수도, 상상해보려
할 수도 있지만 그냥
You can have a conversation, you can try to imagine it, but it's just hard, and you come back to reality where that's not the case.

783
00:57:12,768 --> 00:57:17,520
어렵고, 결국 그렇지 않은
현실로 돌아오게 되죠.

784
00:57:17,520 --> 00:57:24,023
AGI와 그 미래 힘을
둘러싼 문제들 상당수는, 그걸
I think that a lot of the issues around AGI and its future power stem from the fact that it's very difficult to imagine.

785
00:57:24,023 --> 00:57:29,853
상상하기가 너무 어렵다는
데서 비롯된다고 봐요.

786
00:57:30,960 --> 00:57:33,678
미래의 AI는 다를 거예요.
Future AI is going to be different.

787
00:57:33,678 --> 00:57:35,717
강력할 거고요.
It's going to be powerful.

788
00:57:35,717 --> 00:57:40,692
실제로, 그 문제 전체가—AI와
AGI의 문제란 대체 뭘까요?
Indeed, the whole problem, what is the problem of AI and AGI?

789
00:57:40,692 --> 00:57:43,360
그 문제 전체가 바로 힘이에요.
The whole problem is the power.

790
00:57:43,360 --> 00:57:45,962
그 문제 전체가 바로 힘이에요.
The whole problem is the power.

791
00:57:45,962 --> 00:57:50,494
그 힘이 정말로 커지면,
무슨 일이 벌어질까요?
When the power is really big, what's going to happen?

792
00:57:50,494 --> 00:57:56,367
지난 1년간 제 생각이 바뀐
것 중 하나는—그리고 그
One of the ways in which I've changed my mind over the past year—and that change of mind, I'll hedge a little bit, may back-propagate into the plans of our company—is that if it's hard to imagine, what do you do?

793
00:57:56,367 --> 00:58:02,847
변화는, 조심스럽게 말하자면
저희 회사의 계획에도 역전파될

794
00:58:02,847 --> 00:58:09,327
수 있는데—상상하기 어렵다면
어떻게 해야 하느냐는 거예요.

795
00:58:12,960 --> 00:58:14,785
그걸 직접 보여줘야 해요.
You’ve got to be showing the thing.

796
00:58:14,785 --> 00:58:16,560
그걸 직접 보여줘야 해요.
You’ve got to be showing the thing.

797
00:58:16,560 --> 00:58:22,186
저는 AI를 연구하는 사람들
대부분도 그걸 상상하지
I maintain that most people who work on AI also can't imagine it because it's too different from what people see on a day-to-day basis.

798
00:58:22,186 --> 00:58:28,013
못한다고 봐요, 일상에서
보는 것과 너무 다르니까요.

799
00:58:28,013 --> 00:58:33,900
제가 확신하는 건, 이런 일이
일어날 거라고 예측한다는 거예요.
I do maintain, here's something which I predict will happen.

800
00:58:33,900 --> 00:58:36,253
이건 예측이에요.
This is a prediction.

801
00:58:36,253 --> 00:58:44,541
AI가 더 강력해질수록, 사람들이
행동을 바꿀 거라고 봐요.
I maintain that as AI becomes more powerful, people will change their behaviors.

802
00:58:44,541 --> 00:58:52,034
지금은 일어나지 않는 온갖 전례
없는 일들을 보게 될 거예요.
We will see all kinds of unprecedented things which are not happening right now.

803
00:58:52,034 --> 00:58:54,244
몇 가지 예를 들어볼게요.
I’ll give some examples.

804
00:58:54,244 --> 00:58:58,752
좋든 나쁘든, 앞으로 일어날
일에서 프론티어 기업들이 아주
I think for better or worse, the frontier companies will play a very important role in what happens, as will the government.

805
00:58:58,752 --> 00:59:03,120
중요한 역할을 할 거라고
생각해요. 정부도 마찬가지고요.

806
00:59:03,120 --> 00:59:07,436
앞으로 보게 될 거라고
생각하는 것 중 하나는, 이미
The kind of things that I think you'll see, which you see the beginnings of, are companies that are fierce competitors starting to collaborate on AI safety.

807
00:59:07,436 --> 00:59:11,753
시작되는 조짐이 보이는데,
치열하게 경쟁하던 기업들이

808
00:59:11,753 --> 00:59:15,920
AI 안전 문제에서는 협력하기
시작하는 모습이에요.

809
00:59:15,920 --> 00:59:19,195
오픈AI와 앤트로픽이
작은 첫걸음을 떼는 걸
You may have seen OpenAI and Anthropic doing a first small step, but that did not exist.

810
00:59:19,195 --> 00:59:22,880
보셨을 텐데, 예전에는
그런 게 존재하지 않았죠.

811
00:59:22,880 --> 00:59:26,087
그건 제가 한 3년 전쯤
어느 강연에서 이런
That's something which I predicted in one of my talks about three years ago, that such a thing will happen.

812
00:59:26,087 --> 00:59:29,026
일이 일어날 거라고 예측했던 부분이에요.

813
00:59:29,026 --> 00:59:33,509
그리고 저는, AI가 계속
더 강력해지고 그 강력함이
I also maintain that as AI continues to become more powerful, more visibly powerful, there will also be a desire from governments and the public to do something.

814
00:59:33,509 --> 00:59:38,147
눈에 더 잘 보이게 될수록,
정부와 대중 쪽에서도 뭔가

815
00:59:38,147 --> 00:59:42,476
조치를 취하고 싶어 하는
욕구가 생길 거라고 봐요.

816
00:59:42,476 --> 00:59:47,557
AI를 직접 보여주는 것, 그 자체가
아주 중요한 힘이라고 생각해요.
I think this is a very important force, of showing the AI.

817
00:59:47,557 --> 00:59:48,954
그게 첫 번째예요.
That's number one.

818
00:59:48,954 --> 00:59:52,215
두 번째는, 자, AI가
만들어지고 있잖아요.
Number two, okay, so the AI is being built.

819
00:59:52,215 --> 00:59:54,237
그럼 뭘 해야 할까요?
What needs to be done?

820
00:59:54,237 --> 01:00:00,723
제가 일어날 거라고 보는 것 중 하나는,
지금 AI를 만드는 사람들한테는
One thing that I maintain that will happen is that right now, people who are working on AI, I maintain that the AI doesn't feel powerful because of its mistakes.

821
01:00:00,723 --> 01:00:06,560
AI가 실수를 저지르기 때문에
강력하게 느껴지지 않는다는 거예요.

822
01:00:06,560 --> 01:00:08,622
하지만 어느 시점이 되면 AI가 실제로
I do think that at some point the AI will start to feel powerful actually.

823
01:00:08,622 --> 01:00:10,880
강력하게 느껴지기
시작할 거라고 생각해요.

824
01:00:10,880 --> 01:00:14,733
그런 일이 일어나면,
모든 AI 기업이 안전에
I think when that happens, we will see a big change in the way all AI companies approach safety.

825
01:00:14,733 --> 01:00:18,894
접근하는 방식에서 큰
변화가 나타날 거라고 봐요.

826
01:00:18,894 --> 01:00:22,103
훨씬 더 편집증적이 될 거예요.
They'll become much more paranoid.

827
01:00:22,103 --> 01:00:24,134
이건 앞으로 실제로 일어나는 걸 보게
I say this as a prediction that we will see happen.

828
01:00:24,134 --> 01:00:26,266
될 거라는 예측으로 드리는 말씀이에요.

829
01:00:26,266 --> 01:00:27,438
제 말이 맞는지는 두고 봐야겠죠.
We'll see if I'm right.

830
01:00:27,438 --> 01:00:29,762
하지만 AI가 더
강력해지는 걸 직접 보게
But I think this is something that will happen because they will see the AI becoming more powerful.

831
01:00:29,762 --> 01:00:32,289
될 테니, 이런 일이
일어날 거라고 생각해요.

832
01:00:32,289 --> 01:00:37,252
지금 벌어지고 있는 모든 일은,
제가 보기엔, 사람들이 오늘날의
Everything that's happening right now, I maintain, is because people look at today's AI and it's hard to imagine the future AI.

833
01:00:37,252 --> 01:00:42,640
AI를 보면서 미래의 AI는 상상하기
어려워하기 때문이라고 생각해요.

834
01:00:42,640 --> 01:00:46,408
세 번째로 일어나야 할 일이 있어요.
There is a third thing which needs to happen.

835
01:00:46,408 --> 01:00:51,048
저희 회사에 대해 물어보셔서
그런데, SSI 관점에서만이
I'm talking about it in broader terms, not just from the perspective of SSI because you asked me about our company.

836
01:00:51,048 --> 01:00:54,640
아니라 더 넓은 의미에서
말씀드리는 거예요.

837
01:00:54,640 --> 01:00:58,400
질문은, 기업들이 무엇을 만들겠다는
포부를 가져야 하느냐는 거예요.
The question is, what should the companies aspire to build?

838
01:00:58,400 --> 01:01:00,337
무엇을 만들고자 해야 할까요?
What should they aspire to build?

839
01:01:00,337 --> 01:01:04,938
모두가 매달려 온 하나의 큰 아이디어가
There has been one big idea that everyone has been locked into, which is the self-improving AI.

840
01:01:04,938 --> 01:01:09,538
있었는데, 바로 자기 개선형 AI예요.

841
01:01:09,538 --> 01:01:11,120
왜 그렇게 됐을까요?
Why did it happen?

842
01:01:11,120 --> 01:01:14,193
아이디어보다 기업 수가
더 많기 때문이에요.
Because there are fewer ideas than companies.

843
01:01:14,193 --> 01:01:17,972
하지만 저는 그보다 더
나은, 만들 만한 것이 있다고
But I maintain that there is something that's better to build, and I think that everyone will want that.

844
01:01:17,972 --> 01:01:21,360
생각하고, 모두가 그걸
원하게 될 거라고 봐요.

845
01:01:21,360 --> 01:01:25,824
그건 바로 지각 있는 생명을 특히 소중히
It's the AI that's robustly aligned to care about sentient life specifically.

846
01:01:25,824 --> 01:01:29,680
여기도록 강건하게 정렬된 AI예요.

847
01:01:29,680 --> 01:01:34,182
지각 있는 생명을 소중히 여기는
AI를 만드는 게, 인간의
I think in particular, there's a case to be made that it will be easier to build an AI that cares about sentient life than an AI that cares about human life alone, because the AI itself will be sentient.

848
01:01:34,182 --> 01:01:38,684
생명만 소중히 여기는 AI를
만드는 것보다 오히려 더 쉬울

849
01:01:38,684 --> 01:01:43,326
수 있다고 봐요. AI 자신도
지각이 있는 존재일 테니까요.

850
01:01:43,326 --> 01:01:48,333
거울 뉴런이나, 인간이 동물에게
느끼는 공감 같은 걸 생각해보면—
And if you think about things like mirror neurons and human empathy for animals, which you might argue it's not big enough, but it exists.

851
01:01:48,333 --> 01:01:53,200
충분히 크지 않다고 반박할 수도
있지만, 분명히 존재하긴 하죠.

852
01:01:53,200 --> 01:01:58,241
우리가 타인을 모델링할 때도 자신을
모델링하는 것과 같은 회로를 쓰기
I think it's an emergent property from the fact that we model others with the same circuit that we use to model ourselves, because that's the most efficient thing to do.

853
01:01:58,241 --> 01:02:03,680
때문에 나타나는 창발적 속성이라고
봐요. 그게 가장 효율적인 방식이니까요.

854
01:02:03,680 --> 01:02:08,059
그러니 AI가 지각 있는 존재들을
소중히 여기도록 만들었다 해도— 정렬
So even if you got an AI to care about sentient beings—and it's not actually clear to me that that's what you should try to do if you solved alignment—it would still be the case that most sentient beings will be AIs.

855
01:02:08,059 --> 01:02:12,326
문제를 풀었을 때 그게 정말 추구해야
할 목표인지는 사실 저도 확신이

856
01:02:12,326 --> 01:02:16,480
없는데— 그래도 결국 대부분의 지각
있는 존재는 AI가 될 거예요.

857
01:02:16,480 --> 01:02:19,360
AI는 수조 개, 결국엔
수천조 개에 이를 테니까요.
There will be trillions, eventually quadrillions, of AIs.

858
01:02:19,360 --> 01:02:23,280
인간은 지각 있는 존재 중 아주
작은 일부에 불과할 거고요.
Humans will be a very small fraction of sentient beings.

859
01:02:23,280 --> 01:02:29,680
그러니 목표가 이 미래
문명에 대한 인간의 통제 같은
So it's not clear to me if the goal is some kind of human control over this future civilization, that this is the best criterion.

860
01:02:29,680 --> 01:02:36,080
거라면, 이게 최선의
기준인지는 저도 확신이 없어요.

861
01:02:36,080 --> 01:02:37,280
맞아요.
It's true.

862
01:02:37,280 --> 01:02:42,570
최선의 기준이 아닐 수도 있고요.
It's possible it's not the best criterion.

863
01:02:42,570 --> 01:02:45,605
두 가지를 말씀드릴게요.
I'll say two things.

864
01:02:45,605 --> 01:02:49,899
첫째, 지각 있는 생명을 소중히 여기라는
Number one, care for sentient life, I think there is merit to it.

865
01:02:49,899 --> 01:02:54,192
것— 거기엔 나름의 가치가 있다고 봐요.

866
01:02:54,192 --> 01:02:56,254
고려해볼 만한 가치가 있어요.
It should be considered.

867
01:02:56,254 --> 01:03:02,392
이런 상황에 놓였을 때
기업들이 참고할 수 있는 짧은
I think it would be helpful if there was some kind of short list of ideas that the companies, when they are in this situation, could use.

868
01:03:02,392 --> 01:03:08,530
아이디어 목록 같은 게
있으면 도움이 될 것 같아요.

869
01:03:08,530 --> 01:03:10,240
그게 둘째고요.
That’s number two.

870
01:03:10,240 --> 01:03:17,047
셋째, 가장 강력한 초지능의 힘을
어떻게든 제한할 수 있다면 실질적으로
Number three, I think it would be really materially helpful if the power of the most powerful superintelligence was somehow capped because it would address a lot of these concerns.

871
01:03:17,047 --> 01:03:23,680
정말 큰 도움이 될 거예요. 이런
우려들 상당수를 해소해줄 테니까요.

872
01:03:23,680 --> 01:03:28,287
어떻게 그렇게 할지는 저도 잘
모르겠지만, 정말 정말 강력한
The question of how to do it, I'm not sure, but I think that would be materially helpful when you're talking about really, really powerful systems.

873
01:03:28,287 --> 01:03:32,614
시스템을 이야기할 땐 실질적으로
도움이 될 거라고 봐요.

874
01:03:32,614 --> 01:03:34,763
정렬 논의를 계속 이어가기 전에, 그
Before we continue the alignment discussion, I want to double-click on that.

875
01:03:34,763 --> 01:03:36,912
부분을 좀 더 파고들어보고 싶은데요.

876
01:03:36,912 --> 01:03:38,560
그 위쪽으로는 대체 얼마나
여지가 있는 걸까요?
How much room is there at the top?

877
01:03:38,560 --> 01:03:41,226
초지능을 어떻게 이해하고 계신가요?
How do you think about superintelligence?

878
01:03:41,226 --> 01:03:45,176
이 학습 효율성이라는 개념으로
보면, 초지능은 그저 새로운
Do you think, using this learning efficiency idea, maybe it is just extremely fast at learning new skills or new knowledge?

879
01:03:45,176 --> 01:03:48,880
기술이나 지식을 극도로 빠르게
배우는 존재일 뿐일까요?

880
01:03:48,880 --> 01:03:51,888
아니면 그냥 더 큰 전략
풀을 갖고 있는 걸까요?
Does it just have a bigger pool of strategies?

881
01:03:51,888 --> 01:03:57,960
중심에 하나로 응집된, 더 강력하고
더 큰 '그것'이 있는 걸까요?
Is there a single cohesive "it" in the center that's more powerful or bigger?

882
01:03:57,960 --> 01:04:03,054
그렇다면 이게 나머지 인류 문명에 비해
신 같은 존재로 느껴질까요, 아니면
If so, do you imagine that this will be sort of godlike in comparison to the rest of human civilization, or does it just feel like another agent, or another cluster of agents?

883
01:04:03,054 --> 01:04:07,775
그냥 또 다른 에이전트나 에이전트들의
또 다른 집합체처럼 느껴질까요?

884
01:04:07,775 --> 01:04:12,119
이건 사람마다 직관이 다른 영역이에요.
This is an area where different people have different intuitions.

885
01:04:12,119 --> 01:04:16,240
정말 강력할 게 틀림없다고 생각해요.
I think it will be very powerful, for sure.

886
01:04:16,240 --> 01:04:21,389
제 생각에 가장 가능성이 높은 건, 그런
What I think is most likely to happen is that there will be multiple such AIs being created roughly at the same time.

887
01:04:21,389 --> 01:04:27,240
AI가 여럿이 거의
동시에 만들어지는 거예요.

888
01:04:28,128 --> 01:04:33,297
클러스터가 충분히 크다면
— 말 그대로 대륙 크기
I think that if the cluster is big enough—like if the cluster is literally continent-sized—that thing could be really powerful, indeed.

889
01:04:33,297 --> 01:04:39,040
클러스터라면 — 그건 정말
강력할 수 있다고 생각해요.

890
01:04:39,040 --> 01:04:42,904
말 그대로 대륙 크기
클러스터를 갖게 된다면,
If you literally have a continent-sized cluster, those AIs can be very powerful.

891
01:04:42,904 --> 01:04:46,149
그 AI들은 정말 강력해질 수 있어요.

892
01:04:46,640 --> 01:04:52,740
제가 말씀드릴 수 있는 건,
극도로 강력한 AI, 정말
All I can tell you is that if you're talking about extremely powerful AIs, truly dramatically powerful, it would be nice if they could be restrained in some ways or if there were some kind of agreement or something.

893
01:04:52,740 --> 01:04:58,839
극적으로 강력한 AI를 얘기하는
거라면, 어떤 식으로든

894
01:04:58,839 --> 01:05:05,549
제약이 있거나 일종의 합의 같은
게 있으면 좋겠다는 거예요.

895
01:05:05,549 --> 01:05:10,716
초지능의 우려는 뭔가요?
What is the concern of superintelligence?

896
01:05:11,200 --> 01:05:13,867
그 우려를 설명하는 한
가지 방법은 뭘까요?
What is one way to explain the concern?

897
01:05:13,867 --> 01:05:17,525
충분히 강력한 시스템을,
정말로 충분히 강력한 시스템을
If you imagine a system that is sufficiently powerful, really sufficiently powerful—and you could say you need to do something sensible like care for sentient life in a very single-minded way—we might not like the results.

898
01:05:17,525 --> 01:05:21,060
상상해보면 — 그리고 지각
있는 생명을 소중히 여기는

899
01:05:21,060 --> 01:05:24,840
것처럼 뭔가 합리적인 일을
아주 외곬으로 하라고 시킨다면

900
01:05:24,840 --> 01:05:28,619
— 우리가 그 결과를 마음에
들어하지 않을 수도 있어요.

901
01:05:28,619 --> 01:05:30,284
정말로 그게 핵심이에요.
That's really what it is.

902
01:05:30,284 --> 01:05:33,374
그런데 어쩌면 답은,
일반적인 의미의 RL
Maybe, by the way, the answer is that you do not build an RL agent in the usual sense.

903
01:05:33,374 --> 01:05:36,465
에이전트를 만들지 않는
거일 수도 있어요.

904
01:05:36,465 --> 01:05:39,231
몇 가지를 짚어볼게요.
I'll point several things out.

905
01:05:39,231 --> 01:05:43,600
저는 인간이 반(半) RL
에이전트라고 생각해요.
I think human beings are semi-RL agents.

906
01:05:43,600 --> 01:05:47,984
보상을 좇다가, 감정이든
뭐든 그게 우리를 그 보상에
We pursue a reward, and then the emotions or whatever make us tire out of the reward and we pursue a different reward.

907
01:05:47,984 --> 01:05:51,914
지치게 만들고, 그러면
다른 보상을 좇게 되죠.

908
01:05:51,914 --> 01:05:56,128
시장은 아주 근시안적인
종류의 에이전트예요.
The market is a very short-sighted kind of agent.

909
01:05:56,128 --> 01:05:57,338
진화도 마찬가지예요.
Evolution is the same.

910
01:05:57,338 --> 01:06:01,235
진화는 어떤 면에서는 아주 똑똑하지만,
다른 면에서는 아주 멍청해요.
Evolution is very intelligent in some ways, but very dumb in other ways.

911
01:06:01,235 --> 01:06:05,014
정부는 세 부분 사이의
끝나지 않는 싸움으로
The government has been designed to be a never-ending fight between three parts, which has an effect.

912
01:06:05,014 --> 01:06:08,320
설계돼 있고, 그게 어떤 효과를 내죠.

913
01:06:08,320 --> 01:06:10,337
그러니까 저는 이런 것들을 생각해요.
So I think things like this.

914
01:06:10,337 --> 01:06:15,109
이 논의를 어렵게 만드는 또 다른
건, 우리가 존재하지 않는,
Another thing that makes this discussion difficult is that we are talking about systems that don't exist, that we don't know how to build.

915
01:06:15,109 --> 01:06:19,600
어떻게 만드는지도 모르는 시스템을
얘기하고 있다는 거예요.

916
01:06:19,600 --> 01:06:21,760
그게 또 다른 이유고,
사실 그게 제 믿음이에요.
That’s the other thing and that’s actually my belief.

917
01:06:21,760 --> 01:06:24,320
지금 사람들이 하고 있는
건 어느 정도까지는
I think what people are doing right now will go some distance and then peter out.

918
01:06:24,320 --> 01:06:26,560
가다가 결국 사그라들 거라고 생각해요.

919
01:06:26,560 --> 01:06:30,080
계속 개선되긴 하겠지만, 그게
'그것'은 아닐 거예요.
It will continue to improve, but it will also not be "it".

920
01:06:30,080 --> 01:06:35,316
'그것'을 우리는 어떻게
만드는지 모르고, 많은 게
The "It" we don't know how to build, and a lot hinges on understanding reliable generalization.

921
01:06:35,316 --> 01:06:40,552
신뢰할 수 있는 일반화를
이해하는 데 달려 있어요.

922
01:06:40,552 --> 01:06:42,940
한 가지 더 말씀드릴게요.
I’ll say another thing.

923
01:06:42,940 --> 01:06:49,129
정렬을 어렵게 만드는 원인
중 하나로 꼽을 수 있는
One of the things that you could say about what causes alignment to be difficult is that your ability to learn human values is fragile.

924
01:06:49,129 --> 01:06:55,760
건, 인간의 가치를 학습하는
능력이 취약하다는 거예요.

925
01:06:55,760 --> 01:06:58,206
그럼 그것들을 최적화하는
능력도 취약해지는 거죠.
Then your ability to optimize them is fragile.

926
01:06:58,206 --> 01:07:00,080
실제로는 그것들을 최적화하는
법을 배우긴 해요.
You actually learn to optimize them.

927
01:07:00,080 --> 01:07:03,539
그리고 이렇게 말할 수 있지
않을까요, "이것들 전부
And can't you say, "Are these not all instances of unreliable generalization?"

928
01:07:03,539 --> 01:07:06,640
신뢰할 수 없는 일반화의
사례 아닌가?"라고요?

929
01:07:06,640 --> 01:07:10,080
그런데 왜 인간은 훨씬 더
일반화를 잘하는 것처럼 보일까요?
Why is it that human beings appear to generalize so much better?

930
01:07:10,080 --> 01:07:11,680
일반화가 훨씬 더 뛰어나다면 어떨까요?
What if generalization was much better?

931
01:07:11,680 --> 01:07:12,960
그렇다면 무슨 일이 벌어질까요?
What would happen in this case?

932
01:07:12,960 --> 01:07:14,507
그 효과는 어떤 걸까요?
What would be the effect?

933
01:07:14,507 --> 01:07:19,200
하지만 이 질문들엔
지금으로선 답할 수가 없어요.
But those questions are right now still unanswerable.

934
01:07:19,200 --> 01:07:24,640
AI가 잘 풀린다는 게 어떤
모습일지, 어떻게 생각해야 할까요?
How does one think about what AI going well looks like?

935
01:07:24,640 --> 01:07:26,692
AI가 어떻게 진화할지
그림을 그려보셨잖아요.
You've scoped out how AI might evolve.

936
01:07:26,692 --> 01:07:29,541
지속 학습을 하는
에이전트들이 생길 거고요.
We'll have these sort of continual learning agents.

937
01:07:29,541 --> 01:07:31,165
AI는 아주 강력해질 거고요.
AI will be very powerful.

938
01:07:31,165 --> 01:07:33,600
어쩌면 서로 다른 AI들이
여럿 존재하겠죠.
Maybe there will be many different AIs.

939
01:07:33,600 --> 01:07:36,930
대륙 크기의 컴퓨트를
가진 지능들이 곳곳에
How do you think about lots of continent-sized compute intelligences going around?

940
01:07:36,930 --> 01:07:39,825
돌아다니는 상황, 어떻게 생각하세요?

941
01:07:39,825 --> 01:07:41,684
그게 얼마나 위험할까요?
How dangerous is that?

942
01:07:41,684 --> 01:07:45,222
그 위험을 어떻게 줄일 수 있을까요?
How do we make that less dangerous?

943
01:07:45,222 --> 01:07:50,978
그리고 어딘가엔 정렬되지 않은
AI들과 악의적인 행위자들이 있을
And how do we do that in a way that protects an equilibrium where there might be misaligned AIs out there and bad actors out there?

944
01:07:50,978 --> 01:07:56,240
수 있는 균형을 지키면서, 그걸
어떻게 해낼 수 있을까요?

945
01:07:56,240 --> 01:07:58,502
"지각 있는 생명을
소중히 여기는 AI"를
Here’s one reason why I liked "AI that cares for sentient life".

946
01:07:58,502 --> 01:08:00,960
제가 좋아하는 이유 중
하나가 바로 이거예요.

947
01:08:00,960 --> 01:08:05,619
이게 좋은 건지 나쁜
건지는 논쟁할 수 있어요.
We can debate on whether it's good or bad.

948
01:08:05,619 --> 01:08:10,500
하지만 이 극적인 시스템들
중 처음 등장하는 N개가
But if the first N of these dramatic systems do care for, love, humanity or something, care for sentient life, obviously this also needs to be achieved.

949
01:08:10,500 --> 01:08:15,556
인류를 아끼고 사랑한다면,
그러니까 지각 있는 생명을

950
01:08:15,556 --> 01:08:20,437
소중히 여긴다면, 물론 이것
역시 이뤄내야만 해요.

951
01:08:20,437 --> 01:08:22,312
이건 이뤄내야만 해요.
This needs to be achieved.

952
01:08:22,312 --> 01:08:27,849
그러니까 처음 N개의
시스템이 이걸 이뤄낸다면,
So if this is achieved by the first N of those systems, then I can see it go well, at least for quite some time.

953
01:08:27,849 --> 01:08:32,960
적어도 한동안은 잘
흘러갈 수 있다고 봐요.

954
01:08:32,960 --> 01:08:36,560
그다음엔 장기적으로 어떻게
될 것인가 하는 질문이 남죠.
Then there is the question of what happens in the long run.

955
01:08:36,560 --> 01:08:40,573
장기적인 균형 상태는
어떻게 이룰 수 있을까요?
How do you achieve a long-run equilibrium?

956
01:08:40,573 --> 01:08:44,960
그 지점에도 답은 있다고 생각해요.
I think that there, there is an answer as well.

957
01:08:44,960 --> 01:08:50,624
저는 이 답이 마음에 들지 않지만,
그래도 고려는 해봐야 해요.
I don't like this answer, but it needs to be considered.

958
01:08:51,760 --> 01:08:55,225
장기적으로 보면 이렇게 말할
수도 있어요. "좋아요,
In the long run, you might say, "Okay, if you have a world where powerful AIs exist, in the short term, you could say you have universal high income.

959
01:08:55,225 --> 01:08:58,332
강력한 AI가 존재하는
세상이라면, 단기적으로는

960
01:08:58,332 --> 01:09:01,200
보편적 고소득을 갖게
됐다고 할 수 있죠."

961
01:09:01,200 --> 01:09:04,880
"보편적 고소득이 있고, 우리 모두
잘 지내고 있어요"라고 말이죠.
You have universal high income and we're all doing well."

962
01:09:04,880 --> 01:09:07,140
그런데 불교에서는 뭐라고 하죠?
But what do the Buddhists say?

963
01:09:07,140 --> 01:09:09,399
"변화만이 유일한 상수다."
"Change is the only constant."

964
01:09:09,399 --> 01:09:10,492
모든 건 변해요.
Things change.

965
01:09:10,492 --> 01:09:14,518
정부나 정치 구조 같은
게 있는데, 그것도
There is some kind of government, political structure thing, and it changes because these things have a shelf life.

966
01:09:14,518 --> 01:09:18,720
변하죠. 이런 것들은
유효기간이 있으니까요.

967
01:09:18,720 --> 01:09:21,161
새로운 정부 형태가 등장해서 한동안
Some new government thing comes up and it functions, and then after some time it stops functioning.

968
01:09:21,161 --> 01:09:24,115
작동하다가, 시간이
지나면 작동을 멈추죠.

969
01:09:24,115 --> 01:09:28,499
우리는 그런 일이 늘
일어나는 걸 봐왔어요.
That's something that we see happening all the time.

970
01:09:28,499 --> 01:09:32,274
그래서 저는 장기적인 균형
상태에 대해, 모든 사람이
So I think for the long-run equilibrium, one approach is that you could say maybe every person will have an AI that will do their bidding, and that's good.

971
01:09:32,274 --> 01:09:36,049
자기 대신 일해줄 AI를
하나씩 갖게 될 거고, 그건

972
01:09:36,049 --> 01:09:39,954
좋은 일이라고 말하는 게 한
가지 접근이라고 생각해요.

973
01:09:39,954 --> 01:09:43,926
그게 무한정 유지될 수
있다면, 맞는 말이에요.
If that could be maintained indefinitely, that's true.

974
01:09:43,926 --> 01:09:48,670
그런데 문제는, 그럼 그 AI가
나가서 그 사람 대신 돈을 벌고,
But the downside with that is then the AI goes and earns money for the person and advocates for their needs in the political sphere, and maybe then writes a little report saying, "Okay, here's what I've done, here's the situation," and the person says, "Great, keep it up."

975
01:09:48,670 --> 01:09:53,415
정치 영역에서 그 사람의 필요를
대변하고, 그러고 나서 아마 짧은

976
01:09:53,415 --> 01:09:58,555
보고서 하나를 써서 "자, 제가 한
일은 이렇고 상황은 이렇습니다"라고

977
01:09:58,555 --> 01:10:02,640
하면, 그 사람은 "좋아,
계속해"라고 말한다는 거예요.

978
01:10:02,640 --> 01:10:05,760
하지만 그 사람은 더 이상
참여자가 아니게 되죠.
But the person is no longer a participant.

979
01:10:05,760 --> 01:10:10,163
그럼 그건 불안정한 위치에
있는 거라고 할 수 있어요.
Then you can say that's a precarious place to be in.

980
01:10:10,480 --> 01:10:14,307
미리 말씀드리자면,
저는 이 해법이 마음에
I'm going to preface by saying I don't like this solution, but it is a solution.

981
01:10:14,307 --> 01:10:18,300
들지 않지만, 그래도
하나의 해법이긴 해요.

982
01:10:19,040 --> 01:10:21,470
그 해법은 사람들이 일종의 뉴럴링크++를
The solution is if people become part-AI with some kind of Neuralink++.

983
01:10:21,470 --> 01:10:23,680
통해 부분적으로 AI가 되는 거예요.

984
01:10:23,680 --> 01:10:29,079
그 결과로 일어나는 일은, AI가
뭔가를 이해하면 우리도 그걸
Because what will happen as a result is that now the AI understands something, and we understand it too, because now the understanding is transmitted wholesale.

985
01:10:29,079 --> 01:10:34,160
이해하게 된다는 거예요. 이해
자체가 통째로 전달되니까요.

986
01:10:34,160 --> 01:10:37,792
그래서 이제 AI가 어떤 상황에 놓이면,
So now if the AI is in some situation, you are involved in that situation yourself fully.

987
01:10:37,792 --> 01:10:41,920
우리도 그 상황에 완전히
관여하게 되는 거죠.

988
01:10:41,920 --> 01:10:45,966
저는 이게 균형 상태에
대한 답이라고 생각해요.
I think this is the answer to the equilibrium.

989
01:10:45,966 --> 01:10:52,300
저는 수백만 년, 많은 경우
수십억 년 전 완전히 다른 환경에서
I wonder if the fact that emotions which were developed millions—or in many cases, billions—of years ago in a totally different environment are still guiding our actions so strongly is an example of alignment success.

990
01:10:52,300 --> 01:10:57,729
발달한 감정이 지금도 우리
행동을 이렇게 강하게 이끌고

991
01:10:57,729 --> 01:11:03,520
있다는 사실 자체가 정렬 성공의
한 사례가 아닐까 싶어요.

992
01:11:03,520 --> 01:11:08,334
좀 더 풀어서 말씀드리면—
이걸 가치 함수라고 불러야
To spell out what I mean—I don’t know whether it’s more accurate to call it a value function or reward function—but the brainstem has a directive where it's saying, "Mate with somebody who's more successful."

993
01:11:08,334 --> 01:11:13,314
할지 보상 함수라고 불러야
할지는 모르겠지만— 뇌간에는

994
01:11:13,314 --> 01:11:17,796
"더 성공한 사람과
짝짓기하라"는 지침이 있어요.

995
01:11:17,796 --> 01:11:22,303
대뇌 피질은 현대적 맥락에서 성공이
뭘 의미하는지를 이해하는 부분이에요.
The cortex is the part that understands what success means in the modern context.

996
01:11:22,303 --> 01:11:25,984
그런데 뇌간은 대뇌 피질을
정렬시켜서 이렇게 말할 수 있어요.
But the brainstem is able to align the cortex and say, "However you recognize success to be—and I’m not smart enough to understand what that is— you're still going to pursue this directive."

997
01:11:25,984 --> 01:11:29,558
"네가 성공을 뭐라고 인식하든—
그게 뭔지 이해할 만큼 나는

998
01:11:29,558 --> 01:11:33,564
똑똑하지 않지만— 그래도 너는 이
지침을 계속 추구하게 될 거야."

999
01:11:33,564 --> 01:11:36,560
저는 더 일반적인
논점이 있다고 생각해요.
I think there's a more general point.

1000
01:11:36,560 --> 01:11:41,182
저는 진화가 고차원적인 욕구를 어떻게
I think it's actually really mysterious how evolution encodes high-level desires.

1001
01:11:41,182 --> 01:11:46,960
부호화하는지가 사실 정말
신비롭다고 생각해요.

1002
01:11:46,960 --> 01:11:52,525
냄새는 화학물질이니까, 좋은 냄새
나는 음식에 대한 욕구를 진화가
It's pretty easy to understand how evolution would endow us with the desire for food that smells good because smell is a chemical, so just pursue that chemical.

1003
01:11:52,525 --> 01:11:58,400
심어줬다는 건 이해하기 쉬워요. 그냥
그 화학물질을 쫓으면 되니까요.

1004
01:11:58,400 --> 01:12:02,800
진화가 그런 일을 했다는
건 아주 쉽게 상상이 가요.
It's very easy to imagine evolution doing that thing.

1005
01:12:02,800 --> 01:12:08,880
그런데 진화는 이런 다양한 사회적
욕구들도 우리에게 심어줬어요.
But evolution also has endowed us with all these social desires.

1006
01:12:08,880 --> 01:12:12,720
우리는 사회에서 긍정적으로
비춰지는 걸 정말 신경 쓰죠.
We really care about being seen positively by society.

1007
01:12:12,720 --> 01:12:16,106
평판이 좋은 상태를 유지하는
것도 신경 쓰고요.
We care about being in good standing.

1008
01:12:16,106 --> 01:12:19,867
우리가 가진 이런 사회적 직관들, 저는
All these social intuitions that we have, I feel strongly that they're baked in.

1009
01:12:19,867 --> 01:12:23,270
이게 타고난 거라고 강하게 느껴요.

1010
01:12:23,270 --> 01:12:27,315
진화가 어떻게 그걸
해냈는지는 모르겠어요.
I don't know how evolution did it because it's a high-level concept that's represented in the brain.

1011
01:12:27,315 --> 01:12:31,360
뇌 안에서 표상되는
고차원적 개념이니까요.

1012
01:12:31,360 --> 01:12:36,120
어떤 사회적인 것을 신경 쓴다고 해봐요.
Let’s say you care about some social thing, it's not a low-level signal like smell.

1013
01:12:36,120 --> 01:12:40,880
그건 냄새 같은 저수준 신호가 아니에요.

1014
01:12:40,880 --> 01:12:43,718
그걸 감지하는 센서 같은
게 있는 것도 아니고요.
It's not something for which there is a sensor.

1015
01:12:43,718 --> 01:12:47,708
뇌가 사회적으로 무슨 일이
벌어지는지 이해하려면, 수많은
The brain needs to do a lot of processing to piece together lots of bits of information to understand what's going on socially.

1016
01:12:47,708 --> 01:12:51,440
정보 조각을 짜맞추는 처리
과정을 많이 거쳐야 해요.

1017
01:12:51,440 --> 01:12:54,710
그런데 진화는 어떻게든 "바로 그걸
신경 써야 해"라고 말한 거예요.
Somehow evolution said, "That's what you should care about."

1018
01:12:54,710 --> 01:12:55,675
대체 어떻게 그렇게 한 걸까요?
How did it do it?

1019
01:12:55,675 --> 01:12:57,028
그것도 빠르게 해냈고요.
It did it quickly, too.

1020
01:12:57,028 --> 01:13:00,628
우리가 신경 쓰는 이런 정교한 사회적인
All these sophisticated social things that we care about, I think they evolved pretty recently.

1021
01:13:00,628 --> 01:13:04,400
것들은, 꽤 최근에 진화했다고 생각해요.

1022
01:13:04,400 --> 01:13:09,993
진화는 이런 고차원적 욕구를
아무렇지도 않게 하드코딩해낸 거예요.
Evolution had an easy time hard-coding this high-level desire.

1023
01:13:12,000 --> 01:13:16,000
어떻게 그렇게 했는지에 대한
괜찮은 가설을, 저는 모르겠어요.
I'm unaware of a good hypothesis for how it's done.

1024
01:13:16,000 --> 01:13:24,560
이런저런 아이디어를 굴려봤지만,
어느 것도 만족스럽지 않았어요.
I had some ideas I was kicking around, but none of them are satisfying.

1025
01:13:24,560 --> 01:13:28,103
특히 인상적인 지점은
이거예요. 만약 이게 살아가면서
What's especially impressive is it was desire that you learned in your lifetime, it makes sense because your brain is intelligent.

1026
01:13:28,103 --> 01:13:31,280
학습한 욕구였다면, 뇌가
똑똑하니까 말이 되죠.

1027
01:13:31,280 --> 01:13:35,600
똑똑한 욕구를 학습할 수 있다는
것 자체는 말이 되는 거예요.
It makes sense why you would be able to learn intelligent desires.

1028
01:13:35,600 --> 01:13:38,444
그게 하려던 말은 아니었을
수도 있지만, 이렇게
Maybe this is not your point, but one way to understand it is that the desire is built into the genome, and the genome is not intelligent.

1029
01:13:38,444 --> 01:13:41,506
이해하는 방법도 있어요.
욕구는 유전체 안에 새겨져

1030
01:13:41,506 --> 01:13:44,240
있는데, 유전체 자체는
똑똑하지 않다는 거죠.

1031
01:13:44,240 --> 01:13:47,260
그런데 어떻게든 이 특성을
기술할 수 있다는 거예요.
But you're somehow able to describe this feature.

1032
01:13:47,260 --> 01:13:49,961
그 특성을 어떻게
정의하는지조차 불분명한데,
It's not even clear how you define that feature, and you can build it into the genes.

1033
01:13:49,961 --> 01:13:52,549
그걸 유전자에 새겨
넣을 수 있다는 거죠.

1034
01:13:52,549 --> 01:13:55,520
본질적으로는요, 아니면
다르게 말해볼게요.
Essentially, or maybe I'll put it differently.

1035
01:13:55,520 --> 01:13:59,835
유전체가 쓸 수 있는 도구들을
생각해보면, 유전체는 "좋아,
If you think about the tools that are available to the genome, it says, "Okay, here's a recipe for building a brain."

1036
01:13:59,835 --> 01:14:03,496
뇌를 만드는 레시피는
이거야"라고 말하는 셈이에요.

1037
01:14:03,496 --> 01:14:06,067
이렇게 말할 수도 있겠죠.
"여기 도파민 뉴런을
You could say, "Here is a recipe for connecting the dopamine neurons to the smell sensor."

1038
01:14:06,067 --> 01:14:08,441
냄새 센서에 연결하는
레시피가 있어"라고요.

1039
01:14:08,441 --> 01:14:13,086
그리고 냄새가 어떤 좋은 냄새라면,
그걸 먹고 싶어지는 거죠.
And if the smell is a certain kind of good smell, you want to eat that.

1040
01:14:13,086 --> 01:14:15,680
게놈이 그렇게 하는 건 상상이 가요.
I could imagine the genome doing that.

1041
01:14:15,680 --> 01:14:18,498
제가 주장하는 건 그건
상상하기 더 어렵다는 거예요.
I'm claiming that it is harder to imagine.

1042
01:14:18,498 --> 01:14:23,422
게놈이 '너의 뇌 전체, 뇌의
상당 부분이 수행하는 어떤 복잡한
It's harder to imagine the genome saying you should care about some complicated computation that your entire brain, a big chunk of your brain, does.

1043
01:14:23,422 --> 01:14:28,486
계산을 신경 써야 한다'고 말하는
건 상상하기 더 어렵다는 거죠.

1044
01:14:28,486 --> 01:14:30,176
제가 주장하는 건 그게 다예요.
That's all I'm claiming.

1045
01:14:30,176 --> 01:14:33,760
그게 어떻게 이뤄질 수 있는지에 대한
추측 하나는 말씀드릴 수 있어요.
I can tell you a speculation of how it could be done.

1046
01:14:33,760 --> 01:14:37,760
추측 하나를 제시해 보고, 그 추측이
왜 아마 틀렸는지 설명해 드릴게요.
Let me offer a speculation, and I'll explain why the speculation is probably false.

1047
01:14:37,760 --> 01:14:43,281
뇌에는 뇌 영역들이 있죠.
So the brain has brain regions.

1048
01:14:43,281 --> 01:14:46,732
우리에겐 대뇌 피질이 있고요.
We have our cortex.

1049
01:14:46,732 --> 01:14:52,080
거기엔 그 모든 뇌 영역들이 있어요.
It has all those brain regions.

1050
01:14:52,080 --> 01:14:55,983
대뇌 피질은 균일하지만,
그 안의 뇌 영역들과
The cortex is uniform, but the brain regions and the neurons in the cortex kind of speak to their neighbors mostly.

1051
01:14:55,983 --> 01:14:59,105
뉴런들은 대체로 이웃끼리만 소통해요.

1052
01:14:59,105 --> 01:15:01,120
그게 왜 뇌 영역들이
생기는지를 설명해 주죠.
That explains why you get brain regions.

1053
01:15:01,120 --> 01:15:03,840
예를 들어 언어 처리
같은 걸 하려면, 언어를
Because if you want to do some kind of speech processing, all the neurons that do speech need to talk to each other.

1054
01:15:03,840 --> 01:15:06,342
담당하는 뉴런들이 서로
소통해야 하니까요.

1055
01:15:06,342 --> 01:15:08,886
그리고 뉴런들은 대체로
가까운 이웃하고만 소통할 수
And because neurons can only speak to their nearby neighbors, for the most part, it has to be a region.

1056
01:15:08,886 --> 01:15:11,520
있으니, 그게 하나의 영역을
이룰 수밖에 없는 거죠.

1057
01:15:11,520 --> 01:15:15,280
그 영역들은 사람마다
대체로 같은 위치에 있고요.
All the regions are mostly located in the same place from person to person.

1058
01:15:15,280 --> 01:15:18,394
그러니 어쩌면 진화가 뇌의 어떤 위치를
So maybe evolution hard-coded literally a location on the brain.

1059
01:15:18,394 --> 01:15:21,360
말 그대로 하드코딩했을 수도 있어요.

1060
01:15:21,360 --> 01:15:25,065
그러니까 "아, 뇌의 이런저런
GPS 좌표에서, 거기가
So it says, "Oh, when the GPS coordinates of the brain such and such, when that fires, that's what you should care about."

1061
01:15:25,065 --> 01:15:29,264
발화하면, 그게 네가 신경 써야
할 것이다"라고 말하는 거죠.

1062
01:15:29,264 --> 01:15:31,372
어쩌면 그게 진화가
한 일일 수도 있어요,
Maybe that's what evolution did because that would be within the toolkit of evolution.

1063
01:15:31,372 --> 01:15:33,572
그건 진화의 도구함 안에
있는 방법이니까요.

1064
01:15:33,572 --> 01:15:39,093
네, 그런데 예를 들어 선천적으로
시각장애가 있는 사람들은
Yeah, although there are examples where, for example, people who are born blind have that area of their cortex adopted by another sense.

1065
01:15:39,093 --> 01:15:44,960
대뇌 피질의 그 영역을 다른
감각이 차지하는 경우가 있잖아요.

1066
01:15:44,960 --> 01:15:49,547
잘은 모르지만, 시각 신호를
필요로 하는 욕구나 보상
I have no idea, but I'd be surprised if the desires or the reward functions which require a visual signal no longer worked for people who have their different areas of their cortex co-opted.

1067
01:15:49,547 --> 01:15:54,450
함수가 피질의 다른 영역이
그 자리를 차지한 사람들에게서

1068
01:15:54,450 --> 01:15:58,720
더 이상 작동하지 않는다면
저는 놀랄 것 같아요.

1069
01:15:58,720 --> 01:16:02,434
예를 들어 시각이 없어지면,
'주변 사람들이 나를
For example, if you no longer have vision, can you still feel the sense that I want people around me to like me and so forth, which usually there are also visual cues for.

1070
01:16:02,434 --> 01:16:06,423
좋아했으면 좋겠다' 같은,
보통은 시각적 단서도 함께

1071
01:16:06,423 --> 01:16:10,000
따라오는 그런 감정을
여전히 느낄 수 있을까요.

1072
01:16:10,000 --> 01:16:11,213
그 말에 전적으로 동의해요.
I fully agree with that.

1073
01:16:11,213 --> 01:16:15,771
이 이론에 대한 더 강력한
반론도 있다고 생각해요.
I think there's an even stronger counterargument to this theory.

1074
01:16:16,880 --> 01:16:21,008
어릴 때 뇌의 절반이
제거된 사람들이 있는데,
There are people who get half of their brains removed in childhood, and they still have all their brain regions.

1075
01:16:21,008 --> 01:16:25,466
그들도 여전히 모든 뇌
영역을 다 갖고 있거든요.

1076
01:16:25,466 --> 01:16:29,522
그런데 그게 전부 어떻게든 한쪽 반구로만
옮겨가요, 그건 뇌 영역의 위치가
But they all somehow move to just one hemisphere, which suggests that the brain regions, their location is not fixed and so that theory is not true.

1077
01:16:29,522 --> 01:16:33,282
고정된 게 아니라는 뜻이고, 그러니
그 이론은 사실이 아니라는 거죠.

1078
01:16:33,282 --> 01:16:36,019
사실이면 멋있었겠지만, 아니에요.
It would have been cool if it was true, but it's not.

1079
01:16:36,019 --> 01:16:37,680
그래서 그건 미스터리라고 생각해요.
So I think that's a mystery.

1080
01:16:37,680 --> 01:16:39,900
하지만 흥미로운 미스터리죠.
But it's an interesting mystery.

1081
01:16:39,900 --> 01:16:43,372
사실은 진화가 어떻게든
우리가 사회적인 것에 아주,
The fact is that somehow evolution was able to endow us to care about social stuff very, very reliably.

1082
01:16:43,372 --> 01:16:46,720
아주 안정적으로 신경
쓰도록 만들어냈다는 거예요.

1083
01:16:46,720 --> 01:16:51,281
온갖 특이한 정신적 상태나
결핍, 감정적 문제를 가진
Even people who have all kinds of strange mental conditions and deficiencies and emotional problems tend to care about this also.

1084
01:16:51,281 --> 01:16:55,685
사람들조차도 이 부분엔
신경을 쓰는 경향이 있어요.

1085
01:18:13,360 --> 01:18:15,805
SSI는 무엇을 다르게
하려고 계획하고 있나요?
What is SSI planning on doing differently?

1086
01:18:15,805 --> 01:18:22,399
아마 이 시기가 오면 프론티어 기업
중 하나가 되는 게 계획이시겠죠.
Presumably your plan is to be one of the frontier companies when this time arrives.

1087
01:18:22,399 --> 01:18:27,541
아마 SSI를 시작하신 것도
"이걸 안전하게 하는 방법을 다른
Presumably you started SSI because you're like, "I think I have a way of approaching how to do this safely in a way that the other companies don't."

1088
01:18:27,541 --> 01:18:32,229
회사들과는 다르게 갖고 있다고
생각한다"는 마음이셨겠죠.

1089
01:18:32,229 --> 01:18:34,324
그 차이가 뭔가요?
What is that difference?

1090
01:18:34,324 --> 01:18:39,791
제가 설명하자면, 유망하다고
생각하는 아이디어들이 있고,
The way I would describe it is that there are some ideas that I think are promising and I want to investigate them and see if they are indeed promising or not.

1091
01:18:39,791 --> 01:18:44,906
그게 정말 유망한지 아닌지
검증해보고 싶다는 거예요.

1092
01:18:44,906 --> 01:18:46,515
정말 그만큼 단순해요.
It's really that simple.

1093
01:18:46,515 --> 01:18:47,609
하나의 시도인 거죠.
It's an attempt.

1094
01:18:47,609 --> 01:18:52,419
만약 이 아이디어들이 —
저희가 논의했던 일반화
If the ideas turn out to be correct—these ideas that we discussed around understanding generalization—then I think we will have something worthy.

1095
01:18:52,419 --> 01:18:57,783
이해에 관한 아이디어들
말이에요 — 옳다고 판명되면,

1096
01:18:57,783 --> 01:19:03,148
저희는 뭔가 가치 있는 걸
갖게 될 거라고 생각해요.

1097
01:19:03,148 --> 01:19:05,086
그게 옳다고 판명될까요?
Will they turn out to be correct?

1098
01:19:05,086 --> 01:19:06,362
저희는 연구를 하고 있어요.
We are doing research.

1099
01:19:06,362 --> 01:19:09,035
저희는 완전히 '연구의 시대' 회사예요.
We are squarely an "age of research" company.

1100
01:19:09,035 --> 01:19:10,429
진전을 이루고 있어요.
We are making progress.

1101
01:19:10,429 --> 01:19:13,435
사실 지난 1년간 꽤
좋은 진전을 이뤘지만,
We've actually made quite good progress over the past year, but we need to keep making more progress, more research.

1102
01:19:13,435 --> 01:19:16,566
계속 더 진전을 이루고
더 연구를 해야 해요.

1103
01:19:16,566 --> 01:19:19,151
제가 보는 방식은 그래요.
That's how I see it.

1104
01:19:19,151 --> 01:19:26,318
목소리를 내고 참여하려는
시도로 보고 있어요.
I see it as an attempt to be a voice and a participant.

1105
01:19:29,840 --> 01:19:34,309
공동창업자이자 전 CEO께서
최근 메타로 이직하셨는데,
Your cofounder and previous CEO left to go to Meta recently, and people have asked, "Well, if there were a lot of breakthroughs being made, that seems like a thing that should have been unlikely."

1106
01:19:34,309 --> 01:19:38,183
사람들은 이렇게 물어요.
"돌파구가 많이 나오고

1107
01:19:38,183 --> 01:19:42,801
있었다면, 그런 일이 일어나기는
어려웠을 것 같은데요."

1108
01:19:42,801 --> 01:19:45,080
어떻게 답하실지 궁금해요.
I wonder how you respond.

1109
01:19:45,080 --> 01:19:48,000
이 질문에 대해서는, 그냥 잊혀졌을 수도
For this, I will simply remind a few facts that may have been forgotten.

1110
01:19:48,000 --> 01:19:50,920
있는 몇 가지 사실을 상기시켜 드릴게요.

1111
01:19:50,920 --> 01:19:55,920
맥락을 보여주는 이 사실들이
상황을 설명해준다고 생각해요.
I think these facts which provide the context explain the situation.

1112
01:19:55,920 --> 01:20:02,223
맥락을 말씀드리면, 저희가 320억
달러 기업가치로 투자 유치를
The context was that we were fundraising at a $32 billion valuation, and then Meta came in and offered to acquire us, and I said no. But my former cofounder in some sense said yes.

1113
01:20:02,223 --> 01:20:09,426
하고 있었는데, 메타가 저희를 인수하겠다고
제안해왔고, 저는 거절했어요.

1114
01:20:09,426 --> 01:20:15,368
그런데 제 전 공동창업자는 어떤
의미에서는 그러겠다고 했죠.

1115
01:20:15,368 --> 01:20:20,679
그 결과 그도 상당한 단기
유동성을 누릴 수 있었고,
As a result, he also was able to enjoy a lot of near-term liquidity, and he was the only person from SSI to join Meta.

1116
01:20:20,679 --> 01:20:25,440
SSI 출신 중 유일하게
메타에 합류하게 됐죠.

1117
01:20:25,440 --> 01:20:30,444
SSI의 계획은, 초인적 지능을
갖게 되는 인류 역사상 아주
It sounds like SSI's plan is to be a company that is at the frontier when you get to this very important period in human history where you have superhuman intelligence.

1118
01:20:30,444 --> 01:20:35,600
중요한 이 시기에 프론티어에 서
있는 회사가 되는 것 같아요.

1119
01:20:35,600 --> 01:20:39,360
초인적 지능이 잘 풀리게 만들 방법에
대한 아이디어들이 있으신 거고요.
You have these ideas about how to make superhuman intelligence go well.

1120
01:20:39,360 --> 01:20:42,480
하지만 다른 회사들은 각자 자신들의
아이디어를 시도할 거고요.
But other companies will be trying their own ideas.

1121
01:20:42,480 --> 01:20:48,400
초지능이 잘 흘러가게 만드는
SSI만의 접근법은 뭐가 다른가요?
What distinguishes SSI's approach to making superintelligence go well?

1122
01:20:48,400 --> 01:20:54,880
SSI를 구분 짓는 가장
큰 건 기술적 접근법이에요.
The main thing that distinguishes SSI is its technical approach.

1123
01:20:54,880 --> 01:20:58,056
저희는 가치 있다고 생각하는 다른 기술적
We have a different technical approach that I think is worthy and we are pursuing it.

1124
01:20:58,056 --> 01:21:01,520
접근법을 갖고 있고,
그걸 추구하고 있어요.

1125
01:21:01,520 --> 01:21:06,160
결국엔 전략들의 수렴이 있을
거라는 입장은 변함없어요.
I maintain that in the end there will be a convergence of strategies.

1126
01:21:06,160 --> 01:21:12,550
AI가 더 강력해지면서 어느
시점엔, 전략이 어때야 하는지가
I think there will be a convergence of strategies where at some point, as AI becomes more powerful, it's going to become more or less clearer to everyone what the strategy should be.

1127
01:21:12,550 --> 01:21:19,520
모두에게 어느 정도 분명해지는 그런
수렴이 있을 거라고 생각해요.

1128
01:21:19,520 --> 01:21:25,111
아마 이런 모습일 거예요. 서로
대화할 방법을 찾아야 하고,
It should be something like, you need to find some way to talk to each other and you want your first actual real superintelligent AI to be aligned and somehow care for sentient life, care for people, democratic, one of those, some combination thereof.

1129
01:21:25,111 --> 01:21:31,040
최초의 진짜 초지능 AI는 정렬되어
있어야 하고, 어떻게든 지각

1130
01:21:31,040 --> 01:21:36,292
있는 생명을 소중히 여기고
사람들을 소중히 여겨야 하고,

1131
01:21:36,292 --> 01:21:42,560
민주적이어야 하고 — 이런 것들
중 하나이거나 그 조합이어야 해요.

1132
01:21:42,560 --> 01:21:49,727
이게 모두가 추구해야
할 조건이라고 생각해요.
I think this is the condition that everyone should strive for.

1133
01:21:50,400 --> 01:21:53,443
그게 바로 SSI가 추구하는 것이고요.
That's what SSI is striving for.

1134
01:21:53,443 --> 01:21:57,000
이번엔, 아직 아니라면, 다른
모든 회사들도 결국 같은
I think that this time, if not already, all the other companies will realize that they're striving towards the same thing.

1135
01:21:57,000 --> 01:22:00,320
걸 추구하고 있다는 걸
깨닫게 될 거라고 생각해요.

1136
01:22:00,320 --> 01:22:00,815
두고 봐야죠.
We'll see.

1137
01:22:00,815 --> 01:22:05,375
AI가 더 강력해지면 세상이
정말로 바뀔 거라고 생각해요.
I think that the world will truly change as AI becomes more powerful.

1138
01:22:07,920 --> 01:22:10,200
상황도 정말 달라지고, 사람들도 정말
I think things will be really different and people will be acting really differently.

1139
01:22:10,200 --> 01:22:12,480
다르게 행동하게 될 거라고 생각해요.

1140
01:22:12,480 --> 01:22:16,363
예측 얘기가 나왔으니
말인데, 말씀하신 그 시스템
Speaking of forecasts, what are your forecasts to this system you're describing, which can learn as well as a human and subsequently, as a result, become superhuman?

1141
01:22:16,363 --> 01:22:20,101
— 사람만큼 학습할 수
있고 그 결과로 초인간이

1142
01:22:20,101 --> 01:22:23,840
되는 시스템 — 에 대한
예측은 어떻게 되나요?

1143
01:22:23,840 --> 01:22:26,138
5에서 20 정도라고 생각해요.
I think like 5 to 20.

1144
01:22:26,138 --> 01:22:27,600
5년에서 20년이요?
5 to 20 years?

1145
01:22:27,600 --> 01:22:28,275
음.
Mhm.

1146
01:22:28,275 --> 01:22:32,786
세상이 어떻게 흘러갈지, 그
그림을 한번 풀어보고 싶어요.
I just want to unroll how you might see the world coming.

1147
01:22:32,786 --> 01:22:36,464
이런 거예요 — 앞으로
몇 년간은 다른 회사들이
It's like, we have a couple more years where these other companies are continuing the current approach and it stalls out.

1148
01:22:36,464 --> 01:22:40,000
지금 접근법을 계속
이어가다가 정체되는 거죠.

1149
01:22:40,000 --> 01:22:42,253
여기서 '정체된다'는 건 매출이 수천억
"Stalls out" here meaning they earn no more than low hundreds of billions in revenue?

1150
01:22:42,253 --> 01:22:44,720
달러 초반 수준을 넘지
못한다는 뜻인가요?

1151
01:22:44,720 --> 01:22:51,303
정체된다는 게 어떤
의미인지는 어떻게 보시나요?
How do you think about what stalling out means?

1152
01:22:51,303 --> 01:22:55,614
제 생각에 정체된다는 건… 아마 여러
I think stalling out will look like…it will all look very similar among all the different companies.

1153
01:22:55,614 --> 01:23:00,788
회사들 사이에서 다
비슷비슷해 보일 거예요.

1154
01:23:00,788 --> 01:23:01,790
그런 식일 수도 있어요.
It could be something like this.

1155
01:23:01,790 --> 01:23:06,367
확실치 않지만, 정체되더라도 이 회사들이
I'm not sure because I think even with stalling out, I think these companies could make a stupendous revenue.

1156
01:23:06,367 --> 01:23:10,320
엄청난 매출은 낼 수 있다고 봐요.

1157
01:23:10,320 --> 01:23:14,634
이익은 아닐 수도 있어요,
서로 차별화하려고
Maybe not profits because they will need to work hard to differentiate each other from themselves, but revenue definitely.

1158
01:23:14,634 --> 01:23:19,127
애써야 할 테니까요.
하지만 매출은 확실히요.

1159
01:23:19,127 --> 01:23:23,437
그런데 당신 모델을
보면, 결국 올바른 해법이
But something in your model implies that when the correct solution does emerge, there will be convergence between all the companies.

1160
01:23:23,437 --> 01:23:27,920
나오면 모든 회사가 수렴하게
된다는 뜻이잖아요.

1161
01:23:27,920 --> 01:23:29,836
왜 그렇게 생각하시는지 궁금해요.
I'm curious why you think that's the case.

1162
01:23:29,836 --> 01:23:33,080
제가 말한 건 정렬 전략에서의
수렴 쪽에 더 가까워요.
I was talking more about convergence on their alignment strategies.

1163
01:23:33,080 --> 01:23:36,904
기술적 접근에서도 결국
수렴이 일어나긴 할 것
I think eventual convergence on the technical approach is probably going to happen as well, but I was alluding to convergence to the alignment strategies.

1164
01:23:36,904 --> 01:23:41,186
같지만, 제가 암시한 건
정렬 전략의 수렴이었어요.

1165
01:23:41,186 --> 01:23:43,680
정확히 어떤 걸 해야 한다는 건가요?
What exactly is the thing that should be done?

1166
01:23:43,680 --> 01:23:46,880
미래가 어떻게 펼쳐질지에 대한
그림을 좀 더 잘 이해하고 싶어서요.
I just want to better understand how you see the future unrolling.

1167
01:23:46,880 --> 01:23:50,224
지금은 여러 회사가 있고, 그들의
접근법이 계속 매출은 내겠지만
Currently, we have these different companies, and you expect their approach to continue generating revenue but not get to this human-like learner.

1168
01:23:50,224 --> 01:23:53,376
이 인간 같은 학습자에는 도달하지
못할 거라고 보시는 거죠.

1169
01:23:53,376 --> 01:23:56,560
그럼 지금 회사들이 여러
갈래로 나뉘어 있는 셈이네요.
So now we have these different forks of companies.

1170
01:23:56,560 --> 01:24:00,160
당신이 있고, 씽킹 머신즈가
있고, 다른 랩들도 많고요.
We have you, we have Thinking Machines, there's a bunch of other labs.

1171
01:24:00,160 --> 01:24:03,120
그중 하나가 올바른 접근법을
찾아낼 수도 있고요.
Maybe one of them figures out the correct approach.

1172
01:24:03,120 --> 01:24:05,457
그런데 그 제품 출시가
다른 사람들에게 이걸
But then the release of their product makes it clear to other people how to do this thing.

1173
01:24:05,457 --> 01:24:07,600
어떻게 하는지 분명히 알려주게 되잖아요.

1174
01:24:07,600 --> 01:24:11,329
어떻게 하는지는 분명해지지
않을 것 같아요. 하지만 뭔가
I think it won't be clear how to do it, but it will be clear that something different is possible, and that is information.

1175
01:24:11,329 --> 01:24:15,179
다른 게 가능하다는 건 분명해지죠.
그리고 그게 정보예요.

1176
01:24:15,179 --> 01:24:21,232
그러면 사람들이 그게 어떻게
작동하는지 알아내려 하겠죠.
People will then be trying to figure out how that works.

1177
01:24:21,232 --> 01:24:26,779
다만 여기서 다뤄지지 않은
것 중 하나는, AI의
I do think though that one of the things not addressed here, not discussed, is that with each increase in the AI's capabilities, I think there will be some kind of changes, but I don't know exactly which ones, in how things are being done.

1178
01:24:26,779 --> 01:24:32,736
능력이 늘어날 때마다 일하는
방식에 어떤 변화가 생길

1179
01:24:32,736 --> 01:24:38,899
거라는 점이에요. 정확히 어떤
변화인지는 모르겠지만요.

1180
01:24:42,960 --> 01:24:45,913
중요할 거라고 생각하지만, 정확히 그게
I think it's going to be important, yet I can't spell out what that is exactly.

1181
01:24:45,913 --> 01:24:48,725
뭔지는 콕 집어 말씀드리기 어렵네요.

1182
01:24:50,320 --> 01:24:54,518
기본적으로 생각하면, 그
모델을 가진 회사가 이 모든
By default, you would expect the company that has that model to be getting all these gains because they have the model that has the skills and knowledge that it's building up in the world.

1183
01:24:54,518 --> 01:24:58,427
이득을 가져갈 거라고
예상하게 되잖아요. 세상에서

1184
01:24:58,427 --> 01:25:02,480
쌓아온 기술과 지식을 가진
모델을 갖고 있으니까요.

1185
01:25:02,480 --> 01:25:07,417
그 이득이 널리 분산될 거라고,
이 지속 학습 루프를 가장 먼저
What is the reason to think that the benefits of that would be widely distributed and not just end up at whatever model company gets this continuous learning loop going first?

1186
01:25:07,417 --> 01:25:12,636
돌리는 모델 회사한테만 돌아가지
않을 거라고 생각할 이유가 뭔가요?

1187
01:25:14,880 --> 01:25:20,280
제가 생각하기에 이런
일이 일어날 것 같아요.
Here is what I think is going to happen.

1188
01:25:20,280 --> 01:25:28,799
첫째, 지금까지 과거의 AI들이
어떻게 흘러왔는지 한번 보죠.
Number one, let's look at how things have gone so far with the AIs of the past.

1189
01:25:28,799 --> 01:25:37,243
한 회사가 진보를 만들어내면 다른
회사가 서둘러서, 어느 정도 시간이 지난
One company produced an advance and the other company scrambled and produced some similar things after some amount of time and they started to compete in the market and push the prices down.

1190
01:25:37,243 --> 01:25:45,069
뒤 비슷한 걸 만들어냈고, 그렇게
시장에서 경쟁하며 가격을 낮춰갔죠.

1191
01:25:45,069 --> 01:25:48,425
그래서 시장의 관점에서 보면, 거기서도
So I think from the market perspective, something similar will happen there as well.

1192
01:25:48,425 --> 01:25:51,621
비슷한 일이 일어날 거라고 생각해요.

1193
01:25:51,621 --> 01:25:56,234
그나저나 저희가 지금 얘기하는
건 '좋은 세상' 쪽이에요.
We are talking about the good world, by the way.

1194
01:25:56,640 --> 01:25:59,420
좋은 세상이란 어떤 모습인가요?
What's the good world?

1195
01:25:59,420 --> 01:26:07,253
그건 강력하고 인간 같은
학습자들이 있으면서 동시에…
It’s where we have these powerful human-like learners that are also…

1196
01:26:07,758 --> 01:26:12,547
그런데 말이죠, 초지능 AI의
스펙에서 아직 이야기하지 않은
By the way, maybe there's another thing we haven't discussed on the spec of the superintelligent AI that I think is worth considering.

1197
01:26:12,547 --> 01:26:17,046
게 하나 더 있는데, 고려해
볼 가치가 있는 것 같아요.

1198
01:26:17,046 --> 01:26:19,407
그건 좁게 만들 수도 있다는 거예요.
It’s that you make it narrow, it can be useful and narrow at the same time.

1199
01:26:19,407 --> 01:26:22,004
유용하면서 동시에 좁을 수 있다는 거죠.

1200
01:26:22,004 --> 01:26:24,320
좁은 초지능 AI를 여러
개 가질 수도 있어요.
You can have lots of narrow superintelligent AIs.

1201
01:26:24,320 --> 01:26:28,888
그런데 그런 게 여럿 있고, 그걸로
But suppose you have many of them and you have some company that's producing a lot of profits from it.

1202
01:26:28,888 --> 01:26:33,937
큰 수익을 내는 회사가 있다고 해보죠.

1203
01:26:33,937 --> 01:26:37,895
그럼 다른 회사가 들어와서
경쟁을 시작하는 거예요.
Then you have another company that comes in and starts to compete.

1204
01:26:37,895 --> 01:26:43,872
경쟁이 작동하는 방식은
전문화를 통해서예요.
The way the competition is going to work is through specialization.

1205
01:26:43,872 --> 01:26:49,017
경쟁은 전문화를 좋아하죠.
Competition loves specialization.

1206
01:26:49,017 --> 01:26:53,953
시장에서도 보이고,
진화에서도 마찬가지로 보여요.
You see it in the market, you see it in evolution as well.

1207
01:26:53,953 --> 01:26:56,922
다양한 니치들이 생기고,
각 니치를 차지하는
You're going to have lots of different niches and you're going to have lots of different companies who are occupying different niches.

1208
01:26:56,922 --> 01:26:59,520
서로 다른 회사들이 많이 생길 거예요.

1209
01:26:59,520 --> 01:27:04,191
이런 세상에서는 한 AI
회사가 정말 복잡한 경제
In this world we might say one AI company is really quite a bit better at some area of really complicated economic activity and a different company is better at another area.

1210
01:27:04,191 --> 01:27:08,862
활동의 어떤 영역에서 훨씬
뛰어나고, 다른 회사는

1211
01:27:08,862 --> 01:27:13,360
또 다른 영역에서 더
뛰어나다고 할 수 있겠죠.

1212
01:27:13,360 --> 01:27:15,200
그리고 세 번째 회사는
소송을 정말 잘하고요.
And the third company is really good at litigation.

1213
01:27:15,200 --> 01:27:18,570
그건 인간 같은 학습이 함의하는
것과 모순되지 않나요?
Isn't this contradicted by what human-like learning implies?

1214
01:27:18,570 --> 01:27:19,840
그러니까 그건 배울 수 있다는 거잖아요…
It’s that it can learn…

1215
01:27:19,840 --> 01:27:23,130
배울 수는 있죠, 하지만
축적된 학습이라는 게 있어요.
It can, but you have accumulated learning.

1216
01:27:23,130 --> 01:27:25,120
큰 투자가 들어가 있는 거죠.
You have a big investment.

1217
01:27:25,120 --> 01:27:27,762
이 일에 정말, 정말 잘하게, 정말
You spent a lot of compute to become really, really good, really phenomenal at this thing.

1218
01:27:27,762 --> 01:27:30,960
뛰어나게 되기까지
엄청난 컴퓨트를 썼어요.

1219
01:27:30,960 --> 01:27:33,375
다른 누군가는 또 다른 일에 정말 잘하게
Someone else spent a huge amount of compute and a huge amount of experience to get really good at some other thing.

1220
01:27:33,375 --> 01:27:36,120
되려고 엄청난 컴퓨트와
엄청난 경험을 썼고요.

1221
01:27:36,120 --> 01:27:39,465
그렇게 인간적인 학습을 많이
쏟아부어서 그 지점에 도달했는데,
You apply a lot of human learning to get there, but now you are at this high point where someone else would say, "Look, I don't want to start learning what you've learned."

1222
01:27:39,465 --> 01:27:42,809
이제 그 정점에 서면 다른 누군가는
이렇게 말하겠죠. "이봐,

1223
01:27:42,809 --> 01:27:45,859
난 당신이 배운 걸 나도
처음부터 배우고 싶지는 않아."

1224
01:27:45,859 --> 01:27:51,490
그럼 여러 회사들이 인간 같은
지속 학습 에이전트를 동시에
I guess that would require many different companies to begin at the human-like continual learning agent at the same time so that they can start their different tree search in different branches.

1225
01:27:51,490 --> 01:27:58,000
시작해서, 각자 다른 가지에서 트리
탐색을 시작해야 한다는 거네요.

1226
01:27:58,000 --> 01:28:02,196
그런데 한 회사가 그 에이전트를, 그
But if one company gets that agent first, or gets that learner first, it does then seem like…

1227
01:28:02,196 --> 01:28:06,811
학습자를 먼저 손에 넣으면, 그럼 왠지…

1228
01:28:06,811 --> 01:28:12,488
음, 경제 안의 모든 개별
직무를 생각해보면, 회사 하나가
Well, if you just think about every single job in the economy, having an instance learning each one seems tractable for a company.

1229
01:28:12,488 --> 01:28:18,519
그 각각을 학습하는 인스턴스를
두는 게 충분히 가능해 보여요.

1230
01:28:18,519 --> 01:28:20,490
타당한 논리예요.
That's a valid argument.

1231
01:28:20,490 --> 01:28:25,120
제 강한 직관으로는 이렇게
흘러가지 않을 것 같아요.
My strong intuition is that it's not how it's going to go.

1232
01:28:25,120 --> 01:28:28,677
그 주장대로라면 이렇게 흘러가겠지만, 제
The argument says it will go this way, but my strong intuition is that it will not go this way.

1233
01:28:28,677 --> 01:28:32,557
강한 직감은 그렇게 되지
않으리라는 거예요.

1234
01:28:32,557 --> 01:28:36,822
이론상으론 이론과 실제가 다르지 않죠.
In theory, there is no difference between theory and practice.

1235
01:28:36,822 --> 01:28:37,778
실제로는 다르지만요.
In practice, there is.

1236
01:28:37,778 --> 01:28:39,440
이것도 그런 경우 중
하나가 될 것 같아요.
I think that's going to be one of those.

1237
01:28:39,440 --> 01:28:43,192
재귀적 자기 개선에 대한 사람들의
모델 중 상당수는, 서버 안에
A lot of people's models of recursive self-improvement literally, explicitly state we will have a million Ilyas in a server that are coming up with different ideas, and this will lead to a superintelligence emerging very fast.

1238
01:28:43,192 --> 01:28:47,051
일리야가 100만 명 있어서 각자
다른 아이디어를 낸다는 걸 문자

1239
01:28:47,051 --> 01:28:51,232
그대로 명시하고, 이게 초지능의 아주
빠른 등장으로 이어진다고 말해요.

1240
01:28:51,232 --> 01:28:56,665
지금 하고 계신 일이 얼마나 병렬화
가능한지에 대한 직감이 있으신가요?
Do you have some intuition about how parallelizable the thing you are doing is?

1241
01:28:56,665 --> 01:29:00,800
일리야를 복제한다면,
거기서 얻는 이득은 뭘까요?
What are the gains from making copies of Ilya?

1242
01:29:00,800 --> 01:29:02,175
모르겠어요.
I don’t know.

1243
01:29:02,175 --> 01:29:07,236
분명 수확 체감이 있을
거라고 봐요. 똑같이 생각하는
I think there'll definitely be diminishing returns because you want people who think differently rather than the same.

1244
01:29:07,236 --> 01:29:11,774
사람보다는 다르게 생각하는
사람들을 원하니까요.

1245
01:29:11,774 --> 01:29:15,553
저를 그대로 복제한 존재들이
있다 해도, 거기서 점진적으로
If there were literal copies of me, I'm not sure how much more incremental value you'd get.

1246
01:29:15,553 --> 01:29:18,859
얼마나 더 가치를 얻을 수
있을지는 잘 모르겠어요.

1247
01:29:18,859 --> 01:29:23,497
다르게 생각하는 사람들,
그게 우리가 원하는 거예요.
People who think differently, that's what you want.

1248
01:29:23,497 --> 01:29:29,438
완전히 다른 회사에서, 어쩌면
겹치지 않을 법한 데이터셋으로
Why is it that if you look at different models, even released by totally different companies trained on potentially non-overlapping datasets, it's actually crazy how similar LLMs are to each other?

1249
01:29:29,438 --> 01:29:35,920
학습시킨 모델들인데도 서로 이렇게까지
비슷한 건 왜 그런 걸까요?

1250
01:29:35,920 --> 01:29:39,520
데이터셋들이 생각보다 더
많이 겹치는 걸 수도 있죠.
Maybe the datasets are not as non-overlapping as it seems.

1251
01:29:39,520 --> 01:29:43,249
하지만 한 사람 한 사람은
미래의 AI보다 생산성이
But there’s some sense in which even if an individual human might be less productive than the future AI, maybe there’s something to the fact that human teams have more diversity than teams of AIs might have.

1252
01:29:43,249 --> 01:29:46,844
낮을 수 있어도, 인간
팀이 AI 팀보다 다양성이

1253
01:29:46,844 --> 01:29:50,173
크다는 사실에는 분명
의미가 있을 것 같아요.

1254
01:29:50,173 --> 01:29:53,600
AI들 사이에서 의미 있는 다양성을
어떻게 이끌어낼 수 있을까요?
How do we elicit meaningful diversity among AIs?

1255
01:29:53,600 --> 01:29:56,720
그냥 temperature를 높이는
건 헛소리만 낳을 것 같아요.
I think just raising the temperature just results in gibberish.

1256
01:29:56,720 --> 01:29:58,960
그보다는 서로 다른 과학자들이
저마다 다른 편견이나
You want something more like different scientists have different prejudices or different ideas.

1257
01:29:58,960 --> 01:30:01,360
생각을 갖는 것 같은, 그런
종류의 다양성이 필요해요.

1258
01:30:01,360 --> 01:30:04,720
AI 에이전트들 사이에서 그런 종류의
다양성을 어떻게 얻을 수 있을까요?
How do you get that kind of diversity among AI agents?

1259
01:30:04,720 --> 01:30:10,720
지금까지 다양성이 없었던 이유는,
제 생각엔 사전학습 때문이에요.
So the reason there has been no diversity, I believe, is because of pre-training.

1260
01:30:10,720 --> 01:30:13,954
사전학습된 모델들이 다
거의 똑같은 건, 다들
All the pre-trained models are pretty much the same because they pre-train on the same data.

1261
01:30:13,954 --> 01:30:16,800
같은 데이터로 사전학습을 하기 때문이죠.

1262
01:30:16,800 --> 01:30:22,021
이제 RL과 사후학습에서부터
차별화가 나타나기 시작해요.
Now RL and post-training is where some differentiation starts to emerge because different people come up with different RL training.

1263
01:30:22,021 --> 01:30:26,400
사람마다 서로 다른 RL
훈련을 만들어내니까요.

1264
01:30:26,400 --> 01:30:30,129
예전에 셀프플레이를 힌트로
언급하신 적이 있었죠.
I've heard you hint in the past about self-play as a way to either get data or match agents to other agents of equivalent intelligence to kick off learning.

1265
01:30:30,129 --> 01:30:34,133
데이터를 얻거나, 학습을
촉발하기 위해 비슷한 수준의

1266
01:30:34,133 --> 01:30:38,000
지능을 가진 에이전트들끼리
맞붙게 하는 방법으로요.

1267
01:30:38,000 --> 01:30:42,400
그런데 LLM에 이런 방식이
통한다는 공개된 제안이
How should we think about why there are no public proposals of this kind of thing working with LLMs?

1268
01:30:42,400 --> 01:30:46,800
왜 없는지, 우리는 이걸
어떻게 생각해봐야 할까요?

1269
01:30:46,800 --> 01:30:49,665
두 가지를 말씀드리고 싶어요.
I would say there are two things to say.

1270
01:30:49,665 --> 01:30:55,321
제가 셀프플레이를 흥미롭다고
생각했던 이유는, 데이터 없이
The reason why I thought self-play was interesting is because it offered a way to create models using compute only, without data.

1271
01:30:55,321 --> 01:31:00,800
컴퓨트만으로 모델을 만들어낼
방법을 제공했기 때문이에요.

1272
01:31:00,800 --> 01:31:03,429
데이터가 궁극적인 병목이라고 본다면,
If you think that data is the ultimate bottleneck, then using compute only is very interesting.

1273
01:31:03,429 --> 01:31:06,320
컴퓨트만 쓰는 방식이 아주 흥미로워지죠.

1274
01:31:06,320 --> 01:31:10,798
그래서 그게 흥미로운 지점이에요.
So that's what makes it interesting.

1275
01:31:10,798 --> 01:31:18,158
문제는 셀프플레이가—적어도 과거에
하던 방식대로, 에이전트들이 서로
The thing is that self-play, at least the way it was done in the past—when you have agents which somehow compete with each other—it's only good for developing a certain set of skills.

1276
01:31:18,158 --> 01:31:25,120
경쟁하는 형태로는—특정 기술들을
기르는 데만 유용하다는 거예요.

1277
01:31:25,120 --> 01:31:26,560
너무 좁아요.
It is too narrow.

1278
01:31:26,560 --> 01:31:35,040
협상, 갈등, 특정 사회적 기술,
전략 수립 같은 데만 유용하죠.
It's only good for negotiation, conflict, certain social skills, strategizing, that kind of stuff.

1279
01:31:35,040 --> 01:31:39,360
그런 기술들이 중요하다면
셀프플레이가 유용할 거예요.
If you care about those skills, then self-play will be useful.

1280
01:31:39,360 --> 01:31:48,080
사실 셀프플레이도 자기 자리를 찾긴
했다고 봐요, 다른 형태로요.
Actually, I think that self-play did find a home, but just in a different form.

1281
01:31:48,080 --> 01:31:52,614
그러니까 토론이라든지 증명자-검증자,
혹은 여러분의 실수를
So things like debate, prover-verifier, you have some kind of an LLM-as-a-Judge which is also incentivized to find mistakes in your work.

1282
01:31:52,614 --> 01:31:57,998
찾아내도록 인센티브가 걸린
LLM-as-a-Judge 같은 것들이요.

1283
01:31:57,998 --> 01:32:01,414
정확히 셀프플레이는 아니지만,
관련된 적대적 구조라고 할
You could say this is not exactly self-play, but this is a related adversarial setup that people are doing, I believe.

1284
01:32:01,414 --> 01:32:04,720
수 있죠. 사람들이 실제로
하고 있는 방식이라고 봐요.

1285
01:32:04,720 --> 01:32:13,600
사실 셀프플레이는 에이전트 간의 더
일반적인 경쟁의 특수한 사례예요.
Really self-play is a special case of more general competition between agents.

1286
01:32:13,600 --> 01:32:16,560
경쟁에 대한 자연스러운 반응은
남들과 달라지려 하는 거죠.
The natural response to competition is to try to be different.

1287
01:32:16,560 --> 01:32:20,427
그러니까 여러 에이전트를 함께 두고
이렇게 말한다고 해보세요. "다들
So if you were to put multiple agents together and you tell them, "You all need to work on some problem and you are an agent and you're inspecting what everyone else is working," they’re going to say, "Well, if they're already taking this approach, it's not clear I should pursue it.

1288
01:32:20,427 --> 01:32:23,989
이 문제를 풀어야 하고, 너는
에이전트로서 다른 모두가 뭘 하고

1289
01:32:23,989 --> 01:32:27,856
있는지 보고 있어." 그러면 에이전트는
이렇게 말하겠죠. "음, 다들

1290
01:32:27,856 --> 01:32:31,520
이미 이 방식을 쓰고 있다면, 내가
이걸 따라야 할지 모르겠는데.

1291
01:32:31,520 --> 01:32:33,569
차별화된 걸 해야 할 것 같아."
I should pursue something differentiated."

1292
01:32:33,569 --> 01:32:36,702
그래서 이런 구조도 접근법의 다양성을
So I think something like this could also create an incentive for a diversity of approaches.

1293
01:32:36,702 --> 01:32:40,305
만들어내는 인센티브가
될 수 있다고 봐요.

1294
01:32:40,305 --> 01:32:44,400
마지막 질문이에요.
연구 감각이란 뭔가요?
Final question: What is research taste?

1295
01:32:44,400 --> 01:32:53,567
누가 봐도 세상에서 AI 연구
감각이 최고라고 여겨지는 분이잖아요.
You're obviously the person in the world who is considered to have the best taste in doing research in AI.

1296
01:32:56,218 --> 01:33:00,408
알렉스넷부터 GPT-3까지, 딥러닝
You were the co-author on the biggest things that have happened in the history of deep learning, from AlexNet to GPT-3 to so on.

1297
01:33:00,408 --> 01:33:05,040
역사상 가장 큰 사건들의 공동저자셨죠.

1298
01:33:05,040 --> 01:33:08,232
그게 뭔가요, 이런 아이디어들을 어떻게
What is it, how do you characterize how you come up with these ideas?

1299
01:33:08,232 --> 01:33:11,120
떠올리시는지 어떻게 설명하시겠어요?

1300
01:33:11,120 --> 01:33:14,476
제 경우에 대해서는 말씀드릴 수 있어요.
I can comment on this for myself.

1301
01:33:14,476 --> 01:33:18,720
사람마다 방식이 다르다고 생각해요.
I think different people do it differently.

1302
01:33:18,720 --> 01:33:25,201
저 개인적으로는, AI가 어때야
하는가에 대한 미학이 하나의
One thing that guides me personally is an aesthetic of how AI should be, by thinking about how people are, but thinking correctly.

1303
01:33:25,201 --> 01:33:32,665
기준이에요. 사람이 어떤 존재인지를
생각하되, 제대로 생각하는 거죠.

1304
01:33:32,665 --> 01:33:35,724
사람에 대해 잘못
생각하기는 아주 쉬운데,
It's very easy to think about how people are incorrectly, but what does it mean to think about people correctly?

1305
01:33:35,724 --> 01:33:39,315
사람에 대해 제대로
생각한다는 건 무슨 뜻일까요?

1306
01:33:39,315 --> 01:33:41,192
몇 가지 예를 들어볼게요.
I'll give you some examples.

1307
01:33:41,192 --> 01:33:44,851
인공 뉴런이라는 아이디어는 뇌에서 직접
The idea of the artificial neuron is directly inspired by the brain, and it's a great idea.

1308
01:33:44,851 --> 01:33:48,685
영감을 받은 거고, 훌륭한 아이디어예요.

1309
01:33:48,685 --> 01:33:48,937
왜일까요?
Why?

1310
01:33:48,937 --> 01:33:51,561
왜냐하면 뇌에는 여러
기관들이 있잖아요. 주름도
Because you say the brain has all these different organs, it has the folds, but the folds probably don't matter.

1311
01:33:51,561 --> 01:33:54,488
있고요. 근데 그 주름은
아마 중요하지 않을 거예요.

1312
01:33:54,488 --> 01:33:56,400
그럼 왜 뉴런은 중요하다고 생각할까요?
Why do we think that the neurons matter?

1313
01:33:56,400 --> 01:33:58,377
뉴런은 수가 많으니까요.
Because there are many of them.

1314
01:33:58,377 --> 01:34:01,280
왠지 맞는 느낌이 드는 거죠.
그래서 뉴런을 원하게 되고요.
It kind of feels right, so you want the neuron.

1315
01:34:01,280 --> 01:34:10,240
뉴런 사이의 연결을 바꿔줄 어떤
국소적 학습 규칙을 원하게 되죠.
You want some local learning rule that will change the connections between the neurons.

1316
01:34:10,240 --> 01:34:12,920
뇌가 그렇게 할 거라는 게
그럴듯하게 느껴지는 거예요.
It feels plausible that the brain does it.

1317
01:34:12,920 --> 01:34:15,600
분산 표현이라는 아이디어도 그렇고요.
The idea of the distributed representation.

1318
01:34:15,600 --> 01:34:18,592
뇌가 경험에 반응하니까, 우리 신경망도
The idea that the brain responds to experience therefore our neural net should learn from experience.

1319
01:34:18,592 --> 01:34:21,584
경험으로부터 학습해야 한다는 생각이요.

1320
01:34:21,584 --> 01:34:26,754
뇌는 경험으로부터 학습하니, 신경망도
경험으로부터 학습해야 한다는 거죠.
The brain learns from experience, the neural net should learn from experience.

1321
01:34:26,754 --> 01:34:30,785
스스로에게 묻게 되는 거예요,
이게 근본적인가 아닌가.
You kind of ask yourself, is something fundamental or not fundamental?

1322
01:34:30,785 --> 01:34:32,440
원래 어떤 모습이어야 하는가 하는 거요.
How things should be.

1323
01:34:32,440 --> 01:34:36,873
그런 게 저를 상당히 이끌어
왔다고 생각해요. 여러 각도에서
I think that's been guiding me a fair bit, thinking from multiple angles and looking for almost beauty, beauty and simplicity.

1324
01:34:36,873 --> 01:34:41,440
생각하고, 거의 아름다움을 찾는
거죠. 아름다움과 단순함이요.

1325
01:34:41,440 --> 01:34:44,121
추함, 추함이 들어설 자리는 없어요.
Ugliness, there's no room for ugliness.

1326
01:34:44,121 --> 01:34:48,091
아름다움, 단순함, 우아함, 그리고
뇌로부터 얻는 올바른 영감이죠.
It's beauty, simplicity, elegance, correct inspiration from the brain.

1327
01:34:48,091 --> 01:34:51,208
그 모든 게 동시에 존재해야 해요.
All of those things need to be present at the same time.

1328
01:34:51,208 --> 01:34:55,939
그것들이 많이 있을수록, 톱다운
신념에 더 확신을 가질 수 있어요.
The more they are present, the more confident you can be in a top-down belief.

1329
01:34:55,939 --> 01:35:01,530
톱다운 신념은 실험이 나를
반박할 때 버티게 해주는 거예요.
The top-down belief is the thing that sustains you when the experiments contradict you.

1330
01:35:01,530 --> 01:35:04,395
왜냐하면 데이터를 항상 신뢰한다면, 맞는
Because if you trust the data all the time, well sometimes you can be doing the correct thing but there's a bug.

1331
01:35:04,395 --> 01:35:07,520
걸 하고 있어도 버그가
있을 수 있으니까요.

1332
01:35:07,520 --> 01:35:09,349
근데 버그가 있다는 걸 모르는 거죠.
But you don't know that there is a bug.

1333
01:35:09,349 --> 01:35:11,040
버그가 있다는 걸 어떻게 알 수 있나요?
How can you tell that there is a bug?

1334
01:35:11,040 --> 01:35:12,750
계속 디버깅해야 할지, 아니면 방향이
How do you know if you should keep debugging or you conclude it's the wrong direction?

1335
01:35:12,750 --> 01:35:14,630
틀렸다고 결론내려야 할지 어떻게 아나요?

1336
01:35:14,630 --> 01:35:15,662
그게 톱다운이에요.
It's the top-down.

1337
01:35:15,662 --> 01:35:18,472
이렇게 될 수밖에 없다고
말할 수 있는 거죠.
You can say things have to be this way.

1338
01:35:18,472 --> 01:35:22,587
이런 건 반드시 작동해야 한다,
그러니 계속 가야 한다는 거예요.
Something like this has to work, therefore we’ve got to keep going.

1339
01:35:22,587 --> 01:35:26,200
그게 톱다운이고, 이 다면적인 아름다움과
That's the top-down, and it's based on this multifaceted beauty and inspiration by the brain.

1340
01:35:26,200 --> 01:35:29,320
뇌에서 얻는 영감에 근거한 거예요.

1341
01:35:29,320 --> 01:35:31,600
네, 오늘은 여기까지 하죠.
Alright, we'll leave it there.

1342
01:35:31,600 --> 01:35:33,085
정말 감사합니다.
Thank you so much.

1343
01:35:33,085 --> 01:35:34,960
일리야, 정말 감사드려요.
Ilya, thank you so much.

1344
01:35:34,960 --> 01:35:35,311
네.
Alright.

1345
01:35:35,311 --> 01:35:35,895
감사합니다.
Appreciate it.

1346
01:35:35,895 --> 01:35:36,480
정말 좋았어요.
That was great.

1347
01:35:36,480 --> 01:35:38,080
네, 즐거웠어요.
Yeah, I enjoyed it.

1348
01:35:38,080 --> 01:35:40,460
네, 저도요.
Yes, me too.