1
00:00:00,200 --> 00:00:06,000
Dwarkesh Podcast — Richard Sutton

2
00:00:47,600 --> 00:00:50,993
오늘은 강화학습(RL)의
창시자 중 한 명이자,
Today I'm chatting with Richard Sutton, who is one of the founding fathers of reinforcement learning and inventor of many of the main techniques used there, like TD learning and policy gradient methods.

3
00:00:50,993 --> 00:00:54,516
TD 학습(시간차 학습)과
정책 경사법 같은 핵심

4
00:00:54,516 --> 00:00:58,040
기법들을 발명한 리처드
서튼과 이야기를 나눕니다.

5
00:00:58,040 --> 00:01:01,038
그 공로로 올해 튜링상을
받으셨는데요, 모르시는 분들을
For that, he received this year's Turing Award which, if you don’t know, is the Nobel Prize for computer science.

6
00:01:01,038 --> 00:01:04,136
위해 말씀드리면 컴퓨터과학의
노벨상이라 불리는 상입니다.

7
00:01:04,136 --> 00:01:05,440
리처드, 축하드립니다.
Richard, congratulations.

8
00:01:05,440 --> 00:01:06,498
감사합니다, 드워케시.
Thank you, Dwarkesh.

9
00:01:06,498 --> 00:01:08,160
팟캐스트에 나와주셔서 감사합니다.
Thanks for coming on the podcast.

10
00:01:08,160 --> 00:01:09,705
저야말로 영광입니다.
It's my pleasure.

11
00:01:09,705 --> 00:01:11,078
첫 번째 질문입니다.
First question.

12
00:01:11,078 --> 00:01:15,812
저와 청취자들은 LLM 관점에서
AI를 생각하는 방식에 익숙합니다.
My audience and I are familiar with the LLM way of thinking about AI.

13
00:01:15,812 --> 00:01:19,048
개념적으로, RL 관점에서 AI를 바라볼
Conceptually, what are we missing in terms of thinking about AI from the RL perspective?

14
00:01:19,048 --> 00:01:21,842
때 우리가 놓치고 있는 건 뭘까요?

15
00:01:21,842 --> 00:01:26,240
정말 상당히 다른 관점입니다.
It's really quite a different point of view.

16
00:01:26,240 --> 00:01:31,684
쉽게 서로 분리되어 대화하는
능력을 잃어버릴 수 있죠.
It can easily get separated and lose the ability to talk to each other.

17
00:01:32,560 --> 00:01:38,960
LLM이 워낙 큰 화두가 됐고, 생성형
AI 전반도 큰 화두가 됐습니다.
Large language models have become such a big thing, generative AI in general a big thing.

18
00:01:38,960 --> 00:01:42,524
이 분야는 유행과 편승에 휩쓸리기
Our field is subject to bandwagons and fashions, so we lose track of the basic things.

19
00:01:42,524 --> 00:01:46,880
쉬워서, 기본적인 것들을 놓치게 됩니다.

20
00:01:46,880 --> 00:01:50,486
저는 강화학습을 기본적인
AI라고 생각합니다.
I consider reinforcement learning to be basic AI.

21
00:01:50,486 --> 00:01:52,000
지능이란 무엇일까요?
What is intelligence?

22
00:01:52,000 --> 00:01:55,166
문제는 자신의 세계를 이해하는 것입니다.
The problem is to understand your world.

23
00:01:55,166 --> 00:01:59,913
강화학습은 자신의 세계를 이해하는
것에 관한 것이지만, LLM은
Reinforcement learning is about understanding your world, whereas large language models are about mimicking people, doing what people say you should do.

24
00:01:59,913 --> 00:02:04,796
사람을 모방하는 것, 사람이 하라는
대로 하는 것에 관한 겁니다.

25
00:02:04,796 --> 00:02:08,330
무엇을 해야 할지 스스로
알아내는 것과는 무관하죠.
They're not about figuring out what to do.

26
00:02:08,640 --> 00:02:12,352
인터넷 텍스트 코퍼스에
있는 수조 개의 토큰을
You would think that to emulate the trillions of tokens in the corpus of Internet text, you would have to build a world model.

27
00:02:12,352 --> 00:02:16,362
모방하려면 월드 모델을
만들어야 할 것 같은데요.

28
00:02:16,362 --> 00:02:19,546
실제로 이 모델들은 아주 견고한 월드
모델을 갖고 있는 것처럼 보입니다.
In fact, these models do seem to have very robust world models.

29
00:02:19,546 --> 00:02:23,830
지금까지 AI가 만들어낸 것
중 최고의 월드 모델 아닌가요?
They're the best world models we've made to date in AI, right?

30
00:02:23,830 --> 00:02:26,000
뭐가 빠졌다고 생각하시나요?
What do you think is missing?

31
00:02:26,000 --> 00:02:29,856
방금 말씀하신 것들 대부분에
동의하지 않습니다.
I would disagree with most of the things you just said.

32
00:02:30,720 --> 00:02:33,528
사람이 하는 말을 모방하는 건 사실 월드
To mimic what people say is not really to build a model of the world at all.

33
00:02:33,528 --> 00:02:36,080
모델을 만드는 것과는 전혀 다릅니다.

34
00:02:36,080 --> 00:02:40,160
월드 모델을 갖고 있는 대상,
즉 사람을 모방하는 것뿐이죠.
You're mimicking things that have a model of the world: people.

35
00:02:40,160 --> 00:02:44,664
질문에 대립적으로 접근하고
싶지는 않지만, LLM에
I don't want to approach the question in an adversarial way, but I would question the idea that they have a world model.

36
00:02:44,664 --> 00:02:49,489
월드 모델이 있다는 생각에는
의문을 제기하고 싶습니다.

37
00:02:49,489 --> 00:02:53,417
월드 모델이 있다면 무슨 일이
일어날지 예측할 수 있어야 합니다.
A world model would enable you to predict what would happen.

38
00:02:53,417 --> 00:02:56,349
LLM에게는 사람이 뭐라고
말할지 예측하는 능력이 있습니다.
They have the ability to predict what a person would say.

39
00:02:56,349 --> 00:03:00,383
무슨 일이 일어날지
예측하는 능력은 없습니다.
They don't have the ability to predict what will happen.

40
00:03:00,383 --> 00:03:04,879
앨런 튜링의 말을 빌리면,
우리가 원하는 건 경험에서 배우는
What we want, to quote Alan Turing, is a machine that can learn from experience, where experience is the things that actually happen in your life.

41
00:03:04,879 --> 00:03:09,920
기계입니다. 여기서 경험이란 실제로
삶에서 일어나는 일들을 말하죠.

42
00:03:09,920 --> 00:03:16,640
직접 행동하고, 무슨 일이 일어나는지
보고, 거기서 배우는 겁니다.
You do things, you see what happens, and that's what you learn from.

43
00:03:16,640 --> 00:03:18,640
LLM은 다른 무언가에서 배웁니다.
The large language models learn from something else.

44
00:03:18,640 --> 00:03:22,960
"여기 이런 상황이 있고, 사람은
이렇게 했다"에서 배우는 거죠.
They learn from "here's a situation, and here's what a person did".

45
00:03:22,960 --> 00:03:26,800
암묵적으로 그건 사람이 한
대로 하라는 제안인 셈입니다.
Implicitly, the suggestion is you should do what the person did.

46
00:03:26,800 --> 00:03:30,876
어쩌면 이게 핵심일 수도 있는데,
동의 안 하실지 궁금합니다. 어떤
I guess maybe the crux, and I'm curious if you disagree with this, is that some people will say that imitation learning has given us a good prior, or given these models a good prior, of reasonable ways to approach problems.

47
00:03:30,876 --> 00:03:35,173
사람들은 모방 학습이 우리에게,
그러니까 이 모델들에게 문제에 접근하는

48
00:03:35,173 --> 00:03:39,360
합리적인 방식에 대한 좋은 사전
지식(프라이어)을 줬다고 말하거든요.

49
00:03:39,360 --> 00:03:44,684
말씀하신 경험의 시대로 나아가면서,
이 프라이어가 모델들을
As we move towards the era of experience, as you call it, this prior is going to be the basis on which we teach these models from experience, because this gives them the opportunity to get answers right some of the time.

50
00:03:44,684 --> 00:03:49,175
경험으로 가르치는 토대가
될 텐데, 이 프라이어가

51
00:03:49,175 --> 00:03:54,000
모델들에게 가끔 정답을 맞힐
기회를 주기 때문입니다.

52
00:03:54,000 --> 00:03:57,470
그 위에서 경험으로
훈련시킬 수 있는 거고요.
Then on this, you can train them on experience.

53
00:03:57,470 --> 00:04:00,000
이 관점에 동의하시나요?
Do you agree with that perspective?

54
00:04:00,000 --> 00:04:04,320
아니요. 그게 LLM 진영의
관점이라는 데는 동의합니다.
No. I agree that it's the large language model perspective.

55
00:04:04,320 --> 00:04:08,139
좋은 관점이라고는 생각하지 않습니다.
I don't think it's a good perspective.

56
00:04:08,139 --> 00:04:12,980
무언가의 프라이어가 되려면 그
바탕에 실재하는 것이 있어야 합니다.
To be a prior for something, there has to be a real thing.

57
00:04:12,980 --> 00:04:17,345
그 프라이어는 실제 지식의
토대가 되어야 하죠.
A prior bit of knowledge should be the basis for actual knowledge.

58
00:04:17,345 --> 00:04:18,957
그런데 실제 지식이란 무엇입니까?
What is actual knowledge?

59
00:04:18,957 --> 00:04:25,290
그 LLM 프레임워크 안에는 실제
지식에 대한 정의가 없습니다.
There's no definition of actual knowledge in that large-language framework.

60
00:04:25,290 --> 00:04:29,600
무엇이 어떤 행동을 좋은
행동으로 만듭니까?
What makes an action a good action to take?

61
00:04:29,600 --> 00:04:32,608
지속 학습이 필요하다는 건 인정하시죠.
You recognize the need for continual learning.

62
00:04:32,608 --> 00:04:35,948
지속적으로 배워야 한다면, 그건 세상과의
If you need to learn continually, continually means learning during the normal interaction with the world.

63
00:04:35,948 --> 00:04:39,440
정상적인 상호작용 중에
배운다는 뜻입니다.

64
00:04:39,440 --> 00:04:45,281
그 정상적인 상호작용 도중에 뭐가
맞는지 판단할 방법이 있어야 합니다.
There must be some way during the normal interaction to tell what's right.

65
00:04:47,200 --> 00:04:54,080
LLM 구조에서 무엇이 맞는 말인지
알 수 있는 방법이 있습니까?
Is there any way to tell in the large language model setup what's the right thing to say?

66
00:04:54,080 --> 00:04:58,269
뭔가 말을 해도 그게 맞는
말인지 피드백은 받지 못합니다.
You will say something and you will not get feedback about what the right thing to say is, because there's no definition of what the right thing to say is.

67
00:04:58,269 --> 00:05:02,197
애초에 맞는 말이 뭔지에 대한
정의 자체가 없으니까요.

68
00:05:02,197 --> 00:05:03,089
목표가 없는 겁니다.
There's no goal.

69
00:05:03,089 --> 00:05:07,520
목표가 없다면, 이런 말도
있고 저런 말도 있는 거죠.
If there's no goal, then there's one thing to say, another thing to say.

70
00:05:07,520 --> 00:05:09,481
맞는 말이라는 건 없는 겁니다.
There's no right thing to say.

71
00:05:09,481 --> 00:05:11,062
정답이 없는 거죠.
There's no ground truth.

72
00:05:11,062 --> 00:05:16,163
정답이 없으면 사전 지식(프라이어)을
가질 수 없습니다. 사전 지식이란
You can't have prior knowledge if you don't have ground truth, because the prior knowledge is supposed to be a hint or an initial belief about what the truth is.

73
00:05:16,163 --> 00:05:20,610
정답이 무엇인지에 대한 힌트,
혹은 초기 믿음이어야 하니까요.

74
00:05:20,610 --> 00:05:22,220
그 어떤 정답도 없는 겁니다.
There isn't any truth.

75
00:05:22,220 --> 00:05:24,880
맞는 말이라는 건 없는 겁니다.
There's no right thing to say.

76
00:05:24,880 --> 00:05:27,994
강화학습(RL)에서는 맞는
말, 맞는 행동이라는 게
In reinforcement learning, there is a right thing to say, a right thing to do, because the right thing to do is the thing that gets you reward.

77
00:05:27,994 --> 00:05:31,663
있습니다. 보상을 가져다주는
행동이 바로 맞는 행동이니까요.

78
00:05:31,663 --> 00:05:36,890
맞는 행동이 무엇인지에 대한 정의가
있으니, 맞는 행동이 무엇인지에
We have a definition of what's the right thing to do, so we can have prior knowledge or knowledge provided by people about what the right thing to do is.

79
00:05:36,890 --> 00:05:41,694
대해 사전 지식이나 사람이 제공한
지식을 가질 수 있는 거죠.

80
00:05:41,694 --> 00:05:44,658
그리고 그걸 확인해볼 수
있습니다. 실제로 맞는
Then we can check it to see, because we have a definition of what the actual right thing to do is.

81
00:05:44,658 --> 00:05:47,280
행동이 무엇인지에 대한
정의가 있으니까요.

82
00:05:47,280 --> 00:05:50,800
이보다 더 단순한 경우는 월드
모델을 만들려고 할 때입니다.
An even simpler case is when you're trying to make a model of the world.

83
00:05:50,800 --> 00:05:53,038
무슨 일이 일어날지 예측하고, 그런 다음
When you predict what will happen, you predict and then you see what happens.

84
00:05:53,038 --> 00:05:55,277
실제로 무슨 일이 일어나는지 보는 거죠.

85
00:05:55,277 --> 00:05:56,662
정답이 있는 겁니다.
There's ground truth.

86
00:05:56,662 --> 00:06:01,411
LLM에는 정답이 없습니다. 다음에 무슨
There's no ground truth in large language models because you don't have a prediction about what will happen next.

87
00:06:01,411 --> 00:06:06,160
일이 일어날지에 대한 예측이 없으니까요.

88
00:06:06,160 --> 00:06:11,647
대화에서 뭔가를 말하면, LLM은
상대가 그에 대해 뭐라고
If you say something in your conversation, the large language models have no prediction about what the person will say in response to that or what the response will be.

89
00:06:11,647 --> 00:06:16,619
답할지, 어떤 반응이 나올지에
대한 예측이 없습니다.

90
00:06:16,619 --> 00:06:17,647
저는 있다고 생각하는데요.
I think they do.

91
00:06:17,647 --> 00:06:20,066
말 그대로 물어볼 수
있잖아요, "사용자가
You can literally ask them, "What would you anticipate a user might say in response?"

92
00:06:20,066 --> 00:06:22,484
이에 대해 뭐라고 답할
것 같아?"라고요.

93
00:06:22,484 --> 00:06:23,920
그럼 예측이 나오겠죠.
They’ll have a prediction.

94
00:06:23,920 --> 00:06:26,480
아니요. 그 질문에는 제대로 답하겠죠.
No, they will respond to that question right.

95
00:06:26,480 --> 00:06:29,460
하지만 실질적인 의미의
예측은 없습니다. 무슨
But they have no prediction in the substantive sense that they won't be surprised by what happens.

96
00:06:29,460 --> 00:06:32,320
일이 일어나든 놀라지
않을 거라는 뜻에서요.

97
00:06:32,320 --> 00:06:36,291
예측했다고 할 만한 것과
다른 일이 일어나도, 예상
If something happens that isn't what you might say they predicted, they will not change because an unexpected thing has happened.

98
00:06:36,291 --> 00:06:40,120
밖의 일이 일어났다고 해서
달라지지 않을 겁니다.

99
00:06:40,120 --> 00:06:43,920
그걸 배우려면 조정을
해야 할 텐데 말이죠.
To learn that, they'd have to make an adjustment.

100
00:06:43,920 --> 00:06:49,600
제 생각엔 이런 능력이 컨텍스트
안에서는 존재하는 것 같아요.
I think a capability like this does exist in context.

101
00:06:49,600 --> 00:06:53,520
모델이 사고 연쇄(CoT)를
하는 걸 지켜보면 흥미롭습니다.
It's interesting to watch a model do chain of thought.

102
00:06:53,520 --> 00:06:55,057
수학 문제를 풀려고 한다고 해보죠.
Suppose it's trying to solve a math problem.

103
00:06:55,057 --> 00:06:58,814
이렇게 말하죠. "좋아, 일단 이
방식으로 이 문제에 접근해 볼게."
It'll say, "Okay, I'm going to approach this problem using this approach first."

104
00:06:58,814 --> 00:07:01,380
그렇게 써 내려가다가
이러기도 해요. "어,
It'll write this out and be like, "Oh wait, I just realized this is the wrong conceptual way to approach the problem.

105
00:07:01,380 --> 00:07:03,840
잠깐, 이건 개념적으로
잘못된 접근이었네.

106
00:07:03,840 --> 00:07:07,005
다른 방식으로 다시 시작해야겠다."
I'm going to restart with another approach."

107
00:07:07,005 --> 00:07:10,240
그런 유연성이 컨텍스트 안에서는
실제로 존재하는 거잖아요?
That flexibility does exist in context, right?

108
00:07:10,240 --> 00:07:13,059
다른 걸 염두에 두고 계신
건가요, 아니면 그냥 이
Do you have something else in mind or do you just think that you need to extend this capability across longer horizons?

109
00:07:13,059 --> 00:07:16,281
능력을 더 긴 시간 범위로
확장해야 한다고 보시는 건가요?

110
00:07:16,281 --> 00:07:19,257
제 말은, 이 모델들에게는
다음에 무슨 일이
I'm just saying they don't have in any meaningful sense a prediction of what will happen next.

111
00:07:19,257 --> 00:07:22,604
일어날지에 대한 의미 있는
예측이 없다는 겁니다.

112
00:07:22,604 --> 00:07:25,040
다음에 무슨 일이
일어나든 놀라지 않아요.
They will not be surprised by what happens next.

113
00:07:25,040 --> 00:07:30,640
무슨 일이 일어나도 그 일에
따라 뭔가를 바꾸지도 않고요.
They'll not make any changes if something happens, based on what happens.

114
00:07:30,640 --> 00:07:32,880
그게 바로 다음 토큰 예측 아닌가요?
Isn't that literally what next token prediction is?

115
00:07:32,880 --> 00:07:33,887
다음에 뭐가 올지 예측하고, 예상이
Prediction about what's next and then updating on the surprise?

116
00:07:33,887 --> 00:07:35,000
빗나가면 그에 맞춰 업데이트하는 거요?

117
00:07:35,000 --> 00:07:37,188
다음 토큰은 자신이
뭐라고 말해야 하는지,
The next token is what they should say, what the actions should be.

118
00:07:37,188 --> 00:07:39,280
어떤 행동을 해야 하는지에 대한 겁니다.

119
00:07:39,280 --> 00:07:42,400
자신의 행동에 세상이 어떻게
반응할지에 대한 게 아니에요.
It's not what the world will give them in response to what they do.

120
00:07:42,400 --> 00:07:46,312
목표가 없다는 이야기로
다시 돌아가 보죠.
Let's go back to their lack of a goal.

121
00:07:46,312 --> 00:07:50,207
저에게는 목표를 갖는
것이 지능의 본질입니다.
For me, having a goal is the essence of intelligence.

122
00:07:50,207 --> 00:07:53,360
목표를 달성할 수 있다면
그것은 지능적인 겁니다.
Something is intelligent if it can achieve goals.

123
00:07:53,360 --> 00:07:57,102
저는 존 매카시의 정의를
좋아하는데, 지능은
I like John McCarthy's definition that intelligence is the computational part of the ability to achieve goals.

124
00:07:57,102 --> 00:08:00,688
목표 달성 능력의
계산적 부분이라는 거죠.

125
00:08:00,688 --> 00:08:05,865
목표가 있어야지, 그렇지 않으면
그냥 행동하는 시스템일 뿐입니다.
You have to have goals or you're just a behaving system.

126
00:08:05,865 --> 00:08:09,697
특별할 것도 없고,
지능적이지도 않은 거죠.
You're not anything special, you're not intelligent.

127
00:08:09,697 --> 00:08:13,056
LLM에는 목표가
없다는 데 동의하시나요?
You agree that large language models don't have goals?

128
00:08:13,056 --> 00:08:14,480
아니요, 목표가 있습니다.
No, they have a goal.

129
00:08:14,480 --> 00:08:15,596
그 목표가 뭔가요?
What's the goal?

130
00:08:15,596 --> 00:08:17,040
다음 토큰 예측이죠.
Next token prediction.

131
00:08:17,040 --> 00:08:19,036
그건 목표가 아니에요.
That's not a goal.

132
00:08:19,036 --> 00:08:22,084
세상을 바꾸지 않으니까요.
It doesn't change the world.

133
00:08:22,084 --> 00:08:24,834
토큰은 그냥 나에게 날아오는 거고, 그걸
Tokens come at you, and if you predict them, you don't influence them.

134
00:08:24,834 --> 00:08:27,958
예측한다고 해서 영향을
미치는 건 아니잖아요.

135
00:08:27,958 --> 00:08:28,642
아, 그렇죠.
Oh yeah.

136
00:08:28,642 --> 00:08:31,760
외부 세계에 대한 목표가 아니에요.
It's not a goal about the external world.

137
00:08:31,760 --> 00:08:33,048
목표가 아니에요.
It's not a goal.

138
00:08:33,048 --> 00:08:35,244
실질적인 목표가 아니죠.
It's not a substantive goal.

139
00:08:35,244 --> 00:08:38,994
그냥 앉아서 예측만 하고,
정확히 예측했다고 스스로
You can't look at a system and say it has a goal if it's just sitting there predicting and being happy with itself that it's predicting accurately.

140
00:08:38,994 --> 00:08:43,280
만족하는 시스템을 보고 목표가
있다고 말할 수는 없습니다.

141
00:08:43,280 --> 00:08:46,824
제가 더 궁금한 큰 질문은,
LLM 위에 RL을
The bigger question I want to understand is why you don't think doing RL on top of LLMs is a productive direction.

142
00:08:46,824 --> 00:08:50,640
얹는 게 왜 생산적인 방향이
아니라고 보시는지예요.

143
00:08:50,640 --> 00:08:53,189
이 모델들에게 어려운 수학 문제를 푸는
We seem to be able to give these models the goal of solving difficult math problems.

144
00:08:53,189 --> 00:08:55,738
목표를 줄 수 있는 것처럼 보이는데요.

145
00:08:55,738 --> 00:08:59,446
수학 올림피아드 유형
문제를 푸는 능력에서는
They are in many ways at the very peaks of human-level in the capacity to solve math Olympiad-type problems.

146
00:08:59,446 --> 00:09:03,309
여러 면에서 인간 최고
수준에 도달해 있고요.

147
00:09:03,309 --> 00:09:04,782
국제수학올림피아드(IMO)에서
금메달도 땄죠.
They got gold at IMO.

148
00:09:04,782 --> 00:09:08,727
그러니까 IMO에서 금메달을
딴 모델은, 수학 문제를
So it seems like the model which got gold at the International Math Olympiad does have the goal of getting math problems right.

149
00:09:08,727 --> 00:09:12,400
맞히겠다는 목표를 실제로
갖고 있는 것 같은데요.

150
00:09:12,400 --> 00:09:15,760
왜 이걸 다른 영역으로는
확장할 수 없는 건가요?
Why can't we extend this to different domains?

151
00:09:15,760 --> 00:09:18,400
수학 문제는 다릅니다.
The math problems are different.

152
00:09:18,400 --> 00:09:24,463
물리적 세계를 모델링하는
것과, 수학적 가정이나 연산의
Making a model of the physical world and carrying out the consequences of mathematical assumptions or operations, those are very different things.

153
00:09:24,463 --> 00:09:29,920
결과를 도출해내는 것은
서로 아주 다른 일입니다.

154
00:09:29,920 --> 00:09:32,956
경험적 세계는 배워야만 하는 겁니다.
The empirical world has to be learned.

155
00:09:32,956 --> 00:09:36,240
그 결과를 학습해야 하죠.
You have to learn the consequences.

156
00:09:36,240 --> 00:09:44,640
반면 수학은 더 계산적이고,
일반적인 플래닝에 가깝습니다.
Whereas the math is more computational, it's more like standard planning.

157
00:09:44,640 --> 00:09:50,527
거기서는 증명을 찾는다는
목표를 가질 수 있고,
There they can have a goal to find the proof, and they are in some way given that goal to find the proof.

158
00:09:50,527 --> 00:09:56,640
실제로 어떤 식으로든 그
목표를 부여받은 셈이죠.

159
00:09:57,316 --> 00:10:02,653
흥미로운 게, 2019년에 「쓰라린
교훈」이라는 제목의 에세이를
It's interesting because you wrote this essay in 2019 titled "The Bitter Lesson," and this is the most influential essay, perhaps, in the history of AI.

160
00:10:02,653 --> 00:10:08,599
쓰셨잖아요. 이건 아마 AI 역사상
가장 영향력 있는 에세이일 텐데요.

161
00:10:08,599 --> 00:10:13,577
그런데 사람들은 그걸 LLM
스케일업의 근거로 써왔어요. 그들이
But people have used that as a justification for scaling up LLMs because, in their view, this is the one scalable way we have found to pour ungodly amounts of compute into learning about the world.

162
00:10:13,577 --> 00:10:18,556
보기엔 세상에 대해 배우는 데
엄청난 양의 컴퓨트를 쏟아부을 수

163
00:10:18,556 --> 00:10:24,103
있는, 우리가 찾아낸 유일하게 확장
가능한 방법이 바로 이거라는 거죠.

164
00:10:24,103 --> 00:10:26,896
흥미로운 점은, LLM이
「쓰라린 교훈」에
It's interesting that your perspective is that the LLMs are not "bitter lesson"-pilled.

165
00:10:26,896 --> 00:10:29,325
물들어 있지 않다고 보신다는 거예요.

166
00:10:29,325 --> 00:10:37,658
LLM이 「쓰라린 교훈」의
사례인지는 흥미로운 질문입니다.
It's an interesting question whether large language models are a case of the bitter lesson.

167
00:10:38,165 --> 00:10:44,495
확실히 막대한 컴퓨트를 사용하는
방식이고, 인터넷의 한계에
They are clearly a way of using massive computation, things that will scale with computation up to the limits of the Internet.

168
00:10:44,495 --> 00:10:50,231
이를 때까지는 컴퓨트에
비례해 스케일하는 것들입니다.

169
00:10:51,120 --> 00:10:57,716
하지만 동시에 방대한 인간
지식을 집어넣는 방식이기도 하죠.
But they're also a way of putting in lots of human knowledge.

170
00:10:57,716 --> 00:11:01,920
이건 흥미로운 질문입니다.
This is an interesting question.

171
00:11:01,920 --> 00:11:07,640
사회학적이거나 산업적인 질문이죠.
It's a sociological or industry question.

172
00:11:07,640 --> 00:11:13,667
이 모델들도 결국 데이터의
한계에 부딪혀서 사람이
Will they reach the limits of the data and be superseded by things that can get more data just from experience rather than from people?

173
00:11:13,667 --> 00:11:20,140
아닌 경험으로 데이터를 얻는
것들에 밀려나게 될까요?

174
00:11:24,880 --> 00:11:29,520
어떤 면에서는 「쓰라린
교훈」의 전형적인 사례죠.
In some ways it's a classic case of the bitter lesson.

175
00:11:29,520 --> 00:11:33,834
LLM에 인간 지식을 더 많이
넣을수록 성능은 더 좋아집니다.
The more human knowledge we put into the large language models, the better they can do.

176
00:11:33,834 --> 00:11:36,160
그러니 기분은 좋은 거죠.
So it feels good.

177
00:11:36,160 --> 00:11:44,560
하지만 저는 경험에서 배울 수 있는
시스템이 나올 거라고 봅니다.
Yet, I expect there to be systems that can learn from experience.

178
00:11:44,560 --> 00:11:49,440
그런 시스템이 훨씬 더 잘하고,
훨씬 더 확장 가능할 수 있어요.
Which could perform much better and be much more scalable.

179
00:11:49,440 --> 00:11:57,002
그러면 이것도 「쓰라린 교훈」의
또 다른 사례가 될 겁니다. 인간
In which case, it will be another instance of the bitter lesson, that the things that used human knowledge were eventually superseded by things that just trained from experience and computation.

180
00:11:57,002 --> 00:12:04,773
지식을 쓴 것들이 결국 경험과
연산만으로 학습한 것들에 밀려난다는.

181
00:12:05,120 --> 00:12:08,193
제가 보기엔 그게 핵심
쟁점은 아닌 것 같은데요.
I guess that doesn't seem like the crux to me.

182
00:12:08,193 --> 00:12:13,258
그쪽 사람들도 미래의
압도적인 연산량은 결국 경험
I think those people would also agree that the overwhelming amount of compute in the future will come from learning from experience.

183
00:12:13,258 --> 00:12:17,760
학습에서 나올 거라는
데 동의할 것 같아요.

184
00:12:17,760 --> 00:12:24,547
다만 그 발판, 그러니까 이
미래의 경험 학습— 즉 현장 학습에
They just think that the scaffold or the basis of that, the thing you'll start with in order to pour in the compute to do this future experiential learning or on-the-job learning, will be LLMs.

185
00:12:24,547 --> 00:12:30,947
연산을 쏟아부을 때 그 시작점은
LLM일 거라고 보는 거죠.

186
00:12:31,680 --> 00:12:36,480
그게 왜 완전히 잘못된 출발점인지
저는 아직도 이해가 안 되는데요.
I still don't understand why this is the wrong starting point altogether.

187
00:12:36,480 --> 00:12:39,604
경험 기반의 지속 학습을 시작하는 데
Why do we need a whole new architecture to begin doing experiential, continual learning?

188
00:12:39,604 --> 00:12:43,040
왜 아예 새로운 아키텍처가 필요한 거죠?

189
00:12:43,040 --> 00:12:45,780
LLM에서 시작해서 그걸
할 수는 없는 건가요?
Why can't we start with LLMs to do that?

190
00:12:45,780 --> 00:12:49,925
「쓰라린 교훈」의 모든
사례에서 인간 지식으로 시작한
In every case of the bitter lesson you could start with human knowledge and then do the scalable things.

191
00:12:49,925 --> 00:12:53,927
다음 확장 가능한 방법으로
넘어갈 수는 있었습니다.

192
00:12:53,927 --> 00:12:55,965
그건 항상 그랬어요.
That's always the case.

193
00:12:55,965 --> 00:12:59,887
그게 나쁠 이유는 전혀 없습니다.
There's never any reason why that has to be bad.

194
00:12:59,887 --> 00:13:04,951
하지만 실제로, 실전에서는
늘 나쁜 결과로 끝났습니다.
But in fact, and in practice, it has always turned out to be bad.

195
00:13:04,951 --> 00:13:10,747
사람들은 인간 지식 방식에
갇혀 버리고, 심리적으로…
People get locked into the human knowledge approach, and they psychologically…

196
00:13:10,747 --> 00:13:16,920
지금 이건 제 추측을 말하는 건데,
어쨌든 늘 이런 식으로 흘러갔습니다.
Now I'm speculating why it is, but this is what has always happened.

197
00:13:16,920 --> 00:13:22,207
결국 진짜로 확장 가능한 방법들에게
완전히 밀려나 버리는 거죠.
They get their lunch eaten by the methods that are truly scalable.

198
00:13:22,207 --> 00:13:24,800
그 확장 가능한 방법이 뭔지
좀 감을 잡게 해주시겠어요?
Give me a sense of what the scalable method is.

199
00:13:24,800 --> 00:13:29,694
확장 가능한 방법은
경험에서 배우는 겁니다.
The scalable method is you learn from experience.

200
00:13:29,694 --> 00:13:33,760
이것저것 시도해보고,
뭐가 되는지 보는 거죠.
You try things, you see what works.

201
00:13:33,760 --> 00:13:35,360
누가 알려줄 필요가 없습니다.
No one has to tell you.

202
00:13:35,360 --> 00:13:37,360
우선, 목표가 있어야 합니다.
First of all, you have a goal.

203
00:13:37,360 --> 00:13:41,920
목표가 없으면 옳고 그름이나
낫고 못함의 감각도 없습니다.
Without a goal, there's no sense of right or wrong or better or worse.

204
00:13:41,920 --> 00:13:48,000
LLM은 목표도, 낫고 못함의
감각도 없이 버텨보려는 겁니다.
Large language models are trying to get by without having a goal or a sense of better or worse.

205
00:13:48,000 --> 00:13:51,640
그게 정확히 잘못된
지점에서 출발하는 겁니다.
That's just exactly starting in the wrong place.

206
00:13:51,640 --> 00:13:55,840
이걸 인간과 비교해보면
흥미로울 것 같습니다.
Maybe it's interesting to compare this to humans.

207
00:13:55,840 --> 00:14:01,068
모방 학습 대 경험 학습의
경우든, 목표에 관한
In both the case of learning from imitation versus experience and on the question of goals, I think there's some interesting analogies.

208
00:14:01,068 --> 00:14:06,094
문제든, 흥미로운 유사점이
있는 것 같습니다.

209
00:14:06,094 --> 00:14:10,800
아이들은 처음에는 모방으로 배웁니다.
Kids will initially learn from imitation.

210
00:14:10,800 --> 00:14:12,653
그렇게 생각 안 하세요?
You don't think so?

211
00:14:12,653 --> 00:14:14,320
아니요. 당연히 아니죠.
No, of course not.

212
00:14:14,320 --> 00:14:14,924
정말요?
Really?

213
00:14:14,924 --> 00:14:17,340
제 생각엔 아이들은 그냥
사람들을 지켜볼 뿐입니다.
I think kids just watch people.

214
00:14:17,340 --> 00:14:19,680
같은 단어를 말해보려고 하는 거죠…
They try to say the same words…

215
00:14:19,680 --> 00:14:21,909
몇 살짜리 아이들 얘기인가요?
How old are these kids?

216
00:14:21,909 --> 00:14:24,880
생후 6개월까지는 어떤가요?
What about the first six months?

217
00:14:24,880 --> 00:14:26,373
그때는 모방을 하고 있다고 봅니다.
I think they're imitating things.

218
00:14:26,373 --> 00:14:29,726
엄마의 입 모양을 보고 그
소리를 따라 하려고 하는 거죠.
They're trying to make their mouth sound the way they see their mother's mouth sound.

219
00:14:29,726 --> 00:14:32,373
그러다 뜻도 모른 채 같은
단어를 말하게 됩니다.
Then they'll say the same words without understanding what they mean.

220
00:14:32,373 --> 00:14:37,070
나이가 들수록 그 모방의
복잡도가 높아지죠.
As they get older, the complexity of the imitation they do increases.

221
00:14:37,070 --> 00:14:40,975
당신이 속한 무리 사람들이 사슴을 사냥할
You're imitating maybe the skills that people in your band are using to hunt down the deer or something.

222
00:14:40,975 --> 00:14:44,880
때 쓰는 기술 같은 걸 모방하는 겁니다.

223
00:14:44,880 --> 00:14:47,840
그러고 나서 경험에서 배우는
RL 체제로 넘어가는 거죠.
Then you go into the learning from experience RL regime.

224
00:14:47,840 --> 00:14:51,680
하지만 인간에게는 모방 학습이
정말 많이 일어난다고 생각합니다.
But I think there's a lot of imitation learning happening with humans.

225
00:14:51,680 --> 00:14:55,360
그렇게 다른 관점을 가지실
수 있다니 놀랍네요.
It's surprising you can have such a different point of view.

226
00:14:55,360 --> 00:15:00,210
제가 보는 아이들은 그냥
이것저것 시도하고,
When I see kids, I see kids just trying things and waving their hands around and moving their eyes around.

227
00:15:00,210 --> 00:15:05,464
손을 휘두르고, 눈을
이리저리 움직일 뿐입니다.

228
00:15:05,464 --> 00:15:12,449
눈을 움직이는 방식이나 심지어 내는
소리에도 모방이랄 게 없습니다.
There's no imitation for how they move their eyes around or even the sounds they make.

229
00:15:12,449 --> 00:15:17,680
같은 소리를 내고 싶어할
수는 있지만, 아기가
They may want to create the same sounds, but the actions, the thing that the infant actually does, there's no targets for that.

230
00:15:17,680 --> 00:15:23,120
실제로 하는 행동에는 따라
할 목표가 없습니다.

231
00:15:23,120 --> 00:15:24,560
그런 행동에 대한 예시란 게 없는 거죠.
There are no examples for that.

232
00:15:24,560 --> 00:15:24,965
동의합니다.
I agree.

233
00:15:24,965 --> 00:15:26,995
그게 유아가 하는 모든 걸 설명하진
That doesn't explain everything infants do, but I think it guides a learning process.

234
00:15:26,995 --> 00:15:29,238
못하지만, 학습 과정을 이끈다고 봐요.

235
00:15:29,238 --> 00:15:34,386
LLM도 학습 초반에 다음 토큰을
예측하려 할 때 일단 추측을 합니다.
Even an LLM, when it's trying to predict the next token early in training, it will make a guess.

236
00:15:34,386 --> 00:15:36,800
실제로 보게 되는 것과는 다를 거고요.
It'll be different from what it actually sees.

237
00:15:36,800 --> 00:15:39,331
어떤 의미에서는 아주 짧은
호라이즌의 RL인 셈이에요.
In some sense, it's very short-horizon RL, where it's making this guess, "I think this token will be this."

238
00:15:39,331 --> 00:15:41,524
"이 토큰은 이럴 거야"라고
추측하는 거니까요.

239
00:15:41,524 --> 00:15:44,581
아이가 단어를 말해보려는 것과
비슷한, 또 다른 무언가인 거죠.
It's this other thing, similar to how a kid will try to say a word.

240
00:15:44,581 --> 00:15:45,733
틀리게 나오는 거고요.
It comes out wrong.

241
00:15:45,733 --> 00:15:49,065
LLM은 학습 데이터로부터
배우는 겁니다.
The large language models are learning from training data.

242
00:15:49,065 --> 00:15:51,070
경험에서 배우는 게 아니에요.
It's not learning from experience.

243
00:15:51,070 --> 00:15:56,552
일상에서는 결코 주어지지 않을
무언가로부터 배우는 거죠.
It's learning from something that will never be available during its normal life.

244
00:15:56,552 --> 00:15:59,556
일상에서 "이 행동을 해야 해"라고
There's never any training data that says you should do this action in normal life.

245
00:15:59,556 --> 00:16:02,876
말해주는 학습 데이터는 절대 없습니다.

246
00:16:02,876 --> 00:16:06,040
제 생각엔 이건 의미론적인
구분에 더 가까운 것 같은데요.
I think this is more of a semantic distinction.

247
00:16:06,040 --> 00:16:07,040
학교는 뭐라고 하실 건가요?
What do you call school?

248
00:16:07,040 --> 00:16:09,540
그건 학습 데이터가 아닌가요?
Is that not training data?

249
00:16:10,640 --> 00:16:12,086
학교는 훨씬 나중 얘기죠.
School is much later.

250
00:16:12,086 --> 00:16:15,200
그렇죠, "절대"라는 말은
하지 말았어야 했네요.
Okay, I shouldn't have said never.

251
00:16:15,200 --> 00:16:17,680
글쎄요, 저는 학교에 대해서도
그렇게 말할 것 같은데요.
I don’t know, I think I would even say that about school.

252
00:16:17,680 --> 00:16:21,497
하지만 정규 교육은 예외죠.
But formal schooling is the exception.

253
00:16:21,497 --> 00:16:25,548
그런데 학습에는 단계가
있잖아요. 초반엔 생물학적으로
But there are phases of learning where there’s the programming in your biology early on, you're not that useful.

254
00:16:25,548 --> 00:16:29,040
이미 프로그래밍된 상태라
별로 쓸모가 없고요.

255
00:16:29,040 --> 00:16:32,063
그다음엔 세상을 이해하고
그것과 상호작용하는
Then why you exist is to understand the world and learn how to interact with it.

256
00:16:32,063 --> 00:16:34,960
법을 배우는 게 존재
이유가 되는 거고요.

257
00:16:34,960 --> 00:16:37,240
그건 훈련 단계처럼 보이는데요.
It seems like a training phase.

258
00:16:37,240 --> 00:16:40,110
그 이후로 좀 더 점진적이
된다는 데는 동의해요…
I agree that then there's a more gradual…

259
00:16:40,110 --> 00:16:43,637
훈련에서 배포로 넘어가는
뚜렷한 경계는 없지만, 초기
There's not a sharp cutoff to training to deployment, but there seems to be this initial training phase right?

260
00:16:43,637 --> 00:16:46,800
훈련 단계라는 게 분명
있는 거잖아요, 그렇죠?

261
00:16:46,800 --> 00:16:50,857
뭘 해야 하는지 훈련시켜주는
건 아무것도 없어요.
There's nothing where you have training of what you should do.

262
00:16:50,857 --> 00:16:52,553
아무것도 없어요.
There's nothing.

263
00:16:52,553 --> 00:16:55,347
일어나는 일들을 보는 겁니다.
You see things that happen.

264
00:16:55,347 --> 00:16:58,141
뭘 해야 하는지 지시받는 게 아닙니다.
You're not told what to do.

265
00:16:58,141 --> 00:17:00,348
그렇게 까다롭게 굴지 마세요.
Don't be difficult.

266
00:17:00,348 --> 00:17:01,769
그러니까 이건 명백합니다.
I mean this is obvious.

267
00:17:01,769 --> 00:17:03,840
말 그대로 뭘 해야 할지
가르침을 받는 겁니다.
You're literally taught what to do.

268
00:17:03,840 --> 00:17:05,840
'training'이라는 단어 자체가
This is where the word training comes from, from humans.

269
00:17:05,840 --> 00:17:07,840
바로 여기, 인간에게서 나온 겁니다.

270
00:17:07,840 --> 00:17:10,920
저는 학습이 정말 훈련에 관한
거라고 생각하지 않습니다.
I don't think learning is really about training.

271
00:17:10,920 --> 00:17:15,296
학습은 '학습'에 관한
겁니다. 능동적인 과정입니다.
I think learning is about learning, it's about an active process.

272
00:17:15,296 --> 00:17:19,987
아이는 이것저것 시도해보고 무슨
일이 일어나는지 보는 겁니다.
The child tries things and sees what happens.

273
00:17:22,400 --> 00:17:27,040
우리는 유아가 자라는 걸 생각할
때 '훈련'을 떠올리지 않습니다.
We don't think about training when we think of an infant growing up.

274
00:17:27,040 --> 00:17:29,721
사실 이런 것들은 꽤
잘 밝혀져 있습니다.
These things are actually rather well understood.

275
00:17:29,721 --> 00:17:35,855
심리학자들이 학습을 어떻게 보는지
살펴보면, 모방 같은 건 없습니다.
If you look at how psychologists think about learning, there's nothing like imitation.

276
00:17:35,855 --> 00:17:41,169
인간이 그렇게 하거나 그런 것처럼
보이는 극단적인 사례는 있을
Maybe there are some extreme cases where humans might do that or appear to do that, but there's no basic animal learning process called imitation.

277
00:17:41,169 --> 00:17:46,640
수 있지만, '모방'이라는 기본적인
동물 학습 과정은 없습니다.

278
00:17:46,640 --> 00:17:53,200
예측과 시행착오 제어를 위한 기본적인
동물 학습 과정은 있습니다.
There are basic animal learning processes for prediction and for trial-and-error control.

279
00:17:53,200 --> 00:17:58,080
가장 명백한 것들이 때로는 가장
보기 어렵다는 게 참 흥미롭습니다.
It's really interesting how sometimes the hardest things to see are the obvious ones.

280
00:17:58,080 --> 00:18:05,496
동물들이 어떻게 학습하는지,
그리고 그에 대한 심리학과 이론들을
It's obvious—if you look at animals and how they learn, and you look at psychology and our theories of them—that supervised learning is not part of the way animals learn.

281
00:18:05,496 --> 00:18:13,760
살펴보면 지도 학습이 동물 학습
방식의 일부가 아니라는 건 명백합니다.

282
00:18:13,760 --> 00:18:16,859
바람직한 행동의 예시 같은 건 없습니다.
We don't have examples of desired behavior.

283
00:18:16,859 --> 00:18:19,720
있는 건 그저 일어난
일들의 예시, 한 가지
What we have are examples of things that happen, one thing that followed another.

284
00:18:19,720 --> 00:18:22,581
일 다음에 다른 일이
이어졌다는 것뿐입니다.

285
00:18:22,581 --> 00:18:27,682
"우리가 뭔가를 했고, 그 결과가
있었다"는 예시는 있습니다.
We have examples of, "We did something and there were consequences."

286
00:18:27,682 --> 00:18:32,080
하지만 지도 학습의 예시는 없습니다.
But there are no examples of supervised learning.

287
00:18:32,080 --> 00:18:36,569
지도 학습은 자연에서
일어나는 일이 아닙니다.
Supervised learning is not something that happens in nature.

288
00:18:38,400 --> 00:18:42,103
설령 학교에서는 그렇다 해도
잊어버려야 합니다. 그건
Even if that were the case with school, we should forget about it because that's some special thing that happens in people.

289
00:18:42,103 --> 00:18:45,550
사람에게서만 일어나는
특수한 현상이기 때문입니다.

290
00:18:45,550 --> 00:18:47,778
자연 전반에서는 일어나지 않는 일입니다.
It doesn't happen broadly in nature.

291
00:18:47,778 --> 00:18:49,387
다람쥐는 학교에 다니지 않습니다.
Squirrels don't go to school.

292
00:18:49,387 --> 00:18:51,520
다람쥐는 세상에 대해 모든
걸 배울 수 있습니다.
Squirrels can learn all about the world.

293
00:18:51,520 --> 00:18:59,680
동물에게 지도 학습이 일어나지 않는다는
건 너무나 명백하다고 봅니다.
It's absolutely obvious, I would say, that supervised learning doesn't happen in animals.

294
00:18:59,680 --> 00:19:04,386
제가 심리학자이자 인류학자인
조지프 헨릭을 인터뷰했는데,
I interviewed this psychologist and anthropologist, Joseph Henrich, who has done work about cultural evolution, basically what distinguishes humans and how humans pick up knowledge.

295
00:19:04,386 --> 00:19:08,788
문화적 진화를 연구해온
분입니다. 인간을 구별짓는 게

296
00:19:08,788 --> 00:19:13,798
무엇인지, 인간이 지식을 어떻게
습득하는지를 다루는 연구죠.

297
00:19:13,798 --> 00:19:16,339
왜 인간을 구별지으려는 거죠?
Why are you trying to distinguish humans?

298
00:19:16,339 --> 00:19:18,187
인간도 동물입니다.
Humans are animals.

299
00:19:18,187 --> 00:19:22,160
우리가 공통으로 가진
것이 더 흥미롭습니다.
What we have in common is more interesting.

300
00:19:22,160 --> 00:19:26,000
우리를 구별짓는 것에는
관심을 덜 둬야 합니다.
What distinguishes us, we should be paying less attention to.

301
00:19:26,000 --> 00:19:28,267
우리는 지능을 재현해내려는 겁니다.
We're trying to replicate intelligence.

302
00:19:28,267 --> 00:19:33,222
인간이 달에 가거나 반도체를 만들 수
있게 하는 게 무엇인지 알고 싶다면,
If you want to understand what it is that enables humans to go to the moon or to build semiconductors, I think the thing we want to understand is what makes that happen.

303
00:19:33,222 --> 00:19:37,815
우리가 이해하고 싶은 건 바로 그걸
가능하게 하는 요인이라고 봅니다.

304
00:19:37,815 --> 00:19:40,217
어떤 동물도 달에 가거나
반도체를 만들 수는 없죠.
No animal can go to the moon or make semiconductors.

305
00:19:40,217 --> 00:19:42,640
우리는 인간을 특별하게 만드는 게
무엇인지 이해하고 싶은 겁니다.
We want to understand what makes humans special.

306
00:19:42,640 --> 00:19:45,959
그렇게 생각하시는 게
명백하다니 흥미롭네요.
I like the way you consider that obvious, because I consider the opposite obvious.

307
00:19:45,959 --> 00:19:49,277
저는 오히려 그 반대가
명백하다고 보거든요.

308
00:19:50,640 --> 00:19:53,879
우리가 어떻게 동물인지를
이해해야 합니다.
We have to understand how we are animals.

309
00:19:53,879 --> 00:20:01,040
다람쥐를 이해한다면, 인간 지능도
거의 다 이해한 셈이라고 봅니다.
If we understood a squirrel, I think we'd be almost all the way there to understanding human intelligence.

310
00:20:01,040 --> 00:20:05,894
언어는 그저 표면에 살짝
입혀진 겉치레일 뿐이에요.
The language part is just a small veneer on the surface.

311
00:20:05,894 --> 00:20:07,172
이거 정말 좋네요.
This is great.

312
00:20:07,172 --> 00:20:11,929
우리가 서로 얼마나 다르게
생각하는지 알아가고 있는 거죠.
We're finding out the very different ways that we're thinking.

313
00:20:11,929 --> 00:20:13,305
우리는 논쟁하는 게 아닙니다.
We're not arguing.

314
00:20:13,305 --> 00:20:17,757
서로 다른 사고방식을 나누려는 거죠.
We're trying to share our different ways of thinking with each other.

315
00:20:17,757 --> 00:20:20,724
저는 논쟁이 유용하다고 생각합니다.
I think argument is useful.

316
00:20:21,120 --> 00:20:22,945
이 얘기는 마저 끝내고 싶은데요.
I do want to complete this thought.

317
00:20:22,945 --> 00:20:28,208
조지프 헨릭은 인간이 성공하기
위해 반드시 익혀야 했던
Joseph Henrich has this interesting theory about a lot of the skills that humans have had to master in order to be successful.

318
00:20:28,208 --> 00:20:33,120
여러 기술들에 관해 흥미로운
이론을 갖고 있습니다.

319
00:20:33,120 --> 00:20:38,672
지난 1000년이나 1만 년이 아니라,
수십만 년에 걸친 이야기입니다.
We're not talking about the last thousand years or the last 10,000 years, but hundreds of thousands of years.

320
00:20:38,672 --> 00:20:41,342
세상은 정말 복잡합니다.
The world is really complicated.

321
00:20:41,342 --> 00:20:45,911
북극에 산다고 해서,
이를테면 물개를 어떻게
It's not possible to reason through how to, let’s say, hunt a seal if you're living in the Arctic.

322
00:20:45,911 --> 00:20:50,480
사냥할지 논리적으로
추론해낼 수는 없습니다.

323
00:20:50,480 --> 00:20:56,515
미끼를 만드는 법, 물개를 찾는 법,
그리고 중독되지 않도록 그 음식을
There's this many, many-step, long process of how to make the bait and how to find the seal, and then how to process the food in a way that makes sure you won't get poisoned.

324
00:20:56,515 --> 00:21:02,240
처리하는 법까지, 수많은 단계를
거치는 길고 긴 과정이 있는 거죠.

325
00:21:02,240 --> 00:21:06,041
그 모든 걸 추론으로
풀어낼 수는 없습니다.
It's not possible to reason through all of that.

326
00:21:06,041 --> 00:21:10,409
시간이 흐르면서, 어떤
비유를 쓰든—RL이든 다른
Over time, there's this larger process of whatever analogy you want to use—maybe RL, something else—where culture as a whole has figured out how to find and kill and eat seals.

327
00:21:10,409 --> 00:21:14,777
무엇이든—문화 전체가
물개를 찾아내고 죽이고 먹는

328
00:21:14,777 --> 00:21:18,821
법을 알아내는 이 더
큰 과정이 있는 겁니다.

329
00:21:18,821 --> 00:21:25,715
그의 관점에서 보면, 이 지식이
세대를 거쳐 전달될 때 일어나는
In his view, what is happening when this knowledge is transmitted through generations, is that you have to imitate your elders in order to learn that skill.

330
00:21:25,715 --> 00:21:32,412
일은, 그 기술을 배우려면 윗세대를
모방해야 한다는 것입니다.

331
00:21:32,412 --> 00:21:34,297
물개를 사냥하고 죽이고 손질하는 법을
You can't think your way through how to hunt and kill and process a seal.

332
00:21:34,297 --> 00:21:36,558
머릿속으로 생각해내서
알아낼 수는 없습니다.

333
00:21:36,558 --> 00:21:39,799
다른 사람들을 지켜보면서,
어쩌면 조금씩 손보고
You have to watch other people, maybe make tweaks and adjustments, and that's how knowledge accumulates.

334
00:21:39,799 --> 00:21:43,040
조정해가야 하고, 그렇게
지식이 쌓이는 겁니다.

335
00:21:43,040 --> 00:21:46,240
문화적 습득의 첫 단계는
반드시 모방이어야 합니다.
The initial step of the cultural gain has to be imitation.

336
00:21:46,240 --> 00:21:48,218
그런데 혹시 다르게 생각하시나요?
But maybe you think about it a different way?

337
00:21:48,218 --> 00:21:50,720
아니요, 저도 같은 생각입니다.
No, I think about it the same way.

338
00:21:50,720 --> 00:21:54,349
그래도 그건 기본적인 시행착오 학습,
Still, it's a small thing on top of basic trial-and-error learning, prediction learning.

339
00:21:54,349 --> 00:21:58,160
예측 학습 위에 얹힌 작은 부분입니다.

340
00:21:58,160 --> 00:22:03,715
그게 어쩌면 우리를 많은 동물들과
구분 짓는 지점일 겁니다.
It's what distinguishes us, perhaps, from many animals.

341
00:22:03,715 --> 00:22:06,339
하지만 우리는 우선 동물입니다.
But we're an animal first.

342
00:22:06,339 --> 00:22:13,520
언어나 다른 여러 가지를 갖기
전에 우리는 동물이었습니다.
We were an animal before we had language and all those other things.

343
00:22:13,520 --> 00:22:16,904
지속 학습이 대부분의
포유류가 가진 능력이라는
I do think you make a very interesting point that continual learning is a capability that most mammals have.

344
00:22:16,904 --> 00:22:20,018
점, 정말 흥미로운
지적이라고 생각합니다.

345
00:22:20,018 --> 00:22:22,400
아마 모든 포유류가 가지고 있겠죠.
I guess all mammals have it.

346
00:22:22,400 --> 00:22:25,662
모든 포유류가 가진 걸
우리는 가지고 있는데, 우리
It's quite interesting that we have something that all mammals have, but our AI systems don't have.

347
00:22:25,662 --> 00:22:29,040
AI 시스템은 갖고 있지
않다는 게 꽤 흥미롭습니다.

348
00:22:29,040 --> 00:22:32,419
반면 수학을 이해하고
어려운 수학 문제를 푸는
Whereas the ability to understand math and solve difficult math problems—depends on how you define math—is a capability that our AIs have, but that almost no animal has.

349
00:22:32,419 --> 00:22:36,339
능력은—수학을 어떻게
정의하느냐에 따라 다르지만—우리

350
00:22:36,339 --> 00:22:40,800
AI는 가지고 있지만 거의 어떤
동물도 갖지 못한 능력이죠.

351
00:22:40,800 --> 00:22:45,520
결국 뭐가 어렵고 뭐가
쉬운지가 꽤 흥미롭습니다.
It's quite interesting what ends up being difficult and what ends up being easy.

352
00:22:45,520 --> 00:22:50,187
모라벡의 역설이죠.
Moravec's paradox.

353
00:23:14,962 --> 00:23:19,462
맞아요, 맞아요.
That’s right, that’s right.

354
00:23:58,080 --> 00:24:00,693
지금 구상하고 계신 이
대안적 패러다임 말인데요…
This alternative paradigm that you're imagining…

355
00:24:00,693 --> 00:24:02,133
경험 패러다임이죠.
The experiential paradigm.

356
00:24:02,133 --> 00:24:04,926
조금 풀어서 짚어보죠.
Let's lay it out a little bit.

357
00:24:04,926 --> 00:24:10,418
경험, 행동, 감각—아니,
감각·행동·보상이 평생 동안
It says that experience, action, sensation—well, sensation, action, reward—this happens on and on and on for your life.

358
00:24:10,418 --> 00:24:15,360
계속되고, 계속되고, 또
계속된다는 이야기입니다.

359
00:24:15,360 --> 00:24:20,160
이게 지능의 토대이자
초점이라는 이야기입니다.
It says that this is the foundation and the focus of intelligence.

360
00:24:20,160 --> 00:24:24,916
지능이란 그 스트림을
받아들여, 스트림 속 보상을
Intelligence is about taking that stream and altering the actions to increase the rewards in the stream.

361
00:24:24,916 --> 00:24:29,144
늘리는 방향으로 행동을
바꿔나가는 것입니다.

362
00:24:29,144 --> 00:24:32,868
그러니까 학습은
스트림으로부터 이루어지고,
Learning then is from the stream, and learning is about the stream.

363
00:24:32,868 --> 00:24:35,620
학습은 스트림에 관한 것입니다.

364
00:24:35,620 --> 00:24:40,640
특히 그 두 번째 부분이 의미심장하죠.
That second part is particularly telling.

365
00:24:40,640 --> 00:24:44,320
여러분이 배우는 것, 즉
지식은 스트림에 관한 것입니다.
What you learn, your knowledge, is about the stream.

366
00:24:44,320 --> 00:24:48,240
지식이란 어떤 행동을 하면 무슨
일이 일어나는지에 관한 것이죠.
Your knowledge is about if you do some action, what will happen.

367
00:24:48,240 --> 00:24:52,244
혹은 어떤 사건 다음에 어떤
사건이 뒤따르는지에 관한 것입니다.
Or it's about which events will follow other events.

368
00:24:52,244 --> 00:24:53,982
스트림에 관한 것이죠.
It's about the stream.

369
00:24:53,982 --> 00:24:58,636
지식의 내용은 스트림에 관한 진술입니다.
The content of the knowledge is statements about the stream.

370
00:24:58,636 --> 00:25:02,678
스트림에 관한 진술이기
때문에, 스트림과 비교해서
Because it's a statement about the stream, you can test it by comparing it to the stream, and you can learn it continually.

371
00:25:02,678 --> 00:25:06,720
검증할 수 있고, 지속적으로
학습할 수 있습니다.

372
00:25:06,720 --> 00:25:10,400
이 미래의 지속 학습
에이전트를 상상하실 때…
When you're imagining this future continual learning agent…

373
00:25:10,400 --> 00:25:11,481
'미래'가 아닙니다.
They're not "future".

374
00:25:11,481 --> 00:25:13,760
당연히, 이들은 늘 존재하죠.
Of course, they exist all the time.

375
00:25:13,760 --> 00:25:17,200
이것이 바로 강화학습
패러다임, 즉 경험 학습입니다.
This is what the reinforcement learning paradigm is, learning from experience.

376
00:25:17,200 --> 00:25:19,975
네, 아마 제가 말씀드리려던 건 인간
Yeah, I guess what I meant to say is a general human-level, general continual learning agent.

377
00:25:19,975 --> 00:25:23,027
수준의 범용 지속 학습 에이전트였습니다.

378
00:25:23,027 --> 00:25:24,859
보상 함수는 무엇인가요?
What is the reward function?

379
00:25:24,859 --> 00:25:26,880
그냥 세상을 예측하는 건가요?
Is it just predicting the world?

380
00:25:26,880 --> 00:25:30,563
아니면 세상에 특정한
영향을 미치는 건가요?
Is it then having a specific effect on it?

381
00:25:30,563 --> 00:25:34,160
범용적인 보상 함수는 무엇일까요?
What would the general reward function be?

382
00:25:34,160 --> 00:25:37,277
보상 함수는 임의적입니다.
The reward function is arbitrary.

383
00:25:37,277 --> 00:25:42,320
체스를 둔다면, 목표는
체스에서 이기는 것이죠.
If you're playing chess, it's to win the game of chess.

384
00:25:42,320 --> 00:25:50,124
다람쥐라면, 보상은 견과류를
얻는 것과 관련이 있을 겁니다.
If you're a squirrel, maybe the reward has to do with getting nuts.

385
00:25:51,680 --> 00:25:55,472
일반적으로 동물의 경우, 보상은 고통을
In general, for an animal, you would say the reward is to avoid pain and to acquire pleasure.

386
00:25:55,472 --> 00:25:59,986
피하고 쾌락을 얻는
것이라고 할 수 있습니다.

387
00:26:04,480 --> 00:26:11,760
환경에 대한 이해를 높이는 것과 관련된
요소도 있어야 한다고 생각합니다.
I think there also should be a component having to do with your increasing understanding of your environment.

388
00:26:11,760 --> 00:26:14,800
그건 일종의 내재적
동기라고 할 수 있겠죠.
That would be sort of an intrinsic motivation.

389
00:26:14,800 --> 00:26:15,459
그렇군요.
I see.

390
00:26:15,459 --> 00:26:20,413
이 AI를 두고, 많은
사람들이 여러 가지
With this AI, lots of people would want it to be doing lots of different kinds of things.

391
00:26:20,413 --> 00:26:24,720
다양한 일을 시키고 싶어 할 텐데요.

392
00:26:24,720 --> 00:26:28,344
사람들이 원하는 과제를
수행하면서, 동시에
It's performing the task people want, but at the same time, it's learning about the world from doing that task.

393
00:26:28,344 --> 00:26:31,968
그 과제를 통해 세상에
대해 배우는 거죠.

394
00:26:31,968 --> 00:26:40,960
훈련 기간과 배포 기간이 나뉘어
있는 패러다임을 없앤다고 해보죠.
Let’s say we get rid of this paradigm where there's training periods and then there's deployment periods.

395
00:26:40,960 --> 00:26:45,792
그럼 모델이 있고 그 모델의
인스턴스나 사본들이 각자
Do we also get rid of this paradigm where there's the model and then instances of the model or copies of the model that are doing certain things?

396
00:26:45,792 --> 00:26:50,124
뭔가를 하고 있는 이
패러다임도 없애는 건가요?

397
00:26:50,124 --> 00:26:52,747
우리가 이게 여러 가지 다른 일을 하길
How do you think about the fact that we'd want this thing to be doing different things?

398
00:26:52,747 --> 00:26:55,120
원한다는 사실은 어떻게 생각하세요?

399
00:26:55,120 --> 00:26:59,046
그 여러 일을 하면서 얻는
지식을 모으고 싶을 텐데요.
We'd want to aggregate the knowledge that it's gaining from doing those different things.

400
00:26:59,046 --> 00:27:02,783
방금 그렇게 쓰신 '모델'이라는
단어는 마음에 안 듭니다.
I don't like the word "model" when used the way you just did.

401
00:27:02,783 --> 00:27:05,638
'네트워크'라는 말이
더 나을 것 같아요.
I think a better word would be "the network" because I think you mean the network.

402
00:27:05,638 --> 00:27:08,368
말씀하신 게 네트워크를 뜻하는 거니까요.

403
00:27:08,368 --> 00:27:10,430
네트워크가 여럿일 수도 있고요.
Maybe there are many networks.

404
00:27:10,430 --> 00:27:12,810
어쨌든 뭔가는 학습이 되겠죠.
Anyway, things would be learned.

405
00:27:12,810 --> 00:27:16,135
사본들, 여러 인스턴스가
생기게 될 겁니다.
You'd have copies and many instances.

406
00:27:16,135 --> 00:27:20,934
물론 그 인스턴스들 사이에
지식을 공유하고 싶으시겠죠.
Sure, you'd want to share knowledge across the instances.

407
00:27:20,934 --> 00:27:25,082
그걸 할 방법은 여러
가지가 있을 겁니다.
There would be lots of possibilities for doing that.

408
00:27:25,082 --> 00:27:29,030
지금은 아이 한 명이 자라면서
세상에 대해 배우고,
Today, you have one child grow up and learn about the world, and then every new child has to repeat that process.

409
00:27:29,030 --> 00:27:33,120
새로 태어난 아이마다 그
과정을 또 반복해야 합니다.

410
00:27:33,120 --> 00:27:37,185
반면 AI, 디지털 지능이라면
그걸 한 번만 해두고 다음
Whereas with AIs, with a digital intelligence, you could hope to do it once and then copy it into the next one as a starting place.

411
00:27:37,185 --> 00:27:41,119
것에 출발점으로 복사해 넣을
수 있길 기대할 수 있죠.

412
00:27:41,119 --> 00:27:44,160
이건 엄청난 절약이 될 겁니다.
This would be a huge savings.

413
00:27:44,160 --> 00:27:49,680
사람에게서 배우려는 것보다 이게
훨씬 더 중요하다고 봐요.
I think it'd be much more important than trying to learn from people.

414
00:27:49,680 --> 00:27:53,686
말씀하신 그런 것이 LLM에서 시작하든
I agree that the kind of thing you're talking about is necessary regardless of whether you start from LLMs or not.

415
00:27:53,686 --> 00:27:57,311
아니든 필요하다는 데는 동의합니다.

416
00:27:57,311 --> 00:28:01,982
인간이나 동물 수준의 지능을
원한다면 이 능력이 필요할 겁니다.
If you want human or animal-level intelligence, you're going to need this capability.

417
00:28:01,982 --> 00:28:05,440
어떤 사람이 스타트업을
하려 한다고 해보죠.
Suppose a human is trying to make a startup.

418
00:28:05,440 --> 00:28:08,640
이건 10년짜리 보상을 갖는 일입니다.
This is a thing which has a reward on the order of 10 years.

419
00:28:08,640 --> 00:28:12,480
10년에 한 번 엑싯을 해서
10억 달러를 받을 수도 있고요.
Once in 10 years you might have an exit where you get paid out a billion dollars.

420
00:28:12,480 --> 00:28:16,211
하지만 사람에게는 중간
단계의 보조 보상을 만들어내는
But humans have this ability to make intermediate auxiliary rewards or have some way of…Even when they have extremely sparse rewards, they can still make intermediate steps having an understanding of what the next thing they're doing leads to this grander goal we have.

421
00:28:16,211 --> 00:28:20,329
능력이 있죠. 아니면 뭔가
방법이 있달까요… 보상이 극도로

422
00:28:20,329 --> 00:28:24,446
희소할 때도, 지금 하는 일이
이 더 큰 목표로 이어진다는

423
00:28:24,446 --> 00:28:27,920
걸 이해하며 중간 단계들을
밟아나갈 수 있습니다.

424
00:28:27,920 --> 00:28:31,520
AI에서는 이런 과정이 어떻게
펼쳐질 거라고 생각하세요?
How do you imagine such a process might play out with AIs?

425
00:28:31,520 --> 00:28:33,691
이건 우리가 아주 잘 아는 겁니다.
This is something we know very well.

426
00:28:33,691 --> 00:28:37,522
그 바탕에 있는 게
TD 학습입니다. 같은
The basis of it is temporal difference learning where the same thing happens in a less grandiose scale.

427
00:28:37,522 --> 00:28:41,520
일이 훨씬 덜 거창한
규모로 일어나는 거죠.

428
00:28:41,520 --> 00:28:46,880
체스를 배울 때는 게임에서
이기는 게 장기적인 목표죠.
When you learn to play chess, you have the long-term goal of winning the game.

429
00:28:46,880 --> 00:28:50,571
그런데 상대 말을 잡는 것 같은 더
Yet you want to be able to learn from shorter-term things like taking your opponent's pieces.

430
00:28:50,571 --> 00:28:55,040
단기적인 일에서도 배울
수 있어야 합니다.

431
00:28:55,040 --> 00:28:59,760
그건 장기적 결과를 예측하는 가치
함수를 가짐으로써 가능해지죠.
You do that by having a value function which predicts the long-term outcome.

432
00:28:59,760 --> 00:29:05,040
상대 말을 잡으면 장기적
결과에 대한 예측이 바뀝니다.
Then if you take the guy's pieces, your prediction about the long-term outcome is changed.

433
00:29:05,040 --> 00:29:08,285
예측치가 올라가면서 이길
거라고 생각하게 되고요.
It goes up, you think you're going to win.

434
00:29:08,285 --> 00:29:16,010
그러면 그 믿음의 상승이 말을 잡게
만든 수를 즉시 강화하는 겁니다.
Then that increase in your belief immediately reinforces the move that led to taking the piece.

435
00:29:16,010 --> 00:29:22,240
저희한테 스타트업을 만들어서 큰돈을
버는 10년짜리 장기 목표가 있어요.
We have this long-term 10-year goal of making a startup and making a lot of money.

436
00:29:22,240 --> 00:29:28,753
진전이 있을 때마다 '아, 장기
목표를 이룰 가능성이 높아졌다'고
When we make progress, we say, "Oh, I'm more likely to achieve the long-term goal," and that rewards the steps along the way.

437
00:29:28,753 --> 00:29:34,000
말하고, 그게 그 과정의
단계들에 보상을 주는 거죠.

438
00:29:34,000 --> 00:29:39,280
그리고 배우고 있는 정보를 담아둘
능력도 어느 정도 필요하고요.
You also want some ability for information that you're learning.

439
00:29:39,280 --> 00:29:43,250
인간을 이런 LLM들과 상당히
다르게 만드는 것 중 하나는, 어떤
One of the things that makes humans quite different from these LLMs is that if you're onboarding on a job, you're picking up so much context and information.

440
00:29:43,250 --> 00:29:47,440
직장에 새로 적응할 때 정말 많은
맥락과 정보를 습득한다는 점이에요.

441
00:29:47,440 --> 00:29:49,424
그게 바로 그 일을
잘하게 만드는 거고요.
That's what makes you useful at the job.

442
00:29:49,424 --> 00:29:56,560
고객의 취향부터 회사가 돌아가는
방식까지, 모든 걸 배우게 되죠.
You're learning everything from how your client has preferences to how the company works, everything.

443
00:29:56,560 --> 00:30:01,714
TD 학습 같은 절차로 얻는
정보의 대역폭이, 인간이
Is the bandwidth of information that you get from a procedure like TD learning high enough to have this huge pipe of context and tacit knowledge that you need to be picking up in the way humans do when they're just deployed?

444
00:30:01,714 --> 00:30:06,689
현장에 막 투입됐을 때처럼
습득해야 하는 이 방대한

445
00:30:06,689 --> 00:30:11,843
맥락과 암묵지의 파이프라인을
감당할 만큼 충분한가요?

446
00:30:14,560 --> 00:30:17,412
확실친 않지만, 이 문제의 핵심에는 큰
I’m not sure but I think at the crux of this, the big world hypothesis seems very relevant.

447
00:30:17,412 --> 00:30:20,400
세계 가설이 매우 관련이 있다고 봅니다.

448
00:30:20,400 --> 00:30:24,538
인간이 일을 잘하게 되는 이유는 자기만의
The reason why humans become useful on the job is because they are encountering their particular part of the world.

449
00:30:24,538 --> 00:30:28,677
특정한 세계의 일부를 마주하기 때문이죠.

450
00:30:28,677 --> 00:30:35,107
그건 미리 예상할 수도, 전부
미리 넣어둘 수도 없는 것입니다.
It can't have been anticipated and can't all have been put in in advance.

451
00:30:35,107 --> 00:30:38,640
세상은 너무 커서 그럴 수가 없어요.
The world is so huge that you can't.

452
00:30:38,640 --> 00:30:42,375
제가 보기에 LLM의 꿈은, 에이전트에게
The dream of large language models, as I see it, is you can teach the agent everything.

453
00:30:42,375 --> 00:30:45,600
모든 걸 가르칠 수 있다는 겁니다.

454
00:30:45,600 --> 00:30:49,484
모든 걸 알게 되어서,
살아가면서 실시간으로
It will know everything and won't have to learn anything online, during its life.

455
00:30:49,484 --> 00:30:52,720
뭔가를 배울 필요가 없어진다는 거죠.

456
00:30:52,720 --> 00:30:56,874
당신이 든 예시들은 전부 '사실은
배워야만 한다'는 쪽이에요.
Your examples are all, "Well, really you have to" because you can teach it, but there's all the little idiosyncrasies of the particular life they're leading and the particular people they're working with and what they like, as opposed to what average people like.

457
00:30:56,874 --> 00:31:00,539
가르칠 수는 있지만, 그들이
살아가는 특정한 삶, 함께

458
00:31:00,539 --> 00:31:04,326
일하는 특정한 사람들, 평균적인
사람들이 아니라 바로 그

459
00:31:04,326 --> 00:31:08,480
사람들이 좋아하는 것 같은 온갖
자잘한 특이점들이 있으니까요.

460
00:31:08,480 --> 00:31:11,186
그건 그냥 세상이 정말 크고, 그걸
That's just saying the world is really big, and you're going to have to learn it along the way.

461
00:31:11,186 --> 00:31:14,320
살아가면서 배워야 한다는 말일 뿐입니다.

462
00:31:14,320 --> 00:31:16,544
제가 보기엔 두 가지가
필요할 것 같은데요.
It seems to me you need two things.

463
00:31:16,544 --> 00:31:23,401
하나는 이 장기 목표 보상을,
최종 보상으로 이어지는 미래
One is some way of converting this long-run goal reward into smaller auxiliary predictive rewards of the future reward, or the future reward that leads to the final reward.

464
00:31:23,401 --> 00:31:30,257
보상을 예측하는 더 작은 보조
보상으로 바꾸는 방법이고요.

465
00:31:30,257 --> 00:31:36,232
그런데 우선은, 제가 세상에서
일하면서 얻고 있는 이
But initially, it seems to me, I need to hold on to all this context that I'm gaining as I'm working in the world.

466
00:31:36,232 --> 00:31:42,000
모든 맥락을 붙잡아 둘 수
있어야 할 것 같거든요.

467
00:31:42,000 --> 00:31:50,320
제 고객들, 제 회사에 대해 배우고
있고, 이 모든 정보를 말이죠.
I'm learning about my clients, my company, and all this information.

468
00:31:50,320 --> 00:31:52,695
저는 그냥 일반적인 학습을
하고 계신 거라고 봅니다.
I would say you're just doing regular learning.

469
00:31:52,695 --> 00:31:55,874
어쩌면 '컨텍스트'라는 말을
쓰시는 건, LLM에서는 그 모든
Maybe you're using "context" because in large language models all that information has to go into the context window.

470
00:31:55,874 --> 00:31:58,960
정보가 컨텍스트 윈도우 안으로
들어가야 하기 때문일 겁니다.

471
00:31:58,960 --> 00:32:02,560
하지만 지속 학습 체계에서는
그게 그냥 가중치로 들어갑니다.
But in a continual learning setup, it just goes into the weights.

472
00:32:02,560 --> 00:32:04,409
어쩌면 '컨텍스트'라는
단어 자체가 틀린 걸지도
Maybe context is the wrong word to use because I mean a more general thing.

473
00:32:04,409 --> 00:32:06,400
모르겠네요. 저는 더 일반적인
걸 말하는 거니까요.

474
00:32:06,400 --> 00:32:11,853
자신이 처한 환경에 특화된
정책을 학습하는 겁니다.
You learn a policy that's specific to the environment that you're finding yourself in.

475
00:32:12,320 --> 00:32:17,451
제가 여쭤보려는 건, 어떤
식으로든 얻어야 하는데요…
The question I'm trying to ask is, you need some way of getting…How many bits per second is a human picking up when they're out in the world?

476
00:32:17,451 --> 00:32:23,112
사람이 세상에 나가 있을 때
초당 몇 비트를 받아들이나요?

477
00:32:23,112 --> 00:32:26,667
그냥 슬랙으로 고객들이랑 이것저것
소통만 하고 있다면 말이죠.
If you're just interacting over Slack with your clients and everything.

478
00:32:26,667 --> 00:32:30,239
어쩌면 물어보시려는 건 이런
걸 텐데요. 우리가 해야 할 그
Maybe you're trying to ask the question of, it seems like the reward is too small of a thing to do all the learning that we need to do.

479
00:32:30,239 --> 00:32:33,920
모든 학습을 하기엔 보상이라는
게 너무 작은 것 같다는 거죠.

480
00:32:33,920 --> 00:32:37,640
하지만 우리에겐 감각이 있고, 그 외에도
But we have the sensations, we have all the other information we can learn from.

481
00:32:37,640 --> 00:32:41,360
배울 수 있는 다른 정보가 다 있습니다.

482
00:32:41,360 --> 00:32:43,672
보상에서만 배우는 게 아니니까요.
We don't just learn from the reward.

483
00:32:43,672 --> 00:32:45,360
모든 데이터에서 배우는 겁니다.
We learn from all the data.

484
00:32:45,360 --> 00:32:52,320
그 정보를 포착하게 해주는
학습 과정은 무엇일까요?
What is the learning process which helps you capture that information?

485
00:32:52,320 --> 00:32:55,546
이제 네 부분으로 이루어진 에이전트
Now I want to talk about the base common model of the agent with the four parts.

486
00:32:55,546 --> 00:32:59,112
공통 모델에 대해 이야기하고 싶습니다.

487
00:32:59,112 --> 00:33:00,283
정책이 필요합니다.
We need a policy.

488
00:33:00,283 --> 00:33:04,426
정책은 이렇게 말합니다. "지금 이
상황에서 나는 뭘 해야 하는가?"
The policy says, "In the situation I'm in, what should I do?"

489
00:33:04,426 --> 00:33:05,752
가치 함수가 필요합니다.
We need a value function.

490
00:33:05,752 --> 00:33:11,705
가치 함수는 TD 학습으로
학습되며, 숫자를 하나 산출합니다.
The value function is the thing that is learned with TD learning, and the value function produces a number.

491
00:33:11,705 --> 00:33:13,920
그 숫자가 지금 얼마나 잘
되어가고 있는지를 말해줍니다.
The number says how well it's going.

492
00:33:13,920 --> 00:33:19,360
그러면 그게 오르내리는 걸 지켜보면서
정책을 조정하는 데 씁니다.
Then you watch if that's going up and down and use that to adjust your policy.

493
00:33:19,360 --> 00:33:21,760
그래서 그 두 가지가 있는 거죠.
So you have those two things.

494
00:33:21,760 --> 00:33:26,201
그리고 지각 요소도 있습니다.
상태 표현을 구성하는
Then there's also the perception component, which is construction of your state representation, your sense of where you are now.

495
00:33:26,201 --> 00:33:30,800
것, 즉 지금 자신이 어디에
있는지에 대한 감각이죠.

496
00:33:30,800 --> 00:33:32,816
네 번째가 사실 우리가 진짜 짚고 싶은
The fourth one is what we're really getting at, most transparently anyway.

497
00:33:32,816 --> 00:33:34,640
겁니다. 적어도 가장 명확하게는요.

498
00:33:34,640 --> 00:33:38,400
네 번째는 세계의 전이 모델입니다.
The fourth one is the transition model of the world.

499
00:33:38,400 --> 00:33:42,106
그래서 저는 모든 걸 그냥 '모델'이라고
부르는 게 불편합니다. 저는
That's why I am uncomfortable just calling everything "models," because I want to talk about the model of the world, the transition model of the world.

500
00:33:42,106 --> 00:33:45,520
세계의 모델, 즉 세계의 전이
모델을 이야기하고 싶은 거니까요.

501
00:33:45,520 --> 00:33:48,112
이걸 하면 무슨 일이
일어날지에 대한 믿음이죠.
Your belief that if you do this, what will happen?

502
00:33:48,112 --> 00:33:50,400
당신이 한 일의 결과가 무엇일까요?
What will be the consequences of what you do?

503
00:33:50,400 --> 00:33:52,047
당신만의 세계의 물리학인 겁니다.
Your physics of the world.

504
00:33:52,047 --> 00:33:56,423
하지만 물리학만이 아니라 추상적인
모델도 있습니다. 이 팟캐스트를
But it's not just physics, it's also abstract models, like your model of how you traveled from California up to Edmonton for this podcast.

505
00:33:56,423 --> 00:34:00,800
위해 캘리포니아에서 에드먼턴까지
어떻게 왔는지에 대한 모델처럼요.

506
00:34:00,800 --> 00:34:03,642
그것도 하나의 모델이고,
바로 전이 모델입니다.
That was a model, and that's a transition model.

507
00:34:03,642 --> 00:34:04,976
그것도 학습되는 것이죠.
That would be learned.

508
00:34:04,976 --> 00:34:06,354
보상으로부터 학습되는 게 아닙니다.
It's not learned from reward.

509
00:34:06,354 --> 00:34:08,747
이런 식으로 학습됩니다.
"무언가를 했고, 무슨 일이
It's learned from, "You did things, you saw what happened, you made that model of the world."

510
00:34:08,747 --> 00:34:11,387
일어났는지 보았고, 그렇게
세계에 대한 모델을 만들었다."

511
00:34:11,387 --> 00:34:17,840
보상뿐 아니라 당신이 받는 모든
감각으로부터 아주 풍부하게 학습됩니다.
That will be learned very richly from all the sensation that you receive, not just from the reward.

512
00:34:17,840 --> 00:34:21,574
보상도 포함되어야 하지만,
그건 전체 모델의
It has to include the reward as well, but that's a small part of the whole model, a small, crucial part of the whole model.

513
00:34:21,574 --> 00:34:25,307
작은 부분, 작지만
결정적인 부분일 뿐이죠.

514
00:34:25,307 --> 00:34:29,804
제 친구 중 한 명인 토비
오드가 지적한 게 있는데요. 구글
One of my friends, Toby Ord, pointed out that if you look at the MuZero models that Google DeepMind deployed to learn Atari games, these models were initially not a general intelligence itself, but a general framework for training specialized intelligences to play specific games.

515
00:34:29,804 --> 00:34:34,982
딥마인드가 아타리 게임 학습에 쓴
뮤제로 모델들을 보면, 이 모델들은

516
00:34:34,982 --> 00:34:39,752
애초에 그 자체가 범용 지능이
아니라, 특정 게임을 플레이하도록

517
00:34:39,752 --> 00:34:44,521
전문화된 지능들을 훈련시키기 위한
범용 프레임워크였다는 겁니다.

518
00:34:44,521 --> 00:34:49,200
다시 말해, 그 프레임워크로는
체스와 바둑, 그리고 다른 게임까지
That is to say that you couldn't, using that framework, train a policy to play both chess and Go and some other game.

519
00:34:49,200 --> 00:34:53,360
함께 플레이하는 정책 하나를
훈련시킬 수는 없었다는 거죠.

520
00:34:53,360 --> 00:34:56,342
각각을 따로 전문화해서
훈련시켜야 했습니다.
You had to train each one in a specialized way.

521
00:34:56,342 --> 00:35:01,079
그는 이게 강화학습 전반에
대해서도, 이런 정보 제약 때문에
He was wondering whether that implies that with reinforcement learning generally, because of this information constraint, you can only learn one thing at a time?

522
00:35:01,079 --> 00:35:05,673
한 번에 한 가지만 학습할 수
있다는 뜻인지 궁금해했어요.

523
00:35:05,673 --> 00:35:08,160
정보의 밀도가 그렇게
높지 않다는 뜻인지.
The density of information isn't that high?

524
00:35:08,160 --> 00:35:11,920
아니면 그저 뮤제로가 구현된
방식에만 해당하는 문제인지 말이죠.
Or whether it was just specific to the way that MuZero was done.

525
00:35:11,920 --> 00:35:16,954
만약 알파제로에 국한된
문제라면, 범용 학습 에이전트가
If it's specific to AlphaZero, what needed to be changed about that approach so that it could be a general learning agent?

526
00:35:16,954 --> 00:35:21,484
되려면 그 접근 방식에서
뭐가 바뀌어야 했을까요?

527
00:35:21,484 --> 00:35:24,020
그 아이디어 자체는 완전히 일반적입니다.
The idea is totally general.

528
00:35:24,020 --> 00:35:28,140
저는 항상 대표적인
예로 이렇게 말합니다.
I do use all the time, as my canonical example, the idea of an AI agent is like a person.

529
00:35:28,140 --> 00:35:32,080
AI 에이전트라는 것도 사람과 같다고요.

530
00:35:32,080 --> 00:35:38,000
사람은 어떤 의미에서 자신이
사는 세계가 단 하나뿐이죠.
People, in some sense, have just one world they live in.

531
00:35:38,000 --> 00:35:42,013
그 세계에는 체스도 있고
아타리 게임도 있을 수 있지만,
That world may involve chess and it may involve Atari games, but those are not a different task or a different world.

532
00:35:42,013 --> 00:35:45,508
그것들은 서로 다른 과제나
다른 세계가 아닙니다.

533
00:35:45,508 --> 00:35:47,840
그것들은 그저 사람이 마주치는
서로 다른 상태들일 뿐이죠.
Those are different states they encounter.

534
00:35:47,840 --> 00:35:51,201
그러니까 그 일반적인 아이디어
자체는 전혀 제한적이지 않습니다.
So the general idea is not limited at all.

535
00:35:51,201 --> 00:35:55,621
그 아키텍처, 혹은 그
접근 방식에 무엇이 빠져
Maybe it would be useful to explain what was missing in that architecture, or that approach, which this continual learning AGI would have.

536
00:35:55,621 --> 00:36:00,040
있었는지 설명해 주시면
도움이 될 것 같은데요.

537
00:36:00,040 --> 00:36:04,800
지속 학습 AGI라면 갖추고
있을 그런 것 말이죠.

538
00:36:04,800 --> 00:36:06,960
그들은 그냥 그렇게 설정한 겁니다.
They just set it up.

539
00:36:06,960 --> 00:36:13,440
여러 게임에 걸쳐 하나의 에이전트를
두는 건 그들의 목표가 아니었어요.
It was not their ambition to have one agent across those games.

540
00:36:13,440 --> 00:36:17,955
전이에 대해 이야기하려면,
게임 간이나 태스크 간
If we want to talk about transfer, we should talk about transfer not across games or across tasks, but transfer between states.

541
00:36:17,955 --> 00:36:22,470
전이가 아니라 상태 간
전이를 이야기해야 합니다.

542
00:36:22,470 --> 00:36:28,159
역사적으로, 이런 걸
만드는 데 필요한 수준의
I guess I’m curious if historically, have we seen the level of transfer using RL techniques that would be needed to build this kind of…

543
00:36:28,159 --> 00:36:34,303
전이를 RL 기법으로 본
적이 있는지 궁금한데요…

544
00:36:35,280 --> 00:36:35,770
좋습니다.
Good.

545
00:36:35,770 --> 00:36:36,261
좋습니다.
Good.

546
00:36:36,261 --> 00:36:39,203
전이는 어디에서도 안 보입니다.
We're not seeing transfer anywhere.

547
00:36:39,203 --> 00:36:42,294
좋은 성능의 핵심은 한 상태에서 다른
Critical to good performance is that you can generalize well from one state to another state.

548
00:36:42,294 --> 00:36:45,386
상태로 잘 일반화할 수 있느냐입니다.

549
00:36:45,386 --> 00:36:47,920
우리에게는 그걸 잘 해내는
방법이 전혀 없습니다.
We don't have any methods that are good at that.

550
00:36:47,920 --> 00:36:54,339
우리가 가진 건 사람들이 여러
가지를 시도해보다가, 전이가
What we have are people trying different things and they settle on something, a representation that transfers well or generalizes well.

551
00:36:54,339 --> 00:37:01,160
잘 되거나 일반화가 잘 되는 표현
방식에 정착하는 것뿐입니다.

552
00:37:01,160 --> 00:37:06,460
하지만 전이를 촉진하는
자동화된 기법은 거의 없고,
But we have very few automated techniques to promote transfer, and none of them are used in modern deep learning.

553
00:37:06,460 --> 00:37:11,760
그마저도 현대 딥러닝에서는
하나도 쓰이지 않습니다.

554
00:37:11,760 --> 00:37:17,440
제가 제대로 이해했는지 확인하려고
한번 풀어서 말씀드려볼게요.
Let me paraphrase to make sure that I understood that correctly.

555
00:37:17,440 --> 00:37:21,955
말씀은, 이 모델들에서
일반화가 일어날 때
It sounds like you're saying that when we do have generalization in these models, that is a result of some sculpted…

556
00:37:21,955 --> 00:37:26,667
그건 어떤 식으로 다듬어진
결과라는 거네요…

557
00:37:26,667 --> 00:37:28,393
인간이 한 겁니다.
Humans did it.

558
00:37:28,393 --> 00:37:31,040
연구자들이 한 겁니다.
The researchers did it.

559
00:37:31,040 --> 00:37:32,987
다른 설명이 없으니까요.
Because there's no other explanation.

560
00:37:32,987 --> 00:37:35,600
경사 하강법은 일반화를 잘
하게 만들어주지 않습니다.
Gradient descent will not make you generalize well.

561
00:37:35,600 --> 00:37:37,802
그건 그저 문제를 풀게 해줄 뿐입니다.
It will make you solve the problem.

562
00:37:37,802 --> 00:37:40,035
새로운 데이터가 들어와도, 그게 좋은
It will not make you, if you get new data, generalize in a good way.

563
00:37:40,035 --> 00:37:42,492
방식으로 일반화하게 만들어주진 않습니다.

564
00:37:42,492 --> 00:37:45,494
일반화란 한 가지를
학습한 것이 다른 것들에
Generalization means to train on one thing that'll affect what you do on other things.

565
00:37:45,494 --> 00:37:48,120
대한 행동에 영향을 미친다는 뜻입니다.

566
00:37:48,120 --> 00:37:50,560
딥러닝이 이 부분에 정말 약하다는
걸 우리는 알고 있습니다.
We know deep learning is really bad at this.

567
00:37:50,560 --> 00:37:54,768
예를 들어, 새로운 걸 학습시키면
예전에 알던 것들 전체에
For example, we know that if you train on some new thing, it will often catastrophically interfere with all the old things that you knew.

568
00:37:54,768 --> 00:37:59,107
파국적 간섭이 일어나는 경우가
많다는 걸 우리는 알고 있죠.

569
00:37:59,107 --> 00:38:01,827
이게 바로 나쁜 일반화입니다.
This is exactly bad generalization.

570
00:38:01,827 --> 00:38:05,621
제가 말씀드렸듯,
일반화란 한 상태에 대한
Generalization, as I said, is some kind of influence of training on one state on other states.

571
00:38:05,621 --> 00:38:09,909
학습이 다른 상태들에
미치는 일종의 영향입니다.

572
00:38:11,440 --> 00:38:13,760
일반화한다는 사실 자체가 꼭
좋거나 나쁜 건 아닙니다.
The fact that you generalize is not necessarily good or bad.

573
00:38:13,760 --> 00:38:17,680
잘못 일반화할 수도 있고,
잘 일반화할 수도 있죠.
You can generalize poorly, you can generalize well.

574
00:38:17,680 --> 00:38:22,611
일반화는 항상 일어나지만,
그게 나쁘지 않고 좋은
Generalization always will happen, but we need algorithms that will cause the generalization to be good rather than bad.

575
00:38:22,611 --> 00:38:27,360
방향으로 일어나게 만드는
알고리즘이 필요합니다.

576
00:38:27,360 --> 00:38:31,727
이 핵심 쟁점을 다시 끄집어내려는
건 아니고, 그냥 순수하게 궁금해서
I'm not trying to kickstart this initial crux again, but I'm just genuinely curious because I think I might be using the term differently.

577
00:38:31,727 --> 00:38:35,520
여쭤봅니다. 제가 이 용어를
다르게 쓰고 있는 것 같아서요.

578
00:38:35,520 --> 00:38:40,432
이 LLM들을 이렇게 볼 수도
있을 것 같아요. 기본적인 수학
One way to think about these LLMs is that they’re increasing the scope of generalization from earlier systems, which could not really even do a basic math problem, to now where they can do anything in this class of Math Olympiad-type problems.

579
00:38:40,432 --> 00:38:45,344
문제조차 못 풀던 이전 시스템들에
비해, 지금은 수학올림피아드

580
00:38:45,344 --> 00:38:50,400
유형의 문제라면 뭐든 풀어낼 만큼
일반화의 범위가 넓어졌다고요.

581
00:38:50,400 --> 00:38:54,160
처음엔 덧셈 문제들 사이에서
일반화하는 정도로 시작하죠.
You initially start with them being able to generalize among addition problems.

582
00:38:54,160 --> 00:38:59,292
그러다 서로 다른 수학적
기법과 정리, 개념 범주를
Then they can generalize among problems which require use of different kinds of mathematical techniques and theorems and conceptual categories, which is what the Math Olympiad requires.

583
00:38:59,292 --> 00:39:03,874
요구하는 문제들 사이에서도
일반화하게 되는데,

584
00:39:03,874 --> 00:39:08,640
그게 바로 수학올림피아드가
요구하는 능력이고요.

585
00:39:08,640 --> 00:39:12,096
그런데 그 범주 안의 어떤
문제든 풀 수 있다는
It sounds like you don't think of being able to solve any problem within that category as an example of generalization.

586
00:39:12,096 --> 00:39:15,553
걸 일반화의 사례로 보지
않으시는 것 같은데요.

587
00:39:15,553 --> 00:39:18,960
제가 잘못 이해하고
있다면 말씀해 주세요.
Let me know if I'm misunderstanding that.

588
00:39:18,960 --> 00:39:21,759
LLM은 너무 복잡합니다.
Large language models are so complex.

589
00:39:21,759 --> 00:39:26,176
사전에 어떤 정보를 접했는지는
사실 알 수가 없습니다.
We don't really know what information they have had prior.

590
00:39:26,176 --> 00:39:30,080
워낙 많은 걸 먹였다 보니
추측할 수밖에 없죠.
We have to guess because they've been fed so much.

591
00:39:30,080 --> 00:39:34,640
이게 과학을 하기에 좋은 방법이
아닌 이유 중 하나입니다.
This is one reason why they're not a good way to do science.

592
00:39:34,640 --> 00:39:37,207
그냥 너무 통제가 안 되고,
너무 알 수가 없습니다.
It's just so uncontrolled, so unknown.

593
00:39:37,207 --> 00:39:39,840
하지만 완전히 새로운 걸 만들어낸다면…
But if you come up with an entirely new…

594
00:39:39,840 --> 00:39:43,469
어쩌면 많은 걸 맞히고
있는 걸 수도 있죠.
They're getting a bunch of things right, perhaps.

595
00:39:43,469 --> 00:39:44,993
문제는 왜 그러냐는 겁니다.
The question is why.

596
00:39:44,993 --> 00:39:49,984
음, 어쩌면 맞히는 데 일반화가 필요
없을 수도 있어요. 일부를 맞히는
Well maybe that they don't need to generalize to get them right, because the only way to get some of them right is to form something which gets all of them right.

597
00:39:49,984 --> 00:39:54,720
유일한 방법이 전부를 맞히는 무언가를
만드는 것일 수도 있으니까요.

598
00:39:54,720 --> 00:40:00,307
답이 하나뿐이고 그걸 찾아낸 거라면,
그건 일반화라고 부르지 않습니다.
If there's only one answer and you find it, that's not called generalization.

599
00:40:00,307 --> 00:40:04,159
그냥 그게 유일한 풀이법이라서, 그
유일한 풀이법을 찾아낸 것뿐이에요.
It's just it's the only way to solve it, and so they find the only way to solve it.

600
00:40:04,159 --> 00:40:06,469
하지만 일반화란 이럴
수도 있고 저럴 수도
But generalization is when it could be this way, it could be that way, and they do it the good way.

601
00:40:06,469 --> 00:40:08,880
있는 상황에서, 좋은
방식을 택하는 겁니다.

602
00:40:08,880 --> 00:40:12,080
제가 알기론 이게 코딩 에이전트에서는
My understanding is that this is working more and more, better and better, with coding agents.

603
00:40:12,080 --> 00:40:15,600
점점 더 잘 작동하고 있는 것 같은데요.

604
00:40:15,600 --> 00:40:19,228
엔지니어의 경우, 당연히
라이브러리를 프로그래밍하려고
With engineers, obviously if you're trying to program a library, there are many different ways you could achieve the end spec.

605
00:40:19,228 --> 00:40:23,106
하면 최종 스펙을 달성하는
방법이 여러 가지가 있잖아요.

606
00:40:23,106 --> 00:40:25,773
이 모델들에 대한 초기 불만 중 하나가
An initial frustration with these models has been that they'll do it in a way that's sloppy.

607
00:40:25,773 --> 00:40:28,186
엉성한 방식으로 해낸다는 거였어요.

608
00:40:28,186 --> 00:40:32,717
시간이 지나면서 개발자들이
더 만족스러워하는 설계
Over time they're getting better and better at coming up with the design architecture and the abstractions that developers find more satisfying.

609
00:40:32,717 --> 00:40:37,920
구조와 추상화를 만들어내는
데 점점 더 나아지고 있고요.

610
00:40:37,920 --> 00:40:41,760
이게 말씀하신 것의 한
사례처럼 보이는데요.
It seems like an example of what you're talking about.

611
00:40:41,760 --> 00:40:46,480
그 안에는 잘 일반화되게
만드는 요소가 전혀 없습니다.
There's nothing in them which will cause it to generalize well.

612
00:40:46,480 --> 00:40:52,160
경사 하강법은 그것들이 본 문제들에
대한 해법을 찾아내게 할 뿐입니다.
Gradient descent will cause them to find a solution to the problems they've seen.

613
00:40:52,160 --> 00:40:55,200
문제를 푸는 방법이 하나뿐이라면,
그 방법을 쓰게 됩니다.
If there's only one way to solve them, they'll do that.

614
00:40:55,200 --> 00:40:58,037
하지만 푸는 방법이 여럿이고
그중 일부는 일반화가
But if there are many ways to solve it, some which generalize well, some which generalize poorly, there's nothing in the algorithms that will cause them to generalize well.

615
00:40:58,037 --> 00:41:00,768
잘 되고 일부는 잘 안
된다면, 알고리즘 안에는

616
00:41:00,768 --> 00:41:03,920
일반화가 잘 되는 쪽을 택하게
만드는 요소가 없습니다.

617
00:41:03,920 --> 00:41:09,895
하지만 사람은 당연히 진화를
거쳤고, 잘 안 풀리면 될 때까지
But people, of course, are evolved and if it's not working out they fiddle with it until they find a way, perhaps until they find a way which generalizes well.

618
00:41:09,895 --> 00:41:16,221
이리저리 손보죠. 어쩌면 일반화가
잘 되는 방법을 찾을 때까지요.

619
00:42:17,280 --> 00:42:22,965
좀 더 크게 보고 여쭤보고
싶은데요, 지금 이 분야를 논평하거나
I want to zoom out and ask about being in the field of AI for longer than almost anybody who is commentating on it, or working in it now.

620
00:42:22,965 --> 00:42:28,163
몸담고 있는 거의 누구보다도
오래 AI 분야에 계셨잖아요.

621
00:42:28,163 --> 00:42:31,514
가장 놀라웠던 게
무엇이었는지 궁금합니다.
I'm curious about what the biggest surprises have been.

622
00:42:31,514 --> 00:42:34,400
새로운 것들이 얼마나
나오고 있다고 느끼시나요?
How much new stuff do you feel like is coming out?

623
00:42:34,400 --> 00:42:39,360
아니면 사람들이 그냥 옛날 아이디어를
가지고 노는 것처럼 느껴지시나요?
Or does it feel like people are just playing with old ideas?

624
00:42:39,360 --> 00:42:43,200
크게 보면, 딥러닝이 유행하기도
전에 이 분야에 들어오셨잖아요.
Zooming out, you got into this even before deep learning was popular.

625
00:42:43,200 --> 00:42:47,040
그래서 시간이 지나며 이
분야가 어떤 궤적을 그려왔는지,
So how do you see the trajectory of this field over time and how new ideas have come about and everything?

626
00:42:47,040 --> 00:42:50,757
새로운 아이디어들이 어떻게
나왔는지, 어떻게 보시나요?

627
00:42:50,757 --> 00:42:53,390
무엇이 놀라웠나요?
What's been surprising?

628
00:42:53,390 --> 00:42:57,120
이 질문에 대해 조금 생각해봤습니다.
I thought a little bit about this.

629
00:42:57,120 --> 00:42:59,663
몇 가지가 있습니다.
There are a handful of things.

630
00:42:59,663 --> 00:43:03,600
먼저, LLM이 놀랍습니다.
First, the large language models are surprising.

631
00:43:03,600 --> 00:43:12,640
인공신경망이 언어 과제에서 이렇게까지
효과적이라는 게 놀랍습니다.
It's surprising how effective artificial neural networks are at language tasks.

632
00:43:12,640 --> 00:43:15,522
그건 놀라운 일이었고,
예상하지 못했던 겁니다.
That was a surprise, it wasn't expected.

633
00:43:15,522 --> 00:43:17,421
언어는 다를 거라고 생각했거든요.
Language seemed different.

634
00:43:17,421 --> 00:43:18,967
그래서 그건 인상적입니다.
So that's impressive.

635
00:43:18,967 --> 00:43:25,269
AI에는 오래된 논쟁이
있습니다. 탐색과 학습 같은 범용
There's a long-standing controversy in AI about simple basic principle methods, the general-purpose methods like search and learning, compared to human-enabled systems like symbolic methods.

636
00:43:25,269 --> 00:43:31,571
방법, 즉 단순하고 기본적인
원리에 기반한 방법과, 기호

637
00:43:31,571 --> 00:43:37,467
체계 같이 인간이 개입한
시스템을 비교하는 논쟁이죠.

638
00:43:41,040 --> 00:43:45,406
옛날에는 흥미로웠던 게,
탐색과 학습 같은 것들을 '약한
In the old days, it was interesting because things like search and learning were called weak methods because they're just using general principles, they're not using the power that comes from imbuing a system with human knowledge.

639
00:43:45,406 --> 00:43:49,913
방법'이라고 불렀거든요. 일반적인
원리만 쓸 뿐, 시스템에

640
00:43:49,913 --> 00:43:53,998
인간 지식을 불어넣어서
나오는 힘은 쓰지 않으니까요.

641
00:43:53,998 --> 00:43:56,269
그런 쪽은 '강한
방법'이라고 불렀습니다.
Those were called strong.

642
00:43:56,269 --> 00:44:02,101
제 생각엔 약한 방법이
완전히 승리했습니다.
I think the weak methods have just totally won.

643
00:44:02,101 --> 00:44:09,673
그게 옛날 AI에서 가장 큰
질문이었죠, 어떻게 될 것인가.
That's the biggest question from the old days of AI, what would happen.

644
00:44:09,673 --> 00:44:13,120
학습과 탐색이 결국 승리했습니다.
Learning and search have just won the day.

645
00:44:13,120 --> 00:44:16,915
어떤 면에서는 저한테 놀랍지
않았습니다. 저는 항상
There's a sense in which that was not surprising to me because I was always hoping or rooting for the simple basic principles.

646
00:44:16,915 --> 00:44:20,845
단순하고 기본적인 원리를
응원하고 바라고 있었거든요.

647
00:44:20,845 --> 00:44:25,427
LLM의 경우에도, 이렇게 잘 될 줄은
Even with the large language models, it's surprising how well it worked, but it was all good and gratifying.

648
00:44:25,427 --> 00:44:30,227
놀라웠지만, 다 좋았고 만족스러웠습니다.

649
00:44:30,960 --> 00:44:39,017
알파고, 특히 알파제로가 그렇게
잘 작동한다는 게 놀라웠습니다.
AlphaGo was surprising, how well that was able to work, AlphaZero in particular.

650
00:44:40,080 --> 00:44:43,386
하지만 다시 한번
단순하고 기본적인 원리가
But it's all very gratifying because again, simple basic principles are winning the day.

651
00:44:43,386 --> 00:44:46,405
승리한다는 점에서 정말 만족스럽습니다.

652
00:44:46,960 --> 00:44:53,580
새로운 애플리케이션이 나와서
대중의 인식이 바뀔 때—예를 들어
Whenever the public conception has been changed because some new application was developed— for example, when AlphaZero became this viral sensation—to you as somebody who has literally came up with many of the techniques that were used, did it feel to you like new breakthroughs were made?

653
00:44:53,580 --> 00:44:59,810
알파제로가 그렇게 화제가 됐을
때—그 기법들을 직접 만드신

654
00:44:59,810 --> 00:45:06,040
분 입장에서는, 새로운 돌파구가
생겼다는 느낌이 드셨나요?

655
00:45:06,040 --> 00:45:10,148
아니면 "이 기법들은 '90년대부터
있었고, 사람들이 그걸
Or did it feel like, "Oh, we've had these techniques since the '90s and people are simply combining them and applying them now"?

656
00:45:10,148 --> 00:45:14,000
조합해서 지금 적용하고 있을
뿐이다"라는 느낌이었나요?

657
00:45:14,000 --> 00:45:18,320
알파고 전체에는 사실 선구자가
있었습니다. 바로 TD-개먼입니다.
The whole AlphaGo thing had a precursor, which is TD-Gammon.

658
00:45:18,320 --> 00:45:27,653
제리 테사우로는 강화학습, 즉 TD
학습 방법으로 백개먼을 뒀습니다.
Gerry Tesauro did reinforcement learning, temporal difference learning methods, to play backgammon.

659
00:45:28,800 --> 00:45:33,680
그건 세계 최고 선수들을
이겼고 정말 잘 작동했습니다.
It beat the world's best players and it worked really well.

660
00:45:33,680 --> 00:45:38,720
어떤 의미에서는 알파고는 그
과정을 그냥 스케일업한 것뿐입니다.
In some sense, AlphaGo was merely a scaling up of that process.

661
00:45:38,720 --> 00:45:42,392
하지만 꽤 큰 스케일업이었고,
탐색을 수행하는
But it was quite a bit of scaling up and there was also an additional innovation in how the search was done.

662
00:45:42,392 --> 00:45:45,329
방식에도 추가적인 혁신이 있었습니다.

663
00:45:45,329 --> 00:45:46,719
하지만 납득이 가는 일이었습니다.
But it made sense.

664
00:45:46,719 --> 00:45:49,280
그런 의미에서는 놀랍지 않았습니다.
It wasn't surprising in that sense.

665
00:45:49,280 --> 00:45:53,167
사실 알파고는 TD
학습을 쓰지 않았습니다.
AlphaGo actually didn't use TD learning.

666
00:45:53,167 --> 00:45:56,676
최종 결과를 볼 때까지 기다렸죠.
It waited to see the final outcomes.

667
00:45:56,676 --> 00:45:58,396
하지만 알파제로는 TD를 사용했습니다.
But AlphaZero used TD.

668
00:45:58,396 --> 00:46:04,640
알파제로는 다른 모든 게임에도
적용됐고 정말 훌륭하게 해냈습니다.
AlphaZero was applied to all the other games and it did extremely well.

669
00:46:04,640 --> 00:46:09,920
저는 체스를 두는 사람이라 알파제로가
체스 두는 방식에 항상 깊은
I've always been very impressed by the way AlphaZero plays chess because I'm a chess player and it just sacrifices material for positional advantages.

670
00:46:09,920 --> 00:46:15,200
인상을 받았습니다. 위치적 이점을
위해 그냥 기물을 희생하거든요.

671
00:46:15,200 --> 00:46:22,880
그냥 만족스럽고 참을성 있게
오랫동안 그 기물을 희생하는 거죠.
It's just content and patient to sacrifice that material for a long period of time.

672
00:46:22,880 --> 00:46:27,496
그게 그렇게 잘 작동한다는
게 놀라웠지만, 동시에
That was surprising that it worked so well, but also gratifying and it fit into my worldview.

673
00:46:27,496 --> 00:46:31,600
만족스러웠고 제 세계관과도
맞아떨어졌습니다.

674
00:46:31,600 --> 00:46:33,877
이게 저를 지금 이 자리로 이끌었습니다.
This has led me where I am.

675
00:46:33,877 --> 00:46:40,194
저는 어떤 의미에서 반골이거나, 이
분야와는 다르게 생각하는 사람입니다.
I'm in some sense a contrarian or someone thinking differently than the field is.

676
00:46:40,194 --> 00:46:45,983
저는 개인적으로 제 분야와
오랫동안—어쩌면 수십 년간—어긋나
I'm personally just content being out of sync with my field for a long period of time, perhaps decades, because occasionally I have been proved right in the past.

677
00:46:45,983 --> 00:46:52,298
있어도 괜찮습니다. 과거에 가끔
제가 옳았던 걸로 판명났으니까요.

678
00:46:52,298 --> 00:46:57,896
제가 하는 또 다른 일은—어긋나
있다거나 이상하게 생각한다고
The other thing I do—to help me not feel I'm out of sync and thinking in a strange way—is to look not at my local environment or my local field, but to look back in time and into history and to see what people have thought classically about the mind in many different fields.

679
00:46:57,896 --> 00:47:03,156
느끼지 않기 위해서—제 주변
환경이나 제 분야가 아니라,

680
00:47:03,156 --> 00:47:08,754
시간을 거슬러 역사를 돌아보고
여러 분야에서 사람들이 마음에

681
00:47:08,754 --> 00:47:14,013
대해 고전적으로 어떻게
생각해왔는지를 살펴보는 것입니다.

682
00:47:14,013 --> 00:47:17,280
저는 더 큰 전통들과는 어긋나
있다고 느끼지 않습니다.
I don't feel I'm out of sync with the larger traditions.

683
00:47:17,280 --> 00:47:22,276
저는 정말로 제 자신을 반골이
아니라 고전주의자로 봅니다.
I really view myself as a classicist rather than as a contrarian.

684
00:47:22,276 --> 00:47:25,093
마음에 대해 생각해온 더 큰 사상가
I go to what the larger community of thinkers about the mind have always thought.

685
00:47:25,093 --> 00:47:28,504
공동체가 늘 생각해온
것을 따라가는 거죠.

686
00:47:28,504 --> 00:47:33,168
괜찮으시다면 좀 엉뚱한 질문들을
몇 개 드려보고 싶습니다.
Some sort of left-field questions for you if you'll tolerate them.

687
00:47:33,168 --> 00:47:38,619
제가 이해하기로 「쓰라린
교훈」은 인간 연구자의 수작업
The way I read the bitter lesson is that it's not necessarily saying that human artisanal researcher tuning doesn't work, but that it obviously scales much worse than compute, which is growing exponentially.

688
00:47:38,619 --> 00:47:43,888
튜닝이 안 통한다는 말이
아니라, 지수적으로 늘어나는

689
00:47:43,888 --> 00:47:49,520
컴퓨팅에 비해 명백히 훨씬
나쁘게 스케일된다는 뜻입니다.

690
00:47:49,520 --> 00:47:51,964
그러니까 후자를 활용하는
기법을 원하시는 거죠.
So you want techniques which leverage the latter.

691
00:47:51,964 --> 00:47:52,880
네.
Yep.

692
00:47:52,880 --> 00:47:56,281
AGI를 갖게 되면, 컴퓨팅에 비례해서
Once we have AGI, we'll have researchers which scale linearly with compute.

693
00:47:56,281 --> 00:47:59,520
늘어나는 연구자들을 갖게 되는 거죠.

694
00:47:59,520 --> 00:48:02,880
수백만 명의 AI 연구자가
쏟아져 나오는 거고요.
We'll have this avalanche of millions of AI researchers.

695
00:48:02,880 --> 00:48:06,298
그 수가 컴퓨팅만큼
빠르게 늘어날 거예요.
Their stock will be growing as fast as compute.

696
00:48:06,298 --> 00:48:11,600
그럼 그들이 옛날식 AI,
그러니까 수작업 솔루션을
So maybe this will mean that it is rational or it will make sense to have them doing good old-fashioned AI and doing these artisanal solutions.

697
00:48:11,600 --> 00:48:17,280
만드는 게 합리적이거나 타당한
일이 될 수도 있겠네요.

698
00:48:17,280 --> 00:48:21,611
AGI 이후 AI 연구가 어떻게
발전할지에 대한 비전으로서,
As a vision of what happens after AGI in terms of how AI research will evolve, I wonder if that's still compatible with a bitter lesson.

699
00:48:21,611 --> 00:48:25,680
이게 그래도 「쓰라린 교훈」과
양립 가능한지 궁금하네요.

700
00:48:25,680 --> 00:48:27,821
그 AGI에는 어떻게 도달한 거죠?
How did we get to this AGI?

701
00:48:27,821 --> 00:48:30,880
이미 다 됐다고 전제하고 싶으신 거군요.
You want to presume that it's been done.

702
00:48:30,880 --> 00:48:34,240
범용 방법으로 시작했다고 치고,
이제 AGI를 얻었다고 해보죠.
Suppose it started with general methods, but now we've got the AGI.

703
00:48:34,240 --> 00:48:36,835
그리고 이제 우리가 가려는 건…
And now we want to go…

704
00:48:36,835 --> 00:48:38,640
그럼 끝난 겁니다.
Then we're done.

705
00:48:38,640 --> 00:48:39,782
흥미롭네요.
Interesting.

706
00:48:39,782 --> 00:48:44,000
AGI보다 위에 뭔가 있다고는
생각 안 하시는 건가요?
You don't think that there's anything above AGI?

707
00:48:44,000 --> 00:48:46,027
근데 그걸로 다시 AGI를
얻으려는 거잖아요.
But you're using it to get AGI again.

708
00:48:46,027 --> 00:48:48,458
음, 제가 그걸로 얻으려는 건 여러
Well, I'm using it to get superhuman levels of intelligence or competence at different tasks.

709
00:48:48,458 --> 00:48:51,528
과제에서의 초인간 수준
지능이나 능력이에요.

710
00:48:51,528 --> 00:48:55,741
그 AGI들이 이미
초인간 수준이 아니라면,
These AGIs, if they're not superhuman already, then the knowledge that they might impart would be not superhuman.

711
00:48:55,741 --> 00:49:00,480
그것들이 전달하는 지식도
초인간 수준이 아니겠죠.

712
00:49:00,480 --> 00:49:03,095
정도의 차이가 있는 것 같긴 하네요.
I guess there are different gradations.

713
00:49:03,095 --> 00:49:08,038
그 아이디어가 말이 되는지 잘
모르겠습니다. AGI의 존재를,
I'm not sure your idea makes sense because it seems to presume the existence of AGI and that we've already worked that out.

714
00:49:08,038 --> 00:49:12,400
그것도 이미 다 알아낸 상태라고
전제하는 것 같아서요.

715
00:49:12,400 --> 00:49:14,526
이 주장을 뒷받침할 방법 중 하나는,
Maybe one way to motivate this is, AlphaGo was superhuman.

716
00:49:14,526 --> 00:49:16,653
알파고가 초인간 수준이었다는 거예요.

717
00:49:16,653 --> 00:49:18,311
어떤 바둑 기사를 상대해도 이겼죠.
It beat any Go player.

718
00:49:18,311 --> 00:49:21,183
알파제로는 알파고를 매번 이겼고요.
AlphaZero would beat AlphaGo every single time.

719
00:49:21,183 --> 00:49:24,879
그러니까 초인간보다 더 초인간이
되는 방법도 있는 거죠.
So there are ways to get more superhuman than even superhuman.

720
00:49:24,879 --> 00:49:27,120
그것도 아키텍처 자체가 달랐고요.
It was also a different architecture.

721
00:49:27,120 --> 00:49:32,479
그래서 제 생각엔, 모든 영역에서
범용적으로 학습할 수 있는 에이전트에게도
So it seems possible to me that the agent that's able to generally learn across all domains, there would be ways to give it better architecture for learning, just the same way that AlphaZero was an improvement upon AlphaGo and MuZero was an improvement upon AlphaZero.

722
00:49:32,479 --> 00:49:37,316
더 나은 학습용 아키텍처를 줄
방법이 있을 것 같습니다. 알파제로가

723
00:49:37,316 --> 00:49:41,760
알파고보다, 뮤제로가 알파제로보다
발전했던 것과 마찬가지로요.

724
00:49:41,760 --> 00:49:45,547
그리고 알파제로가 발전할
수 있었던 방식은, 인간의
And the way AlphaZero was an improvement was that it did not use human knowledge but just went from experience.

725
00:49:45,547 --> 00:49:49,333
지식을 쓰지 않고 그저
경험에서 배웠다는 점이었죠.

726
00:49:49,333 --> 00:49:49,920
맞아요.
Right.

727
00:49:49,920 --> 00:49:57,254
그런데 경험만으로, 다른 에이전트의
도움 없이도 이렇게 잘 작동했는데,
So why do you say, "Bring in other agents' expertise to teach it", when it's worked so well from experience and not by help from another agent?

728
00:49:57,254 --> 00:50:04,400
왜 "다른 에이전트의 전문성을 가져와
가르치라"고 말씀하시는 건가요?

729
00:50:04,400 --> 00:50:10,000
그 특정 사례에서는 더 범용적인
방법으로 나아간 게 맞다고 봅니다.
I agree that in that particular case that it was moving to more general methods.

730
00:50:10,000 --> 00:50:13,367
제가 그 사례를 든 건, 초인간에서
초인간++, 초인간+++로
I meant to use that particular example to illustrate that it's possible to go superhuman to superhuman++, to superhuman+++.

731
00:50:13,367 --> 00:50:16,040
나아가는 게 가능하다는
걸 보여주려던 거였습니다.

732
00:50:16,040 --> 00:50:19,243
그런 단계적 발전이 그저
방법을 더 단순하게 만드는
I'm curious if you think those gradations will continue to happen by just making the method simpler.

733
00:50:19,243 --> 00:50:22,560
것만으로 계속 이어질 거라고
생각하시는지 궁금합니다.

734
00:50:22,560 --> 00:50:27,199
아니면, 필요할 때마다 복잡성을
더할 수 있는 수백만에
Or, because we'll have the capability of these millions of minds who can then add complexity as needed, will that continue to be a false path, even when you have billions of AI researchers or trillions of AI researchers?

735
00:50:27,199 --> 00:50:31,838
달하는 정신을 갖게 될 텐데도,
수십억 명, 수조 명의

736
00:50:31,838 --> 00:50:36,168
AI 연구자가 있어도 그건
여전히 잘못된 길일까요?

737
00:50:36,168 --> 00:50:40,328
그 경우를 생각해보는 게 더 흥미롭네요.
It’s more interesting just to think about that case.

738
00:50:40,328 --> 00:50:47,854
AI가 많아지면, 사람들 사이의
문화적 진화처럼 서로 도울까요?
When you have many AIs, will they help each other the way cultural evolution works in people?

739
00:50:47,854 --> 00:50:50,880
그 얘기를 좀 해봐야 할 것 같습니다.
Maybe we should talk about that.

740
00:50:50,880 --> 00:50:52,898
「쓰라린 교훈」, 그게 뭐가 중요합니까?
The bitter lesson, who cares about that?

741
00:50:52,898 --> 00:50:56,477
그건 역사의 특정 시기에 대한
경험적 관찰일 뿐입니다.
That's an empirical observation about a particular period in history.

742
00:50:56,477 --> 00:51:01,120
70년간의 역사가 다음 70년에도
꼭 적용되리란 법은 없죠.
70 years in history, it doesn't necessarily have to apply to the next 70 years.

743
00:51:01,120 --> 00:51:03,083
흥미로운 질문은 이겁니다.
당신이 AI인데,
An interesting question is, you're an AI, you get some more computer power.

744
00:51:03,083 --> 00:51:04,800
컴퓨팅 파워를 좀 더 얻었다고 해보죠.

745
00:51:04,800 --> 00:51:08,480
그걸 써서 스스로를 더
강력하게 만들어야 할까요?
Should you use it to make yourself more computationally capable?

746
00:51:08,480 --> 00:51:13,141
아니면 그걸로 자기 사본을
스폰해서, 지구 반대편이나 다른
Or should you use it to spawn off a copy of yourself to go learn something interesting on the other side of the planet or on some other topic and then report back to you?

747
00:51:13,141 --> 00:51:18,240
주제에서 흥미로운 걸 배우게 한
뒤 다시 보고받게 해야 할까요?

748
00:51:18,240 --> 00:51:26,257
이건 디지털 지능의 시대에나 생길
정말 흥미로운 질문이라고 생각합니다.
I think that's a really interesting question that will only arise in the age of digital intelligences.

749
00:51:26,257 --> 00:51:29,680
답이 뭔지는 잘 모르겠습니다.
I'm not sure what the answer is.

750
00:51:29,680 --> 00:51:33,669
질문이 더 있는데요, 정말로
그걸 스폰해서 내보내고,
More questions, will it be possible to really spawn it off, send it out, learn something new, something perhaps very new, and then will it be able to be reincorporated into the original?

751
00:51:33,669 --> 00:51:37,246
뭔가 새로운 걸, 어쩌면
아주 새로운 걸 배우게

752
00:51:37,246 --> 00:51:40,960
한 다음, 그게 원본에
다시 흡수될 수 있을까요?

753
00:51:40,960 --> 00:51:47,200
아니면 너무 많이 변해서
그게 사실상 불가능해질까요?
Or will it have changed so much that it can't really be done?

754
00:51:47,200 --> 00:51:49,946
그게 가능할까요, 아닐까요?
Is that possible or is that not?

755
00:51:49,946 --> 00:51:52,829
요전 날 밤 본 당신
영상 중 하나에서처럼,
You could carry this to its limit as I saw one of your videos the other night.

756
00:51:52,829 --> 00:51:55,471
이걸 극한까지 밀어붙일 수도 있겠더군요.

757
00:51:55,471 --> 00:51:56,995
그 영상은 그게 가능하다고 시사하더군요.
It suggests that it could.

758
00:51:56,995 --> 00:52:01,033
사본을 아주 많이 스폰해서
각자 다른 일을 하고,
You spawn off many, many copies, do different things, highly decentralized, but report back to the central master.

759
00:52:01,033 --> 00:52:05,520
고도로 분산되어 있지만 중앙
마스터에게 보고하는 거죠.

760
00:52:05,520 --> 00:52:08,536
이건 정말 강력한 일이 될 겁니다.
This will be such a powerful thing.

761
00:52:08,536 --> 00:52:14,056
이건 제가 이 관점에 뭔가를
더해보려는 시도입니다.
This is my attempt to add something to this view.

762
00:52:14,960 --> 00:52:17,878
큰 문제가 될 건 정신 오염입니다.
A big issue will become corruption.

763
00:52:17,878 --> 00:52:22,402
정말로 어디서든 정보를
가져와서 중앙 정신에
If you really could just get information from anywhere and bring it into your central mind, you could become more and more powerful.

764
00:52:22,402 --> 00:52:27,680
집어넣을 수 있다면, 점점
더 강력해질 수 있겠죠.

765
00:52:27,680 --> 00:52:31,360
전부 디지털이고, 다들 내부적으로
어떤 디지털 언어를 쓰니까요.
It's all digital and they all speak some internal digital language.

766
00:52:31,360 --> 00:52:34,313
어쩌면 쉽고 가능한 일일지도 모릅니다.
Maybe it'll be easy and possible.

767
00:52:34,313 --> 00:52:37,518
하지만 상상하는 것만큼
쉽지는 않을 겁니다,
But it will not be as easy as you're imagining because you can lose your mind this way.

768
00:52:37,518 --> 00:52:40,589
이런 식으로 정신을
잃을 수도 있으니까요.

769
00:52:40,589 --> 00:52:46,139
외부에서 뭔가를 끌어와 내면의
사고 안에 쌓아 넣으면,
If you pull in something from the outside and build it into your inner thinking, it could take over you, it could change you, it could be your destruction rather than your increment in knowledge.

770
00:52:46,139 --> 00:52:50,580
그게 당신을 장악하고
변화시킬 수 있습니다.

771
00:52:50,580 --> 00:52:55,760
지식의 증가가 아니라 당신의
파멸이 될 수도 있죠.

772
00:52:55,760 --> 00:53:00,056
이게 큰 우려가 될 거라고
봅니다. 특히 "아, 저 사람이
I think this will become a big concern, particularly when you're like, "Oh, he's figured out all about how to play some new game or he's studied Indonesia, and you want to incorporate that into your mind."

773
00:53:00,056 --> 00:53:04,352
새로운 게임 공략법을 다
알아냈다" 혹은 "인도네시아를 다

774
00:53:04,352 --> 00:53:08,917
연구했다"면서, 그걸 자기 정신에
통합하고 싶어질 때 말이죠.

775
00:53:08,917 --> 00:53:13,316
"아, 그냥 다 읽어들이면 괜찮을
거야"라고 생각할 수도 있죠.
You could think, "Oh, just read it all in, and that'll be fine."

776
00:53:13,316 --> 00:53:17,196
하지만 아니죠, 그냥 비트
뭉치를 정신 속에 읽어들인
But no, you've just read a whole bunch of bits into your mind, and they could have viruses in them, they could have hidden goals, they can warp you and change you.

777
00:53:17,196 --> 00:53:21,343
것뿐이고, 그 안엔 바이러스가
있을 수도, 숨겨진 목표가

778
00:53:21,343 --> 00:53:25,624
있을 수도 있습니다. 당신을
왜곡하고 변화시킬 수 있어요.

779
00:53:25,624 --> 00:53:27,760
이건 큰 문제가 될 겁니다.
This will become a big thing.

780
00:53:27,760 --> 00:53:31,880
디지털 사본을 스폰하고
재흡수하는 시대에,
How do you have cybersecurity in the age of digital spawning and re-reforming again?

781
00:53:31,880 --> 00:53:35,821
사이버 보안을 어떻게 갖출 수 있을까요?

782
00:54:35,520 --> 00:54:39,360
이게 AI 승계라는 주제로 이어지는군요.
I guess this brings us to the topic of AI succession.

783
00:54:39,360 --> 00:54:42,159
제가 인터뷰했던 많은
사람들, 그리고 일반적인
You have a perspective that's quite different from a lot of people that I've interviewed and a lot of people generally.

784
00:54:42,159 --> 00:54:44,735
사람들과는 꽤 다른
관점을 갖고 계신데요.

785
00:54:44,735 --> 00:54:47,200
저도 아주 흥미로운
관점이라고 생각합니다.
I also think it's a very interesting perspective.

786
00:54:47,200 --> 00:54:50,744
한번 들어보고 싶습니다.
I want to hear about it.

787
00:54:50,744 --> 00:55:00,077
저는 디지털 지능이나 증강 인간으로의
승계가 필연적이라고 생각합니다.
I do think succession to digital intelligence or augmented humans is inevitable.

788
00:55:00,673 --> 00:55:03,932
네 단계로 이루어진 논증이 있습니다.
I have a four-part argument.

789
00:55:03,932 --> 00:55:09,574
첫 번째는, 인류에게 지배적인
통일된 관점을 부여하고
Step one is, there's no government or organization that gives humanity a unified point of view that dominates and that can arrange...

790
00:55:09,574 --> 00:55:15,410
그걸 조율할 수 있는 정부나
조직이 없다는 겁니다...

791
00:55:15,410 --> 00:55:19,708
세상이 어떻게 운영되어야
하는지에 대한 합의가 없죠.
There's no consensus about how the world should be run.

792
00:55:19,708 --> 00:55:23,842
두 번째, 우리는 지능이 어떻게
작동하는지 알아낼 겁니다.
Number two, we will figure out how intelligence works.

793
00:55:23,842 --> 00:55:26,240
연구자들이 결국 알아낼 거예요.
The researchers will figure it out eventually.

794
00:55:26,240 --> 00:55:29,653
세 번째, 우리는 인간 수준
지능에서 멈추지 않을 겁니다.
Number three, we won't stop just with human-level intelligence.

795
00:55:29,653 --> 00:55:32,773
우리는 초지능에 도달할 겁니다.
We will reach superintelligence.

796
00:55:32,773 --> 00:55:38,624
넷째, 시간이 지나면
가장 지능이 높은 존재가
Number four, it's inevitable over time that the most intelligent things around would gain resources and power.

797
00:55:38,624 --> 00:55:43,773
자원과 권력을 갖게 되는 건 필연입니다.

798
00:55:44,490 --> 00:55:50,240
이걸 다 합치면 어느
정도는 필연적인 셈이죠.
Put all that together and it's sort of inevitable.

799
00:55:50,240 --> 00:55:54,572
AI로의 승계, 혹은 AI로 강화된
You're going to have succession to AI or to AI-enabled, augmented humans.

800
00:55:54,572 --> 00:55:59,360
증강 인간으로의 승계가 일어날 겁니다.

801
00:55:59,360 --> 00:56:03,827
이 네 가지는 분명하고
확실히 일어날 일로 보입니다.
Those four things seem clear and sure to happen.

802
00:56:03,827 --> 00:56:08,459
하지만 그 가능성의 범위
안에는 좋은 결과도,
But within that set of possibilities, there could be good outcomes as well as less good outcomes, bad outcomes.

803
00:56:08,459 --> 00:56:13,276
덜 좋은 결과나 나쁜
결과도 있을 수 있습니다.

804
00:56:14,560 --> 00:56:18,240
저는 그저 우리가 처한
상황을 현실적으로 보고,
I'm just trying to be realistic about where we are and ask how we should feel about it.

805
00:56:18,240 --> 00:56:21,920
이걸 어떻게 받아들여야
할지 묻고 있는 겁니다.

806
00:56:21,920 --> 00:56:25,840
저도 그 네 가지 논증과
그 함의에 동의합니다.
I agree with all four of those arguments and the implication.

807
00:56:25,840 --> 00:56:34,000
승계가 다양한 가능한 미래를
포함한다는 데도 동의합니다.
I also agree that succession contains a wide variety of possible futures.

808
00:56:34,000 --> 00:56:36,305
그 부분에 대해 좀 더 듣고 싶습니다.
Curious to get more thoughts on that.

809
00:56:36,305 --> 00:56:39,673
저는 사람들이 이걸
긍정적으로 생각하길 권합니다.
I do encourage people to think positively about it.

810
00:56:39,673 --> 00:56:46,387
우선 이건 우리 인간이 수천 년간 늘
해온 일입니다. 스스로를 이해하고,
First of all, it's something we humans have always tried to do for thousands of years, try to understand ourselves, trying to make ourselves think better, just understanding ourselves.

811
00:56:46,387 --> 00:56:52,598
더 잘 생각하게 만들려 하고, 그저
우리 자신을 이해하려 한 거죠.

812
00:56:52,598 --> 00:56:58,400
이건 과학과 인문학의 위대한 성취입니다.
This is a great success for science, humanities.

813
00:56:58,400 --> 00:57:01,855
인간다움의 본질적인 부분이 무엇인지,
We're finding out what this essential part of humanness is, what it means to be intelligent.

814
00:57:01,855 --> 00:57:06,000
지능이란 게 무엇인지
알아가고 있는 거예요.

815
00:57:06,000 --> 00:57:10,880
그다음에 제가 늘 하는 말은, 이건
전부 인간 중심적 관점이라는 겁니다.
Then what I usually say is that this is all human-centric.

816
00:57:10,880 --> 00:57:17,440
하지만 인간이라는 입장에서 물러나
우주의 관점에서 보면, 이건
But if we step aside from being a human and just take the point of view of the universe, this is I think a major stage in the universe, a major transition, a transition from replicators.

817
00:57:17,440 --> 00:57:24,000
우주의 중대한 단계, 즉
복제자로부터의 전환이라고 생각합니다.

818
00:57:24,000 --> 00:57:28,960
우리 인간과 동물, 식물,
우리는 모두 복제자입니다.
We humans and animals, plants, we're all replicators.

819
00:57:28,960 --> 00:57:32,106
그건 우리에게 강점도
주지만 한계도 줍니다.
That gives us some strengths and some limitations.

820
00:57:32,106 --> 00:57:36,203
우리는 설계의 시대로 들어서고
있습니다. 우리 AI가 설계되니까요.
We're entering the age of design because our AIs are designed.

821
00:57:36,203 --> 00:57:43,247
우리의 물리적 사물도 설계되고,
건물도 설계되고, 기술도 설계됩니다.
Our physical objects are designed, our buildings are designed, our technology is designed.

822
00:57:43,247 --> 00:57:47,269
이제 우리는 AI를 설계하고
있죠, 스스로 지능을
We're designing AIs now, things that can be intelligent themselves and that are themselves capable of design.

823
00:57:47,269 --> 00:57:51,440
가질 수 있고 스스로 설계도
할 수 있는 존재를요.

824
00:57:51,440 --> 00:57:56,785
이건 세계와 우주에서
핵심적인 한 걸음입니다.
This is a key step in the world and in the universe.

825
00:57:57,280 --> 00:58:00,736
지금까지 존재하는 흥미로운 것들 대부분이
It's the transition from the world in which most of the interesting things that are, are replicated.

826
00:58:00,736 --> 00:58:03,720
복제된 것이던 세계에서의 전환이죠.

827
00:58:03,720 --> 00:58:06,634
복제됐다는 건 복제본은 만들 수 있지만
Replicated means you can make copies of them, but you don't really understand them.

828
00:58:06,634 --> 00:58:09,410
제대로 이해하지는 못한다는 뜻입니다.

829
00:58:09,410 --> 00:58:12,551
지금 우리는 더 지능이 높은
존재, 더 많은 아이를 만들 수는
Right now we can make more intelligent beings, more children, but we don't really understand how intelligence works.

830
00:58:12,551 --> 00:58:15,600
있지만 지능이 어떻게 작동하는지는
제대로 이해하지 못합니다.

831
00:58:15,600 --> 00:58:19,673
반면 우리는 이제 설계된
지능에 다다르고 있습니다.
Whereas we're reaching now to having designed intelligence, intelligence that we do understand how it works.

832
00:58:19,673 --> 00:58:23,019
작동 원리를 실제로
이해하는 지능 말이죠.

833
00:58:23,019 --> 00:58:26,006
그래서 우리는 그것을
그렇지 않을 때와는 다른
Therefore we can change it in different ways and at different speeds than otherwise.

834
00:58:26,006 --> 00:58:28,755
방식으로, 다른 속도로
바꿀 수 있습니다.

835
00:58:28,755 --> 00:58:32,800
미래에는 그들이 아예 복제되지
않을 수도 있습니다.
In our future, they may not be replicated at all.

836
00:58:32,800 --> 00:58:38,635
그냥 우리가 AI를 설계하고, 그
AI가 또 다른 AI를 설계하고,
We may just design AIs, and those AIs will design other AIs, and everything will be done by design and construction rather than by replication.

837
00:58:38,635 --> 00:58:43,840
모든 게 복제가 아니라 설계와
구축으로 이루어질 수도 있죠.

838
00:58:43,840 --> 00:58:48,160
저는 이것을 우주의 4대
단계 중 하나로 봅니다.
I mark this as one of the four great stages of the universe.

839
00:58:48,160 --> 00:58:51,326
처음엔 먼지가 있고,
그게 별로 끝이 납니다.
First there's dust, it ends with stars.

840
00:58:51,326 --> 00:58:52,909
별이 행성을 만듭니다.
Stars make planets.

841
00:58:52,909 --> 00:58:55,600
행성은 생명을 낳을 수 있죠.
The planets can give rise to life.

842
00:58:55,600 --> 00:59:01,335
이제 우리는 설계된
존재를 낳고 있습니다.
Now we're giving rise to designed entities.

843
00:59:01,335 --> 00:59:06,342
저는 우리가 우주의 이
위대한 전환을 일으키고
I think we should be proud that we are giving rise to this great transition in the universe.

844
00:59:06,342 --> 00:59:11,348
있다는 것을 자랑스러워해야
한다고 생각합니다.

845
00:59:11,348 --> 00:59:13,730
흥미로운 일이죠.
It's an interesting thing.

846
00:59:13,730 --> 00:59:15,688
그들을 인류의 일부로 봐야 할까요,
Should we consider them part of humanity or different from humanity?

847
00:59:15,688 --> 00:59:17,956
아니면 인류와 다른 존재로 봐야 할까요?

848
00:59:17,956 --> 00:59:18,786
그건 우리의 선택입니다.
It's our choice.

849
00:59:18,786 --> 00:59:22,470
"아, 그들은 우리 자손이니
자랑스러워하고 그들의 성취를
It's our choice whether we should say, "Oh, they are our offspring and we should be proud of them and we should celebrate their achievements."Or we could say, "Oh no, they're not us and we should be horrified."

850
00:59:22,470 --> 00:59:26,035
축하해야지"라고 말할지,
아니면 "아니, 저들은 우리가

851
00:59:26,035 --> 00:59:29,600
아니야, 경악해야 해"라고
말할지는 우리의 선택입니다.

852
00:59:29,600 --> 00:59:33,680
제게는 이게 선택처럼
느껴진다는 게 흥미롭습니다.
It's interesting that it feels to me like a choice.

853
00:59:33,680 --> 00:59:36,289
그런데 이건 워낙 강하게
자리 잡은 생각이라,
Yet it's such a strongly held thing that, how could it be a choice?

854
00:59:36,289 --> 00:59:38,480
어떻게 선택일 수가 있나 싶기도 하죠.

855
00:59:38,480 --> 00:59:42,880
저는 이런 식의 모순된
생각의 함의들이 좋습니다.
I like these sort of contradictory implications of thought.

856
00:59:42,880 --> 00:59:45,562
우리가 그냥 다음 세대의 인간을 설계하고
It is interesting to consider if we are just designing another generation of humans.

857
00:59:45,562 --> 00:59:48,000
있는 거라고 생각해보면 흥미롭습니다.

858
00:59:48,000 --> 00:59:49,374
어쩌면 '설계'라는 단어가
맞지 않을 수도 있고요.
Maybe design is the wrong word.

859
00:59:49,374 --> 00:59:52,361
하지만 우리는 미래 세대의
인간이 등장하리라는 걸 압니다.
But we know a future generation of humans is going to come up.

860
00:59:52,361 --> 00:59:53,553
AI는 잠시 잊어보죠.
Forget about AI.

861
00:59:53,553 --> 00:59:57,148
장기적으로 인류는 더
유능해지고, 수도 더 많아지고,
We just know in the long run, humanity will be more capable and more numerous, maybe more intelligent.

862
00:59:57,148 --> 01:00:00,496
어쩌면 더 지능적이 되리라는
걸 그냥 알고 있죠.

863
01:00:00,496 --> 01:00:02,160
그것에 대해 우리는 어떻게 느낄까요?
How do we feel about that?

864
01:00:02,160 --> 01:00:04,946
미래의 인간이 존재할
수 있는 세계들 중에는
I do think there are potential worlds with future humans that we would be quite concerned about.

865
01:00:04,946 --> 01:00:08,080
우리가 꽤 우려할 만한
것들도 있다고 생각합니다.

866
01:00:08,080 --> 01:00:10,206
혹시 우리가 호모 사피엔스를 낳은
Are you thinking like, maybe we are like the Neanderthals that give rise to Homo sapiens.

867
01:00:10,206 --> 01:00:13,040
네안데르탈인 같은 거라고
생각하시는 건가요?

868
01:00:13,040 --> 01:00:17,200
어쩌면 호모 사피엔스가 새로운 인류
집단을 낳게 될 수도 있겠네요.
Maybe Homo sapiens will give rise to a new group of people.

869
01:00:17,200 --> 01:00:18,089
그런 비슷한 거죠.
Something like that.

870
01:00:18,089 --> 01:00:20,800
말씀하신 예시를 그대로
가져와보는 거예요.
I'm basically taking the example you're giving.

871
01:00:20,800 --> 01:00:24,713
그들을 인류의 일부로 본다고
해도, 그게 꼭 우리가
Even if we consider them part of humanity, I don't think that necessarily means that we should feel super comfortable.

872
01:00:24,713 --> 01:00:28,207
마음을 놓아도 된다는
뜻은 아니라고 생각해요.

873
01:00:28,207 --> 01:00:28,800
혈연 의식이죠.
Kinship.

874
01:00:28,800 --> 01:00:30,596
나치도 인간이었잖아요, 그렇죠?
Like Nazis were humans, right?

875
01:00:30,596 --> 01:00:34,039
"오, 미래 세대가 나치가 될
거야"라고 생각한다면, 그들에게
If we thought, "Oh, the future generation will be Nazis, I think we'd be quite concerned about just handing off power to them."

876
01:00:34,039 --> 01:00:37,280
그냥 권력을 넘기는 것에 대해
꽤 우려하게 될 것 같아요.

877
01:00:37,280 --> 01:00:41,692
그래서 더 유능한 미래 인류를
걱정하는 것과 크게 다르지 않다는
So I agree that this is not super dissimilar to worrying about more capable future humans, but I don't think that addresses a lot of the concerns people might have about this level of power being attained this fast with entities we don't fully understand.

878
01:00:41,692 --> 01:00:46,229
데는 동의하지만, 그게 사람들이
가질 만한 우려 — 우리가 제대로

879
01:00:46,229 --> 01:00:50,388
이해하지 못하는 존재들이 이렇게
빠르게 이 정도 권력을 갖게

880
01:00:50,388 --> 01:00:54,800
되는 것에 대한 우려 — 를 많이
해소해주진 못한다고 생각해요.

881
01:00:54,800 --> 01:00:59,899
인류 대부분은 무슨 일이
일어나는지에 대해 별
I think it's relevant to point out that for most of humanity, they don't have much influence on what happens.

882
01:00:59,899 --> 01:01:05,814
영향력이 없다는 점을 짚어볼
필요가 있는 것 같아요.

883
01:01:05,814 --> 01:01:11,601
인류 대부분은 누가
원자폭탄을 통제하는지, 누가
Most of humanity doesn't influence who can control the atom bombs or who controls the nation states.

884
01:01:11,601 --> 01:01:16,720
국가를 통제하는지에
영향을 미치지 못하죠.

885
01:01:16,720 --> 01:01:23,816
시민으로서도 저는 우리가 국가를
그다지 통제하지 못한다고 자주 느껴요.
Even as a citizen, I often feel that we don't control the nation states very much.

886
01:01:23,816 --> 01:01:25,149
통제 밖에 있는 거죠.
They're out of control.

887
01:01:25,149 --> 01:01:29,016
많은 부분은 변화에 대해
어떻게 느끼느냐에 달려 있어요.
A lot of it has to do with just how you feel about change.

888
01:01:29,016 --> 01:01:34,933
지금 상황이 정말 좋다고
생각하면, 불완전하다고
If you think the current situation is really good, then you're more likely to be suspicious of change and averse to change than if you think it's imperfect.

889
01:01:34,933 --> 01:01:40,849
생각할 때보다 변화를 더
의심하고 꺼리게 되죠.

890
01:01:41,440 --> 01:01:43,360
저는 불완전하다고 생각해요.
I think it's imperfect.

891
01:01:43,360 --> 01:01:46,080
사실 꽤 나쁘다고 생각해요.
In fact, I think it's pretty bad.

892
01:01:46,080 --> 01:01:48,990
그래서 저는 변화에 열려 있어요.
So I’m open to change.

893
01:01:48,990 --> 01:01:54,320
인류의 성과가 그다지
좋지 않았다고 생각해요.
I think humanity has not had a super good track record.

894
01:01:54,320 --> 01:01:59,280
지금까지 있었던 것 중 최선일 수는
있지만, 완벽과는 거리가 멀죠.
Maybe it's the best thing that there has been, but it's far from perfect.

895
01:01:59,280 --> 01:02:03,200
변화에도 여러 종류가 있는 것 같아요.
I guess there are different varieties of change.

896
01:02:03,200 --> 01:02:08,825
산업혁명도 변화였고,
볼셰비키 혁명도 변화였죠.
The Industrial Revolution was change, the Bolshevik Revolution was also change.

897
01:02:08,825 --> 01:02:13,605
1900년대 러시아에 계셨다면 "지금
상황이 안 좋아요, 차르가 일을
If you were around in Russia in the 1900s and you were like, "Look, things aren't going well, the tsar is kind of messing things up, we need change", I'd want to know what kind of change you wanted before signing on the dotted line.

898
01:02:13,605 --> 01:02:18,134
좀 그르치고 있으니 변화가
필요해요"라고 말씀하셨을 텐데, 저라면

899
01:02:18,134 --> 01:02:23,040
서명하기 전에 어떤 종류의 변화를
원하시는지부터 알고 싶을 것 같아요.

900
01:02:23,040 --> 01:02:28,858
AI도 마찬가지로, 저는 이해하고
싶고, 가능한 한 AI의
Similarly with AI, where I'd want to understand, and, to the extent that it's possible, change the trajectory of AI such that the change is positive for humans.

901
01:02:28,858 --> 01:02:35,040
궤적을 바꿔서 그 변화가 인간에게
긍정적이도록 만들고 싶어요.

902
01:02:35,040 --> 01:02:39,600
우리는 우리의 미래, 그
미래에 대해 신경 써야 해요.
We should be concerned about our future, the future.

903
01:02:39,600 --> 01:02:42,360
그걸 좋게 만들려고 노력해야 하고요.
We should try to make it good.

904
01:02:42,360 --> 01:02:48,330
하지만 우리의 한계도 인정해야 합니다.
We should also though recognize the limit, our limits.

905
01:02:48,330 --> 01:02:53,306
제 생각에는 특권 의식은
피하고 싶습니다. '우리가 먼저
I think we want to avoid the feeling of entitlement, avoid the feeling of, "Oh, we are here first, we should always have it in a good way."

906
01:02:53,306 --> 01:02:58,442
왔으니 항상 좋은 몫을 가져야
한다'는 그런 느낌 말이죠.

907
01:02:58,442 --> 01:03:01,440
미래를 어떻게 생각해야 할까요?
How should we think about the future?

908
01:03:01,440 --> 01:03:08,240
특정 행성의 특정 종이 그것에 대해
얼마나 많은 통제권을 가져야 할까요?
How much control should a particular species on a particular planet have over it?

909
01:03:08,240 --> 01:03:10,253
우리는 얼마나 많은
통제권을 갖고 있을까요?
How much control do we have?

910
01:03:10,253 --> 01:03:16,016
인류의 장기적 미래에 대한 우리의
제한된 통제력, 그 균형추는
A counterbalance to our limited control over the long-term future of humanity should be how much control do we have over our own lives.

911
01:03:16,016 --> 01:03:21,440
우리가 자기 삶을 얼마나 통제하고
있는가가 되어야 합니다.

912
01:03:21,440 --> 01:03:23,321
우리에게는 우리 자신의 목표가 있습니다.
We have our own goals.

913
01:03:23,321 --> 01:03:25,121
우리에게는 가족이 있습니다.
We have our families.

914
01:03:25,121 --> 01:03:33,364
그런 것들은 우주 전체를 통제하려는
것보다 훨씬 더 통제 가능합니다.
Those things are much more controllable than trying to control the whole universe.

915
01:03:33,364 --> 01:03:42,697
우리 각자의 국지적인 목표를 향해
노력하는 게 적절하다고 생각합니다.
I think it's appropriate for us to really work towards our own local goals.

916
01:03:43,253 --> 01:03:46,541
'미래는 내가 원하는 방식대로 흘러가야
It's kind of aggressive for us to say, "Oh, the future has to evolve this way that I want it to."

917
01:03:46,541 --> 01:03:49,985
한다'고 말하는 건 좀 공격적인 태도죠.

918
01:03:49,985 --> 01:03:53,698
그러면 저마다 전 지구적
미래가 다른 방향으로 흘러가야
Because then we'll have arguments where different people think the global future should evolve in different ways, and then they have conflict.

919
01:03:53,698 --> 01:03:57,658
한다고 생각하면서 논쟁이
벌어지고, 갈등이 생길 테니까요.

920
01:03:57,658 --> 01:03:59,711
그런 건 피하고 싶습니다.
We want to avoid that.

921
01:03:59,711 --> 01:04:03,280
여기서 좋은 비유가 될
만한 게 하나 있습니다.
Maybe a good analogy here would be this.

922
01:04:03,280 --> 01:04:06,368
여러분이 자기 자녀를
키우고 있다고 해봅시다.
Suppose you are raising your own children.

923
01:04:06,368 --> 01:04:10,127
자녀의 삶에 극도로 빡빡한
목표를 세우거나, '내 아이들이
It might not be appropriate to have extremely tight goals for their own life, or also have some sense of like, "I want my children to go out there in the world and have this specific impact.

924
01:04:10,127 --> 01:04:13,651
세상에 나가서 이런 구체적인
영향을 미쳤으면 좋겠다'는

925
01:04:13,651 --> 01:04:16,822
식의 생각을 갖는 건
적절하지 않을 수 있습니다.

926
01:04:16,822 --> 01:04:20,528
'내 아들은 대통령이 되고 내
딸은 인텔의 CEO가 될 거야.'
My son's going to become president and my daughter is going to become CEO of Intel.

927
01:04:20,528 --> 01:04:24,037
'둘이 함께 세상에 이런
영향을 미칠 거야.'
Together they're going to have this effect on the world."

928
01:04:24,037 --> 01:04:28,743
하지만 사람들에게는 이런 생각이
있죠—저는 이게 적절하다고
But people do have the sense—and I think this is appropriate—of saying, "I'm going to give them good robust values such that if and when they do end up in positions of power, they do reasonable, prosocial things."

929
01:04:28,743 --> 01:04:34,332
봅니다—'혹시라도 아이들이 권력의
자리에 오르면 합리적이고 친사회적인

930
01:04:34,332 --> 01:04:39,920
일을 하도록, 견고하고 좋은 가치관을
심어줘야겠다'는 생각 말입니다.

931
01:04:39,920 --> 01:04:43,423
AI에 대해서도 비슷한 태도가
타당할 것 같습니다. 그들이
Maybe a similar attitude towards AI makes sense, not in the sense of we can predict everything that they will do, or we have this plan about what the world should look like in a hundred years.

932
01:04:43,423 --> 01:04:46,817
무엇을 할지 전부 예측할 수
있다거나, 백 년 뒤 세상이

933
01:04:46,817 --> 01:04:50,320
어떤 모습이어야 한다는 계획을
갖고 있다는 뜻이 아니라요.

934
01:04:50,320 --> 01:04:54,949
하지만 그들에게 견고하고
조종 가능하며 친사회적인
But it's quite important to give them robust and steerable and prosocial values.

935
01:04:54,949 --> 01:04:58,720
가치관을 심어주는 건 상당히 중요합니다.

936
01:04:58,720 --> 01:05:00,035
친사회적 가치요?
Prosocial values?

937
01:05:00,035 --> 01:05:02,080
어쩌면 그건 잘못된
단어일지도 모르겠네요.
Maybe that's the wrong word.

938
01:05:02,080 --> 01:05:06,400
우리 모두가 동의할 수 있는
보편적 가치라는 게 있을까요?
Are there universal values that we can all agree on?

939
01:05:06,400 --> 01:05:09,255
저는 없다고 생각합니다.
하지만 그렇다고 우리가
I don't think so, but that doesn't prevent us from giving our kids a good education, right?

940
01:05:09,255 --> 01:05:12,000
아이들에게 좋은 교육을
못 시키는 건 아니죠?

941
01:05:12,000 --> 01:05:15,360
우리 아이들이 이런 모습이었으면
하는 감각 같은 게 있잖아요.
Like we have some sense of wanting our children to be a certain way.

942
01:05:15,360 --> 01:05:16,779
'친사회적'이 어쩌면
잘못된 단어일 수도 있어요.
Maybe prosocial is the wrong word.

943
01:05:16,779 --> 01:05:18,880
'높은 진실성'이 더 나은
표현일지도 모르겠네요.
High integrity is maybe a better word.

944
01:05:18,880 --> 01:05:25,760
해로워 보이는 요청이나 목표가
있으면, 거기 관여하길 거부하는 것,
If there's a request or if there's a goal that seems harmful, they will refuse to engage in it.

945
01:05:25,760 --> 01:05:29,000
아니면 정직한 것, 그런 것들이요.
Or they'll be honest, things like that.

946
01:05:29,000 --> 01:05:33,974
진정한 도덕이 뭔지에 대해 모두가
동의하지는 않더라도, 우리가
We have some sense that we can teach our children things like this, even if we don't have some sense of what true morality is, where everybody doesn't agree on that.

947
01:05:33,974 --> 01:05:38,510
아이들에게 이런 걸 가르칠
수 있다는 감각은 있는 거죠.

948
01:05:38,510 --> 01:05:41,600
AI에게도 아마 그게
합리적인 목표일 수 있고요.
Maybe that's a reasonable target for AI as well.

949
01:05:41,600 --> 01:05:45,099
그러니까 우리는 미래와, 그 미래가
So we're trying to design the future and the principles by which it will evolve and come into being.

950
01:05:45,099 --> 01:05:49,335
진화하고 생겨날 원칙을
설계하려는 거네요.

951
01:05:49,335 --> 01:05:55,588
리처드가 처음 하신 말씀은,
"우리는 아이들에게 더 일어날
The first thing you're saying is, "Well, we try to teach our children general principles which will promote more likely evolutions."

952
01:05:55,588 --> 01:06:01,840
법한 진화를 촉진할 일반 원칙을
가르치려 한다"는 거고요.

953
01:06:01,840 --> 01:06:04,640
어쩌면 우리는 그런 변화가
자발적이길 바라야 할 수도 있고요.
Maybe we should also seek for things to be voluntary.

954
01:06:04,640 --> 01:06:07,060
변화가 있다면, 사람들에게 강요되기보다는
If there is change, we want it to be voluntary rather than imposed on people.

955
01:06:07,060 --> 01:06:09,040
자발적으로 일어나길 바라는 거죠.

956
01:06:09,040 --> 01:06:13,773
그건 정말 중요한 지점인 것 같습니다.
I think that's a very important point.

957
01:06:13,773 --> 01:06:15,836
다 좋은 말씀입니다.
That's all good.

958
01:06:15,836 --> 01:06:22,256
이건 인류의 가장 큰 사업이거나,
아니면 정말 큰 사업 중 하나인
I think this is the big or one of the really big human enterprises to design society that's been ongoing for thousands of years again.

959
01:06:22,256 --> 01:06:28,320
것 같아요 — 수천 년간 계속돼
온, 사회를 설계하는 일이요.

960
01:06:28,320 --> 01:06:31,920
변하면 변할수록 그대로다.
The more things change, the more things they stay the same.

961
01:06:31,920 --> 01:06:33,976
우리는 여전히 어떻게
살아야 할지 알아내야 하고,
We still have to figure out how to be.

962
01:06:33,976 --> 01:06:37,704
아이들은 여전히, 부모와 조부모 눈엔
The children will still come up with different values that seem strange to their parents and their grandparents.

963
01:06:37,704 --> 01:06:41,618
낯설어 보이는 가치관을 들고나올 거고,

964
01:06:41,618 --> 01:06:43,120
세상은 계속 진화할 겁니다.
Things will evolve.

965
01:06:43,120 --> 01:06:45,689
"변하면 변할수록
그대로다"라는 말이, AI
"The more things change, the more they stay the same" also seems like a good capsule into the AI discussion.

966
01:06:45,689 --> 01:06:48,150
논의를 압축하는 말로도
괜찮은 것 같아요.

967
01:06:48,150 --> 01:06:54,667
저희가 나눴던 AI 얘기는,
딥러닝과 역전파에 적용되기도 전에
The AI discussion we were having was about how techniques, which were invented even before their application to deep learning and backpropagation was evident, are central to the progression of AI today.

968
01:06:54,667 --> 01:07:01,760
발명된 기법들이 오늘날 AI 발전의
핵심이 되어 있다는 내용이었죠.

969
01:07:01,760 --> 01:07:05,040
어쩌면 이쯤에서 대화를
마무리하는 게 좋겠네요.
Maybe that's a good place to wrap up the conversation.

970
01:07:05,040 --> 01:07:05,288
네.
Okay.

971
01:07:05,288 --> 01:07:06,156
정말 감사합니다.
Thank you very much.

972
01:07:06,156 --> 01:07:06,528
좋습니다.
Awesome.

973
01:07:06,528 --> 01:07:07,520
나와주셔서 감사합니다.
Thank you for coming on.

974
01:07:07,520 --> 01:07:09,753
저야말로 즐거웠습니다.
My pleasure.