1
00:00:00,160 --> 00:00:02,616
3Blue1Brown을
운영하고, 지금은 AI가 수학에서
Today, I'm chatting with Grant Sanderson, who runs 3Blue1Brown and is now working on a new project documenting the progress AI is making in math.

2
00:00:02,616 --> 00:00:04,913
이뤄내고 있는 진전을 기록하는
새로운 프로젝트를 진행

3
00:00:04,913 --> 00:00:07,210
중인 그랜트 샌더슨과 오늘
이야기를 나눠보려고 해요.

4
00:00:07,210 --> 00:00:10,188
오늘 이 얘기를 나누고
싶었던 건, AI가 다른 어떤
I wanted to talk to you about this because AI has been making the fastest progress in mathematics out of any other field.

5
00:00:10,188 --> 00:00:13,680
분야보다도 수학에서 가장 빠른
진전을 보이고 있기 때문이에요.

6
00:00:13,680 --> 00:00:16,185
여기서 무슨 일이 일어나고
있든, AI의 진전이 어떤 식으로
Whatever is happening here, and whatever way we're seeing AI progress happen or not happen, will tell us about what will happen to the rest of the world as AI gets better and better.

7
00:00:16,185 --> 00:00:18,615
나타나거나 나타나지 않든, 그건
AI가 점점 더 좋아지면서

8
00:00:18,615 --> 00:00:21,120
세상의 나머지 부분에서 어떤
일이 벌어질지를 말해줄 거예요.

9
00:00:21,120 --> 00:00:26,320
3년 전 처음 인터뷰했을 때
드렸던 질문으로 시작하고 싶은데요.
I wanted to start with this question I asked you when I first interviewed you three years ago.

10
00:00:26,320 --> 00:00:29,025
국제수학올림피아드(IMO)에서
금메달을 딸 수 있는
I asked you, once we have AIs that can get gold in the International Math Olympiad, wouldn't that just be AGI?

11
00:00:29,025 --> 00:00:32,020
AI가 나오면, 그게 그냥
AGI 아니겠냐고 여쭤봤었죠.

12
00:00:32,020 --> 00:00:34,021
그 문제들이 얼마나 어려운지를
생각하면, 그런 AI는 사람이
Wouldn't this just be able to do anything any human can do, given how hard these problems are?

13
00:00:34,021 --> 00:00:35,840
할 수 있는 건 뭐든 다 할
수 있는 거 아니겠냐고요.

14
00:00:35,840 --> 00:00:40,560
그때 하신 답이 있었는데, 돌이켜보면
아주 현명하고 정확했더라고요.
You had an answer, which in retrospect turned out to be very wise and correct.

15
00:00:40,560 --> 00:00:42,167
그냥 또 하나의 벤치마크가
될 거다, AI가
You said it'll be another benchmark, like all these other benchmarks that AI are passing.

16
00:00:42,167 --> 00:00:43,840
통과해온 다른 벤치마크들처럼,
이라고 하셨죠.

17
00:00:43,840 --> 00:00:47,679
물론 그 이후로 AI가 전반적으로
더 좋아지긴 했지만, 이게 일어난다고
Obviously, AI has gotten better in a general way since then, but there won't be some "aha" moment when this happens.

18
00:00:47,679 --> 00:00:51,124
해서 무슨 '아하' 하는 깨달음의
순간 같은 건 없을 거라고요.

19
00:00:51,124 --> 00:00:56,848
우선, 그게 왜 사실로 드러났는지에
대한 나름의 판단 근거가 궁금하고요.
First, I'd be curious to get your heuristics on why that turned out to be true.

20
00:00:56,848 --> 00:00:59,015
두 번째로는, 이렇게 좁은
범위에서만 진전이 일어나는
Second, I'm curious how long you think this narrowness can continue to be true.

21
00:00:59,015 --> 00:01:01,406
양상이 앞으로 얼마나 더 오래갈
거라고 보시는지 궁금해요.

22
00:01:01,406 --> 00:01:04,792
AI가 밀레니엄 문제 하나를
풀어낼 즈음에도, 여전히
By the point that AI has solved a Millennium Prize problem, do you think it's still possible that there are lots of tasks humans are doing that AI still can’t automate in the economy?

23
00:01:04,792 --> 00:01:07,945
경제 안에서 사람이 하고
있는데 AI가 자동화하지

24
00:01:07,945 --> 00:01:11,098
못하는 일들이 많이 남아
있을 수 있다고 보세요?

25
00:01:11,098 --> 00:01:14,037
흥미로운 질문인 게,
해법이 어떤 모습일지
It's an interesting question because it's hard to answer without knowing what the solution looks like ahead of time.

26
00:01:14,037 --> 00:01:16,720
미리 알지 못하면 답하기가 어렵거든요.

27
00:01:16,720 --> 00:01:21,822
IMO를 예로 들면, 3년 전
질문의 핵심은 이 문제들 중 일부의
If we take the IMO, the spirit of your question three years ago was in looking at how some of the solutions to these problems really seem to require creativity.

28
00:01:21,822 --> 00:01:26,640
풀이가 정말 창의성을 요구하는
것처럼 보인다는 데 있었잖아요.

29
00:01:26,640 --> 00:01:29,707
이 문제를 출제하는 사람들은
그렇게 쉽게 훈련으로
The designers of these problems try to come up with things that you can't train for as easily.

30
00:01:29,707 --> 00:01:32,320
대비할 수 없는 걸
만들어내려고 하거든요.

31
00:01:32,320 --> 00:01:35,264
근데 IMO의 지저분한
비밀은, 사실 그중
The dirty secret with the IMO is that you really can train for a lot of them.

32
00:01:35,264 --> 00:01:38,080
상당수는 훈련으로 대비가 된다는 거예요.

33
00:01:38,080 --> 00:01:41,550
지금 한창 진행 중인 AI와 수학
프로젝트 전체를 놓고 보면, 말씀하신
With the whole AI and math project underway, as you point out, one of the reasons it's interesting at all is that there's a spiky frontier to AI, and math is just right there in one of the spikes.

34
00:01:41,550 --> 00:01:45,197
대로 이게 애초에 흥미로운 이유 중
하나가, AI의 최전선이 들쭉날쭉하다는

35
00:01:45,197 --> 00:01:48,400
건데, 수학이 바로 그 뾰족 솟은
부분 중 하나에 있다는 거예요.

36
00:01:48,400 --> 00:01:52,370
그런데 그 들쭉날쭉함에는 프랙탈적인
성질이 있어요. 수학 안에서 구체적인
But there's a fractal nature to that spikiness, because when you zoom into the specific progress within math, you have some things that are a lot easier than others.

37
00:01:52,370 --> 00:01:56,240
진전을 확대해서 들여다보면, 어떤
부분은 다른 부분보다 훨씬 쉽거든요.

38
00:01:56,240 --> 00:01:58,560
IMO만 놓고 보면, 사실
이제는 옛날 얘기죠.
If we just think about IMO, which is old news at this point.

39
00:01:58,560 --> 00:02:01,840
AI가 정말 잘하기 시작한
지 벌써 2년이 됐으니까요.
It's been two years since they're really doing quite well.

40
00:02:01,840 --> 00:02:05,920
다음 이유만 아니었다면 2024년에
금메달을 땄을 거예요.
They would have gotten a gold in 2024 if not for the following reason.

41
00:02:05,920 --> 00:02:07,415
정말 잘해요.
They're very good.

42
00:02:07,415 --> 00:02:10,640
기하 문제는 그냥 단숨에 풀어버렸다고
봐야 해요, 기본적으로.
They just cold-solved geometry basically.

43
00:02:10,640 --> 00:02:13,608
IMO에는 기하,
정수론, 대수, 조합론,
The IMO has these four categories of problems: geometry, number theory, algebra, and combinatorics.

44
00:02:13,608 --> 00:02:16,188
이렇게 네 가지 문제 범주가 있어요.

45
00:02:16,188 --> 00:02:18,599
기하는 2024년
이후로 그냥 19초 만에
Geometry, it just solves it in nineteen seconds since 2024 because it's a brute force solver.

46
00:02:18,599 --> 00:02:21,640
풀어버려요, 무작정 대입해서
푸는 solver니까요.

47
00:02:21,640 --> 00:02:24,269
솔직히 까놓고 말하면,
학생들도 그런 문제에
The dirty secret is that for students, there's also a brute force way you can go at it.

48
00:02:24,269 --> 00:02:27,007
무작정 대입으로 밀어붙이는
방법이 있긴 해요.

49
00:02:27,007 --> 00:02:32,465
조합론이 변수예요. 훨씬 더 장난스럽고
퍼즐처럼 보이는 문제들이거든요.
Combinatorics is the wild card: much more playful, puzzly-seeming problems.

50
00:02:32,465 --> 00:02:37,218
그 해 시험엔 조합론 문제가 두 개
있었는데, 항상 그런 건 아니에요.
There were two combinatorics problems on that year's test, and there's not always.

51
00:02:37,218 --> 00:02:40,392
카테고리가 네 개,
문제가 여섯 개니까, 어느
There are four categories and six different problems, so it's a toss-up which one is going to have two questions.

52
00:02:40,392 --> 00:02:43,440
카테고리가 두 문제씩
차지할지는 반반이에요.

53
00:02:43,440 --> 00:02:47,280
그 해에 기하 문제가 더
많았다면 금메달을 땄을 거예요.
Had it been more geometry questions, they would have gotten a gold that year.

54
00:02:47,280 --> 00:02:50,124
그런데 그 조합론 문제들
앞에서는 고전해요.
But it struggles on those combinatorics ones.

55
00:02:50,124 --> 00:02:54,844
수학이 인류에게 남은 마지막 보루라는
횃불을 지키고 싶은 사람이라면,
Someone who's trying to keep that torch of the last holdout of math for humanity might say those are the ones that require more creativity.

56
00:02:54,844 --> 00:02:59,440
저런 문제들이야말로 더 많은 창의성을
요구한다고 말할 수도 있어요.

57
00:02:59,440 --> 00:03:03,792
그렇다 해도, 질문의 요지 —
밀레니엄 문제를 푼다면 그게
Even then, the spirit of your question—if they're solving a Millennium Prize problem, does that also service a lot of white-collar work?—suggests that whatever the rate limiter is between where we are now and that is the same as the rate limiter for making things better at white-collar work.

58
00:03:03,792 --> 00:03:08,552
화이트칼라 업무 전반에도 도움이
되는 거냐는 — 를 생각해보면,

59
00:03:08,552 --> 00:03:13,176
결국 지금 여기서 거기까지 가는
걸 가로막는 병목이 화이트칼라

60
00:03:13,176 --> 00:03:17,120
업무를 더 잘하게 만드는
병목과 똑같다는 뜻이 돼요.

61
00:03:17,120 --> 00:03:19,583
그림을 몇 가지 다르게
그려볼 수 있을 것 같아요.
We could paint a couple of different ways.

62
00:03:19,583 --> 00:03:26,031
리만 가설에 초점을 맞춰본다면,
그걸 푼다는 게 어떤 모습일까요?
If we focus on the Riemann hypothesis, what would it look like to solve that?

63
00:03:26,031 --> 00:03:31,076
이런 모델들은 특정 지식 영역
하나를 정말 깊이 아는 데 탁월하고,
These things are extremely good at a specific domain of knowledge, knowing it very deeply, and then knowing another domain, and another.

64
00:03:31,076 --> 00:03:35,440
그다음 또 다른 영역, 또 다른
영역까지 아주 잘 알아요.

65
00:03:35,440 --> 00:03:36,607
이건 이미 지적하신 적 있잖아요.
You've pointed this out.

66
00:03:36,607 --> 00:03:40,532
이렇게 초인적으로 폭넓게 모든 분야를
그렇게 잘 아는 무언가가, 정작
It's bizarre to have something with this superhuman breadth that knows all the fields so well, and yet isn't finding those lightning bolts that connect them.

67
00:03:40,532 --> 00:03:44,560
그 분야들을 이어주는 번개 같은
통찰은 찾아내지 못한다는 게 이상해요.

68
00:03:44,560 --> 00:03:47,681
제 생각엔 이게 실제로 자기가
전문인 분야들 사이에서 연결점을
I think we're starting to see sparks of it actually finding connections between the things it's an expert at.

69
00:03:47,681 --> 00:03:50,343
찾아내는 스파크가 조금씩
보이기 시작하는 것 같아요.

70
00:03:50,343 --> 00:03:51,680
이건 이따가 분명 얘기하게 될 거예요.
I'm sure we'll talk about it.

71
00:03:51,680 --> 00:03:56,353
리만 가설의 해법이 그런 성격의
것이라면, 그건 화이트칼라
If the nature of the solution to the Riemann hypothesis was something like that, that feels pretty distinct to me from what's necessary to get good at white-collar work.

72
00:03:56,353 --> 00:04:00,880
업무를 잘하는 데 필요한
것과는 저한테 꽤 달라 보여요.

73
00:04:00,880 --> 00:04:04,320
그리고 실제로 그게 해법의 성격일 수도
있다고 믿을 만한 이유가 있어요.
And there's a reason to believe that might be the nature of the solution.

74
00:04:04,320 --> 00:04:08,297
휴 몽고메리와 프리먼 다이슨이
고등연구소(IAS)에서
I don't know if you know the story of Hugh Montgomery and Freeman Dyson at the IAS.

75
00:04:08,297 --> 00:04:11,040
있었던 이야기를 아시는지 모르겠네요.

76
00:04:11,040 --> 00:04:13,680
좀 곁가지이긴 한데, 재밌는 이야기예요.
This is a side tangent, but it's a fun story.

77
00:04:13,680 --> 00:04:19,975
점심 자리였는지 뭐였는지는 모르겠지만,
리만 제타 함수의 영점 쌍들
I don't know if it was over lunch or something like that, but you have this number theorist who is just trying to understand the statistical correlation between pairs of zeros of the Riemann zeta function.

78
00:04:19,975 --> 00:04:25,760
사이의 통계적 상관관계를 이해하려던
한 정수론학자가 있었어요.

79
00:04:25,760 --> 00:04:27,516
리만 가설은 결국 이
영점들이 전부 하나의
The Riemann hypothesis is all about whether all these zeros sit on a straight line.

80
00:04:27,516 --> 00:04:29,120
직선 위에 놓여 있는지에 관한 거예요.

81
00:04:29,120 --> 00:04:30,821
그가 던져볼 수 있는 정량적인 질문
He finds this quantitative question you could ask, and he writes down a formula.

82
00:04:30,821 --> 00:04:32,880
하나를 찾아냈고,
공식을 하나 적어냈어요.

83
00:04:32,880 --> 00:04:35,040
사인 제곱분의 1 같은 모양이었어요.
It looks like one over sine squared or something like that.

84
00:04:35,040 --> 00:04:38,160
물리학자인 프리먼 다이슨이 그러는
거예요. "나 그 식 아는데."
Freeman Dyson, a physicist, is like, "I know that expression.

85
00:04:38,160 --> 00:04:43,438
"그거 무작위 에르미트 행렬의 고유값을
연구할 때 나오는 식이거든요"라고
That expression comes up in studying the eigenvalues for random Hermitian matrices," which was something that comes up in studying the energy levels of a nucleus.

86
00:04:43,438 --> 00:04:48,320
했는데, 그건 원자핵의 에너지
준위를 연구할 때 나오는 것이었어요.

87
00:04:48,320 --> 00:04:52,218
겉보기에는 전혀 다른 두
가지의 통계적 성질이 사실
The idea that the statistics of those two seemingly different things were the same prompted an exploration of whether there are aspects of random matrix theory that might be relevant to the Riemann zeta function.

88
00:04:52,218 --> 00:04:56,534
똑같다는 이 발상이, 랜덤
행렬 이론의 어떤 측면이 리만

89
00:04:56,534 --> 00:05:00,710
제타 함수와 관련 있을 수도
있다는 탐구로 이어졌어요.

90
00:05:00,710 --> 00:05:02,722
거기서 정말 뭔가 결실을
얻을 수 있을지는,
I think it's a little bit of an open question whether there is fruit to be had there.

91
00:05:02,722 --> 00:05:04,651
저는 아직 좀 열려
있는 질문이라고 봐요.

92
00:05:04,651 --> 00:05:08,701
그런데 이렇게 서로 다른 두
분야를 잇는 것—만약 리만 가설의
But that bridging together of two different fields—if it turned out that the solution to the Riemann hypothesis was exploring an idea like that even further—has the character of how you expect LLMs to be good at math.

93
00:05:08,701 --> 00:05:12,871
해법이 바로 이런 아이디어를 더
파고드는 거였다면—그건 LLM이

94
00:05:12,871 --> 00:05:17,040
수학을 잘할 거라고 기대할 법한
바로 그런 성격을 띠고 있어요.

95
00:05:17,040 --> 00:05:18,738
LLM은 양자물리학 전문가고요.
They're experts at quantum physics.

96
00:05:18,738 --> 00:05:20,720
해석적 수론에도 전문가예요.
They're experts at analytic number theory.

97
00:05:20,720 --> 00:05:24,337
몽고메리와 다이슨이 우연히
점심을 먹다가 그 얘기를 나눌
They should be able to see that similarity in a way that doesn't require Montgomery and Dyson to be having lunch and happen to talk about it.

98
00:05:24,337 --> 00:05:27,720
필요 없이도, 그런 유사성을
알아볼 수 있어야 하죠.

99
00:05:27,720 --> 00:05:30,640
그건 화이트칼라 업무랑은
완전히 다른 거예요.
That's totally different from white-collar work.

100
00:05:30,640 --> 00:05:35,720
AI를 편집자로 쓰기 어렵다면, 그건
AI가 모든 걸 알고 있어서 그
To the extent that you have a hard time using an AI as an editor, it's not because they know everything and you just need them to find that lightning bolt in between.

101
00:05:35,720 --> 00:05:40,800
사이에 있는 번개 같은 연결점만
찾아주면 되는 게 아니기 때문이에요.

102
00:05:40,800 --> 00:05:43,843
다른 가능성이라면…
A different possibility would be…

103
00:05:43,843 --> 00:05:46,080
적절한 비유가 뭘까요?
What's the right analogy?

104
00:05:46,080 --> 00:05:49,816
페르마의 마지막 정리를
생각해보면, 페르마가 그 문제를
Maybe if we think of Fermat's Last Theorem, between the moment of Fermat phrasing the question and what the solution itself looks like, where the solution ultimately involves such heavy machinery in math.

105
00:05:49,816 --> 00:05:53,427
처음 던진 순간과 실제
해법의 모습 사이에는—결국 그

106
00:05:53,427 --> 00:05:56,914
해법에는 수학의 정말 육중한
장치들이 동원되거든요.

107
00:05:56,914 --> 00:06:01,034
그 문제의 아름다움은 이렇게
간단하게 표현할 수 있다는 거예요.
The beauty of that problem is you can phrase it so simply.

108
00:06:01,034 --> 00:06:03,680
xⁿ + yⁿ = zⁿ에
대해 묻는 거잖아요.
You ask about xⁿ + yⁿ = zⁿ.

109
00:06:03,680 --> 00:06:09,040
n이 3보다 클 때 이 식에
정수해가 있느냐는 거죠.
Do you have integer solutions for this when n is bigger than three?

110
00:06:09,040 --> 00:06:12,352
초등 정수론으로 풀리는
접근법이 있을 법도 한데,
It's something you might expect there to be an elementary number theory approach to, but as far as we can tell, there's just not.

111
00:06:12,352 --> 00:06:15,418
적어도 우리가 알기로는
그런 게 전혀 없어요.

112
00:06:15,418 --> 00:06:19,054
반면 실제 해법은—어쩌면
더 간단한 게 있을 수도
Whereas the actual solution, maybe there is something simpler, but this might be what it has to be.

113
00:06:19,054 --> 00:06:22,960
있지만, 어쩌면 이게 꼭
필요한 형태일 수도 있어요.

114
00:06:22,960 --> 00:06:25,860
타원 곡선을 중심으로 수백 년간 쌓여온,
There’s such a complicated set of ideas that build on centuries of work centered around elliptic curves.

115
00:06:25,860 --> 00:06:28,761
정말 복잡한 아이디어들의 집합이 있어요.

116
00:06:28,761 --> 00:06:30,978
그리고 모듈러 형식이라는 것을 중심으로
Then there's this other mountain of ideas centered around these things called modular forms.

117
00:06:30,978 --> 00:06:33,090
한 또 다른 아이디어의 산이 있고요.

118
00:06:33,090 --> 00:06:35,276
이 두 산을 다 쌓아 올려야만, 그 둘을
Both of those mountains have to be built before you can ask the right question that connects them.

119
00:06:35,276 --> 00:06:37,462
잇는 제대로 된 질문을 던질 수 있어요.

120
00:06:37,462 --> 00:06:41,942
만약 리만 가설의 해법이
새로운 산을 쌓는 일이었다면,
If the solution to the Riemann hypothesis involved building a new mountain, that's a kind of skill—the ability to come up with the right new ideas—that feels sufficiently different from the character of how they're intelligent right now.

121
00:06:41,942 --> 00:06:46,272
그건—맞는 새 아이디어를
떠올리는 능력이라는—지금 이

122
00:06:46,272 --> 00:06:51,200
모델들이 똑똑한 방식과는 꽤
다른 성격의 능력처럼 느껴져요.

123
00:06:51,200 --> 00:06:54,880
그게 딱히 여러분이 고용한 영상
편집자한테 필요한 능력은 아니잖아요.
It's not like that's what you need from your hired video editor per se.

124
00:06:54,880 --> 00:06:59,260
하지만 만약 AI가 어떤
주제를 어떻게 생각해야 할지를
But if it's capable of building mountains that are the correct new theory crystallizing how we should be thinking about a subject, that's just such a level of intelligence that it would be surprising if it didn't permeate into other aspects of the economy besides just the mountain-building for math itself.

125
00:06:59,260 --> 00:07:04,077
응집시키는 올바른 새 이론이라는
산을 쌓을 수 있다면, 그건

126
00:07:04,077 --> 00:07:08,749
그 정도 수준의 지능이라서,
수학에서 산을 쌓는 것 말고도

127
00:07:08,749 --> 00:07:13,712
경제의 다른 영역까지 스며들지
않는다면 오히려 놀라울 거예요.

128
00:07:13,712 --> 00:07:17,233
적어도, 화이트칼라 인간이 할
수 있는 모든 걸 문자 그대로 다
Or at the very least, even if it couldn't literally do every single thing white-collar humans can do, it would just have transformative effects in the way that getting gold in the IMO did not have transformative effects on the world.

129
00:07:17,233 --> 00:07:21,057
해내지는 못하더라도, IMO에서
금메달을 딴 게 세상에 별다른 변혁적

130
00:07:21,057 --> 00:07:24,880
영향을 주지 않았던 것과는 달리,
정말 변혁적인 영향을 미칠 거예요.

131
00:07:24,880 --> 00:07:27,148
우선 짚고 넘어가고 싶은 게, 저 지금
First of all, I do want to point out that I'm totally moving the goalpost here.

132
00:07:27,148 --> 00:07:29,200
완전히 골대를 옮기고 있는 거예요.

133
00:07:29,200 --> 00:07:31,791
2, 3년 전에 다리오를
인터뷰했을 때, 왜 이들이
When I interviewed Dario two or three years ago, I asked this question about why they haven't been able to use their vast knowledge to connect ideas together and come up with a new discovery that way.

134
00:07:31,791 --> 00:07:34,382
그 방대한 지식을 활용해서
아이디어를 연결하고 그런

135
00:07:34,382 --> 00:07:37,066
식으로 새로운 발견을 해내지
못하는지 물어봤었거든요.

136
00:07:37,066 --> 00:07:40,833
그건 웬만큼 똑똑한 사람이라도
이 정도 정보를 알고 있다면, 이
That seems like the kind of thing where even a moderately intelligent person, if they knew this much information, would be able to come up with a medical diagnosis from the fact that this drug causes migraines, and this other thing does this, and maybe it's the same drug that can cure both things.

137
00:07:40,833 --> 00:07:44,599
약이 편두통을 일으킨다는 사실과
또 다른 게 이런 작용을 한다는

138
00:07:44,599 --> 00:07:48,581
사실로부터 어쩌면 같은 약이 두
가지를 다 치료할 수 있겠다는 식의

139
00:07:48,581 --> 00:07:52,240
의학적 진단을 이끌어낼 수 있는,
그런 부류의 일처럼 보여요.

140
00:07:52,240 --> 00:07:55,076
외부인 시각에서 보면 수학은
분명 이런 사례가 있는 분야로
From an outsider's perspective, mathematics seems clearly like a field where finding the counterexample to the unit distance problem conjecture was an example of this kind of thing.

141
00:07:55,076 --> 00:07:58,710
보여요 — 단위 거리 추측(unit
distance conjecture)에

142
00:07:58,710 --> 00:08:01,280
대한 반례를 찾아낸 것도
바로 이런 종류의 일이었죠.

143
00:08:01,280 --> 00:08:02,912
그러니까 이건 완전히
골대를 옮기는 거예요.
So it’s total goalpost moving.

144
00:08:02,912 --> 00:08:05,440
하지만 그럼 이렇게 물을 수
있죠, 다음 벤치마크는 뭘까요?
But then we can ask, what is the next benchmark?

145
00:08:05,440 --> 00:08:08,808
이제 AI가 원래 할 수
있으리라 생각했어야 할 그
Now that AIs can do this thing we should have thought they'd be able to do, what is the next thing that would be quite impressive?

146
00:08:08,808 --> 00:08:12,416
일을 해냈으니, 다음으로 꽤
인상적일 만한 건 뭘까요?

147
00:08:12,416 --> 00:08:15,360
여기엔 후보가 될 만한
아이디어가 두 가지 있어요.
There are a couple of candidate ideas here.

148
00:08:15,360 --> 00:08:20,716
하나는 애초에 흥미로운 문제를 만들어내는
것이고, 다른 하나는 분야를 새로
One could be coming up with interesting problems in the first place, and the other is coming up with new kinds of objects or conceptualizations that create or unify fields.

149
00:08:20,716 --> 00:08:25,680
만들거나 통합하는 새로운 종류의
대상이나 개념화를 고안해내는 거예요.

150
00:08:25,680 --> 00:08:28,107
첫 번째로 말하면,
지금 우리에게 밀레니엄
On the first one, right now we have these Millennium Prize problems because mathematicians have noted them.

151
00:08:28,107 --> 00:08:31,379
문제(Millennium
Prize Problems)들이

152
00:08:31,379 --> 00:08:34,228
있는 건 수학자들이 그것들을
주목했기 때문이에요.

153
00:08:34,228 --> 00:08:37,905
리만은 이 함수의 영점들이
소수의 밀도와 어떤 연관이
Riemann came up with this idea of the Riemann zeta function because he thought the zeros of this function would have some connection to the density of prime numbers.

154
00:08:37,905 --> 00:08:41,455
있을 거라고 생각해서 리만
제타 함수(Riemann

155
00:08:41,455 --> 00:08:45,386
zeta function)라는
아이디어를 떠올린 거고요.

156
00:08:45,386 --> 00:08:48,888
애초에 이걸 왜 연구할 가치가
있다고 생각하는지, 왜 이런
Figuring out why we think this is an interesting thing to study in the first place, why we are building this object and trying to answer questions about it—and answer this particular question about it—seems like the kind of thing that would be the next benchmark.

157
00:08:48,888 --> 00:08:51,952
대상을 만들어서 그에 관한
질문에 답하려 하는지 —

158
00:08:51,952 --> 00:08:55,563
그리고 그중에서도 이 특정한
질문에 답하려 하는지를 알아내는

159
00:08:55,563 --> 00:08:58,627
것, 그게 다음 벤치마크가
될 만한 일처럼 보여요.

160
00:08:58,627 --> 00:09:03,040
지금 꽤 좋은 예시 두
가지를 짚어주셨네요.
You highlight two pretty good examples there.

161
00:09:03,040 --> 00:09:06,526
단위 거리 추측이 궁금하신
분들을 위해 말씀드리면,
For anyone curious about the unit distance conjecture, there's this really nice video by a math channel called Polylog where they talk about it.

162
00:09:06,526 --> 00:09:11,132
Polylog라는 수학 채널에 이걸
다룬 정말 좋은 영상이 있어요.

163
00:09:11,680 --> 00:09:15,200
이런 논의들은 다 사람들이 수학을
하는 과정 자체를 돌아보게 만들어요.
All of these discussions cause people to reflect on the process of doing math.

164
00:09:15,200 --> 00:09:16,273
사람들 반응은 다 이런 식이에요. "와,
They're like, "Oh, this thing can do this impressive stuff.

165
00:09:16,273 --> 00:09:17,200
얘가 이런 굉장한 일을 다 하네요.

166
00:09:17,200 --> 00:09:18,299
그럼 이게 우리한테 어떤 의미일까요?"
What does that mean for us?"

167
00:09:18,299 --> 00:09:21,728
그 영상에 나온 사람 중 한
명이 이 인용구를 짚어요.
One of the people in that video highlights this quote: "good mathematicians prove theorems, great mathematicians come up with conjectures, and the greatest mathematicians come up with definitions."

168
00:09:21,728 --> 00:09:25,272
"좋은 수학자는 정리를
증명하고, 위대한 수학자는 추측을

169
00:09:25,272 --> 00:09:28,587
내놓고, 가장 위대한 수학자는
정의를 만들어냅니다."

170
00:09:28,587 --> 00:09:31,760
그게 지금 말씀하신
프레이밍이랑 거의 똑같네요.
That's more or less exactly your framing here.

171
00:09:31,760 --> 00:09:35,280
그러니까 우리한테 필요한 건 추측
생성기, 그다음엔 정의 생성기인 거죠.
We need the conjecture generator and then the definition generator.

172
00:09:35,280 --> 00:09:38,291
그게 바로 최고급 수학자인 거고요.
That's the premium-tier mathematician.

173
00:09:38,291 --> 00:09:42,034
그런데 그걸 정확히 어떻게 벤치마크로
만들 수 있을지는 잘 모르겠어요.
I don't understand how exactly you'd make that a benchmark.

174
00:09:42,034 --> 00:09:44,719
보통 저는 '벤치마크'라는
단어를 생각하면,
Usually, when I think of the word benchmark, I'm thinking of something that is a goalpost.

175
00:09:44,719 --> 00:09:46,844
일종의 골대 같은 걸 떠올리거든요.

176
00:09:46,844 --> 00:09:48,880
공이 골을 통과했거나,
아니거나 둘 중 하나인 거죠.
The ball is through the goal or it's not.

177
00:09:48,880 --> 00:09:51,045
"그래, 이건 끝났어요"라고
명확하게 말할 수 있는 거예요.
You can clearly say, "Yes, this is done."

178
00:09:51,045 --> 00:09:54,409
그건 부분적으로는 RLVR 같은
걸 할 수 있게 하려는 거고, 또
Partly that's to be able to do things like RLVR, but also partly just to know that you haven't moved the goalpost in answering.

179
00:09:54,409 --> 00:09:58,240
부분적으로는 답을 하면서 골대를 옮기지
않았다는 걸 확인하기 위한 거고요.

180
00:09:58,240 --> 00:10:01,313
오픈AI가 단위 거리 추측을
반증했다는 걸 헤드라인으로 내세울
OpenAI can have their headline on disproving the unit distance conjecture because it's a clear, distinct thing.

181
00:10:01,313 --> 00:10:04,114
수 있는 건, 그게 명확하고
뚜렷한 사실이기 때문이에요.

182
00:10:04,114 --> 00:10:04,678
실제로 해낸 거니까요.
It did it.

183
00:10:04,678 --> 00:10:07,470
반면에 GPT-5.4가
정말 좋은 추측을 하나
Whereas imagine trying to have a headline on GPT-5.4 coming up with a really good conjecture.

184
00:10:07,470 --> 00:10:10,598
내놓았다는 헤드라인을 뽑으려
한다고 상상해 보세요.

185
00:10:10,598 --> 00:10:13,670
"약속드릴게요, 다들 이게
좋은 추측이라고 생각해요."
"We promise, everyone thinks it's a good conjecture."

186
00:10:13,670 --> 00:10:16,720
그건 와닿는 느낌 자체가 다르잖아요.
It just doesn't land the same way.

187
00:10:16,720 --> 00:10:18,790
하지만 그렇다고 해서
이게 생각해 봐야 할
But maybe that doesn't negate the fact that it's the right thing to be thinking about.

188
00:10:18,790 --> 00:10:21,040
옳은 방향이 아니라는
뜻은 아닐 수도 있어요.

189
00:10:21,040 --> 00:10:25,977
이게 벤치마크 같은 형태를 띠어서,
추측이 얼마나 좋은지 수치화해
I would be surprised if it ever took the form of looking like a benchmark, where we have a score saying it's passed because we can quantify how good a conjecture is.

190
00:10:25,977 --> 00:10:30,640
통과 점수를 매기는 식이 된다면
저는 오히려 놀랄 것 같아요.

191
00:10:30,640 --> 00:10:35,508
아마 필요한 건, 수학자들과
함께 작업할 때 이게 유용하다는
The nature of what it would take is probably that you'd feel a tone shift in conversations with mathematicians about the way it's useful to work with.

192
00:10:35,508 --> 00:10:40,080
쪽으로 대화의 어조가 달라지는
걸 느끼는 정도일 거예요.

193
00:10:40,080 --> 00:10:44,090
아까 말씀하신 그 시리즈는 아직 전혀
제작되지 않았고 아마 한두 달은 더
This series you referenced, which is not at all produced yet and probably won't be for a couple of months, takes the form of us interviewing a lot of mathematicians.

194
00:10:44,090 --> 00:10:48,000
걸릴 텐데, 저희가 많은 수학자들을
인터뷰하는 형식으로 만들고 있어요.

195
00:10:48,000 --> 00:10:51,394
흥미로운 건, 저희가 이걸
시작한 지 1년이 넘었는데,
What's interesting is that we started doing this over a year ago, and it's fun to see a little bit of a tone shift in the way they talk about AI between mid-2025 and where we are now in 2026.

196
00:10:51,394 --> 00:10:55,580
2025년 중반과 지금 2026년
사이에 그분들이 AI를 이야기하는

197
00:10:55,580 --> 00:10:59,200
방식에 어조 변화가 조금씩
보이는 게 재미있다는 점이에요.

198
00:10:59,200 --> 00:11:01,280
현실 세계에서는 아주 짧은 시간이죠.
In the real world, that's a very short amount of time.

199
00:11:01,280 --> 00:11:02,840
AI 세계에서는 영겁의 시간이고요.
In the AI world, that's eons.

200
00:11:02,840 --> 00:11:06,720
그 영겁의 시간 동안 이 어조
변화를 지켜볼 수 있었던 거고요.
We're able to see this tone shift over those eons.

201
00:11:06,720 --> 00:11:09,893
제 생각엔 추측을 만들어내는
능력을 측정하는 방식은, 그 어조
I think the way you'd measure conjecture-generating ability is going to be more subjective, based on that tone shift.

202
00:11:09,893 --> 00:11:12,880
변화를 바탕으로 한 좀 더
주관적인 형태가 될 것 같아요.

203
00:11:12,880 --> 00:11:16,626
수학자들이 이걸 그냥 문제
풀이에만 쓰는 게 아니라, 한
It will be mathematicians saying they're not just using it to solve their problems, but that as they step back and decide what their research field should even be, a conversation with such-and-such model was genuinely helpful for that.

204
00:11:16,626 --> 00:11:20,734
발 물러서서 자기 연구 분야가
무엇이어야 하는지 정할 때 어떤

205
00:11:20,734 --> 00:11:24,480
모델과의 대화가 정말 도움이
됐다고 말하는 식일 거예요.

206
00:11:24,480 --> 00:11:28,148
이게 "또 하나의 벤치마크가 깨졌다"는
I don't think it's likely you'd see it in the form of a headline saying this was yet another benchmark knocked down.

207
00:11:28,148 --> 00:11:32,166
식의 헤드라인으로 나올
것 같지는 않아요.

208
00:11:32,166 --> 00:11:33,477
정말 흥미롭네요.
It's very interesting.

209
00:11:33,477 --> 00:11:36,859
벤치마크로 만들 수 없는
종류의 것들은, 적어도 지금
The kinds of things you can't make benchmarks for are also the kinds of things, at least in the current paradigm, you can't easily train for.

210
00:11:36,859 --> 00:11:40,591
패러다임에서는, 쉽게 학습시킬
수도 없는 것들이기도 하죠.

211
00:11:40,591 --> 00:11:46,440
사실 벤치마크와 학습 환경
사이에 근본적인 차이는 없거든요.
There's really no fundamental difference between a benchmark and a training environment.

212
00:11:46,440 --> 00:11:49,973
"AI가 특정한 걸 못 하는 데는
심오한 이유가 있다"는 식의
It's very easy to come up with some dichotomy of, "here's a deep reason why AI can't do a certain thing", and then it turns out you're just thinking about it the wrong way, and actually it can do it pretty soon thereafter.

213
00:11:49,973 --> 00:11:53,299
이분법을 만들어내기는 아주
쉬운데, 알고 보면 그냥 잘못된

214
00:11:53,299 --> 00:11:57,040
방식으로 생각한 것뿐이고 실제로는
얼마 안 가 그걸 해내곤 하죠.

215
00:11:57,040 --> 00:12:02,961
그래도 제가 몇 가지— 어차피
몇 개는 떠올리실 텐데요.
But I'm going to come up with— You're going to come up with a couple anyway.

216
00:12:04,000 --> 00:12:06,511
아마 비교적 가까운 시일
내에 이런 걸 하도록
It'll probably turn out that there are ways we can train AIs to do these kinds of things in the relatively near term.

217
00:12:06,511 --> 00:12:08,922
AI를 학습시키는 방법이
나오긴 할 거예요.

218
00:12:08,922 --> 00:12:12,146
다만 지금의 RLVR 학습과는
다른 방식이어야 할 것 같아요.
But it seems like it would have to be different from current RLVR training.

219
00:12:12,146 --> 00:12:16,448
제가 궁금한 건—그리고 수학과
과학 전반에서 큰 진전을
The thing I'm curious about—and the thing that seems to me to drive a lot of the big progress in mathematics and in science generally—is coming up with a new way to think about a problem or a new way to understand the world that unifies different fields, spawns entire new fields, and solves problems we weren't even trying to solve in the first place.

220
00:12:16,448 --> 00:12:21,467
이끄는 원동력이라고 생각하는
건—문제를 바라보는 새로운 방식이나

221
00:12:21,467 --> 00:12:26,056
세상을 이해하는 새로운 방식을
찾아내는 거예요. 서로 다른

222
00:12:26,056 --> 00:12:30,788
분야를 통합하고, 완전히 새로운
분야를 낳고, 애초에 풀려고

223
00:12:30,788 --> 00:12:35,090
하지도 않았던 문제까지
풀어버리는 그런 방식 말이에요.

224
00:12:35,090 --> 00:12:38,055
아인슈타인이 일반상대성이론(GR)을
고민했던 이유는 빛이 왜
The reason Einstein was thinking about GR is not because he wanted to explain why light bends or why black holes exist.

225
00:12:38,055 --> 00:12:41,200
휘는지, 블랙홀이 왜 존재하는지를
설명하고 싶어서가 아니었어요.

226
00:12:41,200 --> 00:12:45,040
애초에 그로서는 설명이
필요하지도 않았던 현상들이었죠.
These are phenomena he didn't even need explained in the first place.

227
00:12:45,040 --> 00:12:48,964
수학에서는 — 제가 여기서
완전히 문외한이라 무슨 얘기를
In mathematics, as a total outsider who doesn’t even know what he’s talking about here, it seems like there are often ways to prove a specific problem that can motivate a new conceptualization—one which results in a whole new field, a whole new way of thinking, which is immensely productive—and ways which don't.

228
00:12:48,964 --> 00:12:53,141
하는 건지도 잘 모르지만 —
특정 문제를 증명하는 방식 중에

229
00:12:53,141 --> 00:12:56,812
새로운 개념화를 촉발해서
완전히 새로운 분야, 완전히

230
00:12:56,812 --> 00:13:00,862
새로운 사고방식으로 이어지고
그게 엄청나게 생산적인 경우가

231
00:13:00,862 --> 00:13:04,913
종종 있는 것 같고, 그렇지
않은 경우도 있는 것 같아요.

232
00:13:04,913 --> 00:13:09,240
갈루아가 군론을 만들어낸 이야기를
들어보고 싶은데요 — 오차방정식의
I'd be curious to hear you talk about Galois coming up with group theory, distinguishing his solution to the quintic having no formula for the roots, and Abel coming up with a different proof a few years earlier that didn't come up with group theory.

233
00:13:09,240 --> 00:13:14,036
근에는 공식이 존재하지 않는다는 그의
해법과, 몇 년 앞서 아벨이 내놓은,

234
00:13:14,036 --> 00:13:18,480
군론으로는 이어지지 않았던 또 다른
증명을 구분해서 말씀해 주시면요.

235
00:13:18,480 --> 00:13:21,517
군론이 흥미로운 개념인지 검증
루프를 돌려보고 싶다면 —
If you wanted to do a verification loop on whether group theory is an interesting concept—was something useful done here, or why is this proof better?—potentially that verification loop is a hundred years long.

236
00:13:21,517 --> 00:13:24,749
여기서 유용한 뭔가가 이루어진
건지, 왜 이 증명이 더 나은

237
00:13:24,749 --> 00:13:28,080
건지 — 어쩌면 그 검증 루프는
백 년이나 걸릴 수도 있어요.

238
00:13:28,080 --> 00:13:31,120
여기에는 암호학이 등장하고
물리학이 발전하는 과정,
It involves cryptography coming around and physics making progress, and the ideas in group theory being relevant to understanding symmetries in physics.

239
00:13:31,120 --> 00:13:34,269
그리고 군론의 아이디어가
물리학에서 대칭성을 이해하는

240
00:13:34,269 --> 00:13:37,200
데 중요하다는 사실이
밝혀지는 과정까지 포함돼요.

241
00:13:37,200 --> 00:13:40,432
애초에 이게 왜 생산적인 개념인지에 대한
There's a hundred-year verification loop on why this is a productive concept in the first place.

242
00:13:40,432 --> 00:13:43,371
검증 루프만 백 년이 걸리는 거예요.

243
00:13:44,560 --> 00:13:47,487
정곡을 찌르셨네요. 사실
2022년에 갈루아에 관한
You struck a nerve, because I had this project about Galois I was going to do in 2022 that I put on the shelf, but I spent a year of my life thinking a lot about what he did.

244
00:13:47,487 --> 00:13:50,728
프로젝트를 하려다가 보류해
둔 게 있거든요. 그런데 그가

245
00:13:50,728 --> 00:13:53,760
한 일에 대해서는 1년 동안
정말 많이 생각해봤어요.

246
00:13:53,760 --> 00:13:56,546
제가 디테일에 빠져서
자칫 너무 길게 얘기할
There's a risk of me accidentally talking too long on the specifics, which you can hold me back on.

247
00:13:56,546 --> 00:13:59,680
위험이 있으니까, 그럴
때는 좀 막아주셔도 돼요.

248
00:13:59,680 --> 00:14:04,934
그 말씀에 딱 맞는 예시네요.
왜냐하면 그게 왜 가치 있는
It's a perfect example for your case, because describing why it was a valuable insight does not come from immediate utility.

249
00:14:04,934 --> 00:14:09,695
통찰이었는지는 당장의 쓸모로
설명되는 게 아니거든요.

250
00:14:09,695 --> 00:14:12,408
확실히 RLVR 환경을 생각하신다면,
Certainly, if you're thinking about RLVR environments, this is going to be really hard to do.

251
00:14:12,408 --> 00:14:15,120
이건 정말 하기 어려운 일일 거예요.

252
00:14:15,120 --> 00:14:19,120
그런데 흥미로운 점은, 당시에는
사람 검증자가 있었는데도 이걸
But it's interesting to note that even with human verifiers at the time, it took a really long time to recognize it as being useful.

253
00:14:19,120 --> 00:14:22,884
유용하다고 인정받기까지 정말
오랜 시간이 걸렸다는 거예요.

254
00:14:22,884 --> 00:14:25,326
아인슈타인의 일반상대성이론(GR)
같은 경우엔, 사람들이
With Einstein and GR, people could feel this was a good theory right away.

255
00:14:25,326 --> 00:14:27,531
바로 이게 좋은 이론이라는
걸 느낄 수 있었잖아요.

256
00:14:27,531 --> 00:14:32,186
갈루아 이론이 그렇게 흥미로운
예시인 이유는, 말 그대로 백
What makes Galois theory such an interesting example is that you literally have this hundred-year segment of an idea that flows through many different people's heads before it settles into something the math community agrees is good.

257
00:14:32,186 --> 00:14:37,124
년에 걸쳐서 이 아이디어가 여러
사람의 머릿속을 거쳐 흘러가다가

258
00:14:37,124 --> 00:14:41,920
결국 수학계가 좋다고 동의하는
무언가로 자리 잡기 때문이에요.

259
00:14:41,920 --> 00:14:43,325
조금 되돌아가서 얘기해보면…
To back up a little bit…

260
00:14:43,325 --> 00:14:47,524
이 문제의 배경까지 설명해 드릴까요?
Do you want the background on the problem at all?

261
00:14:48,160 --> 00:14:51,200
우리는 다들 학교에서 이차방정식의
근의 공식을 배우잖아요.
We all learn about the quadratic formula in school.

262
00:14:51,200 --> 00:14:52,800
저는 다들 학교에서
군론을 배운다고 말씀하시는
I thought you were going to say we all learn about group theory in school, but I missed that class.

263
00:14:52,800 --> 00:14:54,400
줄 알았는데, 저는 그
수업을 빼먹었나 봐요.

264
00:14:54,400 --> 00:14:55,966
우리는 다들 군론을 배우…
We all learn about group theory…

265
00:14:55,966 --> 00:14:58,320
아니요, 이차방정식의
근의 공식 말이에요.
No, the quadratic formula.

266
00:14:58,320 --> 00:14:59,147
이건 이미 알려져 있었어요.
This was known.

267
00:14:59,147 --> 00:15:01,824
어떤 의미에서는 그리스인들도
이차방정식을 풀 수
In some sense, the Greeks could solve quadratics, but they didn't really write things in algebra.

268
00:15:01,824 --> 00:15:04,501
있었지만, 대수적으로
제대로 적어내지는 않았죠.

269
00:15:04,501 --> 00:15:07,440
그 공식을 실제로 적어낸
건 아랍인들이에요.
It's really the Arabs who wrote down that formula.

270
00:15:07,440 --> 00:15:11,896
결투를 벌이던 이탈리아
수학자들에 관한 재미있는 이야기가
There's this delightful story about dueling Italian mathematicians—not real duels, just intellectual challenges—who secretly found a formula for the cubic, and then very shortly thereafter found a formula for degree-four polynomials.

271
00:15:11,896 --> 00:15:16,064
있어요 — 진짜 결투는
아니고 지적인 대결이었지만 —

272
00:15:16,064 --> 00:15:20,376
이들이 몰래 삼차방정식의
공식을 찾아냈고, 그러고 나서

273
00:15:20,376 --> 00:15:24,400
얼마 지나지 않아 사차
다항식의 공식까지 찾아냈죠.

274
00:15:24,400 --> 00:15:27,419
그래서 수학자들에게
자연스러운 미해결 문제는,
So a natural open question for mathematicians is, can you find a formula that solves degree-five equations?

275
00:15:27,419 --> 00:15:30,800
오차방정식을 푸는 공식을
찾을 수 있느냐는 거였죠.

276
00:15:30,800 --> 00:15:33,122
사차방정식의 공식은 그야말로 괴물이에요.
The degree-four formula is a monster.

277
00:15:33,122 --> 00:15:35,200
그걸 완전히 적어 놓는다는 건 정말
말도 안 되는 일이었을 거예요.
It would be wild to write it down.

278
00:15:35,200 --> 00:15:37,401
보통은 그걸 끝까지 다 적지는 않아요.
You usually don't write it down in full.

279
00:15:37,401 --> 00:15:39,440
일종의 절차, 그러니까 단계별
과정으로 쪼개서 쓰는 거예요.
You break it up as a procedural thing.

280
00:15:39,440 --> 00:15:42,640
이런 것들이 지수적으로 복잡도가
커진다고 생각하실 수도 있어요.
You might believe these things have this exponentially increasing complexity.

281
00:15:42,640 --> 00:15:45,920
그래서 수백 년 동안 아무도 그
질문에 제대로 답하지 못했어요.
So for many hundreds of years, nobody was really answering that question.

282
00:15:45,920 --> 00:15:49,236
보통은 아벨이 처음으로
그걸 증명했다고 얘기하죠.
Usually, we say Abel was the first to prove it.

283
00:15:49,236 --> 00:15:52,483
젊고 조숙한 노르웨이 수학자였어요.
He was this young, precocious Norwegian mathematician.

284
00:15:52,483 --> 00:15:54,320
그는 그게 그냥 불가능하다는
걸 보여줬어요.
He showed it's simply impossible.

285
00:15:54,320 --> 00:15:55,722
5차 공식을 찾을 수
있다는 게 아니라는 거예요.
It’s not that you can find a quintic formula.

286
00:15:55,722 --> 00:15:57,111
처음엔 자기가 공식을
찾았다고 생각했는데,
He thought he found one initially, but he showed it's impossible.

287
00:15:57,111 --> 00:15:58,258
결국 불가능하다는 걸 보여준 거죠.

288
00:15:58,258 --> 00:16:00,757
근데 제 생각엔, 진짜
공로를 얘기하려면 조금
I think the real credit though, you have to back up a bit and talk about Lagrange.

289
00:16:00,757 --> 00:16:03,655
거슬러 올라가서 라그랑주
얘기를 해야 할 것 같아요.

290
00:16:03,655 --> 00:16:05,896
그가 이 문제에 대해 어떤 질문을
He found the right kind of question to ask about this.

291
00:16:05,896 --> 00:16:08,635
던져야 하는지 제대로 찾아낸 사람이에요.

292
00:16:08,635 --> 00:16:13,920
아주 개략적인 수준에서만
설명해 드릴게요.
I'll give it at a very high level.

293
00:16:13,920 --> 00:16:17,237
그는 이 문제를 연구하다가,
이 다항식들을 풀 수
He was studying the question and recognized that being able to solve these polynomials is very related to understanding the way certain algebraic expressions are symmetric.

294
00:16:17,237 --> 00:16:20,923
있느냐가 어떤 대수식들이
대칭을 이루는 방식을 이해하는

295
00:16:20,923 --> 00:16:24,240
것과 아주 밀접하게 관련돼
있다는 걸 알아챘어요.

296
00:16:24,240 --> 00:16:28,136
예를 들어 a + b + c +
d처럼 변수 네 개를 그냥 더한
If I write down a + b + c + d, just adding four variables, and I permute those, it doesn't change the value of the expression.

297
00:16:28,136 --> 00:16:32,144
식을 적고 나서 이 변수들을
치환해도, 식의 값은 바뀌지 않아요.

298
00:16:32,144 --> 00:16:34,911
반면에 a + b×c
+ d라고 적으면, 어떤
Whereas if I write a + b * c + d, some of the permutations don't change it, but some of them do.

299
00:16:34,911 --> 00:16:37,678
치환은 값을 안 바꾸지만
어떤 치환은 바꿔요.

300
00:16:37,678 --> 00:16:41,602
그가 정말 멋진 통찰을 얻었는데요,
자유 변수가 네 개인 표현을 찾을
He had this really nice insight about how if you can find expressions that have four free variables, but all the permutations take on three distinct values, that has this unexpected relationship with being able to reduce degree four into degree three.

301
00:16:41,602 --> 00:16:45,526
수 있고 그 모든 치환이 딱 세 가지
서로 다른 값만 갖는다면, 그게

302
00:16:45,526 --> 00:16:49,554
4차 방정식을 3차로 낮추는 것과
예상치 못한 관계가 있다는 거였어요.

303
00:16:49,554 --> 00:16:53,067
그는 5차 다항식을 찾을 수
있느냐는 질문에, 이 방법을
He started approaching the question of whether we can find a quintic polynomial by wondering if he could extend that method.

304
00:16:53,067 --> 00:16:56,240
확장할 수 있을지 궁금해하면서
접근하기 시작했어요.

305
00:16:56,240 --> 00:16:59,417
그 방법을 확장하려면,
자유 변수가 다섯 개인
To extend that method, you would have to have an expression that has five free variables such that as you permute them over all the five factorial permutations, it takes on only four values or fewer.

306
00:16:59,417 --> 00:17:02,975
표현이 있어야 하는데, 그걸
5!가지의 모든 치환에

307
00:17:02,975 --> 00:17:06,406
대해 돌려봐도 네 가지
이하의 값만 나와야 해요.

308
00:17:06,406 --> 00:17:08,480
그건 퍼즐 책에 실어도 될 정도예요.
You could put that in a puzzle book.

309
00:17:08,480 --> 00:17:13,120
열두 살짜리 아이도 풀어볼 만한
두뇌 퀴즈에 실어도 될 정도고요.
You could put that in a brain teaser that a twelve-year-old could engage with.

310
00:17:13,120 --> 00:17:17,760
그게 불가능한 일처럼 느껴지는
것도 어렵지 않은 일이에요.
It's not too hard to find yourself feeling like that's an impossible task.

311
00:17:17,760 --> 00:17:21,172
라그랑주는 이렇게 말하고
있는 셈이에요. "여기
Lagrange is sitting there saying, "Here is a strategy to solve this problem of finding a quintic polynomial.

312
00:17:21,172 --> 00:17:24,321
5차 다항식을 찾는
문제를 풀 전략이 있다.

313
00:17:24,321 --> 00:17:27,960
적어도 이 전략만 보면,
불가능할 수도 있어 보인다."
It seems like it might be impossible, at least from this strategy."

314
00:17:27,960 --> 00:17:31,999
하지만 그게 역사상 처음으로, 대칭에
관한 어떤 질문이 이 다항식들을
But that was the first time in history that people had the instinct that some kind of question about symmetry was the right way to study these polynomials.

315
00:17:31,999 --> 00:17:35,825
연구하는 올바른 방법이라는 직감을
사람들이 갖게 된 순간이었어요.

316
00:17:35,825 --> 00:17:37,360
그의 머릿속에서는, 그냥
하나의 방법이었을 뿐이에요.
In his mind, it was just a way.

317
00:17:37,360 --> 00:17:40,560
사실 더 긴밀한 연결이 있다는 건
아직 발견되지 않은 상태였어요.
It had yet to be discovered that there was actually a tighter connection.

318
00:17:40,560 --> 00:17:43,779
그리고 어쩌면 공식을 찾으려 하기보다
정반대의 질문을 던져야 하는 건지도
Also maybe rather than searching for the formula, we should be asking the opposite question: can you prove that it's impossible?

319
00:17:43,779 --> 00:17:46,918
몰라요 — '이게 불가능하다는 걸
증명할 수 있을까?' 하는 질문이요.

320
00:17:46,918 --> 00:17:48,560
그가 말하자면 그 씨앗을
심어 놓은 셈이에요.
He sort of planted that seed.

321
00:17:48,560 --> 00:17:51,040
그로부터 한 50년쯤
뒤에, 아벨은 확실히
Around fifty years later, Abel definitely read Lagrange and was influenced by it.

322
00:17:51,040 --> 00:17:53,520
라그랑주를 읽었고
거기서 영향을 받았어요.

323
00:17:53,520 --> 00:17:54,902
갈루아가 수학에 막 빠져들던 시절에
We know that Galois loved Lagrange when he was falling in love with math.

324
00:17:54,902 --> 00:17:56,720
라그랑주를 정말 좋아했다는
건 알려져 있어요.

325
00:17:56,720 --> 00:18:00,626
이 두 젊은 천재가 그 문제를
두고 꽤 비슷한 통찰을 얻어낸
It's very hard to imagine that these two young geniuses coming up with pretty similar insights around that problem wasn't born from Lagrange.

326
00:18:00,626 --> 00:18:04,768
게 라그랑주에게서 비롯된 게
아니라고 상상하기는 정말 어려워요.

327
00:18:04,768 --> 00:18:08,964
그런데 이게 좋은 아이디어였다는
걸 검증할 수 있었냐고 물으셨던
But to your question on whether you are able to verify that this was a good idea, there wasn't any result that Lagrange came to.

328
00:18:08,964 --> 00:18:13,520
질문으로 돌아가면, 라그랑주가 실제로
도달한 결과는 하나도 없었어요.

329
00:18:13,520 --> 00:18:15,887
그는 문제를 풀지 못했어요.
그러니까 결과를 통해서 이게
He didn't solve the problem, so it wasn't a case of knowing it was the right question to ask based on a solution.

330
00:18:15,887 --> 00:18:18,102
맞는 질문이었다는 걸 알게
된 경우는 아니었던 거죠.

331
00:18:18,102 --> 00:18:18,748
그냥 질문을 던졌을 뿐이에요.
He just asked it.

332
00:18:18,748 --> 00:18:20,586
거기엔 어떤 본질적으로
흥미로운 지점이 있어요.
There's some intrinsically interesting thing about it.

333
00:18:20,586 --> 00:18:22,690
그리고 당시에는 수학적으로
그렇게 중요한 것도 아니었어요.
It also wasn't very important for math at the time.

334
00:18:22,690 --> 00:18:26,462
대부분의 사람들은 물리학에 응용하는
쪽에 더 관심이 있었고요.
Most people were more interested in the applications to physics.

335
00:18:26,462 --> 00:18:30,385
이건 거의 곁다리, 취미 삼아
하는 여가 활동 같은 거였어요.
This was almost a side, recreational, hobbyist-type thing.

336
00:18:30,385 --> 00:18:33,717
아벨은 오차방정식 관련 작업을
시작했지만, 이후 타원함수
Abel started working on quintic stuff, but then he was advised to spend more of his efforts studying elliptic functions, so more of his work was on that before he died young.

337
00:18:33,717 --> 00:18:37,263
연구에 더 힘을 쏟으라는 조언을
받았고, 그래서 젊은 나이에

338
00:18:37,263 --> 00:18:40,487
죽기 전까지 남긴 연구 대부분은
그쪽에 관한 거였어요.

339
00:18:40,487 --> 00:18:42,800
스물여섯 살에 결핵으로 세상을 떠났죠.
He died at twenty-six from tuberculosis.

340
00:18:42,800 --> 00:18:47,540
그리고 갈루아가 그 두 아이디어를
제대로 된 방향으로 밀고
And then Galois pushed both of those ideas in the right direction, where he really understood the nature of abstraction.

341
00:18:47,540 --> 00:18:52,873
나갔는데, 거기서 그는 추상화의
본질을 정말로 이해하고 있었어요.

342
00:18:52,873 --> 00:18:56,254
그가 감옥에 있을 때 쓴
정말 멋진 글이 있어요.
He had this really nice piece that he wrote while he was in prison.

343
00:18:56,254 --> 00:18:58,320
그의 인생 이야기만 가지고도
한참을 얘기할 수 있을 정도예요.
We could talk all about his life story.

344
00:18:58,320 --> 00:18:59,229
꽤나 파란만장하죠.
It's pretty wild.

345
00:18:59,229 --> 00:19:02,085
그런데 이 사람이 십대였고,
감옥에 있었고, 자기
But he's this teenager, he's in prison, and he had tried to submit his math papers and they had been rejected.

346
00:19:02,085 --> 00:19:04,623
수학 논문을 제출하려
했지만 거절당했었어요.

347
00:19:04,623 --> 00:19:07,912
그러니까 다시, 검증 가능한
보상이라는 관점에서 보면, 당시
So again, thinking about verifiable reward, the verifier function that is the academy at that time is rejecting what he wrote.

348
00:19:07,912 --> 00:19:11,200
학계라는 검증자 함수는 그가
쓴 걸 거부하고 있었던 거예요.

349
00:19:11,200 --> 00:19:12,735
솔직히 말하면, 그다지
일관성 있는 글은 아니었어요.
Frankly, it was not very coherent.

350
00:19:12,735 --> 00:19:13,920
완전한 증명도 아니었고요.
It wasn't a complete proof.

351
00:19:13,920 --> 00:19:16,960
이론이 실제로 무엇인지에 대한
분명한 생각을 제시하지 않았어요.
He wasn't giving a clear thought of what the theory actually was.

352
00:19:16,960 --> 00:19:20,720
그냥 이제 막 감을 잡아가는 젊은
신출내기 수학자였을 뿐이에요.
He was just a young fledgling mathematician getting his bearings.

353
00:19:20,720 --> 00:19:22,865
거기서 검증된 보상이라고
해봐야 그냥 "별로다"인 거죠.
The verified reward there is, "No good."

354
00:19:22,865 --> 00:19:25,204
하지만 그에게는 거기에 뭔가가
있다는 직감이 있었어요.
But he has some instinct that there's something there.

355
00:19:25,204 --> 00:19:29,056
그래서 그는 수학이라는 게
시간이 지나면서 이런 식의
So he's writing this diatribe on the nature of math being something that undergoes these shifts over time.

356
00:19:29,056 --> 00:19:33,040
변화를 겪는 무언가라는 내용으로
격정적인 글을 씁니다.

357
00:19:33,040 --> 00:19:37,414
그는 대수학 자체가 등장한 것,
그러니까 숫자로만 사고하던 데서 벗어나
He talks about the advent of algebra itself and going from just thinking in terms of numbers to having a certain fluency with pure algebraic expressions, where you're not tied to interpreting those expressions.

358
00:19:37,414 --> 00:19:41,451
순수한 대수적 표현을 어느 정도
자유자재로 다루게 된 것, 즉 그

359
00:19:41,451 --> 00:19:45,712
표현을 굳이 해석하지 않고도 다룰
수 있게 된 것에 대해 이야기해요.

360
00:19:45,712 --> 00:19:49,481
그는 우리가 나아가야 할 또 다른
추상화 단계가 있는 것 같다는
He has this instinct that there seems to be another layer of abstraction that we should be doing, where rather than thinking about the formulas themselves, we're thinking about what symmetries underlie those formulas.

361
00:19:49,481 --> 00:19:53,034
직감을 갖고 있어요. 공식
자체를 생각하는 대신, 그 공식들

362
00:19:53,034 --> 00:19:56,480
밑바탕에 어떤 대칭이 깔려
있는지를 생각해야 한다는 거죠.

363
00:19:56,480 --> 00:19:58,634
하지만 그건 여전히 상당히
엉성하게 정의된 이론이었어요.
But it was still a pretty ill-defined theory.

364
00:19:58,634 --> 00:20:00,940
만약 검증된 보상이
'남들이 풀지 못한 문제를
If you're trying to say the verified reward is that he solved a problem that other people haven't, well, Abel already proved that quintics are unsolvable.

365
00:20:00,940 --> 00:20:03,153
풀었다'는 거라고 한다면,
음, 아벨이 이미

366
00:20:03,153 --> 00:20:05,920
5차방정식은 풀 수 없다는
걸 증명해 둔 상태였거든요.

367
00:20:05,920 --> 00:20:08,000
그럼 갈루아는 대체 뭘
하고 있었던 걸까요?
So what was Galois doing?

368
00:20:08,000 --> 00:20:12,068
원칙적으로 갈루아 이론을 쓰면 특정
다항식을 하나 골라서, 그 다항식의
In principle, Galois theory lets you take a specific polynomial, and it gives you the rules to say whether that specific polynomial has roots that you could write down.

369
00:20:12,068 --> 00:20:16,240
근을 실제로 적어낼 수 있는지 없는지를
판별하는 규칙을 얻을 수 있어요.

370
00:20:16,240 --> 00:20:20,480
예를 들어 x⁵ - 1이라면,
해가 1이라는 걸 알 수 있죠.
For example, with x⁵ - 1, you know that a solution is 1.

371
00:20:20,480 --> 00:20:23,120
아니면 x⁵ - 2라면, 2의
5제곱근을 적어낼 수 있고요.
Or x⁵ - 2, you can write down the fifth root of two.

372
00:20:23,120 --> 00:20:25,572
그러니까 모든 5차 다항식에
대해 해를 적을 수 없다는
So it's not that you can't write down the solution for every quintic polynomial, but could you find a specific one where you prove you can't write the solution using radicals?

373
00:20:25,572 --> 00:20:28,188
게 아니라, 근호로는 절대 해를
적을 수 없다는 걸 증명할

374
00:20:28,188 --> 00:20:30,640
수 있는 특정 사례를 찾을
수 있을까가 문제였던 거죠.

375
00:20:30,640 --> 00:20:33,466
그리고 그는 사실 그것조차
정확히 풀어내지 못했어요.
He also didn't even solve that exactly.

376
00:20:33,466 --> 00:20:36,996
특정한 사례를 들어서 '이건 안
된다'는 걸 보여준 것도 아니었고요.
He didn't show for a specific example that he couldn't.

377
00:20:36,996 --> 00:20:40,100
그가 정확히 어떤 문제를 풀었는지
설명하는 것 자체가 굉장히 까다로워요.
Even describing what problem he solved is very tricky.

378
00:20:40,100 --> 00:20:40,940
그러고 나서 그는 죽습니다.
He then dies.

379
00:20:40,940 --> 00:20:44,839
그가 결투를 벌였다는, 아주
낭만적인 이야기가 있어요.
It's this very romantic story of him having this duel.

380
00:20:44,839 --> 00:20:47,007
결투 전날 밤에 자기
아이디어를 전부 써 내려갔다는
There's a lot of myth around how he supposedly writes up all his ideas the night before the duel, but really, he tried to get them published five times before.

381
00:20:47,007 --> 00:20:49,097
식의 신화가 많이 따라붙는데,
사실 그는 그 전에

382
00:20:49,097 --> 00:20:51,032
이미 다섯 번이나 논문을
내려고 시도했었어요.

383
00:20:51,032 --> 00:20:53,187
5차방정식을 연구하는 건 건강에
별로 안 좋은 것 같아요.
Working on the quintic doesn't seem to be good for your health.

384
00:20:53,187 --> 00:20:53,995
정말 안 좋죠.
It's very bad.

385
00:20:53,995 --> 00:20:56,888
혹시 젊은 천재시라면,
5차방정식은 건드리지 마세요.
If you're a young genius, don't work on the quintic.

386
00:20:56,888 --> 00:20:59,518
그는 자기 형제와 절친한
친구에게 자신의 노트를
He asks his brother and his close friend to get his notes to Gauss, to get these notes to the important mathematicians of the day, because he thinks there's something there.

387
00:20:59,518 --> 00:21:02,553
가우스에게, 그러니까 당대의
중요한 수학자들에게 전달해

388
00:21:02,553 --> 00:21:05,386
달라고 부탁해요. 거기에
뭔가 있다고 생각했거든요.

389
00:21:05,386 --> 00:21:07,920
그런데도 그건 별로
반향을 일으키지 못했어요.
Even then, it didn't really take.

390
00:21:07,920 --> 00:21:11,448
그의 형제와 친구가 그 노트를
세상에 내놓으려 애썼지만, 리우빌이
His brother and his friend tried to get them out, but it was another twenty years until Liouville sees these notes, sees that maybe there's something in them, and tries to clean them up and understand what Galois was getting at.

391
00:21:11,448 --> 00:21:14,681
그 노트를 보고 거기 뭔가
있을지도 모른다고 여겨서 정리하고

392
00:21:14,681 --> 00:21:18,307
갈루아가 말하려던 게 뭔지 이해하려
하기까지 또 20년이 걸렸어요.

393
00:21:18,307 --> 00:21:23,680
그리고 그때로부터도 다시 20년
정도가 지나서야 조르당이 갈루아의
Even then, it was another twenty years or so until Jordan actually puts together something like a modern treatment of group theory that they attributed to Galois.

394
00:21:23,680 --> 00:21:29,651
공로로 여겨지는, 오늘날 같은 현대적
군론 체계를 실제로 정리해 냅니다.

395
00:21:29,651 --> 00:21:33,027
역사가 다르게 흘러가서 이런
아이디어들이 수학의 다른 지점에서
You could easily imagine history turning differently, where these ideas were coming about from other points in math, and Galois could have been forgotten in history if he was a less florid character.

396
00:21:33,027 --> 00:21:36,403
나왔을 수도 있었다고 쉽게 상상할
수 있는데, 갈루아가 좀 더

397
00:21:36,403 --> 00:21:39,680
평범한 인물이었다면 역사 속에서
잊혔을 수도 있었을 거예요.

398
00:21:39,680 --> 00:21:42,913
그런데 라그랑주가 근의
대칭성이 옳은 방향일지도
But between the time of Lagrange having this inkling that maybe symmetries of roots is the right way to go, to where it all looks like modern group theory, you've got this long span.

399
00:21:42,913 --> 00:21:46,643
모른다는 예감을 가졌던
시점부터, 그게 지금의 군론처럼

400
00:21:46,643 --> 00:21:50,000
보이게 되기까지, 그
사이에는 긴 시간이 있어요.

401
00:21:50,000 --> 00:21:54,320
많은 경우, 그건 인간 심사자들의
검증된 보상조차 통과하지 못했어요.
A lot of the time, it's not even passing the verified reward of human reviewers.

402
00:21:54,320 --> 00:21:56,502
누군가의 책상에 올라가면
그 사람은 "여기에
It gets on someone's desk and they say, "I don't really know if there's anything here."

403
00:21:56,502 --> 00:21:58,320
뭔가 있는지 잘 모르겠다"고 말하죠.

404
00:21:58,320 --> 00:22:01,254
그걸 알아봐 줄 단 한
사람이 있어야만 하는 거예요.
You have to have this one person recognize it.

405
00:22:01,254 --> 00:22:05,034
그때조차도, 그 시점에는 실질적인
문제를 해결하고 있던 게 아니었어요.
Even then, it's not really solving practical problems at that point.

406
00:22:05,034 --> 00:22:07,672
암호학이나 물리학 같은
것들을 언급하셨죠.
You pointed out cryptography and physics and things like that.

407
00:22:07,672 --> 00:22:12,316
20세기에 들어서야 비로소
겔만이, 특정 군들이 어떻게
You have to get into the twentieth century before you have Gell-Mann thinking that maybe understanding the nature of how certain groups break down has a relationship with what particles are made out of.

408
00:22:12,316 --> 00:22:17,270
분해되는지를 이해하는 것과
입자가 무엇으로 이루어져 있는지

409
00:22:17,270 --> 00:22:21,760
사이에 어떤 관계가 있을지도
모른다고 생각하게 돼요.

410
00:22:21,760 --> 00:22:25,600
그는 순전히 군론적인 질문을
바탕으로 쿼크의 존재를 예견해요.
He anticipates quarks based on a purely group-theoretic question.

411
00:22:25,600 --> 00:22:29,093
그게 군론의 더 흥미로운
응용 중 하나예요. 쿼크의
That's one of the more interesting applications of group theory: to even predict the existence of quarks is a group-theoretic question.

412
00:22:29,093 --> 00:22:32,710
존재를 예측하는 것 자체가
군론적인 질문이라는 거죠.

413
00:22:32,710 --> 00:22:37,575
라그랑주 이후로 그런 게 나오기까지
그렇게나 오랜 시간이 걸린 거예요.
That's so long after Lagrange before you have anything like that.

414
00:22:37,575 --> 00:22:41,640
그러니까 물어야 하는 거예요.
문제를 푸는 데 기반하지
So you have to ask, what is the way of measuring progress that's not based on solving a problem, but that is somehow capturing the instinct inside Galois's mind when he says, "I think there's something here"?

415
00:22:41,640 --> 00:22:46,112
않으면서, 갈루아가 마음속으로
"여기 뭔가 있는 것 같다"고

416
00:22:46,112 --> 00:22:50,720
느꼈던 그 직감을 어떻게든 포착하는
진전 측정 방법은 뭘까요?

417
00:22:50,720 --> 00:22:52,683
라그랑주가 마음속으로
"이게 이걸 생각하는 올바른
What's the instinct inside Lagrange's mind when he says, "I think this is the right way to think about it"?

418
00:22:52,683 --> 00:22:54,936
방식인 것 같다"고 느꼈을
때, 그 안의 직감은 뭘까요?

419
00:22:54,936 --> 00:22:58,543
리우빌이 "이 오래전에 죽은
젊은이가 남긴 흩어진 메모들에 뭔가
What's the instinct inside Liouville's mind when he says, "These scattered notes from this long-dead youngster might have something to them"?

420
00:22:58,543 --> 00:23:01,840
있을지도 모른다"고 느꼈을 때,
그 마음속 직감은 뭘까요?

421
00:23:01,840 --> 00:23:04,967
그걸 콕 집어내기가 정말 어려워요.
It's so hard to put a finger on that.

422
00:23:04,967 --> 00:23:08,820
지금 제가 만들고 있는 또
다른 영상 시리즈는 "압축이
A different series of videos I'm making right now is about the whole "compression is intelligence" idea.

423
00:23:08,820 --> 00:23:12,160
곧 지능이다"라는 아이디어
전체에 관한 거예요.

424
00:23:12,160 --> 00:23:17,415
제가 취하는 관점이 사실 그건
아니지만, 더 예측력이 좋으면서 더 작은
Even though this isn't really the angle I'm taking, there is something to the idea that the smaller expression that's more predictive feels more intelligent.

425
00:23:17,415 --> 00:23:22,400
표현일수록 더 지적으로 느껴진다는
아이디어에는 분명 일리가 있어요.

426
00:23:22,400 --> 00:23:26,524
그래서 저는 문제를 풀었는지,
뭘 풀고 있는지뿐만 아니라,
So I wonder the extent to which you can give some kind of verifiable reward around not just whether you solved it or what it is solving, but around the smallness of the concepts required to do it.

427
00:23:26,524 --> 00:23:30,520
그걸 해내는 데 필요한 개념들이
얼마나 작은지에 대해서도

428
00:23:30,520 --> 00:23:34,000
어떤 검증 가능한 보상을
줄 수 있을지 궁금해요.

429
00:23:34,000 --> 00:23:36,103
리만 가설 해법 얘기로 돌아가서, AI가
Going back to Riemann hypothesis solutions, what would that look like if an AI solves it?

430
00:23:36,103 --> 00:23:37,920
그걸 푼다면 그건 어떤 모습일까요?

431
00:23:37,920 --> 00:23:39,570
제 생각에 그게 일어날 수 있는 세 번째
I think a third way it could happen is it just straight-up works harder.

432
00:23:39,570 --> 00:23:41,520
방식은, 그냥 있는 힘껏
더 밀어붙이는 거예요.

433
00:23:41,520 --> 00:23:44,993
같은 맥락에서, 페르마의 마지막
정리에 대해서도 수천 페이지에 걸쳐
In the same way, you could maybe have an elementary proof of Fermat's Last Theorem that's just spelled out over thousands of pages that would be incoherent.

434
00:23:44,993 --> 00:23:48,560
그냥 풀어쓴, 앞뒤가 안 맞는 초등적인
증명이 있을 수도 있는 거죠.

435
00:23:48,560 --> 00:23:51,840
하지만 그걸 더 깔끔하게 보는 방법은
타원곡선 같은 걸 이용하는 거예요.
But the cleaner way to view it is with elliptic curves and all that.

436
00:23:51,840 --> 00:23:56,620
어쩌면 리만 가설에 대한 천 페이지짜리
증명이 있는데, 거기서 아무도
Maybe there's some thousand-page proof of the Riemann hypothesis that no one's really getting anything out of, and what you actually want are the succinct, compressed versions of those ideas that would then lend themselves to human understanding.

437
00:23:56,620 --> 00:24:01,400
딱히 얻는 게 없을 수도 있어요.
실제로 원하는 건 그런 아이디어들의

438
00:24:01,400 --> 00:24:06,557
간결하고 압축된 버전이죠. 그래야
인간이 이해할 수 있는 형태가 되니까요.

439
00:24:07,520 --> 00:24:10,611
우아함이 무슨 뜻인지를
정량화하려는 시도에
Maybe you throw Kolmogorov complexity into your attempt to quantify what you mean by elegance.

440
00:24:10,611 --> 00:24:14,240
콜모고로프 복잡도 같은
걸 끌어들일 수도 있겠죠.

441
00:24:14,240 --> 00:24:19,066
쉬운 일이라고는 생각하지 않지만,
문제를 풀었는지만 보상하는 게 아니라
I don't think it's easy, but I do think it's something you would have to do in order to reward the Galois-like instinct, rather than just rewarding whether you solved a problem.

442
00:24:19,066 --> 00:24:23,520
갈루아 같은 직감을 보상하려면
반드시 해야 할 일이라고 생각해요.

443
00:24:23,520 --> 00:24:27,840
과학을 위한 휴리스틱을 만들어내는
건 정말 어려운 일이에요.
It's very hard to come up with the heuristic for science.

444
00:24:27,840 --> 00:24:30,432
하지만 인간이 어떻게든
그걸 해내 왔다는 건
But it's clear humans have been doing this somehow, and obviously, AIs will do it at some point.

445
00:24:30,432 --> 00:24:33,240
분명하고, AI도 당연히
언젠가는 해낼 거예요.

446
00:24:33,240 --> 00:24:36,912
이건 검증된 보상이라는 측면에서만
의미가 있는 게 아니라, 아마
It's relevant also not just in terms of verified reward, but presumably, the end goal is understanding, human understanding.

447
00:24:36,912 --> 00:24:40,480
최종 목표가 이해, 그러니까
인간의 이해이기 때문이기도 해요.

448
00:24:40,480 --> 00:24:43,970
설령 어떤 수학적 대상이나
웅장한 새 물리 이론에 대해
Even if you do have some thousand-page proof of some math thing or some grand new physical theory, the goal is understanding.

449
00:24:43,970 --> 00:24:47,228
천 페이지짜리 증명이 있다
해도, 목표는 이해예요.

450
00:24:47,228 --> 00:24:50,226
어쩌면 목표가 예측력이라면,
그냥 자동화된 엔지니어들이
Maybe if the goal is predictiveness, you can just have automated engineers go off and build rocket ships where we have no idea how they work, but we can get between stars.

451
00:24:50,226 --> 00:24:52,824
알아서 로켓을 만들게 할
수도 있겠죠 — 어떻게

452
00:24:52,824 --> 00:24:56,021
작동하는지 전혀 몰라도, 별들
사이는 오갈 수 있으니까요.

453
00:24:56,021 --> 00:24:59,173
하지만 이해하고 싶어 하는
사람은 많을 거예요.
But there are going to be a lot of people who want to understand.

454
00:24:59,173 --> 00:25:02,721
그래도 이 복잡한 사고방식을
하나의 올바른 형태로
You're still going to want whatever the concision function is that distills down this complicated way of thinking into the right one, like the equivalent of the universal law of gravitation for Newton.

455
00:25:02,721 --> 00:25:06,269
압축해 주는 '압축 함수'
같은 게 여전히 필요할

456
00:25:06,269 --> 00:25:10,080
거예요 — 뉴턴에게 만유인력
법칙이 그랬던 것처럼요.

457
00:25:10,080 --> 00:25:13,400
그러니 AI가 그런 걸
할 수 있도록, 그 압축된
You would still want to train AIs to be able to do that and find the compressed representation.

458
00:25:13,400 --> 00:25:16,720
표현을 찾아내도록 여전히
학습시키고 싶을 거예요.

459
00:25:16,720 --> 00:25:18,986
저는 여덟 살 때까지 인도에서 자라서,
I grew up in India until I was eight, so in addition to English, I also speak Gujarati.

460
00:25:18,986 --> 00:25:21,360
영어 말고도 구자라트어를 할 줄 알아요.

461
00:25:21,360 --> 00:25:23,622
그런데 마침 구글이
Gemini 3.5 Live
And since Google just released Gemini 3.5 Live Translate, I thought it'd be fun to put it to the test in this mid-roll.

462
00:25:23,622 --> 00:25:26,058
Translate를 막
출시했길래, 이번 중간 광고

463
00:25:26,058 --> 00:25:28,320
코너에서 한번 테스트해
보면 재밌겠다 싶었어요.

464
00:25:28,320 --> 00:25:31,317
(구자라트어) Gemini
3.5 Live
(Gujarati) Gemini 3.5 Live Translate automatically detects more than 70 different languages and translates in almost real-time into the target language.

465
00:25:31,317 --> 00:25:34,835
Translate는 70개가
넘는 언어를 자동으로

466
00:25:34,835 --> 00:25:38,613
감지해서, 목표 언어로 거의
실시간으로 번역해 줘요.

467
00:25:38,613 --> 00:25:42,831
말하는 속도와 형식을 그대로
유지한 채 실시간으로 번역돼요.
Live translate your original speed and format while speaking.

468
00:25:42,831 --> 00:25:45,040
바로 지금 이렇게 하고 있는 것처럼요.
Just like it’s doing right now.

469
00:25:45,040 --> 00:25:48,541
제가 2024년에 중국을
방문했을 때, 그때 연구자들이나
I visited China back in 2024, and I remember thinking at the time that the trip would've been so much more productive if I'd been able to live-translate the conversations I was having with researchers and random people I met on the street.

470
00:25:48,541 --> 00:25:52,155
길거리에서 만난 사람들과 나눈
대화를 실시간으로 번역할 수

471
00:25:52,155 --> 00:25:56,221
있었다면 그 여행이 훨씬 더 알찼을
거라고 생각했던 기억이 나요.

472
00:25:56,221 --> 00:25:57,440
이제 그런 기술이 생겼어요.
Now we have that technology.

473
00:25:57,440 --> 00:26:00,127
그러니 실시간 번역이 필요한 앱을
만들고 계시다면, Gemini
So if you're building an app that needs live translation, you should 100% check out Gemini 3.5 Live Translate.

474
00:26:00,127 --> 00:26:03,121
3.5 Live Translate는
100% 한번 확인해 보셔야 해요.

475
00:26:03,121 --> 00:26:05,595
지금 Gemini Live API와 AI
It's available now via the Gemini Live API and in AI Studio.

476
00:26:05,595 --> 00:26:08,181
Studio에서 바로
이용하실 수 있어요.

477
00:26:08,181 --> 00:26:12,400
시작하려면 ai.studio/live로
가 보세요.
Go to ai.studio/live to get started.

478
00:26:12,400 --> 00:26:16,702
사람들은 특히 수학에 대해 이런
걱정을 해요 — AI가 리만 가설을
People have this worry about mathematics in particular that AIs will prove the Riemann hypothesis, and our understanding of mathematics won't be any the better for it.

479
00:26:16,702 --> 00:26:21,120
증명해내도, 우리의 수학적 이해는
조금도 나아지지 않을 거라는 거죠.

480
00:26:21,120 --> 00:26:22,693
이것과 관련해서 두 가지 질문이 있어요.
I have a couple of questions about this.

481
00:26:22,693 --> 00:26:27,087
첫 번째는, 이런 일을 애초에
예상해야 하는가 하는 거예요.
The first one is whether this is something you should expect.

482
00:26:27,087 --> 00:26:32,196
인간이 크고 복잡한 문제를
다룰 때 일반적이고 자연스러운
Isn't the reason humans come up with general, natural objects and subgoals when we're working on a big problem that this is just useful when you're trying to work on a complicated, important problem?

483
00:26:32,196 --> 00:26:37,305
대상이나 하위 목표를 만들어내는
이유가, 복잡하고 중요한

484
00:26:37,305 --> 00:26:42,249
문제를 풀려고 할 때 그냥
유용해서 그런 거 아닐까요?

485
00:26:42,800 --> 00:26:45,034
이론적으로, 이 방법이
과연 리만 가설을 푸는 더
Theoretically, would this even be a simpler way to solve the Riemann hypothesis, as opposed to just coming up with the natural abstractions that are relevant to thinking about the problem?

486
00:26:45,034 --> 00:26:47,352
단순한 길이 될까요? 그
문제를 생각하는 데 필요한

487
00:26:47,352 --> 00:26:50,000
자연스러운 추상 개념들을 그냥
만들어내는 것과 비교해서요.

488
00:26:50,000 --> 00:26:52,434
그리고 두 번째로, 경험적으로
봤을 때 이게 오늘날 AI가
And then two, empirically, is this what we observe when AIs make progress on problems today?

489
00:26:52,434 --> 00:26:54,640
문제에서 진전을 이룰 때
실제로 관찰되는 모습인가요?

490
00:26:54,640 --> 00:26:58,441
AI가 단위 거리 추측에
대한 그 반례를 찾아냈을
When the AI came up with that counterexample to the unit distance conjecture, you can just read its chain of thought.

491
00:26:58,441 --> 00:27:02,383
때, 그냥 그 사고 과정을
읽어보면 알 수 있어요.

492
00:27:02,383 --> 00:27:05,978
저야 수학을 전혀 모르니까
이해가 안 되는 거고,
It's not understandable to me, because I don't know anything about mathematics, but it seems that to other mathematicians it was understandable.

493
00:27:05,978 --> 00:27:09,440
다른 수학자들한테는 이해가
됐던 것 같더라고요.

494
00:27:09,440 --> 00:27:11,873
이미 알려진 수학 개념들을
활용해서 그것들 사이의
It made use of known concepts of mathematics and proved relationships between them, all in natural language.

495
00:27:11,873 --> 00:27:14,306
관계를 증명했는데, 전부
자연어로 되어 있었어요.

496
00:27:14,306 --> 00:27:17,872
그 결과 이 대상과 이 추측 사이의
As a result, it accelerated our understanding of the connection between this object and this conjecture.

497
00:27:17,872 --> 00:27:22,000
연결을 우리가 이해하는 속도가 빨라졌죠.

498
00:27:22,000 --> 00:27:24,160
그럼 실증적으로 봤을 때, 이건
우리가 걱정해야 할 문제일까요?
Empirically, is this a thing we should be worried about?

499
00:27:24,160 --> 00:27:26,727
제 생각엔 그 본질이 어떤지에
따라 다른 것 같은데요…
I think it depends on the nature…

500
00:27:26,727 --> 00:27:32,244
리만 가설을 풀 수 있는 세
가지 방식으로 나눠서 본다면…
If we break down the three possible ways of solving the Riemann hypothesis…

501
00:27:32,244 --> 00:27:36,471
올해 나온 또 다른 큰 사례는
1196번이라는 에르되시
The other big one from this year was a certain Erdős problem numbered 1196, about these things called primitive sets.

502
00:27:36,471 --> 00:27:41,262
문제였는데, '원시 집합'이라고
불리는 것들에 관한 거였어요.

503
00:27:41,262 --> 00:27:43,325
겉보기엔 전혀 다른 분야에서 아이디어를
It had that character of bringing an idea from a seemingly different field.

504
00:27:43,325 --> 00:27:45,289
가져오는 그런 성격을 갖고 있었어요.

505
00:27:45,289 --> 00:27:48,421
이 기본 아이디어를
수학자한테 보여주는 순간…
As soon as you present the basic idea to a mathematician…

506
00:27:48,421 --> 00:27:51,969
이렇게 말하는 거예요. '이걸
위에서 아래로 보여주는 대신,
You say, "What if we try the Markov chain process where we show that this thing is one from the bottom up probabilistically rather than the top down, and use the von Mangoldt function?"

507
00:27:51,969 --> 00:27:55,409
아래에서부터 확률적으로 그렇다는
걸 보여주는 마르코프 체인

508
00:27:55,409 --> 00:27:59,280
과정을 한번 써보면 어떨까? 폰
망골트 함수를 이용해서?'라고요.

509
00:27:59,280 --> 00:28:00,882
그걸 잘 아는 사람한테 말하면, 어떻게
If you say that to someone in the know, they’d know how to run with it.

510
00:28:00,882 --> 00:28:02,560
밀고 나가야 할지 바로 알아차릴 거예요.

511
00:28:02,560 --> 00:28:06,489
한 분야의 전문성과 다른
분야의 전문성 사이에 작은
You have this very small idea that has the form of expertise in one field and expertise in another, drawing a little lightning bolt between them.

512
00:28:06,489 --> 00:28:10,840
번개를 하나 긋는 것 같은,
아주 작은 아이디어인 거죠.

513
00:28:10,840 --> 00:28:13,994
이런 건 사람이 이해하기
아주 쉬울 거예요.
Those are going to be very human-parsable, because all you have to do is show the start and end point of what those connections are.

514
00:28:13,994 --> 00:28:17,280
그 연결의 시작점과
끝점만 보여주면 되니까요.

515
00:28:17,280 --> 00:28:20,418
만약 그 성격이 '산을 쌓는'
쪽이라면, 새로 쌓인 그
If the character of it is mountain building, you have to put in a lot more time to understand that new mountain that was built, because it's a new thread, not just a lightning bolt between them.

516
00:28:20,418 --> 00:28:23,662
산을 이해하는 데 훨씬 더
많은 시간을 들여야 해요. 둘

517
00:28:23,662 --> 00:28:26,800
사이의 번개 하나가 아니라
완전히 새로운 흐름이니까요.

518
00:28:26,800 --> 00:28:30,592
그리고 만약 그 진전의
본질이 그냥 무식하게 밀어붙인
And if the nature of the progress was just raw hustle—a super long chain of reasoning with no new theories—then you would have that worry of this whole digestion process.

519
00:28:30,592 --> 00:28:35,037
것—새로운 이론 하나 없이 엄청나게
긴 추론의 사슬—이었다면,

520
00:28:35,037 --> 00:28:38,960
그 전체를 소화하는 과정에
대한 걱정이 생기게 되겠죠.

521
00:28:38,960 --> 00:28:41,153
그러니까 명확한 답이 하나로
정해져 있진 않다고 생각해요.
So I don't think there's one clear answer.

522
00:28:41,153 --> 00:28:44,320
그 해법이 어떤 모습일지에 달려 있어요.
It depends on what the solution would look like.

523
00:28:44,320 --> 00:28:48,240
산을 쌓는 쪽이라면, 사실 그건
지켜보는 게 정말 흥미로울 것 같아요.
On the mountain building side, that would actually be really interesting to see.

524
00:28:48,240 --> 00:28:51,377
위대한 수학자들이 내놓는 새 이론들처럼,
Is it by default very human-understandable, the way we see new theories from great mathematicians?

525
00:28:51,377 --> 00:28:54,800
기본적으로 사람이 이해하기
쉬운 형태일까요?

526
00:28:54,800 --> 00:28:58,958
아니면 우리가 다루는 추상화의
종류 자체를 다시 처리해야
Or is it an alien, different kind of mountain being built where we have to reprocess the kinds of abstractions we engage with?

527
00:28:58,958 --> 00:29:03,117
하는, 이질적이고 다른 종류의
산이 쌓이고 있는 걸까요?

528
00:29:03,117 --> 00:29:05,663
여기서 가장 가까운 예시라면 abc
The closest example here would be the attempted solution of the abc conjecture.

529
00:29:05,663 --> 00:29:08,477
추측을 풀려고 시도했던 사례일 거예요.

530
00:29:08,477 --> 00:29:11,756
그 얘기는 아마 깊게
안 들어가는 게 나을
We maybe shouldn't get into that one, but it probably is not a correct solution.

531
00:29:11,756 --> 00:29:14,893
텐데, 아마도 맞는 해법은 아닐 거예요.

532
00:29:14,893 --> 00:29:19,041
기본적으로 그건 일본의,
원래는 평판이 좋았던 어떤
Basically it's this whole new way of thinking that this otherwise reputable mathematician in Japan had come up with.

533
00:29:19,041 --> 00:29:23,040
수학자가 만들어낸 완전히
새로운 사고방식이었어요.

534
00:29:23,040 --> 00:29:26,936
수학자들이 그가 하는 말을
이해하는 데만도 오랜 시간이
It took mathematicians a long time to even parse what he was saying, but it had the feeling of an alien bit of mathematics that's theory building, not just a long chain of reasoning.

535
00:29:26,936 --> 00:29:30,703
걸렸는데, 그건 그냥 긴
추론의 사슬이 아니라 이론을

536
00:29:30,703 --> 00:29:34,080
쌓아 올리는, 이질적인
수학이라는 느낌이었어요.

537
00:29:34,080 --> 00:29:36,368
그는 그걸 '인터-유니버설
지오메트리(inter-universal
He called it inter-universal geometry.

538
00:29:36,368 --> 00:29:37,512
geometry)'라고 불렀어요.

539
00:29:37,512 --> 00:29:42,130
가장 큰 두려움은, AI가 그런
걸 해내고 나면 ABC 추측
The biggest fear would be that an AI does that, and then much like the abc conjecture, people work for years to go up the mountain, and they're like, "Dang it.

540
00:29:42,130 --> 00:29:46,329
때처럼 사람들이 몇 년씩 산을
오르다가 "아, 이런,"

541
00:29:46,329 --> 00:29:47,639
"이거 그냥 틀렸잖아"
하게 되는 거예요.
This just isn't right."

542
00:29:47,639 --> 00:29:50,285
정말 맞아 보였는데, 그게
틀린 걸로 밝혀진다면요.
If it turns out to be wrong, but it really looked right.

543
00:29:50,285 --> 00:29:54,123
설령 맞았다고 해도, 새 산을 오르는
데 들어간 노력이 워낙 크잖아요.
Even if it was right, there's just a lot of effort to hike up a new mountain.

544
00:29:54,123 --> 00:29:58,083
만약 그런 상황이 된다면요,
데이비드 베시스가 정말 훌륭한
If we end up in that situation, David Bessis had a really great blog post called "The Fall of the Theorem Economy".

545
00:29:58,083 --> 00:30:01,920
블로그 글을 썼는데, 제목이
「정리 경제의 몰락」이에요.

546
00:30:01,920 --> 00:30:08,007
말씀하신 것처럼, 역사적으로 수학이란
이런 정의와 문제를 만들어내고
He's talking about how historically, as you were saying, mathematics is coming up with these definitions and problems, and it's about proving theorems about them.

547
00:30:08,007 --> 00:30:13,600
그것들에 대한 정리를 증명하는
일이었다는 얘기를 하는 거예요.

548
00:30:13,600 --> 00:30:16,063
정리를 증명하는 일이
모든 공로를 가져가지만,
The theorem-proving stuff is what gets all the credit, but it's really a parasite on the coming-up-with-the-definition stuff.

549
00:30:16,063 --> 00:30:18,920
사실은 정의를 만들어내는
일에 기생하는 거라는 거죠.

550
00:30:18,920 --> 00:30:23,172
역사적으로 이게 공로 배분 문제가
안 됐던 건, 정의를 만들어낸
Historically, this has not been a problem in terms of credit apportionment, because if you come up with a definition, you're probably going to be the guy who comes up with a theorem.

551
00:30:23,172 --> 00:30:27,424
사람이 아마 그 정리도 증명해내는
사람이었을 것이기 때문이에요.

552
00:30:27,424 --> 00:30:32,974
그런데 지금은, 가치 있는
일이 통찰을 떠올리는 거고
But now we're in a situation where if the valuable work is coming up with the insight and AI automates the latter part…

553
00:30:32,974 --> 00:30:38,141
AI가 그 뒷부분을
자동화해버리는 상황이 됐는데…

554
00:30:38,640 --> 00:30:42,894
AI가 세상의 여러 중요한
추측들에 대해 아벨식의 직접적인
Imagine a scenario where an AI comes up with Abel-like direct arguments about a bunch of important conjectures in the world, and then we just have these proofs.

555
00:30:42,894 --> 00:30:47,680
논증을 내놓고, 그렇게 증명들만
잔뜩 쌓이는 상황을 상상해보세요.

556
00:30:47,680 --> 00:30:55,120
이제 그걸 정리하는 건 인간이나
미래의 AI들 몫이 되는 거죠.
Now it's up to humans or future AIs to consolidate.

557
00:30:55,120 --> 00:30:57,933
다시 말씀드리지만 저는 이
논증을 객체 수준에서는 전혀
Again, having no object-level understanding of this argument whatsoever, I'm sure that if you had access to it, it would make it easier for you to think about what's going on.

558
00:30:57,933 --> 00:31:01,027
이해하지 못하는데요, 그래도
확실히 직접 들여다볼 수 있다면

559
00:31:01,027 --> 00:31:03,840
무슨 일이 벌어지고 있는지
생각하기가 더 쉬워지시겠죠.

560
00:31:03,840 --> 00:31:07,958
이 증명이 왜 성립하는지를 더
깊이 이해할 방법이 있어서, 그게
Is there some deeper way in which we can understand why this proof works that would make it easier to come up with the ideas behind group theory?

561
00:31:07,958 --> 00:31:11,840
군론 뒤에 있는 아이디어들을
떠올리기 더 쉽게 만들어줄까요?

562
00:31:11,840 --> 00:31:14,344
제 생각엔 그게 굉장히
큰 도움이 될 것 같아요.
I think it would be hugely helpful.

563
00:31:14,344 --> 00:31:16,461
새로운 수학을 발견하려는 시도의 상당
So much of trying to discover new math is mostly being wrong.

564
00:31:16,461 --> 00:31:18,578
부분은 그냥 계속 틀리는 과정이에요.

565
00:31:18,578 --> 00:31:21,713
문제를 풀려고 하는데,
산을 오르면서 매번
You're trying to solve a problem, and it doesn't feel like constantly taking the correct step up the mountain.

566
00:31:21,713 --> 00:31:25,120
맞는 걸음만 내딛는 것
같은 느낌은 아니에요.

567
00:31:25,120 --> 00:31:27,902
대부분은 술 취한 사람처럼
아무렇게나 비틀거리며 걷는 듯한
Mostly it feels like a random drunken walk, where you're doing a thing and then you're wrong and constantly discovering that.

568
00:31:27,902 --> 00:31:30,684
느낌이에요. 뭔가 해보고는
틀렸다는 걸 계속 깨닫는 거죠.

569
00:31:30,684 --> 00:31:34,888
적어도 지금 가진 걸 소화하려는
노력이 결국 올바른 해법으로
If at the very least you know that trying to digest what you have is ultimately leading to a correct solution, that feels like progress, simply because of the sense of knowing it leads to a solution.

570
00:31:34,888 --> 00:31:38,836
이어진다는 걸 안다면,
그것만으로도 진전처럼 느껴져요 —

571
00:31:38,836 --> 00:31:43,040
그게 해법으로 이어진다는 걸
안다는 감각, 그 자체만으로요.

572
00:31:43,040 --> 00:31:46,613
최근 수학사에는 손이 닿는
범위가 움켜쥘 수 있는
There are plenty of instances in the recent history of math where it feels like the reach has exceeded the grasp, where things are proven long before they're understood.

573
00:31:46,613 --> 00:31:49,922
능력을 넘어선 것처럼
느껴지는 사례, 그러니까

574
00:31:49,922 --> 00:31:53,760
이해되기 한참 전에 증명부터
되어버린 사례가 많아요.

575
00:31:53,760 --> 00:31:58,014
제가 가장 좋아하는 논문 도입부
중 하나는—사실 연구 논문도 아니고
One of my favorite openings to a paper—it's not even a research paper, it's more like an expository one—is from a mathematician named Timothy Chow, who was trying to understand a concept called forcing.

576
00:31:58,014 --> 00:32:02,038
해설 논문에 가까운데—티모시
차우라는 수학자가 쓴 건데, 그분은

577
00:32:02,038 --> 00:32:06,062
강제법(forcing)이라는
개념을 이해하려고 애쓰고 있었어요.

578
00:32:06,062 --> 00:32:10,645
연속체 가설이라는 문제가
있는데, 대략 이런 질문이에요.
There's this problem called the continuum hypothesis that more or less asks: you have a size of infinity for the natural numbers, and a size of infinity for the real numbers.

579
00:32:10,645 --> 00:32:15,376
자연수의 무한 크기가 있고,
실수의 무한 크기가 있잖아요.

580
00:32:15,376 --> 00:32:16,720
그 사이에 뭔가 있을까요?
Is there something in between?

581
00:32:16,720 --> 00:32:18,208
답은 '그렇다'이기도
하고 '아니다'이기도
The answer is both yes and no. It depends on your axioms.

582
00:32:18,208 --> 00:32:19,760
해요. 어떤 공리를
쓰느냐에 달려 있거든요.

583
00:32:19,760 --> 00:32:21,672
우리가 흔히 쓰는 공리계의 범위 밖에
It's outside the scope of our usual axiom systems, which is an interesting answer.

584
00:32:21,672 --> 00:32:23,680
있는 거예요. 그것도 흥미로운 답이죠.

585
00:32:23,680 --> 00:32:27,760
그런데 그걸 설명하는 방법
자체가 정말 이해하기 어려워요.
But the method to describe it is really hard to understand.

586
00:32:27,760 --> 00:32:29,142
그게 바로
강제법(forcing)이라는 거예요.
It's this thing called forcing.

587
00:32:29,142 --> 00:32:32,051
이 논문 서두에서 그
사람이 이렇게 써요. 다들
In the beginning of this paper, he writes, everyone knows the idea of an unsolved research problem.

588
00:32:32,051 --> 00:32:34,960
'미해결 연구 문제'라는
개념은 알고 있다고요.

589
00:32:34,960 --> 00:32:38,880
저는 '미해결 설명 문제'라는
개념을 제안하고 싶다는 거죠.
I want to propose the idea of an unsolved expository problem.

590
00:32:38,880 --> 00:32:41,920
물론 증명이야 했지만, 왜 그게
참인지는 사실 잘 모른다는 거예요.
Sure, we've proven it, but we don't really know why it's true.

591
00:32:41,920 --> 00:32:45,760
그러고 나서 그 설명 문제에
대한 부분적인 해법을 제시해요.
Then he proposes a partial solution to that expository problem.

592
00:32:45,760 --> 00:32:47,688
제가 왜 그 프레이밍을 그렇게 좋아했는지
You can imagine why I loved that framing, because this is my whole life.

593
00:32:47,688 --> 00:32:49,440
아시겠죠, 이게 제 인생 전부거든요.

594
00:32:49,440 --> 00:32:50,880
저는 연구 수학은 안 해요.
I don't do research math.

595
00:32:50,880 --> 00:32:53,200
그건 전적으로, 설령 이미
증명이 됐다 하더라도 이걸
It's wholly about what's the most clear way to understand this, even if it's proven.

596
00:32:53,200 --> 00:32:55,440
가장 명확하게 이해하는
방법이 뭔지에 관한 거예요.

597
00:32:55,440 --> 00:33:00,237
증명이랑 설명은 다른
거잖아요, 지금 말씀하시는
There is a difference between proof and explanation, and I think you're getting at the importance of that distinction.

598
00:33:00,237 --> 00:33:04,480
게 바로 그 구분의
중요성인 것 같은데요.

599
00:33:04,480 --> 00:33:04,860
네.
Yeah.

600
00:33:04,860 --> 00:33:06,947
그게 주된 유인이 될 거예요.
That will be the main incentive.

601
00:33:06,947 --> 00:33:10,882
아니면 수학뿐 아니라 다른
과학 분야에서도 유인 자체가
Or the incentive would have to change, not just in mathematics but in other areas of science, from proving things about the world to consolidating proofs into problems or higher-level insights.

602
00:33:10,882 --> 00:33:15,211
바뀌어야 할 텐데요, 세상에
대해 뭔가를 증명하는 것에서 그

603
00:33:15,211 --> 00:33:19,540
증명들을 문제나 더 상위 수준의
통찰로 정리해내는 쪽으로요.

604
00:33:19,540 --> 00:33:25,935
아까 점심 때 이런 얘기를 했었잖아요,
최근에 하신 강연 중에 디자인이
We were having a discussion earlier at lunch about a recent talk you were giving on design and how it helps us understand things.

605
00:33:25,935 --> 00:33:31,510
어떻게 우리가 뭔가를 이해하는
데 도움을 주는지에 관한 거요.

606
00:33:31,840 --> 00:33:34,880
극한으로 가면, 어떤
아이디어를 개념화하는 것과
In the limit, is there really a difference between the conceptualization of an idea and the idea itself?

607
00:33:34,880 --> 00:33:37,920
그 아이디어 자체 사이에
정말 차이가 있을까요?

608
00:33:37,920 --> 00:33:42,620
특수 상대성이론이랑 시공간
다이어그램, 민코프스키
If you think about special relativity and spacetime diagrams, and Minkowski spacetime, this is a way in which we illustrate why there's length contraction and time dilation.

609
00:33:42,620 --> 00:33:47,147
시공간을 생각해보면요,
이게 길이 수축이랑 시간

610
00:33:47,147 --> 00:33:51,847
팽창이 왜 일어나는지를
보여주는 한 방식이잖아요.

611
00:33:51,847 --> 00:33:54,010
근데 그게 바로 현실인 거죠…
But that is the reality…

612
00:33:54,010 --> 00:33:56,000
그러니까, 여기서는 해설 자체가 어떤
So, the exposition does seem to be the explanation in some sense here.

613
00:33:56,000 --> 00:33:58,289
의미에서는 곧 설명
그 자체인 것 같네요.

614
00:33:58,289 --> 00:34:00,480
거기엔 흥미로운 점이 몇 가지 있어요.
There's a couple of interesting things there.

615
00:34:00,480 --> 00:34:05,680
하나는, 진짜 참신한 통찰을 만들어내는
사람들이랑 그걸 정말 명료하게
One is that there seems to be a really strong correlation between the people who come up with genuinely novel insights and the people who are actually quite clear in their communication of it.

616
00:34:05,680 --> 00:34:10,880
전달하는 사람들 사이에 정말 강한
상관관계가 있는 것 같다는 거예요.

617
00:34:10,880 --> 00:34:14,309
반대일 거라고 생각하실 수도
있는데요, 대학생들이 흔히 겪는
You might imagine the opposite, given that the experience of a university student is often that the expert teaching them is not necessarily the best explainer of that topic, because they're so spoiled by their expertise.

618
00:34:14,309 --> 00:34:17,737
게 자길 가르치는 전문가가 그
주제를 꼭 제일 잘 설명해주는

619
00:34:17,737 --> 00:34:21,270
사람은 아니라는 거잖아요, 전문성에
너무 물들어버린 나머지요.

620
00:34:21,270 --> 00:34:25,327
그런데 적어도 몇몇 경우엔
실제로 그런 것 같아요. 정말
But what seems, at least in some cases, to be the case is that the people who are really coming up with something quite novel—you've got Einstein or Claude Shannon or someone—you read their papers, and they're really lucid.

621
00:34:25,327 --> 00:34:29,122
참신한 걸 만들어내는 사람들,
그러니까 아인슈타인이나

622
00:34:29,122 --> 00:34:33,440
클로드 섀넌 같은 사람들 논문을
읽어보면 정말 명료하거든요.

623
00:34:33,440 --> 00:34:35,993
전문가만 알아보라고 쓴
것도 아니고, 마체테로
It doesn't feel like this is just for the experts and you have to chop through it with a machete.

624
00:34:35,993 --> 00:34:38,240
헤쳐나가듯 읽어야 하는 느낌도 아니에요.

625
00:34:38,240 --> 00:34:38,827
설명을 정말 잘하는 사람들이에요.
They're very good expositors.

626
00:34:38,827 --> 00:34:41,560
파인만도 그런 특징이 있는데,
설명을 정말 잘해요.
Feynman has this characteristic too, he’s a very good expositor.

627
00:34:43,600 --> 00:34:48,202
아마 연구 수준에서 올바른 새로운
사고방식을 떠올리는 그 뇌 부위가,
Maybe the same part of the brain that comes up with the correct new way of thinking about it at a research level also has this knack for good explanation.

628
00:34:48,202 --> 00:34:52,320
좋은 설명을 해내는 재주도 같이
갖고 있는 게 아닐까 싶어요.

629
00:34:52,320 --> 00:34:55,337
제 생각엔 이것도 AI랑
관련이 있는 것 같아요.
I think this is pertinent to AI.

630
00:34:55,337 --> 00:34:58,667
예전에는 AI가 자동으로 정리를
증명하는, 그러니까 자동 정리
I used to think that AIs would become these automated theorem provers, but the role of mathematicians was going to shift towards my job, explaining these things.

631
00:34:58,667 --> 00:35:02,194
증명기 같은 존재가 되고, 수학자의
역할은 제가 하는 일 쪽으로,

632
00:35:02,194 --> 00:35:05,524
그러니까 이런 걸 설명하는 쪽으로
옮겨갈 거라고 생각했었어요.

633
00:35:05,524 --> 00:35:09,789
그런데 지금은 사실 AI도 그걸 꽤
잘할 것 같다는 생각이 들어요. 아마
Now I suspect that actually they'll also be quite good at doing that, probably better than most humans are at explaining and distilling.

634
00:35:09,789 --> 00:35:13,840
설명하고 핵심을 추려내는 데 있어서
대부분의 사람들보다 나을 거예요.

635
00:35:13,840 --> 00:35:18,766
그러니까 지금 흘러가는 방향을
보면, 벌어진 일을 소화해서
So digesting and explaining what was going on is probably actually not what's left for mathematicians, by the nature of how these things are going.

636
00:35:18,766 --> 00:35:24,000
설명하는 건 아마 실제로는
수학자한테 남는 몫이 아닐 거예요.

637
00:35:24,000 --> 00:35:27,852
이게 아닐 수도 있는 이유들을
얘기해볼 수는 있겠지만, 아마
We can talk about ways this might not be it, but probably the same thing that comes up with the really good new idea that solves some new problem is also just good at explaining it.

638
00:35:27,852 --> 00:35:31,588
새로운 문제를 풀어내는 정말
좋은 아이디어를 떠올리는 바로

639
00:35:31,588 --> 00:35:35,440
그 능력이 그걸 설명하는 데도
그만큼 뛰어날 가능성이 커요.

640
00:35:35,440 --> 00:35:37,243
그게 제 생각이 바뀐 지점 중 하나예요.
That's a way my beliefs have changed.

641
00:35:37,243 --> 00:35:40,400
마지막까지 하고 계실
일이 뭐라고 생각하세요?
What's the last thing you think you'll be doing?

642
00:35:40,400 --> 00:35:45,200
선생님뿐 아니라, 인류 수학계
전체가 뭘 하고 있을지도요.
Both you and also what the human mathematical community will be doing.

643
00:35:45,200 --> 00:35:48,591
저는 아마 죽을 때까지 지금 하는 것과
I will probably be doing something like what I am until I die.

644
00:35:48,591 --> 00:35:51,659
비슷한 일을 하고 있을 것 같아요.

645
00:35:53,280 --> 00:35:58,160
종말론자들 말이 맞다면,
아마 이유도 똑같을 거고요.
If the doomers are right, maybe it'll be for the same reason.

646
00:35:58,160 --> 00:35:58,607
네.
Yeah.

647
00:35:58,607 --> 00:36:02,480
누군가를 위해 불을 지펴주면,
하룻밤은 따뜻하잖아요.
You build a man a fire, and he's warm for one night.

648
00:36:02,480 --> 00:36:05,760
근데 그 사람한테 아예 불을
붙여버리면, 평생 따뜻하죠.
But set a man on fire, and he's warm for the rest of his life.

649
00:36:05,760 --> 00:36:09,017
그게 지금 AI에 대한 제 입장이에요.
So that's where I am with AI.

650
00:36:09,017 --> 00:36:12,807
설명자나 선생님이 하는
역할 중 하나는, 누군가
Some of the function of an explainer or a teacher is to add clarity to a thing that someone's curious about.

651
00:36:12,807 --> 00:36:16,160
궁금해하는 걸 명확하게
밝혀주는 거잖아요.

652
00:36:16,160 --> 00:36:17,295
그게 하나고요.
That's one thing.

653
00:36:17,295 --> 00:36:20,650
근데 어떤 부분은 더 관계적인 거예요,
But some of it is more relational, providing motivation and a sense of curation.

654
00:36:20,650 --> 00:36:24,485
동기를 부여하고 큐레이션
감각을 주는 거요.

655
00:36:24,485 --> 00:36:27,559
제가 들어본 흥미로운 시각
중 하나는, 수학자들이
One interesting take that I've heard about what mathematicians will end up being is that it's actually more analogous to art museum curators than anything else.

656
00:36:27,559 --> 00:36:30,292
결국 어떤 존재가 될지에
대해서, 사실 다른

657
00:36:30,292 --> 00:36:33,480
무엇보다도 미술관 큐레이터에
가장 가깝다는 거예요.

658
00:36:33,480 --> 00:36:36,320
AI가 이미 문제를 풀었으니까,
작품은 존재하는 거예요.
The AI solved the thing, so the art exists.

659
00:36:36,320 --> 00:36:39,129
심지어 그걸 정말 잘 설명하는
법까지 알고 있고요.
They even know how to explain it really well.

660
00:36:39,129 --> 00:36:43,029
그래도 여전히, 다룰 가치가
있는 아이디어가 뭔지 그 거의
But you still want someone to help you navigate this nearly infinite space of what ideas are worth engaging with.

661
00:36:43,029 --> 00:36:46,808
무한한 공간을 헤쳐나가도록
도와줄 누군가는 필요하잖아요.

662
00:36:47,840 --> 00:36:51,805
어떤 의미에서는 AI가 그걸
더 잘한다고 해도, 저는 그래도
Even if AIs were in some sense better at that, I think we would always still prefer a human that we had a relationship with, because the way we get motivated to be interested in things is a social phenomenon.

663
00:36:51,805 --> 00:36:55,531
늘 관계를 맺고 있는 사람
쪽을 선호할 거라고 생각해요.

664
00:36:55,531 --> 00:36:59,496
뭔가에 관심을 갖게 되는 동기
자체가 사회적인 현상이니까요.

665
00:36:59,496 --> 00:37:02,204
구체적으로 만들려는 기술이 따로 있는
If you have some specific technology you're trying to build, that might be different.

666
00:37:02,204 --> 00:37:04,911
경우라면, 얘기가 다를 수도 있고요.

667
00:37:04,911 --> 00:37:08,192
근데 이 팟캐스트 듣는
사람들은, 애초에 어떤 주제가
But the people listening to this podcast trust your curation on what's an interesting topic in the first place.

668
00:37:08,192 --> 00:37:11,360
흥미로운지 선생님의 큐레이션을
믿고 듣는 거잖아요.

669
00:37:11,360 --> 00:37:14,388
다음 주제가 뭐가 됐든, 원래부터 그걸
It's not that they're landing here because whatever your next topic is, that's what they wanted to understand in a prior sense.

670
00:37:14,388 --> 00:37:17,272
알고 싶어서 여기 온 게 아니잖아요.

671
00:37:17,272 --> 00:37:19,120
그러니까 사람들이 큐레이터로서
믿고 있는 거네요.
They're trusting you as a curator.

672
00:37:19,120 --> 00:37:21,935
그래서 제 역할은, 어쩌면
다른 수학자들의 역할도
So my role, and arguably that of other mathematicians, might actually just shift subtly into that curation direction of what ideas are worth pursuing.

673
00:37:21,935 --> 00:37:24,959
마찬가지겠지만, 어떤
아이디어를 추구할 가치가 있는지

674
00:37:24,959 --> 00:37:28,400
큐레이션하는 방향으로 미묘하게
옮겨갈 수도 있을 것 같아요.

675
00:37:28,400 --> 00:37:30,610
그게 지금 제 일의 상당 부분이에요.
That's a lot of my job right now.

676
00:37:30,610 --> 00:37:33,197
사람들은 영상에 들어가는
시간의 많은 부분이
I think people assume a lot of the time for a video goes into the visuals.

677
00:37:33,197 --> 00:37:35,461
비주얼에 쓰인다고 생각하는 것 같아요.

678
00:37:35,461 --> 00:37:36,450
물론 그렇긴 해요.
Sure, it does.

679
00:37:36,450 --> 00:37:37,769
금방 되는 일은 아니에요.
It’s not immediate.

680
00:37:37,769 --> 00:37:40,950
근데 사실 그중 많은 부분은
애초에 뭘 말할 가치가
But actually a lot of it is just deciding what's worth saying in the first place, what's worth putting there.

681
00:37:40,950 --> 00:37:44,018
있는지, 뭘 담을 가치가
있는지 정하는 일이에요.

682
00:37:46,560 --> 00:37:48,750
저는 그 부분에 관여하고
싶고, 어떤 분들과는 제가
I want to engage with that, and I think I have a trust with certain people, and they're curious what I would choose to put forward even if the AIs are better than that.

683
00:37:48,750 --> 00:37:51,332
믿음을 쌓았다고 생각해요. 설령
AI가 그보다 더 낫더라도,

684
00:37:51,332 --> 00:37:53,600
그분들은 제가 뭘 골라서
내놓을지 궁금해하시는 거죠.

685
00:37:53,600 --> 00:37:57,788
그건 인간 뮤지션이 항상 어떤
역할을 갖게 될 이유와 같아요.
It's the same reason human musicians are always going to have a role: that social function of the story behind them, even if the objective quality of the MP3 file coming out of some model is better.

686
00:37:57,788 --> 00:38:01,237
어떤 모델에서 나온 MP3
파일의 객관적 음질이 더

687
00:38:01,237 --> 00:38:05,178
낫더라도, 그 뒤에 있는
이야기라는 사회적 기능 때문이죠.

688
00:38:05,178 --> 00:38:08,240
제 일에도 그런 일이
일어나고 있다고 봐요.
That's what I see happening to my job.

689
00:38:08,240 --> 00:38:11,964
아까 나왔던 질문으로 다시
돌아가 보고 싶은데요.
I want to go back to a question from earlier.

690
00:38:11,964 --> 00:38:17,156
AI가 기존 아이디어를 연결해서
새로운 발견을 해내거나 뭔가를 증명
Just as AI has crossed this threshold, this important benchmark of being able to connect existing ideas to come up with a new discovery or prove or disprove something, we're like, "Okay, but what's the next thing?"

691
00:38:17,156 --> 00:38:22,208
또는 반증할 수 있다는, 그 중요한
벤치마크이자 문턱을 막 넘어선

692
00:38:22,208 --> 00:38:27,120
지금, 우리는 '자, 근데 다음은
뭐지?' 하고 묻게 되잖아요.

693
00:38:27,120 --> 00:38:29,223
그런데 말이죠, 그쪽은 아직
할 일이 훨씬 더 많아요.
There's a lot more to do on that one, by the way.

694
00:38:29,223 --> 00:38:31,593
그냥 번개가 몇 개 떨어졌다고 해서…
Just because a couple lightning bolts have been thrown…

695
00:38:31,593 --> 00:38:33,847
제 생각엔 앞으로 몇
년 동안 정말로 연결하는
I think there's this flourishing future over the next couple years of really connecting.

696
00:38:33,847 --> 00:38:35,920
작업이 만개하는 미래가
펼쳐질 것 같아요.

697
00:38:35,920 --> 00:38:36,340
그렇죠.
Right.

698
00:38:36,340 --> 00:38:39,615
그러니까 극한으로 가면,
이게 정확한지는 모르겠지만
So in the limit, you could even say—I don't know if this is accurate, but potentially—a lot of the biggest breakthroughs look like this at some level.

699
00:38:39,615 --> 00:38:42,891
어쩌면, 가장 큰 돌파구들
상당수가 어떤 수준에서는

700
00:38:42,891 --> 00:38:46,400
이런 모습일 수도 있다고까지
말할 수 있을 것 같아요.

701
00:38:46,400 --> 00:38:50,542
일반상대성이론만 해도,
결국 리만 기하학과
With general relativity, you're just connecting together Riemannian geometry and special relativity.

702
00:38:50,542 --> 00:38:54,143
특수상대성이론을 연결한 것뿐이잖아요.

703
00:38:54,143 --> 00:38:58,233
그러니까 AI가 이 '연결하는 일'을
점점 더 잘하게 될수록, 어쩌면
So as AIs keep getting better and better at this connection thing, maybe a lot of big breakthroughs are not really of a different qualitative nature.

704
00:38:58,233 --> 00:39:02,000
큰 돌파구 상당수가 질적으로
그렇게 다른 건 아닐 수도 있어요.

705
00:39:02,000 --> 00:39:04,592
이 부분에 대해 어떤
생각이 있으신지 모르겠네요.
I don't know if you have a take on that.

706
00:39:04,592 --> 00:39:08,022
지금까지 대화의 상당 부분이 문제
해결이라는 수학의 그런 측면, 그러니까
A lot of the conversation has focused on problem-solving and that nature of math, ticking off Erdős problems or something.

707
00:39:08,022 --> 00:39:11,280
에르되시 문제 같은 걸 하나씩 해치우는
데 초점이 맞춰져 있었잖아요.

708
00:39:11,280 --> 00:39:14,521
근데 제 생각엔, 자기
연구를 '다음에 해치울 문제를
But I'd say it's not even a majority of mathematicians who would characterize their work as really targeting the next problem to tick down.

709
00:39:14,521 --> 00:39:18,097
겨냥하는 것'이라고 규정할
수학자는 다수도 안 될 거예요.

710
00:39:18,097 --> 00:39:21,120
혹시 랭글랜즈 프로그램 아세요?
Are you familiar with the Langlands program?

711
00:39:21,120 --> 00:39:27,228
아니요. 그건 수학의 한 분야라기보다는,
일종의 연구 정신에 가까워요.
No. It's not even a field of math so much as it is a research ethos.

712
00:39:27,228 --> 00:39:30,560
페르마의 마지막 정리가 이걸
보여주는 한 단서예요.
Fermat's Last Theorem is one inkling of this.

713
00:39:30,560 --> 00:39:34,387
겉보기엔 전혀 달라 보이는
두 가지가 있었는데,
You had these two seemingly disparate things, and a connection between them led to a solution.

714
00:39:34,387 --> 00:39:37,920
그 둘 사이의 연결이
해법으로 이어진 거죠.

715
00:39:37,920 --> 00:39:39,434
랭글랜즈는 수학자였어요.
Langlands was a mathematician.

716
00:39:39,434 --> 00:39:42,769
그가 쓴 유명한 편지가 있는데,
그런 식의 연결이 훨씬 더
He has this famous letter essentially spelling out how it seems likely that there's a lot more connections like that.

717
00:39:42,769 --> 00:39:46,000
많이 있을 것 같다는 걸
사실상 풀어서 적어놓은 거예요.

718
00:39:46,000 --> 00:39:50,012
그 연결들의 성격에 대해 좀 더
구체적으로 이야기하기도 했는데,
He even got a little bit more specific about the nature of the connections, such that you might imagine this large map, and you've got this valley over here and this mountain over here and this set of plains over there.

719
00:39:50,012 --> 00:39:53,566
마치 커다란 지도를 상상해보면
이쪽엔 계곡이 있고 저쪽엔

720
00:39:53,566 --> 00:39:57,120
산이 있고 또 저쪽엔 평원이
펼쳐져 있는 것과 비슷해요.

721
00:39:57,120 --> 00:39:59,809
많은 수학자들이 자기
연구를 이 지도 위의
There's a lot of mathematicians who would characterize their work as being part of trying to understand the threads on this map.

722
00:39:59,809 --> 00:40:03,200
실타래들을 이해하려는 시도의
일부라고 표현하곤 해요.

723
00:40:03,200 --> 00:40:06,132
거기서의 진전이라는 게, "이
특정 문제는 그 연결로 풀릴
The progress there, it's not even "Here's this one specific problem that we know will be solved by that connection."

724
00:40:06,132 --> 00:40:08,880
거라는 걸 우리가 알고 있다"
정도의 얘기도 아니에요.

725
00:40:08,880 --> 00:40:13,520
그보다는, 큰 문제들이 연결을
찾아냄으로써 무너진 사례가 계속
It's more that time and time again, there have been cases where big problems were knocked down by finding connections, such that it's almost preemptively finding the connections.

726
00:40:13,520 --> 00:40:18,979
반복돼왔다는 거예요. 그러니까 거의
선제적으로 연결부터 찾아두는 셈이죠.

727
00:40:19,360 --> 00:40:22,291
사실 굉장히 흥미로운 부분이에요.
It's actually very interesting.

728
00:40:22,291 --> 00:40:25,577
수학자를 만날 때마다,
그 사람 연구의 성격이
Anytime you run into a mathematician, ask them whether the character of their work is more akin to the Langlands program or to targeting one particular problem.

729
00:40:25,577 --> 00:40:29,126
랭글랜즈 프로그램 쪽에
더 가까운지, 아니면 특정

730
00:40:29,126 --> 00:40:32,807
문제 하나를 겨냥하는 쪽에
더 가까운지 물어보세요.

731
00:40:32,807 --> 00:40:36,800
거기서 꽤 뚜렷하게 두 갈래로
나뉘는 모습을 보게 될 거예요.
You get a certain bifurcated split there.

732
00:40:36,800 --> 00:40:41,320
AI가 엄청나게 강력한 연결자가
될 수 있다는 가능성은,
The possibility of AIs being supercharged connectors feels like it might be an amplifying tool in that pursuit.

733
00:40:41,320 --> 00:40:45,985
그런 탐구를 증폭시켜주는 도구가
될 수도 있을 것 같아요.

734
00:40:45,985 --> 00:40:49,520
다만 측정하기는 어려워요.
It's hard to measure, though.

735
00:40:49,520 --> 00:40:52,666
이건 아까 저희가 얘기했던
것과 직결되는 부분인데요.
This cuts to what we were saying earlier: How do you assign a score to say, "Yes, you've done it"?

736
00:40:52,666 --> 00:40:55,920
"그래, 해냈다"라고 말할
점수를 대체 어떻게 매기죠?

737
00:40:55,920 --> 00:40:57,560
문제 하나를 무너뜨리는 거라면, "그래,
If it's knocking down a problem, you have a clear way of saying, "Yes, you've done it."

738
00:40:57,560 --> 00:40:59,200
해냈다"라고 말할 명확한 방법이 있어요.

739
00:40:59,200 --> 00:41:00,320
헤드라인을 쓸 수 있죠.
You can write the headline.

740
00:41:00,320 --> 00:41:03,294
AI 회사 입장에서 "우리가 해냈다"라고
홍보 자료를 낼 수도 있고요.
You can have your PR move as the AI company to say, "We did it."

741
00:41:03,294 --> 00:41:05,887
반면에 그게 그리기에 딱 맞는
연결이었다는 느낌이 드는
Whereas if it feels like that was the right connection to draw, you can write theorems around it.

742
00:41:05,887 --> 00:41:08,480
경우라면, 그 주변에 정리들을
써 내려갈 수는 있어요.

743
00:41:08,480 --> 00:41:10,960
그 분야 논문들이 생긴
모양이 원래 그래요.
That's the nature of what the papers in that field look like.

744
00:41:10,960 --> 00:41:14,215
그런데 "우리가 원래 노리던
연결이 어떤 종류였지?"라고
But I think it will require a lot more "human in the loop" to say, "What was the kind of connection that we were going for?"

745
00:41:14,215 --> 00:41:16,839
말하려면 '사람의
개입(human in the

746
00:41:16,839 --> 00:41:19,674
loop)'이 훨씬 더
많이 필요할 거라고 봐요.

747
00:41:19,674 --> 00:41:23,052
앞으로 5년 동안 이런
모델들이 만들어낼 유용한 진전
That's my guess on what most of the useful progress from these models will look like in the next five years.

748
00:41:23,052 --> 00:41:26,080
대부분이 그런 모습일
거라는 게 제 추측이에요.

749
00:41:26,080 --> 00:41:29,139
여러 분야의 전문가라면
그려낼 수 있는 그 연결의
It's just really filling in that landscape of connections that you can draw if you're an expert in multiple fields.

750
00:41:29,139 --> 00:41:31,859
지형을, 정말 그냥
촘촘히 채워나가는 거죠.

751
00:41:31,859 --> 00:41:36,280
말씀하신 것처럼, 이게 아직
없었다는 게 좀 놀랍긴 해요.
As you've pointed out, it's kind of surprising we haven't already had this.

752
00:41:36,280 --> 00:41:42,560
기술적인 차원에서 정확히 뭐가 그
열쇠를 풀어주는지 궁금하긴 하네요.
I would be curious to know at a technical level what causes the unlock there.

753
00:41:42,560 --> 00:41:46,852
한편으로는, 이 모든 것에
전문가이면서도 그 연결들을
On the one hand, you can paint an explanation in your head for why you could be an expert in all of these things and not be drawing those connections.

754
00:41:46,852 --> 00:41:51,440
그려내지 못하는 이유를
머릿속으로 설명해볼 수는 있어요.

755
00:41:51,440 --> 00:41:54,229
추론 방식 자체가 이런 자기회귀적 사고
When the method of reasoning is this autoregressive chain-of-thought phenomenon…

756
00:41:54,229 --> 00:41:58,080
사슬(chain-of-thought)
현상일 때는요…

757
00:41:58,080 --> 00:42:01,910
생각해보면, 자기회귀
방식이라는 게 뭔가를
Autoregression is actually a really weird way to produce stuff, if you think about it.

758
00:42:01,910 --> 00:42:05,906
만들어내는 방법치고는
사실 꽤 이상하잖아요.

759
00:42:06,160 --> 00:42:08,131
당신은 똑똑한 사람이에요.
You're an intelligent person.

760
00:42:08,131 --> 00:42:10,949
제가 당신을 상자 안에
가둬놨다고 상상해 보세요. 세상과
Imagine I've locked you in a box, and the only way you have of interacting with the world is that you receive a slip of paper, and someone says, "Can you predict what will come next?"

761
00:42:10,949 --> 00:42:14,130
상호작용할 수 있는 유일한 방법은
종이 한 장을 받는 것뿐이고,

762
00:42:14,130 --> 00:42:17,402
누군가 "다음에 뭐가 올지 예측할
수 있겠어?"라고 묻는 거예요.

763
00:42:17,402 --> 00:42:20,400
다음에 올 걸 예측하고
나면, 기억이 지워져요.
You predict what will come next, and then your memory's wiped.

764
00:42:20,400 --> 00:42:23,369
그리고 또 다른 종이
한 장을 받는 거죠.
You get another slip of paper.

765
00:42:23,680 --> 00:42:25,287
그 과정이 수없이
반복된다고 상상해 보세요.
Imagine that was done a whole bunch of times, and then what comes out on the other end.

766
00:42:25,287 --> 00:42:26,560
그리고 그 끝에서 뭔가 나온다고요.

767
00:42:26,560 --> 00:42:28,280
그러면 사람들이 "네가 쓴 이
에세이 좀 봐"라고 말하는 거예요.
They say, "Look at this essay that you wrote."

768
00:42:28,280 --> 00:42:30,000
그걸 보고 "이거 형편없네."라고
말할 수도 있어요.
You might look at that and say, "This is awful.

769
00:42:30,000 --> 00:42:32,183
"내가 썼다면 이렇게는
안 썼을 텐데."라고요.
That's not the essay that I would've written."

770
00:42:32,183 --> 00:42:36,368
뭔가를 계속 반복해서 예측하는
과정은, 작가로서 글을 구상하고
The process of repeatedly predicting something is just pretty different from how you would think as a writer to compose it and think it through.

771
00:42:36,368 --> 00:42:39,937
곰곰이 생각해서 써 내려가는
방식과는 꽤 다르잖아요.

772
00:42:40,240 --> 00:42:44,900
특히, 아마 당신은 자기 컨텍스트의
노예가 되어 있을 거예요.
In particular, what would probably happen is that you're a slave to your context.

773
00:42:45,280 --> 00:42:48,420
어떤 특정 분야에 대한
질문에 답하고 있다면,
You might be answering some question about a particular field, so you draw on all the context around that.

774
00:42:48,420 --> 00:42:51,560
그 주변의 모든 컨텍스트를
끌어다 쓰는 거죠.

775
00:42:51,560 --> 00:42:55,547
하지만 정작 알맹이가
나오는 연결 지점은,
But the connection where all the substance is going to come from is, by its nature, a very unlikely one.

776
00:42:55,547 --> 00:42:59,360
그 본질상 확률이 아주 낮은 연결이에요.

777
00:42:59,360 --> 00:43:02,857
어떻게든 더 나아지려고 RL을
아무리 돌려도, 확률이 낮은
You can do all the RL that you want to try to get better in some way, but what's the thing that's specifically upweighting and incentivizing making these unlikely connections when the vast majority of them aren't the predictable next token that would come in there?

778
00:43:02,857 --> 00:43:06,135
이런 연결들 대부분은 애초에
그 자리에 나올 법한 예측

779
00:43:06,135 --> 00:43:09,522
가능한 다음 토큰이 아닐
텐데, 대체 무엇이 그런 연결을

780
00:43:09,522 --> 00:43:12,800
만들어내도록 구체적으로 가중치를
주고 장려하는 걸까요?

781
00:43:12,800 --> 00:43:16,269
그러니까 어쩌면 그 상자 안에는
지능이 그대로 갇혀 있지만,
So it might be the case that you just have this intelligence locked inside that box, but it's a weird way of interacting with it.

782
00:43:16,269 --> 00:43:19,527
그것과 상호작용하는 방식
자체가 이상한 걸 수도 있어요.

783
00:43:19,527 --> 00:43:24,722
제가 궁금한 건, 토큰이
생성되는 방식의 전제 자체에
The thing I'm curious about is: do you ever get any fruit by questioning the premise of how tokens are generated?

784
00:43:24,722 --> 00:43:29,738
의문을 던지면 정말 뭔가
결실을 얻을 수 있을까요?

785
00:43:30,960 --> 00:43:35,908
단순히 temperature를
조절하는 정도로 될 문제는 아니라고
I don't think it would be as simple as manipulating the temperature, but are there any things that you can do that take the existing level of intelligence but find the right ways of sparking those connections that unlock these sorts of things that we've seen?

786
00:43:35,908 --> 00:43:40,719
생각하지만, 기존 수준의 지능은
그대로 두고 그런 연결을 촉발할

787
00:43:40,719 --> 00:43:46,080
올바른 방법을 찾아서 우리가 봐온
이런 것들을 풀어낼 방법이 있을까요?

788
00:43:46,080 --> 00:43:50,600
아니면 그냥 지능이 조금 더 필요해서,
예측 단계에서부터 다른 분야로
Or do you just need a little bit more intelligence, such that at the level of prediction, it's predicting that it should be making that lightning bolt to another field?

789
00:43:50,600 --> 00:43:55,120
번개 같은 연결을 만들어야 한다는
걸 예측해내기만 하면 되는 걸까요?

790
00:43:55,120 --> 00:44:00,460
저는 아키텍처나 손실
함수보다는, 데이터를
I think it's more productive to reason, instead of architecture or even loss function, about data.

791
00:44:00,460 --> 00:44:05,568
놓고 생각하는 게 더 생산적이라고 봐요.

792
00:44:06,080 --> 00:44:09,399
텍스트를 다루는 디퓨전
모델도 있는데, 거기서
We have diffusion models that do text, and the kinds of things they produce are not of a wholly different character.

793
00:44:09,399 --> 00:44:12,717
나오는 결과물이 완전히
다른 성격은 아니에요.

794
00:44:12,717 --> 00:44:14,160
그냥 아직 그만큼 탐구되지
않았을 뿐이에요.
They've just not been explored as much.

795
00:44:14,160 --> 00:44:19,294
제 생각에 더 중요한 건, 어떤
아키텍처나 손실 함수를 쓰든 그게
I think the more relevant thing is: what is the data on which whatever architecture or loss function you have is incentivizing you to produce?

796
00:44:19,294 --> 00:44:24,143
결국 뭘 만들어내도록 유도하는
데이터가 무엇인가 하는 거예요.

797
00:44:24,143 --> 00:44:27,680
정말 점점 나아지고 있는 것 같긴 해요.
It does seem like they're getting better.

798
00:44:27,680 --> 00:44:28,771
수학은 일단 제쳐두고요.
Forget about math.

799
00:44:28,771 --> 00:44:32,943
이런 종류의 사례가 몇
개 있긴 했지만, 자율
We did have a couple of examples of this kind of thing, but if you just look at why they're getting better at being autonomous agents…

800
00:44:32,943 --> 00:44:37,615
에이전트로서 왜 점점 나아지고
있는지만 놓고 보면…

801
00:44:37,615 --> 00:44:41,090
모델들이 자기회귀적으로 다음
스텝을 만들어내는 환경에 있는데,
They're in an environment where they’re autoregressively producing the step that says "Let's step back and do a search over the whole codebase," and then "Let's step back and assess my mistake," is the thing that works.

802
00:44:41,090 --> 00:44:44,259
"자, 한 발 물러나서 전체
코드베이스를 검색해보자"라는

803
00:44:44,259 --> 00:44:47,120
스텝, 그다음 "한 발
물러나서 내가 뭘 실수했는지

804
00:44:47,120 --> 00:44:50,800
점검해보자"라는 스텝을 만들어내는
게 실제로 효과가 있는 거예요.

805
00:44:50,800 --> 00:44:54,690
제 짐작엔 과학이나, 어쩌면
수학 쪽에서의 발전도 이런
I assume what happened in the case of progress in science or maybe in math is you have frontier math-like problems.

806
00:44:54,690 --> 00:44:58,840
식이었을 것 같아요—프론티어
수학 같은 문제들이 있잖아요.

807
00:44:58,840 --> 00:45:03,053
수학자들이 이 문제들을
일부러 그렇게 설계한 이유는,
Mathematicians have specifically designed them because they require connecting together two different fields.

808
00:45:03,053 --> 00:45:07,120
서로 다른 두 분야를
연결해야만 풀리기 때문이에요.

809
00:45:07,120 --> 00:45:10,497
제 짐작엔 이런 종류의 연결을
요구하면서 점점 더 어려워지는
I'm guessing there's all kinds of clever, partially synthetic ways to make harder and harder problems like that that require these kinds of connections—for example, by eliminating assumptions and still requiring the AI to get to the answer—and then it doesn't really end up mattering what the loss function is.

810
00:45:10,497 --> 00:45:13,976
문제를 만들어내는, 영리하고
부분적으로는 합성된 방법들이 온갖

811
00:45:13,976 --> 00:45:17,353
종류로 있을 것 같아요—예를
들면 가정들을 하나씩 없애면서도

812
00:45:17,353 --> 00:45:20,423
AI가 여전히 답에 도달하도록
요구하는 식으로요—그러면

813
00:45:20,423 --> 00:45:23,697
손실 함수가 뭐냐는 건 사실
별로 중요하지 않아지는 거죠.

814
00:45:23,697 --> 00:45:26,420
결국 관건은, 이 능력에 인센티브를 주는
It's really about, can you come up with an environment that incentivizes this ability?

815
00:45:26,420 --> 00:45:28,896
환경을 만들어낼 수 있느냐는 거예요.

816
00:45:28,896 --> 00:45:32,000
그게 가능할 것 같은 느낌이 들어요.
It feels like you should be able to.

817
00:45:32,000 --> 00:45:35,146
그걸 다 풀어낼 제대로 된
방법이 뭔지는 저도 전혀 말씀드릴
I certainly can't speak to the correct ways of doing that to unlock all this, but it would just be pretty surprising.

818
00:45:35,146 --> 00:45:38,197
처지가 아니지만, 그냥 꽤
놀라운 일이 될 것 같긴 해요.

819
00:45:38,197 --> 00:45:40,894
앞으로 3년 동안 그런 번개
같은 연결이 지금보다 훨씬
Don't you think it would be surprising if, over the next three years, there weren't a lot more of those lightning bolts?

820
00:45:40,894 --> 00:45:43,680
더 많이 나오지 않는다면,
그게 오히려 놀랍지 않을까요?

821
00:45:43,680 --> 00:45:46,346
이건 정말 생각해볼 만한
중요한 문제인 것 같아요.
I think this is an important thing to think about.

822
00:45:46,346 --> 00:45:48,960
우리는 흔히 개별 시스템 하나가
얼마나 똑똑한지만 생각하곤 하죠.
We often think about how smart a single system is.

823
00:45:48,960 --> 00:45:53,107
그런데 AI가 가진 이점들 중에는
그 시스템 자체의 지능이 아니라
And we don't think about AIs having advantages that are more the result of other facts about them.

824
00:45:53,107 --> 00:45:57,024
다른 사실들에서 비롯되는 것도
있다는 건 잘 생각하지 않아요.

825
00:45:57,024 --> 00:46:00,455
이 맥락에서 핵심적인
사실은, 우리가 이것들을
So in this context, the key fact about them is that we can just parallelize and arbitrarily scale them.

826
00:46:00,455 --> 00:46:04,160
그냥 병렬화하고 임의로
확장할 수 있다는 거예요.

827
00:46:04,160 --> 00:46:07,582
어떤 능력 수준이든 간에,
이건 수학사에서 유일무이한
Whatever level of capability they have, it's not just one idiosyncratic genius in the history of mathematics who makes a few connections and then dies in a duel.

828
00:46:07,582 --> 00:46:10,886
어느 별난 천재 한 명이
몇 가지 연결을 찾아내고는

829
00:46:10,886 --> 00:46:13,600
결투로 죽어버리는
것과는 다르다는 거예요.

830
00:46:13,600 --> 00:46:16,895
그건 그 능력 수준에서
다다를 수 있는 모든
It's universally applying that waterline across all problems that are accessible at that level of capability.

831
00:46:16,895 --> 00:46:20,191
문제에 그 수위를
보편적으로 적용하는 거죠.

832
00:46:20,191 --> 00:46:23,290
이건 디지털 마인드가
본질적으로 갖고 있는, 그런데
This is among the many advantages that digital minds inherently have that we don't think enough about.

833
00:46:23,290 --> 00:46:26,720
우리가 충분히 생각하지 않는
여러 이점 가운데 하나예요.

834
00:46:26,720 --> 00:46:31,052
다른 이점들로는, 지식을 전부
하나로 합칠 수 있다는 점—적어도
The other ones being that they can merge all their knowledge together—or at least that there will be techniques that allow this to happen—and that you can spawn off copies with identical levels of knowledge.

835
00:46:31,052 --> 00:46:34,888
그걸 가능하게 하는 기술이
나올 거라는 점—그리고 동일한

836
00:46:34,888 --> 00:46:39,096
수준의 지식을 가진 복제본을
만들어낼 수 있다는 점이 있고요.

837
00:46:39,096 --> 00:46:41,666
이 병렬화라는 속성은 꽤 중요해요.
This parallelization is quite an important property.

838
00:46:41,666 --> 00:46:43,360
어떻게 예측하시는지 궁금하네요.
I'd be curious about your predictions.

839
00:46:43,360 --> 00:46:48,149
설령 인간 수학자들만큼 똑똑하지
않다 해도, AI 기업들이 홍보
Even if they're not as smart as human mathematicians, the fact that for PR reasons the AI companies are just throwing billions and billions of dollars at this means that quantity has a quality all of its own.

840
00:46:48,149 --> 00:46:52,802
때문에 여기에 수십억 달러에 또
수십억 달러를 쏟아붓고 있다는

841
00:46:52,802 --> 00:46:57,454
사실 자체가, 양은 그 자체로
질이 된다는 걸 보여주는 거죠.

842
00:46:57,454 --> 00:47:00,880
그 방향이 맞는 것 같네요.
That seems in the right direction.

843
00:47:00,880 --> 00:47:04,936
IAS에서 몽고메리와 다이슨이
나눈 대화, 그러니까 리만
If we take that conversation between Montgomery and Dyson at the IAS that suggests some connection between the Riemann hypothesis—or the Riemann zeta-function zeros—and random matrices, that feels like the kind of thing that you could try to automate.

844
00:47:04,936 --> 00:47:08,731
가설—그러니까 리만 제타
함수의 영점들—과 랜덤 행렬

845
00:47:08,731 --> 00:47:12,525
사이의 어떤 연관성을 시사했던
그 대화를 예로 들면,

846
00:47:12,525 --> 00:47:16,320
그건 자동화를 시도해볼 만한
종류의 일처럼 느껴져요.

847
00:47:16,320 --> 00:47:21,680
이 모든 분야의 전문성을 대표하는
에이전트들을 두는 거죠.
You have agents representing expertise in all these fields.

848
00:47:21,680 --> 00:47:24,960
연구소가 개인보다 똑똑하다는
건 다들 알잖아요.
We all know that an institute is smarter than an individual.

849
00:47:24,960 --> 00:47:28,663
사람들을 전부 같은
장소에 모아두는 이유는,
The reason for having people all in the same geographic location is that you want those serendipitous conversations to happen.

850
00:47:28,663 --> 00:47:32,366
그런 우연한 대화들이
일어나길 바라서잖아요.

851
00:47:32,366 --> 00:47:35,460
그런 걸 에이전트들 사이에서
만들어내려면 어떻게 설계해야 할까요?
What does it look like to engineer those between agents?

852
00:47:35,460 --> 00:47:38,450
재미있는 게, 지식을 전부
한데 모을 수 있다고
It's interesting, because you point out that you can pool all your knowledge, but I really wonder if one of the advantages is that you can do the opposite of that.

853
00:47:38,450 --> 00:47:41,441
짚어주셨잖아요. 근데 저는
오히려 그 반대를 할

854
00:47:41,441 --> 00:47:44,661
수 있다는 것도 장점 중
하나가 아닐까 싶더라고요.

855
00:47:44,661 --> 00:47:48,093
AI가 실패할 때 보면,
잘못된 사고 흐름에 빠져서
Sometimes when an AI is failing, it's because it gets into a bad chain of thought and it's really hard to get it out.

856
00:47:48,093 --> 00:47:51,280
거기서 빠져나오기가 정말
힘든 경우가 있거든요.

857
00:47:51,280 --> 00:47:53,105
그러면 '그냥 다시
시작하자'고 하잖아요.
So you say, "I'll just start again."

858
00:47:53,105 --> 00:47:54,239
사람도 마찬가지예요.
Same deal with humans.

859
00:47:54,239 --> 00:47:57,591
가끔 어떤 식으로 생각을 시작했는데,
Sometimes you start thinking about it in a certain way, and what's required is to just back up.

860
00:47:57,591 --> 00:48:01,279
필요한 건 그냥 한 발 물러서는 거예요.

861
00:48:02,000 --> 00:48:04,335
오랫동안 뭔가를 증명하려고
애쓰다가, 어느 순간
There are stories about people trying to prove something for a long time, and then at some point they say, "Hang on a second.

862
00:48:04,335 --> 00:48:06,759
'잠깐만' 하고 말하는
사람들 이야기가 있잖아요.

863
00:48:06,759 --> 00:48:08,583
'혹시 이게 불가능하다는
걸 증명해보면 어떨까,
What if I tried to prove that it's impossible, or prove the opposite?"

864
00:48:08,583 --> 00:48:10,196
아니면 반대를 증명해보면
어떨까' 하고요.

865
00:48:10,196 --> 00:48:13,518
자기 컨텍스트를 풀어헤치고 새로운
마음으로 다시 접근하는 거죠…
Unwinding your own context and going at it with a fresh mind…

866
00:48:13,518 --> 00:48:17,642
그걸 체계화한다고 상상해볼 수도
있고, 여러 에이전트에게 일부러 서로
You could imagine systematizing that, or having multiple different agents deliberately given different pieces of context and trying to compare and contrast there.

867
00:48:17,642 --> 00:48:21,440
다른 컨텍스트를 줘서 비교·대조해보게
할 수도 있을 것 같아요.

868
00:48:21,440 --> 00:48:26,011
우리는 우리 자신의 컨텍스트를
그 정도로 조작할 수는 없잖아요.
We don't have the same level of manipulation on our own context.

869
00:48:26,400 --> 00:48:29,498
이번에 준비하는 AI와 수학
시리즈에서, 첫 에피소드는
In this AI and math series, the first episode we'll do will be about when they solved the IMO.

870
00:48:29,498 --> 00:48:32,080
그들이 IMO를 풀어낸
이야기를 다룰 거예요.

871
00:48:32,080 --> 00:48:35,155
제가 초점을 맞추고 싶은 건
그들이 실패한 특정 IMO 문제
I want to focus on one specific IMO problem that they failed on, which is one that a lot of very smart students failed on.

872
00:48:35,155 --> 00:48:37,951
하나인데, 정말 똑똑한 학생들도
다수가 틀린 문제예요.

873
00:48:37,951 --> 00:48:40,810
테렌스 타오도 이 문제를 틀렸어요.
Terry Tao also failed on it.

874
00:48:43,760 --> 00:48:45,524
사람들이 이 문제에 화가 많이 났는데,
People were very mad at the problem because they called it a troll problem.

875
00:48:45,524 --> 00:48:47,120
'트롤 문제'라고 부를 정도였어요.

876
00:48:47,120 --> 00:48:51,911
거의 스포일러를 하고 싶지 않은
게, 사실 간단한 해법이 있다는 걸
I almost don't want to spoil it, because I want to construct the episode around leading someone in without their knowing that it turns out to have a simple solution.

877
00:48:51,911 --> 00:48:56,960
모르는 채로 사람을 끌고 들어가는
식으로 에피소드를 구성하고 싶거든요.

878
00:48:56,960 --> 00:49:01,600
이 문제를 푸는 학생이 어떤
기분일지 정말 공감할 수 있어요.
You can really empathize with what it's like to be a student solving this.

879
00:49:01,600 --> 00:49:06,584
기본적으로, 국제수학올림피아드(IMO)
문제라는 맥락 때문에 이게 정말
Basically, there's a really elegant way of going down what you really feel like is going to be the solution based on the context of it being an International Math Olympiad problem.

880
00:49:06,584 --> 00:49:11,440
정답일 거라고 느껴지는, 우아한
방향으로 내려가게 되는 길이 있어요.

881
00:49:11,440 --> 00:49:13,520
그 풀이의 성격 자체는 정말 매력적인데,
The character of the solution is really enticing, but it's hard to prove that it's the best.

882
00:49:13,520 --> 00:49:15,600
그게 최선이라는 걸 증명하기는 어려워요.

883
00:49:15,600 --> 00:49:16,701
이유는, 그게 최선이 아니기 때문이에요.
The reason is that it's not.

884
00:49:16,701 --> 00:49:18,224
거의 무식하다 싶을 정도로 단순한 풀이가
There's this almost brain-dead solution that is the best.

885
00:49:18,224 --> 00:49:19,540
있는데, 그게 오히려 최선이거든요.

886
00:49:19,540 --> 00:49:23,543
그게 AI 이야기 전체와 관련
있는 이유는, 사람이 그
The relevance of that to the whole AI story is that for a human, what's required to answer that question is to escape your context.

887
00:49:23,543 --> 00:49:27,680
질문에 답하려면 자기 컨텍스트를
벗어나야 한다는 거예요.

888
00:49:27,680 --> 00:49:29,300
IMO에 있다는 컨텍스트에서
벗어나야 하고요.
Escape the context of being in the IMO.

889
00:49:29,300 --> 00:49:31,773
이런 대회 수학 문제를
풀도록 훈련받아 온
Escape the context of the way you've been trained to solve these contest math problems.

890
00:49:31,773 --> 00:49:34,246
방식이라는 컨텍스트에서도
벗어나야 하고요.

891
00:49:34,246 --> 00:49:37,469
그냥 길거리에서 아무한테나
던지는 두뇌 퀴즈처럼
If you just approached it like a brain teaser that I throw at someone off the street, they'd probably answer it well.

892
00:49:37,469 --> 00:49:40,320
접근했다면, 아마 다들
잘 풀었을 거예요.

893
00:49:40,320 --> 00:49:46,526
다른 맥락의 인간 연구에서도
가끔 이런 게 필요해요 — 그냥
You want the same sometimes for human research in other contexts, just being able to refresh your thinking and come at it completely differently.

894
00:49:46,526 --> 00:49:52,732
생각을 새로고침하고 완전히
다르게 접근할 수 있는 능력이요.

895
00:49:52,732 --> 00:49:57,346
디지털 마인드들이 가진 여러 이점들
중에서, 어쩌면 이것도 그중 하나일
Of all the advantages that digital minds have, that might actually be one of them: a more systematic approach to refreshing your thinking.

896
00:49:57,346 --> 00:50:02,079
수 있겠네요 — 생각을 리프레시하는
좀 더 체계적인 방식이라는 점에서요.

897
00:50:02,640 --> 00:50:05,532
에이전트를 둘로 나눠서 하나는 증명을,
하나는 반증을 시도하게 하는 거예요.
Spin off two agents, one who's trying to prove it and one who's trying to disprove it, one who tries it this way and one who tries it another.

898
00:50:05,532 --> 00:50:08,080
하나는 이런 방식으로, 다른 하나는
다른 방식으로 시도하게 하고요.

899
00:50:08,080 --> 00:50:10,240
그 둘에게 의도적으로 서로
다른 맥락을 주는 거고요.
They deliberately have different contexts.

900
00:50:10,240 --> 00:50:14,214
3년 후에 다시 이런 대화를 하게
된다면, 헤드라인을 장식하는
I would be curious to see, if we're having this conversation three years from now, how many of the significant results that make headlines have that character of basically erasing the context previously, trying a bunch of different things as opposed to merging the results of a bunch of different agents.

901
00:50:14,214 --> 00:50:18,071
중요한 결과들 중 얼마나 많은
게 — 여러 에이전트의 결과를

902
00:50:18,071 --> 00:50:21,812
합치는 방식이 아니라 —
기본적으로 이전 맥락을 지워버리고

903
00:50:21,812 --> 00:50:25,552
다양한 걸 시도해보는 그런
성격을 띠고 있을지 궁금하네요.

904
00:50:25,552 --> 00:50:28,381
정말 흥미로운 지점인데,
사람들이 AI에 대해 흔히 갖는
It is incredibly interesting, because a common concern people have about AIs is this entropy collapse where they all think the same way, because they're trained in similar ways.

905
00:50:28,381 --> 00:50:31,119
우려 중 하나가 바로 이
엔트로피 붕괴거든요 — 비슷한

906
00:50:31,119 --> 00:50:34,040
방식으로 훈련받다 보니 다들
똑같이 생각하게 된다는 거죠.

907
00:50:34,040 --> 00:50:35,440
그래서 AI가 글쓰기를
잘 못하는 거고요.
This is why they're bad at writing.

908
00:50:35,440 --> 00:50:40,240
다들 같은 경로를 따라가고,
말하는 패턴도 비슷해지고 그러죠.
They go down the same path and have similar patterns of speaking and so forth.

909
00:50:40,240 --> 00:50:46,225
그런데 어쩌면 AI가 가진
핵심 장점은, 체계적으로…
But maybe the key advantage AIs have is that you can systematically…

910
00:50:46,225 --> 00:50:50,127
단위 거리 추측이 그렇게
오랫동안 반증되지 않았던 이유
It sounded like one of the reasons the unit distance problem conjecture took so long to be disproven was that people assumed the conjecture was actually true, so they were mostly trying to figure out ways to prove it.

911
00:50:50,127 --> 00:50:54,288
중 하나는, 사람들이 그 추측이
실제로 참이라고 가정한 채

912
00:50:54,288 --> 00:50:58,320
대부분 증명할 방법만 찾으려
했기 때문인 것 같더라고요.

913
00:50:58,320 --> 00:51:04,830
어쩌면 AI가 가질 핵심 장점 중
하나는, 어떤 명제든 그 부정과 긍정을
Maybe one of the key advantages the AIs will have is to increase the entropy by systematically trying out both the negation and trying to prove the positive of any given statement, or being able to systematically give different agents different biases.

914
00:51:04,830 --> 00:51:10,527
둘 다 체계적으로 시도해봄으로써
엔트로피를 높이거나, 서로 다른

915
00:51:10,527 --> 00:51:17,200
에이전트들에게 체계적으로 서로 다른
편향을 부여할 수 있다는 점일 거예요.

916
00:51:17,200 --> 00:51:20,328
인간 과학사에서 중요한 지점처럼
보이는 게, 아인슈타인은
It seems like an important thing in the history of human science is that Einstein was really motivated by this bias that things should look the same in different reference frames.

917
00:51:20,328 --> 00:51:23,355
'서로 다른 기준계에서도
사물은 똑같이 보여야 한다'는

918
00:51:23,355 --> 00:51:26,080
이 편향에 정말 크게
동기부여를 받았다는 거예요.

919
00:51:26,080 --> 00:51:28,040
그런 편향을 여러 개 갖고
있었지만, 그중에서도 그
He had multiple other biases like these, but that one was very formative in his thinking.

920
00:51:28,040 --> 00:51:30,000
편향이 그의 사고를 형성하는
데 특히 결정적이었죠.

921
00:51:30,000 --> 00:51:33,573
이런 식으로 여러 휴리스틱을
체계적으로 조사해서, 주어진
You can systematically survey a bunch of heuristics and see which ones are being productive on a given problem.

922
00:51:33,573 --> 00:51:36,800
문제에 어떤 것들이 생산적인지
볼 수 있는 거예요.

923
00:51:36,800 --> 00:51:43,000
그러니까 자기회귀 단계에서는 이런
붕괴가 필연적으로 일어나더라도,
So you would suggest systematically increasing entropy at the prompt level even though you have this inevitable collapse at the autoregression level?

924
00:51:43,000 --> 00:51:49,200
프롬프트 단계에서는 체계적으로
엔트로피를 높이자는 제안이신 거죠?

925
00:51:49,200 --> 00:51:51,318
아인슈타인은 흥미로운 예가
될 것 같은데요, '모든
Einstein would be an interesting example, because he's got this bias toward things being relative.

926
00:51:51,318 --> 00:51:53,360
게 상대적이어야 한다'는
편향을 갖고 있었잖아요.

927
00:51:53,360 --> 00:51:57,440
동시에 '신은 주사위 놀이를 하면
안 된다'는 편향도 갖고 있었고요.
He also has a bias toward "God should not play dice."

928
00:51:57,440 --> 00:52:00,482
모든 LLM이 실수로 다 아인슈타인이
되어버리지 않게 조심해야
You want to make sure you don't accidentally have all your LLMs be Einstein, because you might halt progress on quantum mechanics.

929
00:52:00,482 --> 00:52:03,434
해요. 그랬다간 양자역학의
진전이 멈춰버릴 수도 있으니까요.

930
00:52:03,434 --> 00:52:05,284
그건 결국 과학에 '정답인 휴리스틱'
Which goes to show you that there's not a correct heuristic for science.

931
00:52:05,284 --> 00:52:07,133
같은 건 없다는 걸 보여주는 셈이죠.

932
00:52:07,133 --> 00:52:09,222
그냥 각자 자기만의
휴리스틱을 가진, 서로
You just need multiple independent research programs with their own heuristics.

933
00:52:09,222 --> 00:52:11,493
독립적인 여러 연구
프로그램이 필요한 거예요.

934
00:52:11,493 --> 00:52:13,520
그건 좀 옛날 방식
소프트웨어 같은 느낌인데요.
That feels like old-school software.

935
00:52:13,520 --> 00:52:15,760
그걸 어떤 식으로든
기술할 수만 있다면요.
As long as you're able to describe that in some way.

936
00:52:15,760 --> 00:52:19,920
그러면 그 엔트로피를 증폭시키는 옛날
방식 소프트웨어를 갖게 되는 거죠.
You have old-school software that amplifies that entropy.

937
00:52:19,920 --> 00:52:24,704
프롬프트하고 싶은 서로 다른
사고방식들에 명확한 존재론을
If you're able to put a clear ontology to the distinct ways of thinking that you want to prompt, you explore that full ontology, and then each individual one runs off doing what it is.

938
00:52:24,704 --> 00:52:28,716
부여할 수 있다면, 그
존재론 전체를 탐색하면서

939
00:52:28,716 --> 00:52:33,037
각각이 알아서 자기 몫을
해나가게 만들 수 있어요.

940
00:52:33,360 --> 00:52:35,588
거기엔 그 서로 다른 접근법들을 정확히
There's a certain design question there about how exactly you describe the different approaches.

941
00:52:35,588 --> 00:52:38,240
어떻게 기술할지에 대한
설계상의 질문이 있죠.

942
00:52:38,240 --> 00:52:40,640
쉬운 쪽은, 그걸 증명하려는 건지
반증하려는 건지 하는 거고요.
The easy one is: are you trying to prove it or disprove it?

943
00:52:40,640 --> 00:52:43,760
더 어려운 질문은, 이걸
증명하기 위해 시도해볼
The harder one would be to say, what are all the tactics you could take to prove this, and make sure you're applying sufficient breadth to exploring them.

944
00:52:43,760 --> 00:52:47,120
수 있는 전략이 다 뭐가
있는지 따져보고, 그것들을

945
00:52:47,120 --> 00:52:50,240
충분히 폭넓게 탐색하고
있는지 확인하는 거겠죠.

946
00:52:50,240 --> 00:52:54,244
저는 사람들이 커서(Cursor) 같은
좋은 하니스를 붙여주면 이 모델들이
I don't think people appreciate the kinds of things these models can just go handle for you when you equip them with a good harness like Cursor.

947
00:52:54,244 --> 00:52:57,760
대신 처리해줄 수 있는 일이 얼마나
많은지 잘 모르는 것 같아요.

948
00:52:57,760 --> 00:53:00,835
예를 들어 저는 앞으로 늘어나길
바라는 중국 시청자들을 위해
For example, I started publishing my episodes on Bilibili for a hopefully burgeoning Chinese audience — but everything I upload there needs the sponsored segments cut out.

949
00:53:00,835 --> 00:53:04,004
제 에피소드를 빌리빌리(Bilibili)에
올리기 시작했는데,

950
00:53:04,004 --> 00:53:06,800
거기 올리는 건 전부 스폰서
구간을 잘라내야 하거든요.

951
00:53:06,800 --> 00:53:10,035
원래대로라면 편집자들한테 예전
에피소드를 전부 다시 뒤져서 광고를
Normally that would have meant asking my editors to go back through all the old episodes, cut the ads, and re-export everything.

952
00:53:10,035 --> 00:53:13,000
잘라내고 처음부터 다시 내보내
달라고 부탁해야 했을 거예요.

953
00:53:13,000 --> 00:53:16,674
그런데 그 슬랙(Slack) 메시지를
보내는 데 걸릴 시간 정도만
But in about as much time as it would've taken me to send them that Slack message, I can just tell Cursor to do it instead and spare them.And for podcast research, I have a whole repo where I've put every single book and paper that's been relevant to prepping any of the recent episodes.

954
00:53:16,674 --> 00:53:20,655
들여서, 그냥 커서한테 대신 시키고
편집자들 수고를 덜어줄 수 있어요.

955
00:53:20,655 --> 00:53:24,126
그리고 팟캐스트 리서치용으로는,
최근 에피소드들을 준비하는 데

956
00:53:24,126 --> 00:53:27,800
관련된 책과 논문을 전부 모아둔
저장소(repo)가 하나 있어요.

957
00:53:27,800 --> 00:53:32,106
거기에 그냥 다 던져 넣을 수
있었던 이유는, 제 저장소든 웹이든
I've been able to just throw everything in there, because the Cursor harness is extremely good at helping the model figure out exactly what to pull — whether from my repo or from the web — to answer the questions I have while I'm researching.

958
00:53:32,106 --> 00:53:36,173
리서치하다가 생기는 질문에 답하는
데 정확히 뭘 가져와야 할지

959
00:53:36,173 --> 00:53:40,240
모델이 찾아내도록 커서 하니스가
정말 잘 도와주기 때문이에요.

960
00:53:40,240 --> 00:53:44,160
그러니 지금 뭘 작업하고 계시든,
그냥 커서한테 한번 맡겨보세요.
So whatever you happen to be working on right now, just try pointing Cursor at it.

961
00:53:44,160 --> 00:53:47,480
시작하시려면
cursor.com/dwarkesh로 가보세요.
Go to cursor.com/dwarkesh to get started.

962
00:53:47,480 --> 00:53:50,520
확실히 수학 분야에서 AI는
다른 어떤 분야보다 훨씬
Obviously, AI in math is making much faster progress than everything else, and people point to the verifiability of the domain as the key reason this is happening.

963
00:53:50,520 --> 00:53:53,246
빠르게 발전하고 있고,
사람들은 이 분야의 검증

964
00:53:53,246 --> 00:53:56,600
가능성(verifiability)을
그 핵심 이유로 꼽죠.

965
00:53:56,600 --> 00:53:59,474
제 생각엔 그게 두 가지
중요한 이유 중 하나이긴
I think that's one of the two important reasons, but people really neglect the other one.

966
00:53:59,474 --> 00:54:02,560
한데, 사람들이 나머지
하나는 정말 간과하고 있어요.

967
00:54:02,560 --> 00:54:05,487
저는 랩(연구소) 바깥에 있는 사람이라,
I'm outside the labs, so I don't know what's actually going on.

968
00:54:05,487 --> 00:54:08,680
실제로 무슨 일이 벌어지고
있는지는 몰라요.

969
00:54:08,680 --> 00:54:12,240
이건 완전히 순진한 이론이긴 한데요.
This is a totally naive theory.

970
00:54:12,240 --> 00:54:14,445
AI가 왜 수학에서 이렇게
빠르게 발전하고 있는지랑
A tangential question to why AI is making so much progress in math: why has it been so slow at computer use?

971
00:54:14,445 --> 00:54:16,965
관련된 곁가지 질문 하나는요,
컴퓨터 사용(computer

972
00:54:16,965 --> 00:54:19,012
use)에서는 왜 이렇게
느렸을까 하는 거예요.

973
00:54:19,012 --> 00:54:21,600
컴퓨터는 검증 가능성이 아주 높잖아요.
A computer is very verifiable.

974
00:54:21,600 --> 00:54:23,718
제 엣시(Etsy) 소포가 오고 있나요?
Is my Etsy package coming?

975
00:54:23,718 --> 00:54:25,288
제 일정이 예약됐나요?
Is my event booked?

976
00:54:25,288 --> 00:54:28,498
이런 건 확인해보기에 검증
가능성이 굉장히 높은 것들이에요.
These are extremely verifiable things to survey.

977
00:54:28,498 --> 00:54:32,000
컴퓨터 사용에 없는 건
'그라인더빌리티(grindability)'예요.
What computer use lacks is grindability.

978
00:54:32,000 --> 00:54:36,467
웹사이트에는 봇 탐지기가 있고,
병렬 롤아웃(rollout)을
Because websites have bot detectors—and it takes a tremendous amount of compute to run parallel rollouts—it's very hard to run a thousand parallel rollouts of the same checkout flow on Amazon.

979
00:54:36,467 --> 00:54:40,408
돌리려면 어마어마한 연산량이
드니까, 아마존에서 똑같은

980
00:54:40,408 --> 00:54:44,480
결제 과정을 천 개씩 병렬로
돌려보는 건 정말 어려워요.

981
00:54:44,480 --> 00:54:47,525
앤디 재시(Andy
Jassy)한테 차단당할 거예요.
You'll get shut down by Andy Jassy.

982
00:54:47,525 --> 00:54:48,878
그 사람이 직접요.
Him personally.

983
00:54:48,878 --> 00:54:52,400
드와케시 전용 빨간 X
버튼을 직접 누르는 거죠.
He presses the red X on Dwarkesh button.

984
00:54:52,400 --> 00:54:53,218
맞아요.
Exactly.

985
00:54:53,218 --> 00:54:56,275
모든 웹사이트를 하나하나
복제해서 만들어볼 수도
You could try to build clones of every single website, but that's very labor-intensive and slows you down.

986
00:54:56,275 --> 00:54:59,920
있겠지만, 그건 노동력이
엄청나게 들고 속도도 느려지죠.

987
00:54:59,920 --> 00:55:02,585
지금 딥러닝으로 어떤 스킬을
배우는 데 그렇게 많은 병렬
The reason you currently need to do so many parallel rollouts to learn a skill with deep learning is that we haven't solved sample efficiency.

988
00:55:02,585 --> 00:55:05,507
롤아웃이 필요한 이유는, 우리가
아직 샘플 효율성(sample

989
00:55:05,507 --> 00:55:08,000
efficiency) 문제를
풀지 못했기 때문이에요.

990
00:55:08,000 --> 00:55:10,551
카파시 말마따나 '빨대로 지도
신호를 빨아들이기'네요?
Sucking supervision through a straw, as Karpathy says?

991
00:55:10,551 --> 00:55:10,846
맞아요.
Exactly.

992
00:55:10,846 --> 00:55:14,211
물론 사람들이 여러 다른
기법들을 연구하고 있지만,
Of course people are working on many different techniques, but fundamentally there's this big constraint in the way we train AIs.

993
00:55:14,211 --> 00:55:18,057
근본적으로 AI를 훈련하는
방식에는 이 큰 제약이 있어요.

994
00:55:18,057 --> 00:55:22,593
코드의 경우엔, 저장소의 특정
진행 상태를 컨테이너화해서
With code, you can containerize a given level of progress in a repository and then spin out hundreds of parallel containers and say, "Try to implement this feature," and it's totally deterministic.

995
00:55:22,593 --> 00:55:27,130
수백 개의 병렬 컨테이너를
띄운 다음 '이 기능을 구현해

996
00:55:27,130 --> 00:55:31,520
봐'라고 시킬 수 있는데,
이건 완전히 결정론적이에요.

997
00:55:31,520 --> 00:55:33,790
결정론적이라서 신용 할당
문제(credit assignment
Because it's deterministic, you can solve the credit assignment problem because you know that whatever caused this rollout to succeed and this one to fail, the diff is the thing that worked.

998
00:55:33,790 --> 00:55:36,328
problem)를 풀 수 있는 거예요.
어떤 롤아웃(rollout)은

999
00:55:36,328 --> 00:55:38,531
성공하고 어떤 롤아웃은 실패했을
때, 그 원인이 무엇이든 그

1000
00:55:38,531 --> 00:55:41,135
차이(diff)가 바로 효과가 있었던
지점이라는 걸 알 수 있으니까요.

1001
00:55:41,440 --> 00:55:44,727
만약 상황들이 서로 다른
시작점에서 출발한다면,
If you have situations that are starting off at different starting points, this credit assignment problem becomes much harder to solve.

1002
00:55:44,727 --> 00:55:48,141
이 신용 할당 문제는
풀기가 훨씬 더 어려워져요.

1003
00:55:48,141 --> 00:55:50,170
현실 세계의 대부분의 일들은 이런
Most things in the real world are very hard to containerize in the same way.

1004
00:55:50,170 --> 00:55:52,649
식으로 컨테이너화하기가 굉장히 어려워요.

1005
00:55:52,649 --> 00:55:55,360
코딩과 수학은 이 규칙의 예외예요.
Coding and math are exceptions to this rule.

1006
00:55:55,360 --> 00:55:59,225
하지만 성공하는 새로운 사업을
어떻게 만들지, 아니면 하루 동안
But if you're trying to figure out how to build a new business that succeeds, or how to go trade in the markets for a day and make money, the fact that you have to interact with the real world and things change day after day means that you can't keep replaying and grinding and farming the simulator.

1007
00:55:59,225 --> 00:56:03,310
시장에서 거래해서 돈을 벌려면
어떻게 해야 할지 알아내려는 거라면,

1008
00:56:03,310 --> 00:56:06,954
현실 세계와 상호작용해야 하고
하루하루 상황이 바뀐다는 사실

1009
00:56:06,954 --> 00:56:10,818
때문에 시뮬레이터를 계속 재생하고
갈아넣고 파밍할 수가 없어요.

1010
00:56:10,818 --> 00:56:15,489
수학은 당연히 예외고,
이게 이 분야뿐 아니라
Math, of course, is the exception, and I feel like this is an important driver of progress in this domain and also in coding.

1011
00:56:15,489 --> 00:56:20,720
코딩에서도 발전을 이끄는
중요한 동력인 것 같아요.

1012
00:56:20,720 --> 00:56:22,218
그저 검증 가능하다는 것만으론 안 되고,
It's not just verifiability; it has to be grindable.

1013
00:56:22,218 --> 00:56:23,920
갈아넣을 수
있어야(grindable) 해요.

1014
00:56:23,920 --> 00:56:27,101
사람들이 AI가 빠르게 발전하고
있다고 지적하는 세 번째 이유는,
The third reason people point out that AI is making fast progress is they focus a lot on Lean and formalization.

1015
00:56:27,101 --> 00:56:30,548
Lean과 형식화(formalization)에
크게 주목한다는 거예요.

1016
00:56:30,548 --> 00:56:31,972
다시 말씀드리지만, 랩 안에서 무슨 일이
Again, I have literally no idea what's going on in the labs.

1017
00:56:31,972 --> 00:56:33,396
일어나고 있는지 저는 정말 전혀 몰라요.

1018
00:56:33,396 --> 00:56:35,955
제 생각엔 Lean은 지금 수준의 AI
I feel like Lean just doesn't matter that much for the current level of progress in AI.

1019
00:56:35,955 --> 00:56:38,758
발전에는 그렇게 중요하지
않은 것 같아요.

1020
00:56:38,758 --> 00:56:40,960
AI가 어떻게 단위 거리
문제(unit distance
Why is AI able to disprove the conjecture about the unit distance problem?

1021
00:56:40,960 --> 00:56:43,089
problem)에 대한
추측을 반증할 수 있었을까요?

1022
00:56:43,089 --> 00:56:45,915
그들이 사고 과정(chain
of thought)을
They released the chain of thought, or at least a rewrite of the chain of thought.

1023
00:56:45,915 --> 00:56:48,338
공개했어요. 적어도 그걸
다시 쓴 버전을요.

1024
00:56:48,338 --> 00:56:50,000
거기엔 Lean이 전혀 없었어요.
It didn't have any Lean in it.

1025
00:56:50,000 --> 00:56:51,780
제 생각엔, Lean이
제공하는 과정 기반
I think the process-based supervision that Lean provides, where you know each step is correct, seems less relevant than just having this grindable outcome that is verifiable.

1026
00:56:51,780 --> 00:56:54,333
지도(process-based
supervision) — 각

1027
00:56:54,333 --> 00:56:56,732
단계가 맞는지 알 수 있는
방식 — 이, 검증 가능하면서

1028
00:56:56,732 --> 00:56:59,440
갈아넣을 수 있는 결과물을 갖는
것보다는 덜 중요한 것 같아요.

1029
00:56:59,440 --> 00:57:03,027
갈아넣을 수 있다는
점(grindability)이
It's an interesting point about grindability mattering more.

1030
00:57:03,027 --> 00:57:05,817
더 중요하다는 건 흥미로운 지적이네요.

1031
00:57:06,160 --> 00:57:09,132
순진하게 생각하면 Lean이 수학에
뭔가 특별한 걸 제공한다고 볼
Naively you might think Lean provides something unique for math because you're able to see if it can prove it.

1032
00:57:09,132 --> 00:57:12,186
수 있어요. 증명이 되는지 안
되는지를 직접 확인할 수 있으니까요.

1033
00:57:12,186 --> 00:57:14,710
예, 아니오를 말해주는 구식 소프트웨어가
You have old-school software that can tell you yes or no, and you use that as your VR.

1034
00:57:14,710 --> 00:57:17,235
있고, 그걸 여러분의 VR로 쓰는 거죠.

1035
00:57:17,235 --> 00:57:20,844
그 주장을 뒷받침해 줄 만한
건 초기 시도들이에요.
What would corroborate your point is the initial attempts.

1036
00:57:20,844 --> 00:57:22,880
다시 IMO 얘기로 돌아가 볼게요.
Again, I'll circle back to the IMO.

1037
00:57:22,880 --> 00:57:24,581
처음엔 딥마인드가
기본적으로 그렇게 했어요.
Initially, DeepMind basically does that.

1038
00:57:24,581 --> 00:57:26,243
모든 게 Lean으로 되어 있었는데,
Everything is in Lean, and then the next year it's all in natural language.

1039
00:57:26,243 --> 00:57:27,904
다음 해엔 전부 자연어로 바뀌었어요.

1040
00:57:27,904 --> 00:57:29,520
말씀하신 대로, 그건 필요 없어요.
So to your point, it's not needed.

1041
00:57:29,520 --> 00:57:35,263
형식화라는 영역에는 아직 다
탐구되지 않은 장점이 분명히
I do think there's a yet-to-be-explored benefit of that formalization domain, which is that at the moment you still need a human reviewing that counterexample to the unit distance conjecture to say, "Looks good."

1042
00:57:35,263 --> 00:57:40,635
있다고 봐요. 지금은 여전히
사람이 단위 거리 추측의

1043
00:57:40,635 --> 00:57:46,192
반례를 보고 "좋아 보이네요"라고
확인해줘야 하거든요.

1044
00:57:46,192 --> 00:57:48,642
그게 이 일이 얼마나 끝없이 탐색될 수
That provides a certain bound on how endlessly explorable things are.

1045
00:57:48,642 --> 00:57:50,976
있는지에 일정한 한계를 두는 거예요.

1046
00:57:50,976 --> 00:57:54,535
알파고나 알파제로 같은
시스템을 생각해보면, 그것들은
If you consider AlphaGo or AlphaZero-style systems, they're off in their own universe playing a bunch of Go and exploring themselves, potentially going off the rails of what any human needs to look at, but they still have this automated verifiable reward.

1047
00:57:54,535 --> 00:57:58,340
자기들만의 우주에서 바둑을
잔뜩 두면서 스스로 탐색하고,

1048
00:57:58,340 --> 00:58:02,391
어쩌면 사람이 굳이 봐야 할
필요가 없는 데까지 벗어나 버릴

1049
00:58:02,391 --> 00:58:06,441
수도 있지만, 그래도 자동으로
검증 가능한 보상은 있잖아요.

1050
00:58:06,441 --> 00:58:09,680
그건 단순히 그걸로 강화학습을
할 수 있다는 것만이 아니에요.
It's not just that you can do RL on that.

1051
00:58:09,680 --> 00:58:12,854
사실상 전혀 들여다볼 필요
없이, 그냥 바둑이라는 우주를
It's also that you basically never have to check in, and you can just pour compute at them exploring the universe of Go.

1052
00:58:12,854 --> 00:58:15,720
탐색하도록 연산력을 쏟아부으면
된다는 것도 있고요.

1053
00:58:15,720 --> 00:58:19,986
흥미로울 수 있는 지점은 —
어쩌면 이게 잘 안 될 수도
What stands to be interesting—maybe this won't pan out, but the jury should still be out on whether it'll yield anything—is that with Lean, you could imagine having a basically endlessly running program that's constantly trying to extend Mathlib.

1054
00:58:19,986 --> 00:58:24,527
있고, 뭔가 나올지는 아직
판단하기엔 이르지만 — Lean이

1055
00:58:24,527 --> 00:58:29,068
있으면 끊임없이 Mathlib을
확장하려고 시도하는, 사실상

1056
00:58:29,068 --> 00:58:33,196
무한히 돌아가는 프로그램을
상상해볼 수 있다는 거예요.

1057
00:58:33,196 --> 00:58:37,652
Mathlib은 사실상 모든 수학을
코드로 옮겨놓은 깃허브 저장소예요.
Mathlib is this GitHub repository that's basically all of math written in code.

1058
00:58:37,652 --> 00:58:39,367
실제로는 모든 수학과는
거리가 아주 멀지만,
It's very far from all of math, but they want it to be all of math.

1059
00:58:39,367 --> 00:58:40,939
사람들은 그게 모든 수학이 되길 원해요.

1060
00:58:40,939 --> 00:58:43,687
코드로 쓰여 있어서 "이 증명이
맞나?"라고 물어볼 수 있는 거예요.
It’s written in code where you can ask, "Is this proof correct?"

1061
00:58:43,687 --> 00:58:45,920
이런 증명을 쓰는 건 굉장히
품이 많이 드는 일이에요.
It's very labor-intensive to write these proofs.

1062
00:58:45,920 --> 00:58:48,840
그걸 둘러싼 하위
커뮤니티가 통째로 있어요.
There's a whole subcommunity around it.

1063
00:58:48,840 --> 00:58:51,382
하지만 AI에게 그냥
"Mathlib을 확장해봐"라고
But you could imagine having an AI where you say, "Simply try to extend Mathlib."

1064
00:58:51,382 --> 00:58:53,661
말하기만 하면 되는 경우를
상상해볼 수 있어요.

1065
00:58:53,661 --> 00:58:56,151
어쩌면 그건 원본을 포크한
버전일 수도 있어요 —
Maybe it's a fork of it so that it doesn't have trash in it, because people have a certain taste for what they want to be in there.

1066
00:58:56,151 --> 00:58:58,734
쓸데없는 게 안 들어가게
하려고요. 사람들은 거기에

1067
00:58:58,734 --> 00:59:01,040
뭐가 들어가야 할지
나름의 취향이 있으니까요.

1068
00:59:01,040 --> 00:59:03,313
그러면 순수 AI
Mathlib의 포크가 생기는
So you have your fork of the pure AI Mathlib, and it just goes and it doesn't stop.

1069
00:59:03,313 --> 00:59:05,760
거고, 그게 그냥 계속
돌아가고 멈추지 않는 거죠.

1070
00:59:05,760 --> 00:59:08,391
누가 들여다볼 필요도 없어요.
It doesn't need anybody to check in on it.

1071
00:59:08,391 --> 00:59:09,920
그냥 계속 나아갈 수 있는 거예요.
It could just keep going.

1072
00:59:09,920 --> 00:59:11,688
스스로 추측을 만들어낼 수도 있고요.
It might come up with its own conjectures.

1073
00:59:11,688 --> 00:59:14,320
자기만의 이론과 또 다른
정의들을 만들어낼 수도 있고요.
It might come up with its own theories and different definitions.

1074
00:59:14,320 --> 00:59:16,358
어쩌면 그중 상당수는 쓸모없을
수도 있지만, 그냥 끝없이
Maybe many of them are useless, but it just has this infinite tree that it can grow out.

1075
00:59:16,358 --> 00:59:18,198
뻗어나갈 수 있는 무한한
트리를 갖게 되는 거예요.

1076
00:59:18,198 --> 00:59:21,870
그건 수학만이 가진, 다른 어떤
분야에도 없는 아주 독특한 지점이에요
That's a very unique thing that math has that nothing else has, where you could press go and just pour compute at it, look away for ten years, and then come back and say, "What do you have?"

1077
00:59:21,870 --> 00:59:25,348
— 시작 버튼을 누르고 그냥 연산력을
쏟아부은 다음, 10년 동안

1078
00:59:25,348 --> 00:59:28,923
눈을 돌렸다가 돌아와서 "뭐가
나왔어?"라고 물어볼 수 있는 거죠.

1079
00:59:28,923 --> 00:59:30,400
뭔가는 나와 있을 거예요.
There's going to be something.

1080
00:59:30,400 --> 00:59:32,318
그럼 질문이 남죠 — 그게
쓸모가 있는지 없는지.
Then there's a question: is it useful or not?

1081
00:59:32,318 --> 00:59:33,360
그건 어떻게 알아낼 수 있을까요?
How do you suss that out?

1082
00:59:33,360 --> 00:59:35,554
그냥 그런 걸 할 수 있다는
게 흥미로운 지점이에요.
That's just an interesting thing to be able to do.

1083
00:59:35,554 --> 00:59:38,767
그러고도 흥미로운
수학적 통찰이 하나도 안
It would be very surprising if that didn't yield some sort of interesting mathematical insight from it.

1084
00:59:38,767 --> 00:59:42,400
나온다면, 그게 오히려
더 놀라운 일일 거예요.

1085
00:59:44,720 --> 00:59:48,320
이 이야기에서 Lean이 중요한
지점은 크게 두 가지예요.
There are two different ways that Lean is important in this story.

1086
00:59:48,320 --> 00:59:51,547
첫 번째는, 아예 손을 떼고 들여다보지도
The first one is how you could let go, not even check in, and progress will be made.

1087
00:59:51,547 --> 00:59:54,480
않아도 진전이 이루어진다는 점이에요.

1088
00:59:54,480 --> 00:59:55,460
바둑에서는 그게 가능하잖아요.
You can do that with Go.

1089
00:59:55,460 --> 00:59:58,431
자연어로 하는 수학에서는
그게 안 될 것 같아요.
I don't think you can do that with natural language math.

1090
00:59:58,431 --> 00:59:59,969
그거 정말 흥미롭네요.
That's very interesting.

1091
00:59:59,969 --> 01:00:03,971
카파시가 낸 자동 연구
아이디어 보셨어요?
Did you see Karpathy's auto research idea?

1092
01:00:03,971 --> 01:00:08,524
기본적인 LLM 학습을 수행하는
파이썬 파일 하나를 짜놓고,
He wrote this one Python file that does basic LLM training, and then had a repo where LLM agents would try to make modifications to the file, and if it sped up the speed run, the modification stays.

1093
01:00:08,524 --> 01:00:13,905
LLM 에이전트들이 그 파일을 계속
수정해보게 하는 레포를 만들었대요.

1094
01:00:13,905 --> 01:00:18,320
수정이 스피드런을 더 빠르게
하면 그대로 남는 식이었고요.

1095
01:00:18,320 --> 01:00:22,223
예전에 나와서 알파고 작동 원리를
설명해줬던 에릭 장도, 아주
Eric Jang, who came on to explain how AlphaGo works, did a similar thing when he was trying to build a very strong Go bot.

1096
01:00:22,223 --> 01:00:26,240
강한 바둑 봇을 만들려고 하면서
비슷한 걸 해봤다고 하더라고요.

1097
01:00:26,240 --> 01:00:28,880
흥미로운 관찰들을 얻었대요.
He had interesting observations.

1098
01:00:28,880 --> 01:00:33,825
실험 하나를 돌려서 그 방향으로 쭉
파고드는 건 정말 잘하는데, 막다른
It's really good at running an experiment and going down that path, but it's bad at stopping at dead ends and doing extremely parallel things.

1099
01:00:33,825 --> 01:00:38,390
길에서 멈추거나 극단적으로 병렬적인
시도를 하는 건 잘 못한대요.

1100
01:00:38,390 --> 01:00:41,760
아무튼 이건 앞으로 아마 바뀌겠죠.
Anyway, this will probably change in the future.

1101
01:00:41,760 --> 01:00:44,960
극한까지 가면 어떤 모습일지
생각해보는 게 정말 흥미로워요.
It's very interesting to think about what it looks like in the limit.

1102
01:00:44,960 --> 01:00:50,640
사실 이게 근본적으로 인간의 수학
연구라는 제도 자체가 하는 일이거든요.
This is fundamentally what the human institution of mathematical research is.

1103
01:00:50,640 --> 01:00:54,880
흥미롭고 유용한 방향으로 계속
확장되어가는 하나의 라이브러리인 셈이죠.
It's a library extended in interesting and useful ways.

1104
01:00:54,880 --> 01:00:57,120
이 방식에는 결과 기준의
지도가 전혀 없는 셈이에요.
This way you don't have any outcome-based supervision.

1105
01:00:57,120 --> 01:01:00,560
특정 결과를 유도하려는 인센티브는
없지만, 대신 과정은 있는 거예요.
There's no outcome that you're trying to incentivize, but you have a process.

1106
01:01:00,560 --> 01:01:02,709
각 단계가 맞다는 건 알지만, 흥미로운
You know the steps are correct, you just don't know if it's going in an interesting direction.

1107
01:01:02,709 --> 01:01:04,960
방향으로 가고 있는지는 알 수가 없어요.

1108
01:01:04,960 --> 01:01:07,217
그렇게 한다면, 완전히
궤도를 벗어나서 논리
If you were doing that, you don't want to completely go off the rails and do a random walk through the space of logic.

1109
01:01:07,217 --> 01:01:09,662
공간을 무작위로 헤매고
다니는 건 원치 않겠죠.

1110
01:01:09,662 --> 01:01:12,988
그게 유용한지 아닌지에
대한 휴리스틱을 제공해주는
You'd probably want some supervisor model that's trying to provide heuristics on whether it's useful or not.

1111
01:01:12,988 --> 01:01:15,698
감독 모델 같은 게 아마 필요할 거예요.

1112
01:01:17,360 --> 01:01:19,253
사람들이 이미 그 문제를
연구하고 있긴 해요.
You know people are working on it.

1113
01:01:19,253 --> 01:01:22,514
이건 '5년쯤 뒤에나 알 수
있는' 그런 부류의 일이라서,
That's one of those "five years from now" things where I'd be curious to get the future version of us talking about it.

1114
01:01:22,514 --> 01:01:26,080
미래의 우리 둘이 이 얘기를 다시
나누는 걸 한번 보고 싶네요.

1115
01:01:26,080 --> 01:01:31,149
어쩌면 아무 데도 못 갈 수도
있지만, 테렌스 타오가 가능한 대수
Maybe that goes nowhere, but Terry Tao was talking about one research project that tries to exhaustively search the space of possible algebras.

1116
01:01:31,149 --> 01:01:36,640
구조들의 공간을 전수 탐색하려는 연구
프로젝트 얘기를 한 적이 있어요.

1117
01:01:36,640 --> 01:01:38,320
대수적 시스템에 적용할 수 있는 서로
You could imagine different axioms that you apply to algebraic systems.

1118
01:01:38,320 --> 01:01:40,000
다른 공리들을 상상해볼 수 있잖아요.

1119
01:01:40,000 --> 01:01:44,027
군론을 만들어낼 때도,
그 동기를 모르면 임의적인
When we come up with group theory, there's a certain axiom system that looks like arbitrary rules unless you know the motivation.

1120
01:01:44,027 --> 01:01:47,755
규칙처럼 보이는 특정한
공리 체계가 있거든요.

1121
01:01:47,755 --> 01:01:49,520
그것들을 다 시도해보면 어떨까요?
What if you tried all of them?

1122
01:01:49,520 --> 01:01:51,078
그중에 쓸모 있는 게
나오는 것도 있나요?
Do any of them yield useful things?

1123
01:01:51,078 --> 01:01:53,548
그중 절대다수는 어떤
식으로든 그냥 쓰레기죠.
The vast majority of them are just trash in some way.

1124
01:01:53,548 --> 01:01:55,680
다 흥미로운 결과 하나
없이 무너져버려요.
It all collapses to no interesting results.

1125
01:01:55,680 --> 01:02:00,818
그런데 가끔은, 완전히 다른 유형의
공리계로 된 작은 섬 같은 게 나타나는데,
But every now and then, there would be this little island of a completely different type of axiom system that at the very least seems rich in terms of the number of theorems that can come out of it.

1126
01:02:00,818 --> 01:02:05,120
적어도 거기서 나올 수 있는 정리
개수만 보면 풍부해 보이거든요.

1127
01:02:05,120 --> 01:02:09,200
그게 바로 자동 증명기가 잘할
거라고 상상할 법한 본업이에요 — 그
That's bread and butter for what you would imagine automated provers being good for, exploring that space and seeing which one of them turns out to be something.

1128
01:02:09,200 --> 01:02:13,280
공간을 탐색하면서 그중 뭐가 쓸모
있는 걸로 밝혀지는지 보는 거죠.

1129
01:02:13,280 --> 01:02:15,442
그 섬들 중 하나가 실은
나중에 가서야 동기를 갖다
Maybe one of those islands actually turns out to be something you can retroactively put motivation on, to say this is the kind of structure it's trying to get at.

1130
01:02:15,442 --> 01:02:17,681
붙일 수 있는 걸로 밝혀질
수도 있어요, '이게 바로

1131
01:02:17,681 --> 01:02:19,920
이런 구조를 겨냥하고 있었던
거구나' 하는 식으로요.

1132
01:02:19,920 --> 01:02:24,555
군(group)의 공리를 보면서,
그게 대칭에 관한 거란 걸 모르고
In the same way that you could imagine looking at the axioms for a group, not knowing that it's about symmetry, but you retroactively realize this is very relevant to studying symmetry.

1133
01:02:24,555 --> 01:02:29,440
있다가 나중에야 이게 대칭 연구와
아주 밀접하다는 걸 깨닫는 것처럼요.

1134
01:02:29,440 --> 01:02:32,720
그런 식의 결과를 상상해볼
수 있는데, 다만 가능한
You could imagine results of that flavor, but instead of just exploring possible algebra systems, it's exploring all possible logical consequences of any kind of axiom.

1135
01:02:32,720 --> 01:02:36,000
대수 체계만 탐색하는 게
아니라 어떤 공리든 거기서

1136
01:02:36,000 --> 01:02:39,280
나올 수 있는 모든 논리적
귀결을 탐색하는 거예요.

1137
01:02:39,280 --> 01:02:42,473
Lean 없이도 과정 기반
지도(supervision)를
On the point about whether you can provide process-based supervision without Lean, DeepSeek had their DeepSeek Math model.

1138
01:02:42,473 --> 01:02:44,945
줄 수 있느냐는 점에서는,
DeepSeek에

1139
01:02:44,945 --> 01:02:47,520
DeepSeek Math라는
모델이 있었어요.

1140
01:02:47,520 --> 01:02:52,872
그걸 어떻게 학습시켰는지 논문을
냈는데, 꽤 흥미로웠어요.
They released a paper on how they trained it, and it was quite interesting.

1141
01:02:52,872 --> 01:02:57,120
자연어 증명의 문제는, 그게 맞는지
아닌지를 알 수가 없다는 거예요.
The problem with natural language proofs is you don't know if it's correct or not.

1142
01:02:57,120 --> 01:03:00,027
그들에게는 검증기가 있는데,
이 검증기는 메타 검증기로
They have a verifier, and the verifier is trained by a meta-verifier that makes sure that for all the problems they're training this model to solve in the art of problem-solving, the verifier is giving good feedback.

1143
01:03:00,027 --> 01:03:03,322
학습돼요. 메타 검증기는 이
모델이 Art of Problem

1144
01:03:03,322 --> 01:03:06,036
Solving에서 풀도록
훈련받는 모든 문제에 대해

1145
01:03:06,036 --> 01:03:09,040
검증기가 제대로 된 피드백을
주고 있다는 걸 보장해줘요.

1146
01:03:09,040 --> 01:03:09,568
그게 통해요.
It works.

1147
01:03:09,568 --> 01:03:13,851
흥미로운 건, 어떤 형태로든 메타
검증을 곁들인 자연어 검증이
It's interesting that natural language verification with some sort of meta-verification seems to work so far in the published literature.

1148
01:03:13,851 --> 01:03:17,882
지금까지 발표된 문헌에서는
통하는 것처럼 보인다는 거예요.

1149
01:03:17,882 --> 01:03:21,463
우리가 쓰고 있는 출시된
제품들에서도 통하는 것 같고요.
It also seems to work in the published products that we're using.

1150
01:03:21,463 --> 01:03:24,961
코딩 에이전트를 보면,
깔끔한 코드를 작성하고
If you look at coding agents, they're getting better and better at writing clean code and refactoring code.

1151
01:03:24,961 --> 01:03:28,320
리팩터링하는 게 점점
더 좋아지고 있잖아요.

1152
01:03:28,320 --> 01:03:31,299
분명 과정 기반의
'LLM-as-a-judge'
I'm sure there are process-based "LLM-as-a-judge" systems providing taste and saying, "Is this a clean way to write this function?

1153
01:03:31,299 --> 01:03:34,277
시스템들이 안목을 제공하면서
이렇게 말하고 있을

1154
01:03:34,277 --> 01:03:37,714
거예요. "이 함수를 이렇게
짜는 게 깔끔한 방법인가?

1155
01:03:37,714 --> 01:03:42,068
혹시 같은 종류의 모듈러
형식이 중복돼 있진 않나?"
Are there duplicates of the same kind of modular forms?"

1156
01:03:42,068 --> 01:03:46,720
그게 수학에서도 통해야
하는 거 아닌가요?
That should also work for mathematics, right?

1157
01:03:46,720 --> 01:03:50,626
자연어로만 작업하더라도 검증기를
신뢰할 수 있다는 게,
It seems more plausible for math than anything else, even if you're only working in natural language, that you could trust a verifier.

1158
01:03:50,626 --> 01:03:54,272
다른 어떤 분야보다 수학에서
가장 그럴듯해 보여요.

1159
01:03:54,272 --> 01:03:58,400
아까 저희가 얘기했었잖아요, 왜
이것들이 글쓰기는 잘 못하는지.
You and I were talking earlier about why they're bad at writing.

1160
01:03:58,400 --> 01:04:00,960
판단하는 건 잘하는 것 같단 말이죠.
They seem to be good judges.

1161
01:04:00,960 --> 01:04:03,555
학생들이 쓴 에세이 두
개를 주면, 어느 쪽이 더
If I give them two essays that students wrote, they'd be able to say which one is more accurate and insightful.

1162
01:04:03,555 --> 01:04:06,054
정확하고 통찰력 있는지
짚어낼 수 있을 거예요.

1163
01:04:06,054 --> 01:04:08,045
그럼 그냥 검증기한테 '이게 좋은 글인가
So why can't you just have a verifier saying, "Is this a good piece of writing or not?"

1164
01:04:08,045 --> 01:04:10,488
아닌가'를 판단하게 하면
안 되는 이유가 뭘까요?

1165
01:04:10,488 --> 01:04:14,031
어쩌면 거기서 궁극적인 실패는,
모델이 B급 에세이와 A급
Maybe the ultimate failure there is that even if they're good at discriminating between a B essay and an A essay, they're not actually good at discriminating between an A essay and a thing you actually want to read, something that would be followable on Substack and insightful.

1166
01:04:14,031 --> 01:04:17,795
에세이를 구분하는 데는 능하더라도,
A급 에세이와 정말로 읽고

1167
01:04:17,795 --> 01:04:21,559
싶은 글 — 그러니까 서브스택에서
계속 따라 읽고 싶고 통찰력

1168
01:04:21,559 --> 01:04:25,545
있는 글 — 을 구분하는 데는
그다지 능하지 않다는 점일 거예요.

1169
01:04:25,545 --> 01:04:31,462
실제로는 통찰력 없는 글을 오히려
더 선호하는 쪽으로 귀결되고요.
They actually end up preferring uninsightful pieces of writing.

1170
01:04:31,462 --> 01:04:36,851
수학 쪽에서는, 증명이 맞는지
아닌지를 그냥 판별하는 단계
On the math front, the step to simply know if a proof is correct or not lends itself to an automated verifier, even in natural language.

1171
01:04:36,851 --> 01:04:42,240
자체가 자연어로 되어 있어도
자동 검증기에 잘 들어맞아요.

1172
01:04:42,240 --> 01:04:45,478
그것만으로도 아마 엄청난
진전을 이룰 수 있을 거예요.
You could probably still make a ton of progress.

1173
01:04:45,478 --> 01:04:48,295
그래도 저는 Lean에서 나오는
논리의 트리 구조가 좋아요
I still like the tree of logic out of Lean, just in that you can really go off the rails.

1174
01:04:48,295 --> 01:04:50,847
— 정말로 완전히 궤도를
벗어날 수 있다는 점에서요.

1175
01:04:50,847 --> 01:04:56,215
이전에 어떤 식으로 표현되어 왔는지에
대한 제약이 전혀 없거든요.
There's no constraint on the previous way things had been phrased before.

1176
01:04:56,215 --> 01:05:00,640
다들 알파고의 37수 얘기를 하잖아요.
Everyone talks about move 37 in AlphaGo.

1177
01:05:00,640 --> 01:05:05,840
기존 휴리스틱을 벗어나게
만드는 그 요소가 대체 뭘까요?
What is the thing that lends itself to going outside the prior heuristics?

1178
01:05:05,840 --> 01:05:11,809
그런 탐구에서는 세상 나머지와
단절되어 있는 편이 오히려 생산적인
It seems productive to have a disconnection from the rest of the world in that exploration, as a complementary research pursuit to the natural language math front.

1179
01:05:11,809 --> 01:05:17,280
것 같아요 — 자연어 기반 수학
연구를 보완하는 방향으로요.

1180
01:05:17,280 --> 01:05:23,000
Lean이 갖는 또 다른 의의는
이런 거예요 — 순수 자연어로
The other relevance of Lean would be, let's say you have your pure natural language RL environments and a pure natural language set of proofs.

1181
01:05:23,000 --> 01:05:28,720
된 RL 환경과 순수 자연어로
된 증명 모음이 있다고 해보죠.

1182
01:05:28,720 --> 01:05:32,115
사람들이 "자, AI
수학자들이여, 진행하라"고
People say, "Proceed, AI mathematicians," and they generate ten papers a day.

1183
01:05:32,115 --> 01:05:35,510
말하면, 하루에 논문 열
편을 뽑아내는 거예요.

1184
01:05:38,240 --> 01:05:40,770
거기에 조금이라도 오류율이 있다면…
If there's any error rate to that at all…

1185
01:05:40,770 --> 01:05:43,120
알렉스 콘토로비치가 이
얘기를 한 적이 있어요.
Alex Kontorovich has talked about this.

1186
01:05:43,120 --> 01:05:46,640
수학자 입장에서는 정말 참기 힘들어져요.
It becomes insufferable as a mathematician.

1187
01:05:46,640 --> 01:05:49,235
이런 걸 하나 볼 때마다, 제 시간을
Every single time you see one of these, you don't know if it's worth your time.

1188
01:05:49,235 --> 01:05:51,960
들일 가치가 있는지 알 수가 없거든요.

1189
01:05:51,960 --> 01:05:55,570
설령 100개 중 99개가 맞다고
해도, 그 오류가 뭔지 찾아내는
Even if 99 out of 100 are right, I don’t know if it’s worth my time because it's really labor-intensive to find what that error would be.

1190
01:05:55,570 --> 01:05:59,280
데 품이 너무 많이 들어서 제
시간을 쓸 가치가 있는지 모르겠어요.

1191
01:05:59,280 --> 01:06:04,400
결국 쓰레기였던 논문에 시간을 다
쏟는 건 정말 좌절스러운 일이고요.
It's really frustrating to spend all your time on a paper that was trash.

1192
01:06:04,400 --> 01:06:08,402
"이해하기 복잡하더라도, 골치
아프더라도, 적어도 이게 맞다는
Having something that's able to give you that green checkmark that says, "Even if this is going to be complicated to understand, even if it’s going to be a pain, you at the very least know it is correct," every other field would kill for that.

1193
01:06:08,402 --> 01:06:12,403
건 안다"라고 말해주는 그 초록색
체크 표시를 가질 수 있다는

1194
01:06:12,403 --> 01:06:16,640
것 — 다른 어떤 분야든 그걸 얻을
수만 있다면 뭐든 할 거예요.

1195
01:06:16,640 --> 01:06:17,552
수학은 그걸 가지고 있어요.
Math has that.

1196
01:06:17,552 --> 01:06:21,010
모델들이 자연어로 쓴 증명을
형식화(formalize)까지
If the models are also able to take their natural language proofs and formalize them, that seems huge.

1197
01:06:21,010 --> 01:06:24,360
할 수 있게 된다면, 그건
정말 엄청난 일일 것 같아요.

1198
01:06:24,360 --> 01:06:29,031
어떤 분야든 그런 걸
갖고 싶어 할 거예요.
Every field would love to have something like that.

1199
01:06:29,031 --> 01:06:34,705
그러니까 수학 전반의 발전을
이끄는 RL 환경으로서 Lean의
So I think you're right that Lean is maybe overrated regarding its importance as a VR environment for progress in math generally.

1200
01:06:34,705 --> 01:06:40,880
중요성은 어쩌면 과대평가돼 있을
수 있다는 말씀이 맞는 것 같아요.

1201
01:06:40,880 --> 01:06:44,800
하지만 저라면 절대 그걸 이야기에서
아예 지워버리지는 않을 거예요.
But I definitely wouldn't write it out of the story.

1202
01:06:44,800 --> 01:06:48,923
그리고 저는 이 Mathlib의
확장이라는 게, 머지않아
I also love this extension of Mathlib as a metaphor for what's going to happen to our civilization pretty soon.

1203
01:06:48,923 --> 01:06:53,313
우리 문명에 일어날 일에 대한
비유로도 정말 마음에 들어요.

1204
01:06:53,313 --> 01:06:57,986
수천 년에 걸쳐 인류는 이 지식과
이해의 축적물을 쌓아왔고, 이제
For millennia, humanity has built this corpus of knowledge and understanding, and everything that we have is now distilled into these models.

1205
01:06:57,986 --> 01:07:02,400
우리가 가진 그 모든 것이 이
모델들 안으로 증류되고 있어요.

1206
01:07:02,400 --> 01:07:07,600
어느 시점이 되면 모델들이 그걸
그냥 얼마든지 확장해 나갈 거예요.
At some point, the models will just extend that arbitrarily.

1207
01:07:07,600 --> 01:07:11,035
그나저나 글쓰기 쪽은 왜 다른 분야들보다
By the way, on the writing front, I have a theory of why writing is making worse progress than these other domains.

1208
01:07:11,035 --> 01:07:15,094
발전이 더딘지에 대해 제
나름의 이론이 있어요.

1209
01:07:15,094 --> 01:07:18,896
그 이유 중 하나는 당신이
말씀하신 대로예요. 모델들이 A와
One reason is what you said, that they're bad at judging not only A versus B, but they get totally derailed by B*, which is this shitty essay that hits all the bells and whistles that A is supposed to hit.

1210
01:07:18,896 --> 01:07:22,582
B 중 뭐가 나은지 판단하는
것조차 잘 못하는데, B*라는

1211
01:07:22,582 --> 01:07:26,154
것에 완전히 낚여버리기까지
하죠. B*는 A가 갖춰야 할

1212
01:07:26,154 --> 01:07:29,840
요소는 겉으로 다 갖췄지만 실은
쓰레기 같은 에세이거든요.

1213
01:07:29,840 --> 01:07:32,366
리워드 해킹 문제가 완전히
탈선해 버리는 거죠.
The reward hacking thing just goes off the rails.

1214
01:07:32,366 --> 01:07:36,200
그런데 또 다른 중요한 점은, 글쓰기는
But the other important thing is that writing is not modular in the same way that code and math are.

1215
01:07:36,200 --> 01:07:40,400
코드나 수학처럼
모듈식이지 않다는 거예요.

1216
01:07:40,400 --> 01:07:43,280
함수는 여러 가지 방식으로 짤 수
있어도 결국 똑같은 일을 하잖아요.
You can write a function many different ways, and they do the same thing.

1217
01:07:43,280 --> 01:07:46,880
물론 깔끔하면 좋겠지만, 결국
작동하기만 하면 되는 거죠.
Of course you want it to be clean, but at the end of the day, if it works, it works.

1218
01:07:46,880 --> 01:07:49,280
수학의 보조정리도 마찬가지고요.
Same with lemmas in mathematics.

1219
01:07:49,280 --> 01:07:54,160
결과물이 그걸 만들어낸 과정과는
별개일 수 있다는 거예요.
You can have some end product that's different from the way it's produced.

1220
01:07:54,160 --> 01:07:56,920
코드는 어떤 결과물을
만들어내는 수단이고,
Code is the thing that produces some end product, and you want a functional end product.

1221
01:07:56,920 --> 01:08:00,160
우리가 원하는 건 제대로
작동하는 결과물이잖아요.

1222
01:08:00,160 --> 01:08:05,520
반면 글쓰기에서는 AI가 만들어내는
그 자체가 곧 최종 결과물이에요.
Whereas in writing, the end product is directly the thing the AI is producing.

1223
01:08:05,520 --> 01:08:09,613
문단 하나, 문장 하나, 단어 하나하나가
Each paragraph, sentence, and word matters because that is the substance.

1224
01:08:09,613 --> 01:08:13,520
다 중요해요. 그게 바로 본질이니까요.

1225
01:08:13,520 --> 01:08:17,771
그 글쓰기로부터 만들어져 나오는
별개의 무언가가 아니라는 거죠.
It's not some separate thing produced out of the writing.

1226
01:08:18,960 --> 01:08:22,518
코드는 슬롭이어도 원하는
결과물이 나올 수 있지만,
It can't be slop in the way that code can be slop and still produce the outcome you want.

1227
01:08:22,518 --> 01:08:25,440
글쓰기는 그런 식으로
슬롭일 수가 없어요.

1228
01:08:25,440 --> 01:08:28,464
그런데 방금 당신이 지적했잖아요,
에이전트들이 이제 그냥
But you were just pointing out how we've actually gotten much better at agents writing not just functional code, but clean code.

1229
01:08:28,464 --> 01:08:31,878
작동하는 코드뿐 아니라 깔끔한
코드까지 훨씬 잘 짜게 됐다고요.

1230
01:08:31,878 --> 01:08:35,460
그럼 단순히 작동하는 수준에서
깔끔하고 머지 가능한
Why is it not the case that the same progress that lets you go from merely functional to a clean and mergeable PR also results in clearer writing?

1231
01:08:35,460 --> 01:08:38,914
PR을 만드는 수준으로
발전하게 해준 그 발전이,

1232
01:08:38,914 --> 01:08:42,240
왜 더 명료한 글쓰기로는
이어지지 않는 걸까요?

1233
01:08:42,240 --> 01:08:43,615
좋은 지적이네요.
That's a good point.

1234
01:08:43,615 --> 01:08:44,793
그런데, 실제로는 그렇게 되지 않았나요?
Also, has it not?

1235
01:08:44,793 --> 01:08:48,440
이 모델들이 형편없는 글쓰기를 보이는
부분이 많다는 데는 저도 동의해요.
I agree there are many ways in which they're terrible writers.

1236
01:08:48,440 --> 01:08:52,462
그런데 제가 접하는 글 중
상당수는, 그냥 LLM에 복사해서
But for a lot of writing I consume, I find it's better to just copy-paste it into an LLM and say, "Explain this to me."

1237
01:08:52,462 --> 01:08:56,240
붙여넣고 "이거 설명해 줘"라고
하는 게 더 낫더라고요.

1238
01:08:56,240 --> 01:09:00,800
그 설명이 사람이 만들어낸
것보다 더 나을 거예요.
The explanation will be better than the thing produced by the human.

1239
01:09:00,800 --> 01:09:03,908
재밌는 건, 우리는 이 모델들이
형편없는 작가라고 말하면서도
It's funny that we say these are such terrible writers, and yet my revealed preference is to have an LLM explain it.

1240
01:09:03,908 --> 01:09:06,922
정작 제 현시선호는 LLM한테
설명을 맡기는 거라는 거죠.

1241
01:09:06,922 --> 01:09:10,320
심지어 실시간 통화로 실제
인간 전문가와 얘기할 때도,
Even when I'm talking to a human expert live on a call, if it's a piece of knowledge that only they have that's not encoded in the distribution, I want them to explain it to me.

1242
01:09:10,320 --> 01:09:13,605
그 사람만 아는 지식이
모델의 분포에 인코딩되어 있지

1243
01:09:13,605 --> 01:09:17,116
않은 거라면, 저는 그 사람이
직접 설명해 주길 원해요.

1244
01:09:17,116 --> 01:09:20,742
그런데 그걸 이해하려면 더 기본적인
개념부터 알아야 한다면, 차라리
But if in order to understand that, I need to understand a more basic concept, I would prefer if it were socially acceptable for me to just say, "Let's pause here.

1245
01:09:20,742 --> 01:09:24,760
이렇게 말하는 게 사회적으로 용인됐으면
좋겠어요. "잠깐 여기서 멈출게요.

1246
01:09:24,760 --> 01:09:28,986
그냥 LLM한테 어떻게 되는
건지 물어보고, 그다음에
I'm just going to ask an LLM how that works, and then we can come back to your special piece of knowledge."

1247
01:09:28,986 --> 01:09:32,630
다시 당신의 그 특별한
지식으로 돌아올게요."

1248
01:09:32,960 --> 01:09:36,200
그게 바로 증류죠, 설명인 거고요.
That's distillation, an explanation.

1249
01:09:36,200 --> 01:09:40,100
당신의 실력을 에세이 작가로서
평가해본다고 하면요 —
If I'm thinking of your quality as an essay writer—if I give you a book to read and I want a book report—I might believe that the LLM gives me a better book report.

1250
01:09:40,100 --> 01:09:43,865
책 한 권을 드리고 독후감을
써달라고 한다면, 저는

1251
01:09:43,865 --> 01:09:48,168
LLM이 더 나은 독후감을
써준다고 믿게 될 수도 있어요.

1252
01:09:48,168 --> 01:09:50,672
그런데 사람들이 그게
별로라고 말할 때 진짜 하고
But what people are really getting at when they say it’s bad is, what is writing?

1253
01:09:50,672 --> 01:09:53,083
싶은 얘기는, '글쓰기란
대체 뭐냐'는 거예요.

1254
01:09:53,083 --> 01:09:55,347
그건 단순히 기존 아이디어를
증류하는 게 아니에요.
It's not just the distillation of preexisting ideas.

1255
01:09:55,347 --> 01:09:59,003
명확하게 설명하는 방식의 문제도
아니고요, LLM은 설명을 잘하니까요.
It's not just how you explain clearly, because they are good explainers.

1256
01:09:59,003 --> 01:10:01,520
중요한 건 그 통찰이 무엇이냐는 거예요.
It's about what the insight is.

1257
01:10:01,520 --> 01:10:04,286
바로 이 지점에서
자기회귀(autoregression)가
This is where autoregression is a very weird way to generate things.

1258
01:10:04,286 --> 01:10:06,160
아주 이상한 생성 방식이 되는 거예요.

1259
01:10:06,160 --> 01:10:09,576
글을 쓸 때는, 좋은 글이
되려면 예측 불가능한
When you're writing, you sort of know that in order for it to be good, you have to have an element of the unpredictable.

1260
01:10:09,576 --> 01:10:13,386
요소가 있어야 한다는 걸
어느 정도 알고 계시잖아요.

1261
01:10:13,386 --> 01:10:16,277
단지 머릿속의 temperature를
높이는 것만의 문제가 아니에요.
It's not just increasing the temperature in your mind.

1262
01:10:16,277 --> 01:10:18,417
정확히 어느 지점에서
예측 불가능한 수를 둬야
It's knowing exactly the correct point when you want to make an unpredictable move, and that that's going to be what's more insightful.

1263
01:10:18,417 --> 01:10:20,557
하는지 아는 것, 그리고
그게 더 통찰력 있는

1264
01:10:20,557 --> 01:10:23,040
결과로 이어지리라는 걸 아는
것 — 그게 핵심이에요.

1265
01:10:23,040 --> 01:10:26,378
이미 있는 걸 설명하는 데는
더 낫다고 해도, 애초에 당신이
Even if it's better at explaining a preexisting thing, what generated that book that you wanted distilled in the first place?

1266
01:10:26,378 --> 01:10:29,412
증류하고 싶었던 그 책 자체는
무엇이 만들어낸 걸까요?

1267
01:10:29,412 --> 01:10:30,981
그걸 만들어낸 건 LLM이
아니었어요. 당신이
It wasn't an LLM that generated it and you just needed it.

1268
01:10:30,981 --> 01:10:32,675
그냥 필요로 했다고 해서
생겨난 것도 아니었고요.

1269
01:10:32,675 --> 01:10:36,954
어떤 저자가 세상의 수많은
아이디어를 탐구한 끝에,
It was some author who, through a lot of exploration of ideas in the world, decided what aspects were interesting and what ways of presenting it formed a coherent, well-motivated narrative.

1270
01:10:36,954 --> 01:10:41,386
어떤 측면이 흥미로운지,
또 어떻게 제시해야 일관되고

1271
01:10:41,386 --> 01:10:45,360
동기가 분명한 서사가
되는지를 판단해낸 거예요.

1272
01:10:45,360 --> 01:10:48,091
그걸 어떻게든 다 하나로 엮어낸 거고요.
They put that all together in some way.

1273
01:10:48,091 --> 01:10:50,924
좋은 저자라면, 아마
증류본 대신 그 사람의
If they're a good author, you would probably err on the side of reading their book instead of the distillation.

1274
01:10:50,924 --> 01:10:53,520
책을 직접 읽는 쪽을 택하게 될 거예요.

1275
01:10:53,520 --> 01:10:56,640
그래도, 애초에 그걸
탐구할 가치가 있게 만들고
Still, what makes it worthwhile to explore at all in the first place and want to upload it at all?

1276
01:10:56,640 --> 01:10:59,520
세상에 내놓고 싶게
만드는 건 대체 뭘까요?

1277
01:10:59,520 --> 01:11:01,909
사람들이 LLM은 글쓰기를 못한다고 말할
It's that side of it that people cite when they say LLMs are bad at writing.

1278
01:11:01,909 --> 01:11:04,080
때 지목하는 게 바로 그 부분이에요.

1279
01:11:04,080 --> 01:11:08,819
예측 불가능성이라는 요소, 즉
의도적으로 새로운 걸 선택한다는
It's that element of unpredictability, of deliberately choosing something novel that is very directly contradictory to the way things are typically produced.

1280
01:11:08,819 --> 01:11:13,280
요소가 보통 만들어지는 방식과는
정면으로 배치되는 거예요.

1281
01:11:13,280 --> 01:11:14,085
그거 좋은 지적이네요.
That's a good point.

1282
01:11:14,085 --> 01:11:16,540
제 생각엔 LLM이 사람에
대한 좋은 mental
I think they're also really bad at building really good mental models of people, which is a very important skill in writing.

1283
01:11:16,540 --> 01:11:18,905
model을 세우는 데도
정말 서툰 것 같아요.

1284
01:11:18,905 --> 01:11:21,360
그런데 그건 글쓰기에서
아주 중요한 능력이잖아요.

1285
01:11:21,360 --> 01:11:23,490
앤디 마투샤크(Andy
Matuschak)랑, 이름이 지금
Andy Matuschak and another collaborator, whose name I'm forgetting right now, did an interesting report where they tried to teach LLMs to write good spaced-repetition prompts.

1286
01:11:23,490 --> 01:11:25,420
기억이 안 나는 또 다른
공동연구자가 LLM에게 좋은

1287
01:11:25,420 --> 01:11:27,617
spaced-repetition
카드, 그러니까 플래시카드를

1288
01:11:27,617 --> 01:11:29,680
쓰도록 가르치려 했던 흥미로운
리포트를 낸 적이 있어요.

1289
01:11:29,680 --> 01:11:34,560
이게 정말 마음에 드는 이유는,
완전히 뜬금없는 능력처럼 보이는데도…
I really like this because even though it seems like a totally random skill…

1290
01:11:34,560 --> 01:11:37,312
그러니까, 사람들은 1년 안에
재귀적 자기 개선(recursive
It's just like, people are talking about recursive self-improvement in a year, and we can't get these things to write good flashcards.

1291
01:11:37,312 --> 01:11:39,759
self-improvement)
얘기를 하고 있는데, 정작

1292
01:11:39,759 --> 01:11:42,129
이것들한테 좋은 플래시카드
하나를 못 쓰게 만드는 거죠.

1293
01:11:42,129 --> 01:11:44,375
대체 거기서 무슨 일이
벌어지고 있는 걸까요?
What's going on there?

1294
01:11:44,375 --> 01:11:48,640
다양한 기법을 두루 시도해봤고,
실력이 상당한 사람들이거든요.
They tried many different kinds of techniques, and they're sophisticated people.

1295
01:11:48,640 --> 01:11:50,272
오픈소스 모델에도 RL을 적용해봤어요.
They tried to RL open source models.

1296
01:11:50,272 --> 01:11:53,261
체인 오브 소트를 비롯해서
별의별 걸 다 시도해봤고, 가장
They tried all kinds of things, including chain of thought and a big prompt they sent to the best closed source model.

1297
01:11:53,261 --> 01:11:56,343
뛰어난 클로즈드소스 모델에 긴
프롬프트를 보내보기도 했어요.

1298
01:11:56,640 --> 01:12:01,196
제가 보기엔 핵심 제약은, 좋은
카드를 쓴다는 게 결국 석
The key constraint, it seemed to me, was that writing a good card is about projecting somebody's mind in three months.

1299
01:12:01,196 --> 01:12:06,037
달 뒤 누군가의 머릿속 상태를
그려보는 일이라는 데 있었어요.

1300
01:12:06,037 --> 01:12:09,560
그 사람이 질문을 어떤
식으로 연상하게 될까요?
What is the way in which they'll associate the question?

1301
01:12:09,560 --> 01:12:13,279
그 순간에는 어떤 답을
떠올리고 있을까요?
What kind of answer will they be thinking at that moment?

1302
01:12:13,279 --> 01:12:17,511
그 카드 문구가, 당신이
그 문단에서 정말로
Is the elicitation that inspires the detail you actually want to take away from the passage you're trying to make cards about?

1303
01:12:17,511 --> 01:12:21,920
가져가고 싶은 디테일을
제대로 끌어내 주나요?

1304
01:12:21,920 --> 01:12:23,765
저는 글쓰기도 이거랑 비슷하다고 봐요.
I think writing is similar to this.

1305
01:12:23,765 --> 01:12:27,882
뭔가를 쓸 때 그렇게 진 빠지고
오래 걸리는 이유는, 단어
If you're writing something, the reason it's such an enervating process that takes so long is that with each word or each sentence, you have to be thinking: what is happening in my reader's mind right now?

1306
01:12:27,882 --> 01:12:31,869
하나 문장 하나마다 '지금
내 독자 머릿속에서 무슨 일이

1307
01:12:31,869 --> 01:12:35,600
일어나고 있지?'를 계속
생각해야 하기 때문이거든요.

1308
01:12:35,600 --> 01:12:38,810
문장 표현을 뒤집어서 끝에 있던
구절을 앞으로 가져와도, 그게
Even if I flip the phrasing around so the end phrase goes to the beginning and this is the first image that comes to your mind before you read the rest of the sentence…

1309
01:12:38,810 --> 01:12:42,303
문장의 나머지를 읽기 전에 머릿속에
떠오르는 첫 이미지가 되잖아요…

1310
01:12:42,303 --> 01:12:44,905
어쩌면 자기회귀 방식이 그런
데는 약할지도 몰라요.
Maybe autoregression is bad at that.

1311
01:12:44,905 --> 01:12:48,057
이건 문장을 하나씩
훑어가기보다 전체를 통째로
This is maybe a more diffusion-like property of considering the whole rather than going sentence by sentence.

1312
01:12:48,057 --> 01:12:51,840
고려하는, 디퓨전에 좀 더
가까운 특성일 수도 있어요.

1313
01:12:51,840 --> 01:12:53,711
근데 그것도 상대방 마음을
헤아리는 능력이 많이 필요한
But also I think that requires a lot of mentalizing, which these models weirdly struggle at.

1314
01:12:53,711 --> 01:12:55,520
일인데, 모델들이 이상하게
그런 걸 잘 못하더라고요.

1315
01:12:55,520 --> 01:12:56,960
흥미로운 질문이네요.
It's an interesting question.

1316
01:12:56,960 --> 01:12:59,440
그런 걸 못하는 게 이상한 걸까요?
Is it weird that they struggle at that?

1317
01:12:59,440 --> 01:13:00,889
제가 이 얘기를 좀 엉성하게
전할 수도 있는데요.
I might butcher this.

1318
01:13:00,889 --> 01:13:03,828
예전에 읽었던 연구를
인용했는데 사실 그 연구가
You know how you cite studies that you once read and maybe the study wasn't real?

1319
01:13:03,828 --> 01:13:06,880
진짜가 아니었을 수도
있는, 그런 경우 있잖아요?

1320
01:13:06,880 --> 01:13:10,197
그중에 하나 정말 인상
깊었던 게 있어요.
There's one very memorable one.

1321
01:13:10,197 --> 01:13:14,240
사람들 EQ를 테스트하고
싶다고 쳐볼게요.
Let's say you want to quiz people's EQ.

1322
01:13:14,240 --> 01:13:17,803
누군가의 표정이 담긴
플래시카드를 보여주고,
You show a flashcard of someone's facial expression and someone is trying to describe that emotion.

1323
01:13:17,803 --> 01:13:20,773
그 감정을 설명해보라고 하는 거예요.

1324
01:13:20,773 --> 01:13:23,647
온라인에 얼굴 사진
하나에 감정 후보 네 개가
There are really good tests online that have a face and then four possible emotions.

1325
01:13:23,647 --> 01:13:26,406
딸린, 정말 잘 만들어진
테스트들이 있어요.

1326
01:13:26,406 --> 01:13:29,868
정확한 감정을 딱 집어
말하는 게 의외로 어려운데,
It's surprisingly hard to describe exactly the correct emotion, but you also get the sense there really is a correct answer.

1327
01:13:29,868 --> 01:13:32,960
그러면서도 분명 정답이
있다는 느낌은 들어요.

1328
01:13:32,960 --> 01:13:37,361
이걸 주변 사람들한테 해보면,
사회적으로 눈치가 빠른 사람들은 정말
If you try this with people in your life, you'll notice that the ones who are pretty plugged in socially do really well on it, and the ones who are a little bit more left-brain don't.

1329
01:13:37,361 --> 01:13:42,000
잘 맞히고, 좀 더 좌뇌형인 사람들은
잘 못 맞히는 걸 알 수 있어요.

1330
01:13:42,000 --> 01:13:44,015
그런 식으로 해볼 수 있는 테스트예요.
That is a kind of test you can do.

1331
01:13:44,015 --> 01:13:48,391
이거랑 비슷한 맥락으로, 보톡스를
막 맞은 사람들을 데리고
I vaguely remember an experiment to this effect where they took people who had freshly gotten Botox, and they did a pretest and a post-test.

1332
01:13:48,391 --> 01:13:53,040
사전 테스트와 사후 테스트를
했다는 실험이 어렴풋이 기억나요.

1333
01:13:53,040 --> 01:13:56,720
사후 테스트에서는 사람들 표정을
읽는 게 훨씬 서툴러졌더라고요.
Post-test, they were just much worse at reading people's expressions.

1334
01:13:56,720 --> 01:13:57,791
그거 좀 이상하게 느껴지는데요.
That feels weird.

1335
01:13:57,791 --> 01:13:59,040
잠깐, 그 사람들이 보톡스를 맞았다고요?
Wait, they got Botox?

1336
01:13:59,040 --> 01:14:00,675
테스트를 받는 사람 말이에요.
The person taking the test.

1337
01:14:00,675 --> 01:14:04,453
먼저 테스트를 하고, 그다음에
보톡스를 맞아서 얼굴이 다 굳어버리고
You do the test, and then you go and get Botox and your face is all frozen, and now you're worse at understanding the emotions of what you see.

1338
01:14:04,453 --> 01:14:08,640
나면, 지금 보고 있는 표정의 감정을
이해하는 게 더 서툴러진다는 거예요.

1339
01:14:08,640 --> 01:14:12,128
요지는, 보고 있는
감정을 이해하는 과정의
The thought is that part of understanding the emotion you're looking at is doing it yourself.

1340
01:14:12,128 --> 01:14:15,920
일부가 그 표정을 직접
지어보는 거라는 거죠.

1341
01:14:15,920 --> 01:14:19,920
얼굴 차원에서 보면, 얼굴
근육을 움직이는 거고요.
At a facial level, you're moving your face muscles.

1342
01:14:19,920 --> 01:14:22,997
그걸 보고 따라 하다가,
아주 무의식적인 수준에서
You see that, you mimic that, and you're like, "Oh yeah, that's anxiety," at some very subconscious level.

1343
01:14:22,997 --> 01:14:25,846
'아, 이건 불안이구나'
하고 알아채는 거죠.

1344
01:14:25,846 --> 01:14:29,908
그런 의미에서 보면, 모델들이 마음
이론이 형편없다는 게 사실이라면
So in that sense, if it is the case that models have bad theory of mind, sure, they know everything because they've read what everyone wrote.

1345
01:14:29,908 --> 01:14:33,640
— 물론 모두가 쓴 글을 다
읽었으니 모든 걸 알긴 알겠지만—

1346
01:14:33,640 --> 01:14:36,713
제 얼굴 근육이 당신 얼굴 근육을
따라 하듯이, 실제로 상대방
But at the level of actually being able to put themselves in your shoes in the same way that my face muscles are mimicking your face muscles—that's what helps me understand how you feel—it's not surprising at all.

1347
01:14:36,713 --> 01:14:40,057
입장이 되어보는 차원에서는 — 그게
바로 제가 당신 기분을 이해하는

1348
01:14:40,057 --> 01:14:43,040
데 도움이 되는 건데 — 전혀
놀라운 일이 아니라는 거예요.

1349
01:14:43,040 --> 01:14:44,122
모델들한테는 얼굴 근육이 없잖아요.
They don't have face muscles.

1350
01:14:44,122 --> 01:14:45,600
뇌가 작동하는 방식
자체가 완전히 다르고요.
Their brain works completely differently.

1351
01:14:45,600 --> 01:14:48,055
마치 외계인이 공감하려는
것과 비슷한 거죠.
It's like an alien trying to empathize.

1352
01:14:48,055 --> 01:14:50,080
그런데 어떻게 마음
이론을 가질 수 있겠어요?
How could it have theory of mind?

1353
01:14:50,080 --> 01:14:52,573
가진다면 그건 정말 창발적으로
나타난 무언가일 거예요.
It would be this very emergent thing to have.

1354
01:14:52,573 --> 01:14:55,840
반면 우리는 그냥 우리 자신의
마음에 바로 연결할 수 있는 거고요.
Whereas we can just plug it into our own minds.

1355
01:14:55,840 --> 01:15:00,245
그걸 끼워 넣을 수 있는
하드웨어를 이미 갖추고 있는 거죠.
We've got the ready-made hardware to just place it in.

1356
01:15:00,960 --> 01:15:03,443
그런 관점에서 보면,
그렇게 놀랄 일도 아니에요.
From that lens, it's not that surprising.

1357
01:15:03,443 --> 01:15:06,400
자, 그랜트, 우리 둘 다 Jane
Street와 파트너 관계잖아요.
Okay, Grant, we're both partners with Jane Street.

1358
01:15:06,400 --> 01:15:09,114
그동안 Jane Street
사람들과 많이 교류해 보셨을 텐데
I'm sure over the years you've interacted with a lot of Jane Streeters — what have you found that's unique about them, or their culture?

1359
01:15:09,114 --> 01:15:11,588
— 그들이나 회사 문화에서
특별하다고 느낀 점이 있나요?

1360
01:15:11,588 --> 01:15:14,144
올해 그쪽과 인터뷰를 하나
했는데, 흥미로웠던 이유 중
I did this interview with them this year, that was partially interesting because they don't usually have anything outward-facing.

1361
01:15:14,144 --> 01:15:17,040
하나가 원래 대외적으로 뭘 잘
내보이지 않는 회사라서 그래요.

1362
01:15:17,040 --> 01:15:20,254
업계에서는 직원 유지율이 말도 안
되게 높기로 유명하잖아요 — 다들
I mean in the industry they're known for having a pretty wild retention rate — people just stay there — getting an inside view of that.

1363
01:15:20,254 --> 01:15:23,208
그냥 눌러앉아 있고요 — 그
내막을 들여다볼 수 있었던 거죠.

1364
01:15:23,208 --> 01:15:25,963
그쪽 코멘트 중에 기억나는
게 있는데, 누군가 이렇게
I remember in one of their comments someone saying: even though the people have role titles — researcher, or trader, or engineer — they often don't know what their colleagues' actual role is, because everyone's doing a little bit of everything else.

1365
01:15:25,963 --> 01:15:28,812
말했어요: 직함은 리서처,
트레이더, 엔지니어로 나뉘어

1366
01:15:28,812 --> 01:15:31,662
있어도 동료가 실제로 무슨
일을 하는지 서로 잘 모르는

1367
01:15:31,662 --> 01:15:34,891
경우가 많다고요 — 다들 이것저것
조금씩 다 하고 있으니까요.

1368
01:15:34,891 --> 01:15:37,548
예를 들어 공식 직함이
트레이더여도 리서치를 엄청 많이
Like even if you're officially a trader, you're doing a lot of research; even if you're officially a researcher, you're doing a lot of coding.

1369
01:15:37,548 --> 01:15:40,560
하고, 공식적으로 리서처여도
코딩을 엄청 많이 한다는 거예요.

1370
01:15:40,560 --> 01:15:42,525
그리고 그게 그 말도 안 되는 직원
And I suspect that's part of why they have the insane retention they do.

1371
01:15:42,525 --> 01:15:44,800
유지율의 이유 중 하나가 아닐까 싶어요.

1372
01:15:44,800 --> 01:15:49,600
성장하고 싶은 사람은 누구나 다양한
일을 해볼 기회가 그냥 주어지니까요.
Because anyone who wants to grow just has the chance to do a lot of different kinds of things.

1373
01:15:49,600 --> 01:15:51,520
좋아요, 그랜트, 이번엔 제가
대신 홍보를 좀 해드릴게요.
All right, Grant, I'll do the plug for you this time.

1374
01:15:51,520 --> 01:15:54,864
그랜트가 거기 계신 분들과
나눈 정식 대담 전체를 보고
If you want to watch the full sit-down interview Grant did with some of the folks there, go to 3b1b.co/janestreet.

1375
01:15:54,864 --> 01:15:58,209
싶으시면 3b1b.co/janestreet로
가보세요.

1376
01:15:58,209 --> 01:16:03,071
좋아요, 그랜트 — AI와
수학 이야기를 좀 더 해보죠.
All right, Grant — let's talk more about AI and math.

1377
01:16:03,071 --> 01:16:08,000
LLM을 활용해서 학습하는 것에 대해
어떤 조언을 해주실 수 있을까요?
What advice do you have about using LLMs to learn?

1378
01:16:08,000 --> 01:16:10,731
제가 아까 말씀드렸듯이,
이미 잘 알려진 개념들에
As I was describing, for a lot of well-known concepts, I find them very helpful.

1379
01:16:10,731 --> 01:16:13,360
대해서는 LLM이 정말
도움이 많이 되더라고요.

1380
01:16:13,360 --> 01:16:18,284
그런데 종종 몇 마디만 더 나누다
보면, 제가 뭔가를 이해하려는 와중에
But often, just a couple of messages further down, I'm trying to understand something, and they're so confused themselves that they're confusing me.

1381
01:16:18,284 --> 01:16:22,956
LLM 자신이 너무 헷갈려 해서
저까지 헷갈리게 만들 때가 있어요.

1382
01:16:22,956 --> 01:16:25,704
제대로 된 방식으로
설명을 못 해주는 거예요.
They don't explain it the right way.

1383
01:16:26,080 --> 01:16:28,860
딱 맞는 사람과 3분만 얘기하면 제
I know that talking to the right human could clear up my confusion in three minutes.

1384
01:16:28,860 --> 01:16:32,080
혼란이 풀릴 거라는 걸 알면서도 말이죠.

1385
01:16:32,080 --> 01:16:39,882
앞으로 우리는 점점 더 이런 도구들을
학습에 쓰고 싶어질 거예요.
More and more, we're going to want to use these things to learn.

1386
01:16:39,882 --> 01:16:42,480
사람들이 교육이나 표현 방식에
대한 얘기를 많이 하잖아요.
People talk a lot about education and representation stuff.

1387
01:16:42,480 --> 01:16:44,000
개념을 이해하는 데 이걸 더 생산적으로
Have you noticed ways to use them more productively to understand concepts?

1388
01:16:44,000 --> 01:16:45,520
쓰는 방법을 혹시 발견하신 게 있나요?

1389
01:16:45,520 --> 01:16:48,273
이 부분에 대해 어떻게
생각하시는지도 궁금해요.
I'm curious to hear your take on this.

1390
01:16:48,273 --> 01:16:49,402
저도 제 생각을 먼저
한번 말씀드려 볼게요.
I'll give mine.

1391
01:16:49,402 --> 01:16:52,999
LLM 이전부터도, 학습에서
중요한 통찰은 '무엇을'보다
Even pre-LLM, I feel like a relevant insight in learning was recognizing who matters more than what.

1392
01:16:52,999 --> 01:16:56,480
'누구를'이 더 중요하다는
걸 아는 거였다고 생각해요.

1393
01:16:56,480 --> 01:17:00,259
대학생이 어떤 수업을 들을지 고를
때 제가 늘 하는 조언은 이래요.
My advice to any college student when they're choosing what courses to take: care a little bit less about your preexisting interests, because they're kind of arbitrary right now, and care a little bit more about whether the person teaching it is a good educator and someone you resonate with.

1394
01:17:00,259 --> 01:17:03,731
원래 갖고 있던 관심사는 조금
덜 신경 쓰세요, 어차피 지금은

1395
01:17:03,731 --> 01:17:07,203
어느 정도 임의적인 거니까요.
대신 그 수업을 가르치는 사람이

1396
01:17:07,203 --> 01:17:10,880
좋은 교육자인지, 나와 잘 맞는
사람인지를 조금 더 신경 쓰세요.

1397
01:17:10,880 --> 01:17:13,776
어떤 책을 읽을지 고를 때도,
원래 관심 있던 주제인지보다
In choosing what books to read, who the author is maybe matters more than whether it's a prior interest.

1398
01:17:13,776 --> 01:17:16,400
그 책을 쓴 사람이 누구인지가
더 중요할 수 있어요.

1399
01:17:16,400 --> 01:17:19,349
전에 좋아했던 책이 있다면,
같은 주제의 다른 책을
If there's a book you've liked before, read what else that author has written rather than reading another thing on that subject.

1400
01:17:19,349 --> 01:17:22,404
읽기보다는 그 저자가 쓴
다른 책을 읽는 게 나아요.

1401
01:17:22,404 --> 01:17:26,160
이 얘기를 이제 LLM
쪽으로 연결해볼게요.
I'm getting to LLMs on this.

1402
01:17:26,160 --> 01:17:29,342
위키피디아 페이지로 뭔가를 배우려는
것과, 철학 주제라면 스탠퍼드
There's a difference in feel for trying to learn something from a Wikipedia page versus, if it's a philosophy topic, going to the Stanford Encyclopedia of Philosophy.

1403
01:17:29,342 --> 01:17:32,170
철학 백과사전(Stanford
Encyclopedia of

1404
01:17:32,170 --> 01:17:35,440
Philosophy)을 찾아보는
것 사이에는 느낌의 차이가 있어요.

1405
01:17:35,440 --> 01:17:38,033
수학 주제라면 프린스턴 수학
안내서(Princeton Companion
Or if it's a math topic, you go to the Princeton Companion to Mathematics.

1406
01:17:38,033 --> 01:17:40,160
to Mathematics)를
찾아보는 것도 마찬가지고요.

1407
01:17:40,160 --> 01:17:44,295
그 차이는, 그런 자료의 글들은
한 사람이 의도적으로 써서
The difference there is the articles are deliberately written by one individual who tries to actually craft a motivation around it.

1408
01:17:44,295 --> 01:17:48,559
그 주제에 대한 동기를 제대로
짜 넣으려 한다는 데 있어요.

1409
01:17:48,559 --> 01:17:52,744
반면 위키피디아는 모든 문장이
다 정확해야만 하는 일종의 국소
Whereas on Wikipedia, it's this local minimum that's reached where every sentence has to be correct.

1410
01:17:52,744 --> 01:17:56,560
최솟값(local minimum)에
도달한 결과물이에요.

1411
01:17:56,560 --> 01:18:01,600
좋은 설명에서는 그 과정에서의
정확성에는 조금 덜 신경 써도 돼요.
In a good exposition, you care a little bit less about correctness on the way.

1412
01:18:01,600 --> 01:18:04,252
가는 길에 일부러 약간 틀린
내용을 넣었다가 나중에
You can deliberately craft things that are a little bit wrong that you correct along the way, which gets edited out in a crowdsourced environment.

1413
01:18:04,252 --> 01:18:06,621
바로잡는 식으로 구성할
수도 있는데, 이런 건

1414
01:18:06,621 --> 01:18:09,368
크라우드소싱 환경에서는 편집
과정에서 사라져 버리죠.

1415
01:18:09,680 --> 01:18:12,680
지금으로서는 LLM의 설명이
저한테 위키피디아랑 꽤
LLM explanations feel to me at the moment a lot like Wikipedia, which is to say, amazing.

1416
01:18:12,680 --> 01:18:15,680
비슷하게 느껴져요. 그러니까,
대단하다는 뜻이에요.

1417
01:18:15,680 --> 01:18:18,197
위키피디아가 없던 세상을
한번 상상해보세요. 모든 걸
Imagine a world before Wikipedia, how long it would take to find and suss everything.

1418
01:18:18,197 --> 01:18:20,800
찾아내서 제대로 파악하는
데만도 얼마나 오래 걸렸을지.

1419
01:18:20,800 --> 01:18:24,000
그런데도 위키피디아 페이지에서
가장 유용한 부분은 뭘까요?
But nevertheless, what's the most useful part of a Wikipedia page?

1420
01:18:24,000 --> 01:18:26,151
보통 그냥 맨 아래에
있는 참고 문헌들이에요.
It's often just the references at the bottom.

1421
01:18:26,151 --> 01:18:29,404
핵심 참고 문헌들을 보고, 거기로
가서, 그걸 읽어보는 거죠.
You look at the key references, and you go to them, and you read them.

1422
01:18:29,404 --> 01:18:32,160
가끔은 그게 훨씬 더
나은 개요를 제공해줘요.
Sometimes that gives a much better overview.

1423
01:18:32,160 --> 01:18:35,488
그래서 저는 종종
LLM한테 그냥 "누구를
So often I like to just ask an LLM, "Who should I read?"

1424
01:18:35,488 --> 01:18:38,960
읽어야 할까요?"라고
물어보는 걸 좋아해요.

1425
01:18:38,960 --> 01:18:40,217
어쩌면 제가 배우고 싶은 방식에 대해
Maybe I can even give some specifics on ways I want to learn.

1426
01:18:40,217 --> 01:18:41,600
좀 더 구체적으로 얘기해줄 수도 있고요.

1427
01:18:41,600 --> 01:18:44,012
실제로 예전에 반도체
같은 걸 공부하려다가
I actually got gaslit by this once when I was trying to learn about semiconductors or something.

1428
01:18:44,012 --> 01:18:46,320
이것 때문에 가스라이팅당한 적이 있어요.

1429
01:18:46,320 --> 01:18:48,720
이게 되게 시각적인 주제라고 느꼈는데,
자료들은 죄다 텍스트였거든요.
I felt it was a very visual topic, but all the resources were text.

1430
01:18:48,720 --> 01:18:53,276
그래서 "지금 말하는
개념들을 잘 시각화한
I asked, "Is there a well-visualized video explaining the concepts you're getting at?"

1431
01:18:53,276 --> 01:18:57,040
영상이 있을까요?"라고 물어봤어요.

1432
01:18:57,040 --> 01:18:59,760
그랬더니 Claude가 "네, 몇
개 있어요"라고 하더니, 맨 위에 뜬
And Claude said, "Yeah, here's a couple," and the top one was like, "Here’s one from 3Blue1Brown".

1433
01:18:59,760 --> 01:19:02,480
게 "여기 3Blue1Brown
영상이 하나 있네요" 이런 식이었어요.

1434
01:19:02,480 --> 01:19:05,814
저는 "그런 게 있을 리 없다고
장담할 수 있는데" 싶었죠.
I’m like, "I can guarantee that there’s not."

1435
01:19:05,814 --> 01:19:08,930
실제로 존재하는 영상이었고
진짜 링크였는데, 그냥
It was an actual video, an actual link, but it had just misattributed someone else's.

1436
01:19:08,930 --> 01:19:11,700
다른 사람 영상을 잘못
갖다 붙인 거였어요.

1437
01:19:11,700 --> 01:19:12,564
좋은 영상이었어요.
It was good.

1438
01:19:12,564 --> 01:19:16,362
거기서 계속 질문을 이어가는
것보다, 그냥 넘어가서
I had a much better experience clicking over and watching it to learn rather than trying to proceed forward with questions there.

1439
01:19:16,362 --> 01:19:20,160
그 영상을 보고 배우는 게
훨씬 나은 경험이었어요.

1440
01:19:20,160 --> 01:19:23,515
그런 의미에서 저는 그걸 엄청
강화된 버전의 구글처럼 써서, 사람이
In that sense, I'm basically using it like a very souped-up version of Google to zero in on the right human-written resource.

1441
01:19:23,515 --> 01:19:26,779
직접 쓴 제대로 된 자료를 콕
집어내는 용도로 쓰고 있는 거예요.

1442
01:19:26,779 --> 01:19:27,892
그럼 어떠세요?
What about you?

1443
01:19:27,892 --> 01:19:29,840
이런 거 많이 쓰시잖아요.
You engage with these a lot.

1444
01:19:29,840 --> 01:19:30,825
제일 좋은 사용법이 뭐예요?
What's the best way to use them?

1445
01:19:30,825 --> 01:19:31,840
방금 정확히 핵심을 짚으신 것 같아요.
I think you put your finger on it.

1446
01:19:31,840 --> 01:19:35,751
제가 겪었던 가장 생산적인
학습 경험은, 글이든
The most productive learning sessions I've had are when there's some artifact that a human has produced—whether it's an article, a book, or a video—that organizes the relevant concepts in the correct way.

1447
01:19:35,751 --> 01:19:39,812
책이든 영상이든 사람이
만든 어떤 결과물이 있어서

1448
01:19:39,812 --> 01:19:44,024
관련 개념들을 제대로 된
순서로 정리해줄 때였어요.

1449
01:19:44,024 --> 01:19:47,065
그게 다음 아이디어가 왜
다음에 마주칠 문제를 푸는
It builds up the motivation for why the next idea would be relevant to solving the next problem you'd encounter, and the next idea, and the next idea.

1450
01:19:47,065 --> 01:19:49,890
데 관련 있는지에 대한
동기를 차곡차곡 쌓아주는

1451
01:19:49,890 --> 01:19:52,931
거죠, 그다음 아이디어도,
또 그다음 아이디어도요.

1452
01:19:52,931 --> 01:19:58,073
그러고 나서 LLM은 그
책이 짚어준 가지 주변에서
Then you use the LLMs to just do a little bit of pruning around this branch that the book has identified.

1453
01:19:58,073 --> 01:20:02,480
약간의 가지치기만 하는
용도로 쓰는 거예요.

1454
01:20:02,480 --> 01:20:05,547
제가 요즘 보고
있었는데—아마 추천해주셨던
I was actually going through—I think you might have recommended it—Steven Strogatz's textbook on…

1455
01:20:05,547 --> 01:20:08,480
것 같은데—스티븐 스트로가츠의 교과서요…

1456
01:20:08,480 --> 01:20:09,254
카오스 다루는 그 책이요?
The chaos one?

1457
01:20:09,254 --> 01:20:10,803
『비선형 동역학과 카오스』요?
Nonlinear Dynamics and Chaos?

1458
01:20:10,803 --> 01:20:11,680
그 책 정말 좋아해요.
I love that book.

1459
01:20:11,680 --> 01:20:15,430
네, 그거 보고 있었는데
정말 행복하더라고요.
Yeah, I was going through it, and it was bliss.

1460
01:20:15,430 --> 01:20:19,040
정말 그 영상들을 책으로
옮겨놓은 것 같았어요.
It was like your videos in book form.

1461
01:20:19,040 --> 01:20:19,865
정말 재미있었어요.
It was super fun.

1462
01:20:19,865 --> 01:20:23,544
제가 공부했던 방식은,
화면을 세 칸으로 나눠서 한
The way I was learning it, I'd have his university lecture on one-third of the screen, that part of the textbook on another third, and an LLM on the last third.

1463
01:20:23,544 --> 01:20:26,829
칸엔 그분의 대학 강의를,
한 칸엔 해당 교재

1464
01:20:26,829 --> 01:20:30,640
부분을, 나머지 한 칸엔
LLM을 띄워놓는 거였어요.

1465
01:20:30,640 --> 01:20:33,657
사실 이런 생각이 들었어요.
제가 다시 대학생으로 돌아가서
I was actually thinking, if I were back in college and watching this lecture live, it would totally go over my head.

1466
01:20:33,657 --> 01:20:36,863
이 강의를 실시간으로 들었다면
하나도 이해 못 했을 거라고요.

1467
01:20:36,863 --> 01:20:40,278
그 학생들은 진짜 똑똑한 게
틀림없어요. 저는 멈췄다가
These kids must be really smart, because I'm pausing, reading the textbook, talking to LLMs, and then restarting again.

1468
01:20:40,278 --> 01:20:43,920
교재 읽고, LLM이랑 얘기하고
나서야 다시 재생하거든요.

1469
01:20:43,920 --> 01:20:47,606
그런데 그가 개념을 이해할
올바른 순서와, 이해를
But with him curating the right order to understand concepts and the right problems to motivate understanding them…

1470
01:20:47,606 --> 01:20:51,019
이끌어낼 적절한 문제들을
잘 짜놓은 걸 보면…

1471
01:20:51,019 --> 01:20:55,030
그것도 LLM이 정말
못하는 부분 중 하나죠.
Another thing LLMs are really bad at.

1472
01:20:55,760 --> 01:20:57,870
정말 훌륭한 사람이 할 수
있는 게 있어요. 질문을
Something a really good human can do, when you ask a question, a human can say, "Actually, you're not really thinking about this topic the correct way.

1473
01:20:57,870 --> 01:20:59,980
던지면 사람은 이렇게 말할
수 있거든요. "사실 이

1474
01:20:59,980 --> 01:21:02,240
주제를 제대로 된 방식으로
생각하고 계신 게 아닌데요.

1475
01:21:02,240 --> 01:21:05,761
당신이 던져야 할 질문,
이 개념들을 정리하는 올바른
The question you want to be asking, the correct way to organize these concepts, is X." An LLM just can't really do that.

1476
01:21:05,761 --> 01:21:09,161
방식은 X입니다." LLM은
그런 걸 정말 못해요.

1477
01:21:09,161 --> 01:21:11,040
좀 지나치게 비위를 맞추려고 해요.
It's a little too placating.

1478
01:21:11,040 --> 01:21:14,135
결국 그 아첨하는
행동이에요. "오, 정말
This is ultimately that sycophantic behavior where it's very, "Oh, what an insightful question."

1479
01:21:14,135 --> 01:21:16,960
통찰력 있는 질문이네요" 하는 식이죠.

1480
01:21:16,960 --> 01:21:19,470
그런 부분은 걷어내야 하는 거죠.
You want to strip that down.

1481
01:21:19,470 --> 01:21:24,945
좋은 지적이에요. 그건 어느 정도 마음
이론(theory of mind)과
That's a good point, and I think it cuts to theory of mind a little bit, recognizing that asking a certain kind of question reveals that the student's mental structures are not the same as the explainer's.

1482
01:21:24,945 --> 01:21:29,886
맞닿아 있다고 봐요. 특정한 질문을
던진다는 것 자체가 학생의 사고

1483
01:21:29,886 --> 01:21:34,560
구조가 설명하는 사람과 다르다는
신호라는 걸 알아채는 거니까요.

1484
01:21:34,560 --> 01:21:36,560
가끔은 사람들이 이걸 도가
지나치게 하기도 해요.
Sometimes people do this to a fault.

1485
01:21:36,560 --> 01:21:41,208
정말 훌륭한 선생님이 있는 중학교
수학 교실이 있다고 해보죠.
With a really good teacher, let's say you have a middle school math classroom.

1486
01:21:41,208 --> 01:21:44,579
학생이 다른 방식으로 생각하고
있다는 걸 보여주는 질문을
If a student asks a question that suggests they're thinking about it in a different way, it's actually really hard to take that seriously in the moment and ask, "Hang on, could you get to a right answer with that?" before you say, "Instead of that, let's do this."

1487
01:21:44,579 --> 01:21:47,841
하면, "그거 말고 이렇게
해보자"라고 말하기 전에 그

1488
01:21:47,841 --> 01:21:51,321
순간에 진지하게 받아들여서
"잠깐만, 그런 식으로도 정답에

1489
01:21:51,321 --> 01:21:54,909
도달할 수 있을까?" 하고
물어보는 게 사실 정말 어려워요.

1490
01:21:54,909 --> 01:22:00,346
정말 뛰어난 선생님들은
학생이 생각해낸 그 창의적인
The really good teachers are able to jujitsu the creative way the student was thinking about it and bring it in.

1491
01:22:00,346 --> 01:22:05,200
방식을 유술처럼 받아쳐서
끌어들일 수 있어요.

1492
01:22:05,200 --> 01:22:07,056
LLM은 그렇게 못해요.
LLMs aren't doing that.

1493
01:22:07,056 --> 01:22:09,840
질문의 틀을 다시 짜주지는 않죠.
They aren't reframing your question.

1494
01:22:09,840 --> 01:22:11,807
대신 어느 정도 그냥 치고 나가버려요.
Instead, they kind of run off.

1495
01:22:11,807 --> 01:22:15,120
적어도 여기엔 세
단계가 있는 것 같아요.
At the very least, it feels like there are three levels here.

1496
01:22:15,120 --> 01:22:18,122
LLM은 그중 한 단계에 있고,
훌륭한 설명자는 다른 단계에
An LLM is at one, a good explainer is at another, but the A+ explainer is the one who can jujitsu your way of thinking and say, "That's where that's useful."

1497
01:22:18,122 --> 01:22:21,216
있는데, A+급 설명자는 여러분의
사고방식을 유술처럼 받아쳐서

1498
01:22:21,216 --> 01:22:24,400
"그게 바로 쓸모 있는 지점이야"라고
말할 수 있는 사람이에요.

1499
01:22:24,400 --> 01:22:28,000
어쩌면 완전히 한 바퀴 돌아서,
5년 후에는 LLM들이
Maybe there is a cycle all the way around where, five years from now, the LLMs will be doing that, but in a better way.

1500
01:22:28,000 --> 01:22:31,360
그걸 더 나은 방식으로
해내고 있을지도 모르겠네요.

1501
01:22:31,360 --> 01:22:36,267
이런 질문이 담긴 이메일을 분명
늘 받으실 것 같은데요, 학생들한테
What is your recommendation to students who I'm sure email you this question all the time: "I was curious about doing mathematics.

1502
01:22:36,267 --> 01:22:41,440
어떤 조언을 해 주시겠어요? "저는
수학을 해보는 데 관심이 있었어요.

1503
01:22:41,440 --> 01:22:44,680
이 분야에 정말 열정이 있는데,
AI가 이만큼 발전하는
I'm really passionate about the subject, but seeing all the progress AIs are making, I don't know if it makes sense for me to pursue this as a career."

1504
01:22:44,680 --> 01:22:48,028
걸 보니 이걸 커리어로 삼는
게 맞는 건지 모르겠어요."

1505
01:22:48,028 --> 01:22:53,549
이건 수학 하는 사람들뿐 아니라,
자기 분야가 AI 덕분에
This is relevant not only to people in mathematics, but to anyone noticing that their field is getting productivity gains from AI.

1506
01:22:53,549 --> 01:22:59,760
생산성이 오르고 있다는 걸 느끼는
모든 사람과 관련된 질문이에요.

1507
01:22:59,760 --> 01:23:02,905
코딩도 이거랑 아주
맞닿아 있는 분야고요.
Coding is very adjacent to this.

1508
01:23:02,905 --> 01:23:06,240
사람들한테 어떤 조언을 해주고 싶으세요?
What advice do you have for people?

1509
01:23:06,240 --> 01:23:09,268
저라면 제가 드리는 조언은
전혀 믿지 않을 것 같아요.
I wouldn't trust any advice that I give.

1510
01:23:09,268 --> 01:23:11,040
일단 그렇게 전제를 깔고 싶네요.
That's how I'd couch it.

1511
01:23:11,040 --> 01:23:14,698
그런데 AI 이전에도,
어떤 일을 하든 정말
But even pre-AI, it feels very important for any job you're going to go into to really understand…

1512
01:23:14,698 --> 01:23:18,204
제대로 이해해야 하는
게 있다고 생각해요…

1513
01:23:18,204 --> 01:23:22,549
직업 얘기를 하는 거라면요 — 그냥
취미로 수학계와 교류하는 '신사
If we're talking about a job—not being a gentleman-scientist engaging with the math world or something—you should understand where the money is coming from, what value you're actually adding, and the connection between those two.

1514
01:23:22,549 --> 01:23:26,660
과학자' 같은 게 아니라 — 돈이
어디서 나오는지, 실제로 어떤

1515
01:23:26,660 --> 01:23:31,240
가치를 더하고 있는지, 그리고 이
둘 사이의 연결고리를 이해해야 해요.

1516
01:23:31,240 --> 01:23:35,795
그런데 놀라울 정도로 그 부분엔 생각을
별로 안 해요, 특히 학생들이요.
A surprisingly small amount of thought is put towards that, especially by students.

1517
01:23:35,795 --> 01:23:38,138
이 학생들은 아마 늘
수학을 잘해왔기 때문에
They're in this environment where they probably want to go into math because they've always been good at it.

1518
01:23:38,138 --> 01:23:40,480
수학을 하고 싶어 하는
환경에 있는 거예요.

1519
01:23:40,480 --> 01:23:44,800
살면서 다음 관문을 제대로 통과할
때마다 보상을 받아온 거죠.
They've been rewarded in life for proceeding through the next hoop correctly.

1520
01:23:44,800 --> 01:23:47,200
수학자가 되고 싶다고
생각하는 건, 그런 걸 계속
When they think they want to be a mathematician, it's because they think it's a way to continue engaging with that.

1521
01:23:47,200 --> 01:23:49,334
이어갈 수 있는 길이라고
여기기 때문이에요.

1522
01:23:49,334 --> 01:23:52,910
"내가 다른 사람들한테 어떤
가치를 더하고 있고, 그게 나한테
They think, "Where do people get to do this?" rather than thinking, "What value am I adding to other people, and to what extent is that the reason a salary is flowing in my direction?"

1523
01:23:52,910 --> 01:23:56,275
월급이 들어오는 이유 중 얼마나
되는가"라고 생각하기보다,

1524
01:23:56,275 --> 01:23:59,640
"이런 걸 할 수 있는 데가
어디지?"라고 생각하는 거죠.

1525
01:23:59,640 --> 01:24:02,320
사실 경우마다 꽤 달라요.
It's actually quite different in different cases.

1526
01:24:02,320 --> 01:24:04,852
어떤 경우엔, 아주
저명한 수학자가 있고, 그
In some cases, it's a very prestigious mathematician, and their presence at a university lends a certain brand value, which is why the university wants them.

1527
01:24:04,852 --> 01:24:07,383
사람이 대학에 있다는
것 자체가 일종의 브랜드

1528
01:24:07,383 --> 01:24:10,320
가치를 주기 때문에 대학이
그 사람을 원하는 거예요.

1529
01:24:10,320 --> 01:24:13,523
또 어떤 경우엔, 기초과학을
둘러싼 '공공의 이익'이라는 믿음
In some cases, an NSF grant is given because of the public good belief we have around basic science.

1530
01:24:13,523 --> 01:24:16,537
때문에 미국 국립과학재단(NSF)
지원금이 나오는 거고요.

1531
01:24:16,537 --> 01:24:20,996
그 주변엔 하나의 제도가 있고,
우리가 생각하는 그 공공의
You've got an institution around that, and a whole bureaucracy acting as a proxy for what we think that public good is, with a whole song and dance around how to make them correctly predict that your progress will be in the spirit of that funding.

1532
01:24:20,996 --> 01:24:25,176
이익을 대리하는 관료 체계
전체가 있어서, 당신의 연구

1533
01:24:25,176 --> 01:24:29,216
진행이 그 지원금의 취지에
맞게 흘러갈 거라고 정확히

1534
01:24:29,216 --> 01:24:33,675
예측하게 만들기 위한 온갖 요식
절차가 딸려 있는 거예요.

1535
01:24:33,675 --> 01:24:36,400
어떤 땐 그냥 순전히
가르치는 일 그 자체고요.
Sometimes it's just straight-up teaching.

1536
01:24:36,400 --> 01:24:40,960
사람들은 전문가가 가르치는 기관에
자기 아이를 보내고 싶어 하잖아요.
People like to send their kids to an institute that has experts teaching them.

1537
01:24:40,960 --> 01:24:44,182
전문가라는 것으로 브랜드
가치를 주고, 가르치는
You provide brand value by being an expert, and direct value by being a teacher.

1538
01:24:44,182 --> 01:24:47,280
사람이라는 것으로 직접적인
가치를 주는 거죠.

1539
01:24:47,280 --> 01:24:50,170
AI가 정리를 증명하고 있든
아니든, 2016년이든
Regardless of whether AIs are proving theorems or not, or whether we're talking about 2016 or 2026, that is something not enough students thinking "I want to be a mathematician" consider.

1540
01:24:50,170 --> 01:24:53,474
2026년이든 상관없이,
"수학자가 되고 싶다"고 생각하는

1541
01:24:53,474 --> 01:24:56,880
학생들 중에 이 부분을 충분히
고민하는 사람은 많지 않아요.

1542
01:24:56,880 --> 01:24:59,236
생각해 볼 가치가 있는 문제라고 봐요.
I think it's worth thinking about.

1543
01:24:59,236 --> 01:25:02,396
제 경우엔 딱히 이런 걸
염두에 두고 있었던 건
For me, I wasn't necessarily thinking about it, and I stumbled into a career path where math exploration can be monetized as entertainment.

1544
01:25:02,396 --> 01:25:05,557
아니고, 수학을 탐구하는
게 엔터테인먼트로 돈이

1545
01:25:05,557 --> 01:25:08,960
되는 커리어 경로에 우연히
발을 들이게 된 거예요.

1546
01:25:08,960 --> 01:25:10,726
저는 그 길에 우연히 발을
들이게 됐고, 그렇게
I stumbled into that and I'm very grateful I did, but it was an accident.

1547
01:25:10,726 --> 01:25:12,560
된 게 정말 감사하긴
한데, 어쨌든 우연이었어요.

1548
01:25:12,560 --> 01:25:14,015
의도한 건 아니었어요.
It wasn't deliberate.

1549
01:25:14,015 --> 01:25:18,656
제가 좀 더 비판적으로
생각했다면, 우연에 기대지
I could have avoided relying on serendipity and done it a little bit more by design had I been thinking critically about it.

1550
01:25:18,656 --> 01:25:23,297
않고 좀 더 계획적으로
했을 수도 있었을 거예요.

1551
01:25:23,297 --> 01:25:27,668
질문에 답하자면요 — 정리
증명이 거의 자동화되고, 거기다
To your question—if we have almost-automated theorem proving, and let's say they're also really good explainers so you even get the human understanding—I think a lot of the social role that mathematicians serve actually doesn't change that much.

1552
01:25:27,668 --> 01:25:32,449
설명도 정말 잘한다고 치면 인간이
이해할 수 있는 부분까지 얻을

1553
01:25:32,449 --> 01:25:36,956
수 있다고 해도, 저는 수학자들이
맡고 있는 사회적 역할 중

1554
01:25:36,956 --> 01:25:41,327
상당수는 실제로 그렇게 많이
바뀌지 않을 거라고 생각해요.

1555
01:25:41,327 --> 01:25:46,243
대중으로서 우리는 여전히 기초과학에
가치가 있다고 느끼고, 수학자들이
As a public, we still feel there's value to basic science, and we trust the judgment of mathematicians to determine where their time is best spent.

1556
01:25:46,243 --> 01:25:50,771
자기 시간을 어디에 쓰는 게
최선인지 판단하는 걸 신뢰하니까요.

1557
01:25:50,771 --> 01:25:53,440
명성은 바로 그 커뮤니티
내부에서 나오는 거예요.
The prestige comes from within that community.

1558
01:25:53,440 --> 01:25:56,320
연구비 심사관이 대수적
정수론을 정말로 이해해서 그
It's other members saying that a result is really good, more than the grant writer really understanding algebraic number theory to understand it was a good result.

1559
01:25:56,320 --> 01:25:59,097
결과가 좋다고 판단하는
것보다는, 다른 구성원들이

1560
01:25:59,097 --> 01:26:02,080
어떤 결과가 정말 좋다고
말해주는 것에 더 가까워요.

1561
01:26:02,080 --> 01:26:06,560
어떤 게 가치 있는 기여로 인정받는지에
대한 내부 문화가 생길 거예요.
There's going to be an inner culture of what constitutes valuable contributions.

1562
01:26:06,560 --> 01:26:08,607
어쩌면 정리 증명에서 좋은 정의를 만드는
Maybe it shifts away from theorem proving and towards good definition writing.

1563
01:26:08,607 --> 01:26:10,560
쪽으로 무게중심이 옮겨갈 수도 있고요.

1564
01:26:10,560 --> 01:26:12,770
어쩌면 그 박물관 큐레이터
같은 아이디어일 수도 있고요.
Maybe it's that museum curator idea.

1565
01:26:12,770 --> 01:26:15,903
하지만 사회 전체가
기초과학이라는 전제 자체에 여전히
But you're going to have that same community as long as society as a whole is still valuing the premise of basic science.

1566
01:26:15,903 --> 01:26:19,360
가치를 두는 한, 그 같은
커뮤니티는 계속 존재할 거예요.

1567
01:26:19,360 --> 01:26:22,729
그리고 AI가 가져오는
풍요의 세상에 있다면, 어떤
And if we're in the abundance world that AI brings, there's probably more funding in that direction in some sense.

1568
01:26:22,729 --> 01:26:26,700
의미에서는 아마 그 방향으로
자금이 더 많이 흘러갈 거예요.

1569
01:26:26,700 --> 01:26:30,463
강사가 누구냐로 기관에 명성이
붙는다는 측면에서 보면, 저는
On the side of prestige to institutions for who their lecturers are, I actually think teaching is one of the most stable post-AGI jobs that there is, because it's so relational.

1570
01:26:30,463 --> 01:26:34,226
사실 가르치는 일이야말로 AGI
이후에도 가장 안정적인 직업

1571
01:26:34,226 --> 01:26:37,989
중 하나라고 생각해요. 그게
워낙 관계 중심적인 일이라서요.

1572
01:26:37,989 --> 01:26:42,086
부모들이 풍족한 부를 갖게
된다면, 그 돈을 쓰고 싶어
This is where parents want to spend their money if they have an abundance of wealth: on good teaching and good educating.

1573
01:26:42,086 --> 01:26:46,320
하는 곳이 바로 여기예요.
좋은 가르침과 좋은 교육이요.

1574
01:26:46,320 --> 01:26:48,115
그건 단순한 설명을 훨씬
뛰어넘는 일이에요.
It goes so far beyond explanations.

1575
01:26:48,115 --> 01:26:52,838
LLM이 설명을 잘한다고 해도,
선생님이 하는 일은 너무나
Even if LLMs are good explainers, the thing that a teacher is doing is such a social, coaching, mentor-type thing that that's probably one of the most stable careers that's going to exist over the next fifty years.

1576
01:26:52,838 --> 01:26:57,117
사회적이고 코칭이자 멘토
같은 일이라서, 아마 앞으로

1577
01:26:57,117 --> 01:27:01,840
50년 동안 존재할 가장 안정적인
직업 중 하나일 거예요.

1578
01:27:01,840 --> 01:27:05,243
수학자들의 역할 중 많은 부분이
그것과 겹치는 한, 그 길에
Insofar as a lot of mathematicians' roles overlap with that, as the prospective student going into it, you could lean into that.

1579
01:27:05,243 --> 01:27:09,162
들어서려는 예비 학생이라면 그 부분에
무게를 실어볼 수 있을 거예요.

1580
01:27:09,162 --> 01:27:14,354
저는 사실 훨씬 더 많은 학생들이
그냥 수학 교육자가 되는 것과, 그게
I actually think a lot more students should think about and give credence to the idea of being just a math educator and the value that can serve towards the next generation.

1581
01:27:14,354 --> 01:27:19,680
다음 세대에 줄 수 있는 가치를 진지하게
고민하고 인정해야 한다고 봐요.

1582
01:27:19,680 --> 01:27:23,054
다시 한번 조심스럽게
말씀드리자면, 저는 '자,
I'll couch again that I don't think I'm the one to say, "Here, prospective young mathematician, here's how you should think about the future," because I'm a YouTuber.

1583
01:27:23,054 --> 01:27:26,946
미래의 젊은 수학자여, 미래를
이렇게 생각해야 한다'고

1584
01:27:26,946 --> 01:27:30,579
말할 사람은 아니라고
생각해요. 저는 유튜버니까요.

1585
01:27:30,579 --> 01:27:33,637
저는 그들이 들어가려는 기관
안에 있는 사람이 아니라서,
I'm not in the institution that they're thinking of going into, so I'm speaking as an outsider looking in.

1586
01:27:33,637 --> 01:27:36,400
바깥에서 안을 들여다보는
사람으로서 말하는 거예요.

1587
01:27:36,400 --> 01:27:40,070
하지만 이건 대체로 좋은, 보편적인
조언인 것 같아요. 돈이 어디서
But it feels like generally good, universal advice: know where the money is coming from, know where you plug into that.

1588
01:27:40,070 --> 01:27:43,641
나오는지 알고, 자신이 그 안에서
어디에 연결되는지 아는 것이요.

1589
01:27:43,641 --> 01:27:47,991
그리고 그런 질문들을 던지는
것만으로도, 사실 다른 초보
And if you're just asking those questions, you're actually already steps ahead of all the other fledgling prospective mathematicians.

1590
01:27:47,991 --> 01:27:51,920
예비 수학자들보다 이미 몇
걸음 앞서 있는 거예요.

1591
01:27:51,920 --> 01:27:57,483
사실, 5년이나 10년 안에 AI들이
밀레니엄 문제들에 대한 해법뿐
In fact, think about the crazy world where, within five or ten years, the AIs are coming up with not only solutions to the Millennium Prize problems, but totally novel problems to be solving in the first place, novel mathematical fields and objects and stuff.

1592
01:27:57,483 --> 01:28:03,647
아니라, 애초에 풀어야 할 완전히
새로운 문제들, 새로운 수학 분야와 대상

1593
01:28:03,647 --> 01:28:09,360
같은 것까지 만들어내는 그런 말도
안 되는 세상을 한번 생각해보세요.

1594
01:28:09,360 --> 01:28:12,400
그런 세상에서는, 우선
엄청난 풍요가 있을 거예요.
It is in that world where, first of all, there's a ton of abundance.

1595
01:28:12,400 --> 01:28:17,575
둘째, AI의 정신이 가장
멀리까지 나아간 영역, 우리의
Two, the thing AI minds will have gone furthest in, where they will have seen furthest beyond our horizons, will be mathematics.

1596
01:28:17,575 --> 01:28:23,084
지평 너머 가장 멀리까지 내다본
영역은 바로 수학일 거예요.

1597
01:28:23,084 --> 01:28:27,576
이런 것에 대한 수요가 엄청날 거예요.
"AI들이 도대체 뭘 봤는지,
There will be so much demand for, "What have the AIs seen?

1598
01:28:27,576 --> 01:28:30,253
그걸 우리한테 설명해 줄 수 있어요?"
Can you explain it to us?"

1599
01:28:31,040 --> 01:28:34,201
그런 세상에서 어떤 직업이든
남아 있다면, AI가 배운
In that world, if there are any jobs whatsoever, surely distilling what the AIs have learned will be one of them.

1600
01:28:34,201 --> 01:28:37,256
걸 정제해서 풀어주는 일은
분명 그중 하나일 거예요.

1601
01:28:37,256 --> 01:28:39,191
그리고 재밌는 게, 이 얘기 전체가 그게
Also, it's funny because all of this presumes that it's useless.

1602
01:28:39,191 --> 01:28:41,214
쓸모없다는 걸 전제로
하고 있다는 거예요.

1603
01:28:41,214 --> 01:28:43,485
지금 하고 있는 수학의 실제 실용적
We're not talking about the actual practical applications of what math is being done.

1604
01:28:43,485 --> 01:28:46,115
응용에 대해서는 얘기하고 있지 않잖아요.

1605
01:28:46,115 --> 01:28:50,446
경제적 효용이 조금이라도
있다면, 그걸 이해하고 어디로
Insofar as there's any economic utility to it, you would imagine that the people who understand it and are able to make the decision of where it should point actually have a lot more economic value by being able to make that judgment as a curator and point this behemoth of new math in a useful direction.

1606
01:28:50,446 --> 01:28:54,633
향해야 할지 판단할 수 있는
사람들이 큐레이터로서 이

1607
01:28:54,633 --> 01:28:59,109
거대한 새 수학 덩어리를
유용한 방향으로 이끌 수 있다는

1608
01:28:59,109 --> 01:29:03,440
것만으로도 훨씬 더 큰 경제적
가치를 갖게 될 거예요.

1609
01:29:03,440 --> 01:29:07,040
갑자기 그게 예전보다 훨씬 더
레버리지가 큰 한 수가 되는 거죠.
Suddenly, that's a much more levered move to make than it had been previously.

1610
01:29:07,040 --> 01:29:09,760
그거에 대해 여쭤봐도 될까요?
Can I ask you about that?

1611
01:29:09,760 --> 01:29:14,056
당연히, AI의 수학 능력에
대해 던질 질문 중 하나는
Obviously, one question for AI for math is not only can it do it, but is it any good?

1612
01:29:14,056 --> 01:29:17,923
그냥 할 수 있느냐가
아니라 잘하느냐는 거잖아요.

1613
01:29:17,923 --> 01:29:20,320
아니면 그게 뭔가에 쓸모가
있기는 한 거냐는 거고요.
Or is it good for anything?

1614
01:29:20,320 --> 01:29:24,729
아까 군론(group theory)
얘기하시면서, 우리가 여러 종류의
You were describing all the ways in which, with group theory, we're trying to figure out random facts about the roots of different kinds of functions, and now there are all these different applications that are practical across many different fields.

1615
01:29:24,729 --> 01:29:29,023
함수의 근에 관한 이런저런 사실들을
알아내려 애썼는데, 지금은 그게

1616
01:29:29,023 --> 01:29:33,200
다양한 분야에서 실용적으로 쓰이는
응용들로 이어졌다고 하셨잖아요.

1617
01:29:33,200 --> 01:29:38,874
인간 수학이라는 분야가 10배,
100배로 가속돼서 완전
Do you have some sense of whether, if we just totally get to a place where the field of human mathematics is accelerated 10X or 100X and some crazy shit happens, or are we just going to be bottlenecked by other fields?

1618
01:29:38,874 --> 01:29:44,549
미친 일들이 벌어지는 상황이
오면, 그게 어떨지 감이 좀

1619
01:29:44,549 --> 01:29:50,406
오세요? 아니면 결국 다른
분야들에 발목이 잡히게 될까요?

1620
01:29:50,406 --> 01:29:55,440
아마 발목이 잡힐 분야들이
있을 거라고 생각해요.
I think there are some fields that probably will.

1621
01:29:55,440 --> 01:29:56,880
이게 완전 들쭉날쭉해요.
It's super spiky.

1622
01:29:56,880 --> 01:30:00,370
대수적 정수론(algebraic
number theory)에서
With progress in algebraic number theory, it feels unlikely that that then unlocks something.

1623
01:30:00,370 --> 01:30:03,450
진전이 있어도, 그게 뭔가를
풀어줄 것 같지는 않아요.

1624
01:30:03,450 --> 01:30:07,600
근데 예전에 동역학(dynamics)이랑
편미분방정식(PDE)
But I remember talking to this mathematician who does more dynamics and PDE-solving type stuff.

1625
01:30:07,600 --> 01:30:11,139
푸는 쪽 연구를 하는 수학자랑
얘기했던 게 기억나요.

1626
01:30:11,139 --> 01:30:16,960
그분이 자기 연구팀한테 어떤
아이디어가 있었다고 얘기해줬어요.
He was referencing that his group had some ideas.

1627
01:30:16,960 --> 01:30:18,501
제가 이걸 제대로 요약한
건지 한번 볼게요.
Let me see if I summarize this right.

1628
01:30:18,501 --> 01:30:22,226
보잉이 비행기를 만드는 방식은, 일단
만들고 나서 온갖 테스트를 하고,
It’s like the way Boeing would make planes is that they'd make it, do a bunch of tests, and they had to disassemble it and reassemble it based on those tests.

1629
01:30:22,226 --> 01:30:25,760
그 테스트 결과에 따라 다시
분해했다가 재조립해야 하는 식이었대요.

1630
01:30:25,760 --> 01:30:29,182
그의 연구팀이 분해하고 재조립할
필요가 없도록 시뮬레이션에서 더
His group essentially had some insights on how to do more in simulation such that you don't have to deconstruct and rebuild it.

1631
01:30:29,182 --> 01:30:32,800
많은 걸 처리하는 방법에 대해
핵심적인 통찰을 갖고 있었던 거예요.

1632
01:30:32,800 --> 01:30:35,209
그게 보잉한테 수십억
달러인가를 절약해줘서,
It saved Boeing billions of dollars or something, and then they just started funding that group.

1633
01:30:35,209 --> 01:30:37,920
보잉이 그 연구팀에 곧장
자금을 대기 시작했대요.

1634
01:30:37,920 --> 01:30:41,447
그건 훨씬 더 확실하게
응용에 맞닿아 있는
That's much more obviously application-adjacent, because PDEs just are that.

1635
01:30:41,447 --> 01:30:45,280
분야예요, PDE 자체가
원래 그런 거니까요.

1636
01:30:45,280 --> 01:30:47,864
그 분야에서 진전이
있으면, 실제로 뭔가를
Progress in that domain, you would imagine actually does unlock some things.

1637
01:30:47,864 --> 01:30:50,560
풀어줄 거라고 상상해볼
수 있을 것 같아요.

1638
01:30:50,560 --> 01:30:54,660
이게 이런 식의 도약적인 변화일지는
모르겠지만, 엔진 설계가 조금 더
I don't know if it's these step changes, but maybe it's more on the side of engine design becoming a little bit more fluid, or coming up with the right wing shape instead of running a whole bunch of complicated CFD.

1639
01:30:54,660 --> 01:30:58,760
유연해진다거나, 복잡한 전산유체역학(CFD)
시뮬레이션을 잔뜩 돌리는

1640
01:30:58,760 --> 01:31:02,752
대신 적절한 날개 형태를 바로
찾아내는 쪽에 더 가까울 것 같아요.

1641
01:31:02,752 --> 01:31:06,418
어쩌면 순수수학적 통찰 덕분에
CFD 시뮬레이션 자체가
Maybe you're able to speed up your CFD simulations because certain pure math insights make those more efficient.

1642
01:31:06,418 --> 01:31:09,840
더 효율적으로 바뀌어서
속도가 빨라질 수도 있고요.

1643
01:31:09,840 --> 01:31:14,640
제 생각엔 거기선 분명 훌륭한
점진적 개선들이 많이 나올 거예요.
I bet you'd just see a lot of great incremental improvement there.

1644
01:31:14,640 --> 01:31:17,920
수학에서의 거대한 돌파구가
곧바로 이런 거대한 경제적
It seems less likely that the massive breakthroughs in math immediately turn into this massive economic breakthrough, like you solve the Navier-Stokes problems, and then that unlocks an ability to simulate more things.

1645
01:31:17,920 --> 01:31:21,201
돌파구로 이어질 가능성은
좀 낮아 보여요. 예를 들어

1646
01:31:21,201 --> 01:31:24,933
나비에-스토크스 문제들을 풀었다고
해서, 그게 바로 더 많은

1647
01:31:24,933 --> 01:31:28,440
걸 시뮬레이션할 수 있는
능력을 열어주는 건 아니거든요.

1648
01:31:28,440 --> 01:31:33,584
하지만 그 언저리에서는
순수 수학의 통찰이 다른
But you probably will see, at those fringes, some meaningful leakage out of the pure math insights into other things.

1649
01:31:33,584 --> 01:31:39,520
분야로 의미 있게 새어나가는
걸 아마 보게 될 거예요.

1650
01:31:39,520 --> 01:31:42,960
AI 공학, 물리 공학, 재료 과학 같은
There's a ton of people working on things like AI engineering, physical engineering, and material science.

1651
01:31:42,960 --> 01:31:46,713
분야에서 일하는 사람들이
엄청나게 많잖아요.

1652
01:31:46,713 --> 01:31:52,055
그 사람들이야말로 AI가 내놓은
수학적 통찰을 보고 그게 어떤 식으로든
You have to imagine they'd be in a good position to look at the AI math insights and decide whether they're relevant in some way or not.

1653
01:31:52,055 --> 01:31:57,123
관련이 있는지 없는지 판단하기 좋은
위치에 있다고 봐야 할 거예요.

1654
01:31:57,760 --> 01:32:00,018
이것도 제가 여기 앉아서
'분명 그럴 것이다'라고
It's another one of these things where I'm not going to sit here and put a flag in the sand predicting that there will be.

1655
01:32:00,018 --> 01:32:02,359
단정적으로 예측하지는 않을
그런 문제 중 하나예요.

1656
01:32:02,359 --> 01:32:06,633
하지만 앞으로 5년 안에,
수학에서의 AI 발전과 직접
But it'd be a little bit disappointing and a little bit surprising if there weren't, over the next five years, economically valuable improvements made that were directly referable to the AI progress in math.

1657
01:32:06,633 --> 01:32:10,908
연결 지을 수 있는 경제적으로
가치 있는 개선이 하나도

1658
01:32:10,908 --> 01:32:15,040
없다면, 그건 좀 실망스럽고
좀 놀라운 일일 거예요.

1659
01:32:15,040 --> 01:32:18,340
그냥 에르되시 문제들을 잔뜩
풀어치우기만 하고, 그중
It would just be disappointing if it was just taking down a bunch of Erdős problems and none of them were doing any of the math that actually directly touches the physical world.

1660
01:32:18,340 --> 01:32:21,980
어느 것도 실제로 물리적 세계와
직접 맞닿은 수학은 하나도

1661
01:32:21,980 --> 01:32:25,280
안 하고 있다면, 그건 그냥
실망스러운 일일 거예요.

1662
01:32:25,280 --> 01:32:28,379
말씀하신 것처럼, 수학
역사의 상당 부분은 이런
To your point about how a lot of the history of mathematics was about building up these piles of concepts and connections.

1663
01:32:28,379 --> 01:32:31,240
개념과 연결의 더미를
쌓아 올리는 일이었죠.

1664
01:32:31,240 --> 01:32:34,037
가끔은 그 더미들끼리
서로 연결되기도 하고,
Sometimes the piles connect with each other, or you discover an application somewhere else.

1665
01:32:34,037 --> 01:32:36,950
어딘가 다른 데서 응용처를
발견하기도 하고요.

1666
01:32:36,950 --> 01:32:40,800
적어도 이 거대한 더미는
계속 쌓이는 거고요.
At the very least, you just build up this huge pile.

1667
01:32:40,800 --> 01:32:45,362
그러다 특이점이 진행되면서 사회
전반에 더 폭넓은 진보가 일어나고
Then as broader progress in society happens during the singularity, when we get to the industrial part of the singularity, you just have all these different ideas that hopefully are useful in other parts of the world.

1668
01:32:45,362 --> 01:32:49,545
특이점의 산업적 국면에 이르면,
바라건대 세상 곳곳에서 쓸모

1669
01:32:49,545 --> 01:32:53,600
있을 이 온갖 다양한 아이디어들이
이미 쌓여 있는 셈이죠.

1670
01:32:53,600 --> 01:32:56,691
제가 말씀드렸듯이, 지금 일어나고
있는 일에서 흥미로운 점 중 하나는
As I said, one of the interesting things about what's happening is it causes people to step back and ask, "What is math?"

1671
01:32:56,691 --> 01:33:00,027
사람들이 한 발 물러서서 '수학이란
무엇인가?'라고 묻게 만든다는 거예요.

1672
01:33:00,027 --> 01:33:03,035
어쩌면 어색한 결론 중
하나는, 수학이 그냥 완전히
Maybe one of the awkward conclusions will be revealing that it's just become wholly useless.

1673
01:33:03,035 --> 01:33:05,720
쓸모없어졌다는 게 드러나는
것일 수도 있어요.

1674
01:33:05,720 --> 01:33:10,326
지금 제기되는 질문들이 물리적으로
응용 가능한 것들과 너무 동떨어져
The kind of questions being asked have become so divorced from things that are physically applicable that that's one of the things mathematicians have to come to terms with.

1675
01:33:10,326 --> 01:33:14,807
버려서, 그게 수학자들이 받아들여야
할 문제 중 하나가 된 거죠.

1676
01:33:14,807 --> 01:33:18,960
다들 이걸 보고
"잠깐만, 당신들 원래…"
Everyone will look and say, "Hang on a second, weren't you guys supposed to…

1677
01:33:18,960 --> 01:33:20,720
"거기서 10배 발전이
있었다면서, 왜 여기선
If there's 10X progress there, why aren't we seeing it over here?"

1678
01:33:20,720 --> 01:33:22,339
그게 안 보이는
거예요?"라고 할 거예요.

1679
01:33:22,339 --> 01:33:23,960
그럼 수학자들은 "끙…" 이러는 거죠.
And then mathematicians are like, "Ugh."

1680
01:33:23,960 --> 01:33:26,950
우리가 연구비 제안서를 쓸
때마다 "믿어주세요, 타원곡선
Every time we wrote those grant proposals and said, "Trust us, the elliptic curve progress is going to help with cryptography," it shines a light on the fact that maybe it doesn't.

1681
01:33:26,950 --> 01:33:29,940
연구의 발전이 암호학에 도움이
될 겁니다"라고 했던 게,

1682
01:33:29,940 --> 01:33:32,640
사실은 그렇지 않을 수도
있다는 걸 드러내는 거죠.

1683
01:33:32,640 --> 01:33:34,841
그게 하나의 가능성이에요.
So that's one possibility.

1684
01:33:34,841 --> 01:33:36,960
그랜트, 오늘 정말 즐거웠어요.
Grant, this was super fun.

1685
01:33:36,960 --> 01:33:38,011
함께해 주셔서 정말 감사해요.
Thanks so much for doing it.

1686
01:33:38,011 --> 01:33:38,445
그럼요.
Absolutely.

1687
01:33:38,445 --> 01:33:40,344
저야말로 즐거웠어요.
My pleasure.