Google DeepMind의 How to Scale Your Model(Jacob Austin 외, 2025)을 한국어로 옮기는 프로젝트입니다. 원서는 “TPU에서 LLM을 스케일링하는 기술을 탈신비화한다”는 목표로, roofline 분석부터 하드웨어 구조, sharding과 병렬화, Transformer 수학, 학습·추론·서빙, 프로파일링까지를 다루는 블로그 형식의 교과서입니다.
번역 원칙: 전문 용어는 영어 표기를 유지하고(예: sharding, roofline, arithmetic intensity), 그림·수식·표는 원본을 그대로 사용하며, 문장은 한국 독자가 자연스럽게 읽을 수 있도록 옮깁니다. 각 챕터 상단에 원문 링크를 명시합니다.
목차 (13/13 번역 완료)
- 소개 How to Scale Your Model
- Roofline의 모든 것 All About Rooflines
- TPU를 이해하는 법 How to Think About TPUs
- Sharded 행렬과 곱셈 방법 Sharded Matrices and How to Multiply Them
- 알아야 할 모든 Transformer 수학 All the Transformer Math You Need to Know
- 학습을 위한 Transformer 병렬화 How to Parallelize a Transformer for Training
- TPU에서 LLaMA 3 학습하기 Training LLaMA 3 on TPUs
- Transformer 추론의 모든 것 All About Transformer Inference
- TPU에서 LLaMA 3 서빙하기 Serving LLaMA 3-70B on TPUs
- TPU 코드 프로파일링 How to Profile TPU Programs
- JAX로 TPU 프로그래밍하기 Programming TPUs in JAX
- 결론과 더 읽을거리 Conclusions and Further Reading
- GPU를 이해하는 법 How to Think About GPUs