Unsupervised Learning
Tri Dao — The End of Nvidia's Dominance, Why Inference Costs Fell & The Next 10X in Speed 트리 다오 — 엔비디아 독주의 끝, 추론 비용이 폭락한 이유, 그리고 다음 10배 가속
FlashAttention and Mamba author Tri Dao explains why inference got roughly 100x cheaper since ChatGPT and where the next 10x comes from — quantization down to 4 bits, DeepSeek-style latent KV-cache compression, and ever-sparser mixture-of-experts. He argues hardware portability is largely a myth (even NVIDIA rewrites its software each chip generation), so NVIDIA's ~90% grip loosens into a multi-silicon world only as workloads consolidate. Also: inference-first architecture design, why kernel DSLs are increasingly written for LLMs rather than for human engineers, and the 1.5x productivity he actually measures from AI coding tools. 플래시어텐션과 맘바를 만든 트리 다오가 챗GPT 이후 추론 비용이 100배 떨어진 이유와 다음 10배가 어디서 오는지를 설명한다 — 4비트 양자화, 딥시크식 잠재 KV 캐시 압축, 갈수록 희소해지는 MoE. 하드웨어 이식성은 사실상 허상이고(엔비디아조차 칩 세대마다 소프트웨어를 다시 쓴다), 그래서 엔비디아의 90% 점유가 멀티 실리콘으로 풀리는 것은 워크로드가 수렴한 다음이라고 본다. 추론 우선 아키텍처 설계, 커널 DSL이 사람보다 LLM을 위해 쓰이기 시작한 흐름, 그리고 AI 코딩 도구로 실제 측정한 1.5배 생산성까지.
Video © Unsupervised Learning: With Jacob Effron — plays via YouTube embed, never re-hosted. Subtitles: machine-assisted (ASR captions → glossary-driven LLM translation); errors possible, corrections welcome. Watch on YouTube 영상 © Unsupervised Learning: With Jacob Effron — YouTube 임베드로 재생되며 재업로드하지 않습니다. 자막은 자동 캡션을 용어집 기반 LLM 파이프라인으로 번역해 오류가 있을 수 있습니다 — 제보 환영합니다. YouTube에서 보기