Kimi K3: Open Frontier Intelligence

Background Test-time compute has become AI's second scaling axis alongside pretraining scale — OpenAI's o-series, Anthropic's extended-thinking models, DeepSeek-R1, and Moonshot's own Kimi K1.5 and K2.5 Agent Swarm have all pushed reasoning and agentic RL forward, and the open-source ecosystem has kept pace on this axis. The first axis, raw pretrained parameter scale, has lagged in the open world: most open models remain within or just above the 1T-parameter regime even as proprietary frontier models keep growing, risking convergence at a fixed scale while the gap to the strongest closed systems widens.

배경 테스트-타임 연산은 사전학습 스케일과 나란히 AI의 두 번째 스케일링 축이 됐다 — OpenAI의 o-시리즈, Anthropic의 extended thinking, DeepSeek-R1, 그리고 Moonshot 자신의 Kimi K1.5·K2.5 Agent Swarm이 모두 추론·에이전틱 RL을 밀어붙였고, 오픈소스 생태계도 이 축에서는 보조를 맞춰왔다. 반면 첫 번째 축인 순수 사전학습 파라미터 스케일은 오픈 진영에서 뒤처졌다 — 프런티어 독점 모델이 계속 커지는 동안 대다수 오픈 모델은 여전히 1T 파라미터 안팎에 머물러, 고정된 스케일에 수렴하면서 최강 폐쇄형 시스템과의 격차만 벌어질 위험이 있다.

Problem Kimi K3 sets out to push both scaling axes at once — a ~3T-class pretrained foundation and RL/reasoning-effort scaling — while also extending the context window to 1M tokens, without any one of the three dimensions breaking the others. Scaling sequence length with standard attention means an ever-growing KV cache; scaling MoE width toward ~900 experts risks both training instability (exploding activations in the routed feed-forward path) and load-balancing failure; and naively scaling depth (more layers) risks the usual information bottleneck of accumulating everything into one residual stream.

문제 Kimi K3는 세 축 중 어느 하나도 나머지를 깨뜨리지 않으면서 두 스케일링 축(~3T급 사전학습 기반 + RL/추론-노력 스케일링)을 동시에 밀어붙이는 동시에 컨텍스트 창을 1M 토큰까지 늘리는 것을 목표로 한다. 표준 attention으로 시퀀스 길이를 늘리면 KV cache가 계속 커지고, MoE 폭을 ~900 전문가까지 늘리면 학습 불안정(routed feed-forward 경로의 활성값 폭발)과 로드밸런싱 실패 위험이 있으며, 깊이를 단순히(레이어만) 늘리면 모든 것을 하나의 residual stream에 욱여넣는 익숙한 정보 병목이 재발한다.

Prior limitations Kimi K2 (1.04T total / 32.6B activated parameters) established Moonshot's MoE + MLA + SwiGLU recipe but hit an efficiency ceiling the paper attributes to three specific bottlenecks: pure global MLA attention still carries an O(L)-growing KV cache even after latent compression, capping context-length economics; the standard auxiliary-loss-free MoE load-balancing rule (a fixed-step bias update) becomes hard to keep balanced as the routed-expert pool grows toward the ~10³ regime; and even Kimi K2.5's vision encoder, contrastively pretrained (SigLIP-style) before attachment to the LLM, destabilizes joint optimization with frequent gradient-norm spikes once fine-tuned end-to-end.

기존 한계 Kimi K2(총 1.04T / 활성 32.6B 파라미터)는 Moonshot의 MoE+MLA+SwiGLU 레시피를 확립했지만, 논문이 지목하는 세 가지 구체적 병목에서 효율 한계에 부딪혔다 — 순수 전역 MLA attention은 latent 압축 후에도 여전히 O(L)로 커지는 KV cache를 지고 있어 컨텍스트-길이 경제성을 제한하고; 표준 auxiliary-loss-free MoE 로드밸런싱 규칙(고정폭 bias 업데이트)은 routed-expert 풀이 ~10³ 규모로 커질수록 균형을 유지하기 어려워지며; Kimi K2.5의 비전 인코더조차 LLM에 붙이기 전 대조학습(SigLIP식)으로 사전학습돼 있어, end-to-end로 미세조정하면 잦은 gradient-norm 스파이크로 joint optimization이 불안정해진다.

Goal The explicit goal is an approximately 2.5× improvement in overall pretraining scaling efficiency (loss reached per FLOP) over Kimi K2, achieved through coordinated architecture, data, and training-recipe changes rather than parameter growth alone — while simultaneously supporting 1M-token context and the RL/reasoning-effort scaling the post-training stage needs.

목표 명시적 목표는 파라미터 증가만이 아니라 아키텍처·데이터·학습 레시피의 공동 설계를 통해 Kimi K2 대비 전체 사전학습 스케일링 효율(FLOP당 도달 loss)을 약 2.5× 개선하는 것이며, 동시에 후속학습 단계가 필요로 하는 1M 토큰 컨텍스트와 RL/추론-노력 스케일링을 함께 지원하는 것이다.

Method Four architectural changes are bundled together, one per axis of information flow. For sequence length: Kimi Delta Attention (KDA) extends the Kimi Linear delta-rule recurrence with a channel-wise forget gate, and — the key fix — replaces Kimi Linear's unbounded negative-softplus decay with a scaled-sigmoid lower bound (g_min = -5) so the chunkwise algorithm's reciprocal rescaling factor stays inside BF16 range at every tile, letting even the diagonal tile use dense Tensor Core matmuls instead of an explicit position-pair computation — a numerical fix that directly buys a hardware-efficiency win. KDA is interleaved with Gated MLA at a 3:1 ratio, and MLA layers drop positional encoding entirely (NoPE), relying on KDA's recurrent gating for position-sensitivity so the model extrapolates to 1M tokens without RoPE rescaling. For depth: Attention Residuals (AttnRes) give each layer a learned pseudo-query that retrieves from every preceding layer's output via a softmax-kernel attention over depth, restructured into an 8-block hierarchical form so memory overhead stays O(Nd) instead of O(Ld). For width: Stable LatentMoE expands the routed-expert pool from 384 to 896 (16 active per token, sparsity 56×) while adding RMSNorm before the up-projection and a new soft-capped SiTU-GLU activation to stop the near-four-consecutive-matmul routed path from exploding activations at 2.8T scale, plus Quantile Balancing (QB) — a histogram-estimated per-batch quantile rule for the router bias, replacing the fixed-step update that struggles once the expert pool approaches ~10³.

방법 정보 흐름의 축마다 하나씩, 네 가지 아키텍처 변경이 한데 묶인다. 시퀀스 길이 축에서는 Kimi Delta Attention(KDA)이 Kimi Linear의 delta-rule recurrence에 channel-wise forget gate를 더하고 — 핵심 수정으로 — Kimi Linear의 무한 negative-softplus decay를 scaled-sigmoid 하한(g_min = -5)으로 대체해, chunkwise 알고리즘의 역수 재스케일 인자가 모든 타일에서 BF16 범위 안에 머물게 한다. 그 결과 대각 타일조차 명시적 position-pair 계산 대신 dense Tensor Core matmul을 쓸 수 있다 — 수치적 안정성 수정이 곧바로 하드웨어 효율 이득으로 이어지는 사례다. KDA는 Gated MLA와 3:1 비율로 교차 적층되고, MLA 레이어는 위치 인코딩을 아예 제거(NoPE)해 KDA의 recurrent gating에 위치-민감성을 맡김으로써 RoPE 재조정 없이 1M 토큰까지 외삽한다. 깊이 축에서는 Attention Residuals(AttnRes)가 각 레이어에 학습된 pseudo-query를 부여해 앞선 모든 레이어의 출력을 softmax-kernel attention으로 되짚어 읽되, 8-block 계층 구조로 재구성해 메모리 오버헤드를 O(Ld) 대신 O(Nd)로 유지한다. 폭 축에서는 Stable LatentMoE가 routed-expert 풀을 384에서 896개(토큰당 16개 활성, sparsity 56×)로 늘리면서 up-projection 앞에 RMSNorm을 추가하고 새로운 soft-cap SiTU-GLU 활성화로 4단 가까운 연속 matmul을 지나는 routed 경로가 2.8T 규모에서 활성값 폭발을 일으키지 않게 막으며, 여기에 Quantile Balancing(QB) — 히스토그램으로 추정한 배치별 quantile 규칙으로 router bias를 갱신해, expert 풀이 ~10³에 근접하면서 한계에 부딪히는 고정폭 갱신을 대체한다.

Key idea Treat sequence length, network depth, and model width as three separate information-flow problems, each solved by its own dedicated mechanism (KDA, AttnRes, Stable LatentMoE) rather than asking one generic 'scale everything up' recipe to handle all three — like renovating a house's plumbing, wiring, and structural frame as three distinct engineering problems instead of one blanket upgrade, so each system can be pushed much further (1M context, 93 layers, 896 experts) without the others' failure modes compounding.

핵심 아이디어 시퀀스 길이·네트워크 깊이·모델 폭을 하나의 범용 '전부 키우기' 레시피가 아니라 세 개의 별개 정보흐름 문제로 보고, 각각을 전담 메커니즘(KDA·AttnRes·Stable LatentMoE)으로 푼다 — 집의 배관·배선·골조를 하나의 뭉뚱그린 업그레이드가 아니라 세 개의 독립된 공학 문제로 보수하는 것과 같아서, 각 시스템을 서로의 실패 모드가 누적되지 않은 채 훨씬 더 멀리(1M 컨텍스트, 93개 레이어, 896개 전문가) 밀어붙일 수 있다.

Validation The headline claim is validated the way scaling papers should be: fitted FLOPs-vs-validation-loss curves directly compare the Kimi K2 and Kimi K3 recipes on held-out OOD data, isolating the 2.5× efficiency gain from confounds like more training tokens. Individual components get their own ablations — e.g. a vision-tower gradient-norm comparison (Fig. 6) shows MoonViT-V2, trained from scratch with next-token prediction, stays stable throughout training while a SigLIP-initialized encoder spikes repeatedly under the same joint optimization. The full model is then evaluated on an extensive suite spanning long-horizon coding (DeepSWE, Terminal-Bench 2.1, FrontierSWE, an in-house Kimi Code Bench 2.0, ProgramBench, SWE-Marathon) and general/visual agentic tasks (GDPval-AA, BrowseComp, AutomationBench, JobBench, CharXiv, Zerobench) against Claude Fable 5, GPT-5.6 Sol, GPT-5.5, Opus 4.8, and GLM-5.2.

검증 헤드라인 주장은 스케일링 논문다운 방식으로 검증된다 — held-out OOD 데이터에서 Kimi K2와 Kimi K3 레시피의 FLOPs-대-검증손실 곡선을 직접 맞대어, 더 많은 학습 토큰 같은 교란 요인과 분리한 2.5× 효율 이득을 보인다. 개별 구성요소는 각자 ablation을 갖는다 — 예컨대 비전 타워 gradient-norm 비교(Fig. 6)는 next-token prediction으로 처음부터 학습한 MoonViT-V2가 학습 내내 안정적인 반면, 같은 joint optimization 아래 SigLIP-초기화 인코더는 반복적으로 스파이크함을 보인다. 완성 모델은 장기-호라이즌 코딩(DeepSWE, Terminal-Bench 2.1, FrontierSWE, 자체 Kimi Code Bench 2.0, ProgramBench, SWE-Marathon)과 일반/시각 에이전틱 과제(GDPval-AA, BrowseComp, AutomationBench, JobBench, CharXiv, Zerobench)를 아우르는 대규모 스위트에서 Claude Fable 5·GPT-5.6 Sol·GPT-5.5·Opus 4.8·GLM-5.2와 비교 평가된다.

Results Kimi K3 is a 2.8T-total / 104B-activated-parameter native multimodal MoE model with a 1M-token context window — versus K2's 1.04T/32.6B and 128K context, an 8× context extension. The architecture table shows layers growing 61→93 (+52%), attention heads 64→96 (+50%), routed experts 384→896 (+133%), and training context 128K→1M across the K2→K3 jump. Per the abstract, K3 'trails the most powerful proprietary models, namely Claude Fable 5 and GPT-5.6 Sol' overall, but 'consistently outperforms other open and proprietary models evaluated' in their suite — visible in Fig. 1's per-benchmark bars, where K3 leads the non-frontier comparison set on FrontierSWE and the in-house Kimi Code Bench 2.0.

결과 Kimi K3는 총 2.8T / 활성 104B 파라미터의 네이티브 멀티모달 MoE 모델로 1M 토큰 컨텍스트 창을 갖는다 — K2의 1.04T/32.6B·128K 컨텍스트 대비 8× 컨텍스트 확장이다. 아키텍처 비교표는 K2→K3에서 레이어 61→93(+52%), attention head 64→96(+50%), routed expert 384→896(+133%), 학습 컨텍스트 128K→1M로의 변화를 보여준다. 초록에 따르면 K3는 전체적으로 '가장 강력한 독점 모델인 Claude Fable 5와 GPT-5.6 Sol에는 뒤처지지만', 평가 스위트에서 '평가된 다른 오픈·독점 모델은 일관되게 능가한다' — Fig. 1의 벤치마크별 막대그래프에서 K3는 FrontierSWE와 자체 Kimi Code Bench 2.0에서 비-프런티어 비교군을 선도하는 모습으로 확인된다.

Comparison Beyond the FLOPs-efficiency comparison against its own predecessor Kimi K2, K3 is benchmarked head-to-head against the current proprietary frontier (Claude Fable 5, GPT-5.6 Sol, GPT-5.5) and other open/proprietary peers (Opus 4.8, GLM-5.2) across the coding and agentic suite. Architecturally it also positions itself against its own lineage: KDA extends Kimi Linear's delta-rule design (itself building on Gated DeltaNet/Mamba-2-style decay), Gated MLA extends DeepSeek-V2's latent-compression attention, and the deployment-time draft model reuses EAGLE-3's structure but trains it with a direct acceptance-rate objective (the LK loss) instead of the usual KL-divergence surrogate most speculative-decoding drafters use.

비교 전작 Kimi K2 대비 FLOPs 효율 비교를 넘어, K3는 코딩·에이전틱 스위트 전반에서 현재 독점 프런티어(Claude Fable 5, GPT-5.6 Sol, GPT-5.5)와 다른 오픈·독점 동료 모델(Opus 4.8, GLM-5.2)에 맞서 정면 비교된다. 아키텍처적으로도 자기 계보와 스스로를 위치시킨다 — KDA는 Kimi Linear의 delta-rule 설계(그 자체로 Gated DeltaNet/Mamba-2식 decay를 잇는다)를 확장하고, Gated MLA는 DeepSeek-V2의 latent-압축 attention을 확장하며, 배포 단계의 draft model은 EAGLE-3의 구조를 재사용하되 대다수 speculative-decoding draft 학습이 쓰는 KL-divergence 대리 목적함수 대신 acceptance-rate를 직접 최적화하는 LK loss로 학습한다.

Significance For an efficiency-focused reader, three moves stand out beyond the raw scale. First, KDA's lower-bounded decay is a clean example of a numerical-stability fix at the parameterization level directly removing a kernel-level bottleneck (the diagonal-tile position-pair computation) rather than merely working around it. Second, MXFP4 quantization-aware training is applied throughout the entire post-training stage (SFT and RL alike) specifically for the MoE expert weights that dominate memory at 2.8T scale — deployment cost is designed into training itself, not bolted on afterward as a PTQ pass — eliminating the usual train-inference precision mismatch. Third, the KDA-aware prefix cache (§5.4.1) has to jointly manage two structurally different cache types — the growing per-token MLA KV cache and the fixed-size-but-coarsely-checkpointable KDA recurrent state — by unifying them into one paged pool with independent hash granularities (512-token MLA hash blocks vs. sparse KDA checkpoint boundaries), which is a genuinely new systems problem hybrid-attention serving stacks will need to solve. The full open-weight release of a 2.8T/1M-context/MXFP4-deployment-ready model is itself a significant open-vs-proprietary data point.

의의 효율에 초점을 둔 독자에게는 순수 스케일을 넘어 세 가지 대목이 눈에 띈다. 첫째, KDA의 하한 decay는 파라미터화 층위의 수치 안정성 수정이 (단순 우회가 아니라) 커널 층위 병목(대각 타일의 position-pair 계산)을 곧바로 제거하는 깔끔한 사례다. 둘째, MXFP4 quantization-aware training이 SFT·RL을 막론하고 후속학습 전 단계에 걸쳐, 2.8T 규모에서 메모리를 지배하는 MoE 전문가 가중치에 특화되어 적용된다 — 배포 비용이 사후 PTQ가 아니라 학습 자체에 설계돼 있어, 흔한 학습-추론 정밀도 불일치를 애초에 없앤다. 셋째, KDA-aware prefix cache(§5.4.1)는 구조적으로 다른 두 캐시 타입 — 토큰마다 커지는 MLA KV cache와 크기는 고정이지만 성긴 지점에서만 체크포인트 가능한 KDA recurrent state — 를 독립된 해시 단위(512-토큰 MLA 해시 블록 vs. 성긴 KDA 체크포인트 경계)로 하나의 페이지 풀에 통합해 관리해야 하는데, 이는 hybrid-attention 서빙 스택이 앞으로 풀어야 할 진짜 새로운 시스템 문제다. 2.8T/1M-컨텍스트/MXFP4-배포-준비 모델의 완전 오픈 가중치 공개 자체가 오픈-대-독점 격차를 보여주는 유의미한 데이터 포인트다.

Limitations The abstract's own admission is the clearest limitation: overall performance still trails Claude Fable 5 and GPT-5.6 Sol. The paper does not include an explicit 'Limitations' section in its main body; two constraints are visible from the method description itself rather than stated as limitations — the coarse block-hash granularity KDA forces onto the unified prefix cache means requests shorter than one physical cache block (up to 6,144 tokens) cannot reuse any cached prefix at all, a real cost the paper resolves architecturally (decoupling hash granularity from checkpoint granularity) rather than denying (reviewer judgment: derived from §5.4.1's own description, not a stated limitation); and the KDA decay lower bound (g_min = -5) is fixed and hand-chosen for the reported tile size, with no discussion of whether a different context length or tile size would reopen the same numerical-range problem it was designed to solve (reviewer judgment).

한계 초록 스스로의 인정이 가장 명확한 한계다 — 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol에 뒤처진다. 논문 본문에는 별도의 'Limitations' 절이 없다. 다음 두 가지는 한계로 명시되기보다 방법론 서술 자체에서 드러난다 — KDA가 통합 prefix cache에 강제하는 성긴 block-hash 단위 때문에 하나의 물리 캐시 블록(최대 6,144 토큰)보다 짧은 요청은 캐시된 prefix를 전혀 재사용할 수 없는데, 논문은 이를 부정하기보다(해시 단위와 체크포인트 단위를 분리해) 아키텍처적으로 해소한다(리뷰어 판단: §5.4.1 서술에서 도출, 논문이 명시한 한계 아님); 그리고 KDA decay 하한(g_min = -5)은 보고된 타일 크기에 맞춰 고정·수동 설정된 값으로, 다른 컨텍스트 길이나 타일 크기에서 애초에 풀려던 것과 같은 수치 범위 문제가 재발할지는 논의되지 않는다(리뷰어 판단).

Future work No explicit future-work list appears in the sections read. The paper's own framing in §1 — that the open ecosystem has kept pace on the RL/test-time-scaling axis but lagged on raw pretrained scale, and that Kimi K3 exists to push both simultaneously — implies continued joint scaling of both axes as the natural next step for this line, though this is the reviewer's inference from that framing rather than an explicit stated plan (reviewer judgment).

향후 과제 읽은 section들에는 명시적 future-work 목록이 없다. 다만 §1의 자체 프레이밍 — 오픈 생태계가 RL/test-time-scaling 축에서는 보조를 맞췄지만 순수 사전학습 스케일에서는 뒤처졌고, Kimi K3가 두 축을 동시에 미는 존재라는 서술 — 은 두 축의 동시 스케일링을 이어가는 것이 이 계열의 자연스러운 다음 단계임을 시사한다. 다만 이는 그 프레이밍으로부터의 리뷰어 추론이지, 논문이 명시적으로 밝힌 계획은 아니다(리뷰어 판단).

Released resources Full model weights are released on Hugging Face (moonshotai/Kimi-K3) and the MoonshotAI/Kimi-K3 GitHub repository; the paper itself is arXiv:2607.24653 (CC-BY-NC-ND 4.0 license on the paper text).

자원 공개 전체 모델 가중치가 Hugging Face(moonshotai/Kimi-K3)와 MoonshotAI/Kimi-K3 GitHub 저장소에 공개돼 있다. 논문 자체는 arXiv:2607.24653(논문 텍스트에는 CC-BY-NC-ND 4.0 라이선스)이다.