Paper Review
MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
A systematic sub-billion design-space study showing that at 125M-350M scale deep-thin layouts, embedding sharing, GQA, and block-wise layer sharing buy accuracy per byte, yielding state-of-the-art on-device LMs.
Sub-billion 스케일에서는 deep-thin 레이아웃, embedding sharing, GQA, block-wise layer sharing이 byte당 정확도를 산다는 것을 체계적 design-space 탐색으로 보여 on-device LM의 SoTA 레시피를 세운 논문.
Background Serving LLMs from the cloud does not scale to civilization-level use: the paper opens by estimating that if LLM usage filled about 5% of each person's day, serving GPT-4 at 50 tokens/s would require on the order of one hundred million H100 GPUs. The on-device walls are just as hard — mobile DRAM is 6-12GB (iPhone 15: 6GB, Pixel 8 Pro: 12GB) and a single app should stay under roughly 10% of it, since DRAM is shared with the OS and other apps. Energy seals the argument: at about 0.1 J/token per 1B params, a 7B model burns 0.7 J/token and drains a ~50kJ iPhone battery in under 2 hours of 10-token/s conversation, while a 350M 8-bit model at 0.035 J/token could chat all day.
배경 클라우드 LLM 서빙은 문명 스케일에서 비용이 감당되지 않는다 — 논문은 사람들이 하루의 약 5%를 LLM과 보낸다는 가정에서 GPT-4를 50 tokens/s로 서빙하면 H100 약 1억 장이 필요하다는 추산으로 시작한다. 기기 쪽 벽도 똑같이 단단한데, 모바일 DRAM은 6-12GB(iPhone 15 6GB, Pixel 8 Pro 12GB)이고 OS·다른 앱과 공유되므로 단일 앱은 그 10% 정도만 쓸 수 있다. 에너지가 쐐기를 박는다: 약 0.1 J/token per 1B params 기준 7B 모델은 0.7 J/token을 소모해 약 50kJ의 iPhone 배터리로 10 tokens/s 대화를 2시간도 못 버티지만, 350M 8-bit 모델은 0.035 J/token으로 하루 종일 대화가 가능하다.
Problem Under a hard sub-1B parameter budget, it was undefined how to allocate parameters — depth vs width, embedding tables vs transformer layers, query heads vs KV heads — to maximize quality within mobile DRAM and battery limits. It is like furnishing a studio apartment: with almost no floor space, every piece of furniture must justify itself, and the real question is which pieces to bring in at all. The scaling-law consensus that data and parameter count dominate while shape barely matters had never been stress-tested at 125M scale.
문제 1B 미만이라는 단단한 파라미터 예산 아래에서 depth vs width, embedding table vs transformer layer, query head vs KV head를 어떻게 배분해야 모바일 DRAM·배터리 안에서 품질이 최대가 되는지가 정의되지 않은 상태였다. 원룸에 가구를 들이는 일과 같다 — 바닥 면적이 거의 없으니 모든 가구가 스스로를 정당화해야 하고, 진짜 질문은 애초에 어떤 가구를 들일지다. "데이터와 파라미터 수가 지배하고 형태는 부차적"이라는 scaling-law 통념은 125M 스케일에서 한 번도 제대로 시험된 적이 없었다.
Prior limitations Prior small models — OPT-125M/350M, GPT-Neo, Pythia, BLOOM, Cerebras-GPT — followed the scaling-law consensus that data and parameter count dominate, inherited shallow-wide shapes (OPT-125M: 12 layers), and treated architecture shape as secondary. Re-evaluated from open HuggingFace checkpoints under one consistent protocol, they leave substantial accuracy on the table at this scale. None was designed against the actual on-device constraints of DRAM residency and energy per token.
기존 한계 OPT-125M/350M, GPT-Neo, Pythia, BLOOM, Cerebras-GPT 등 기존 소형 모델은 데이터·파라미터 수가 지배한다는 scaling-law 통념을 따라 얕고 넓은 형태(OPT-125M은 12-layer)를 물려받았고 아키텍처 형태를 부차적으로 취급했다. 공개 HuggingFace 체크포인트를 동일 프로토콜로 재평가해 보면 이들은 이 스케일에서 상당한 정확도를 흘리고 있다. DRAM 상주와 token당 에너지라는 실제 on-device 제약에 맞춰 설계된 모델은 없었다.
Goal Establish a design recipe that maximizes zero-shot reasoning accuracy at fixed 125M/350M parameter budgets without adding any runtime memory. The only levers allowed are architecture shape and weight reuse — not more data or more parameters — and the result must pass deployment checks: W8A8 quantization compatibility and measured latency on a real phone.
목표 고정된 125M/350M 파라미터 예산에서 런타임 메모리를 전혀 늘리지 않고 zero-shot reasoning 정확도를 최대화하는 설계 레시피를 세우는 것이 목표다. 허용된 레버는 아키텍처 형태와 weight 재사용뿐이며(데이터·파라미터 증량 금지), 결과물은 W8A8 quantization 호환성과 실제 폰에서의 지연 측정이라는 배포 검증까지 통과해야 한다.
Method Models are trained from scratch (Adam, weight decay 0.1, lr 2e-3 with cosine decay) on 32×A100, exploring with 120k iterations on 0.25T tokens and training final models with 480k iterations on 1T tokens. Four levers are stacked sequentially, each kept only if the zero-shot average improves: SwiGLU FFN (42.6→43.9, +1.3pt), deep-thin layout (12→30 layers at 125M, 32 at 350M), input-output embedding sharing (16M params saved, 11.8% of the 125M model, reinvested into two extra layers), and GQA with 9/3 (125M) and 15/5 (350M) query/KV heads. On top of this baseline, MobileLLM-LS adds immediate block-wise layer sharing — each transformer block executes twice back-to-back — chosen over repeat-all-over and reverse sharing because the shared weights can stay in cache between the two passes.
방법 모델은 32×A100에서 scratch부터 학습하고(Adam, weight decay 0.1, lr 2e-3 cosine decay), 120k iteration·0.25T token으로 탐색한 뒤 최종 모델은 480k iteration·1T token으로 학습한다. 네 개의 레버를 순차적으로 쌓되 zero-shot 평균이 오를 때만 채택한다: SwiGLU FFN(42.6→43.9, +1.3pt), deep-thin 레이아웃(125M은 12→30 layers, 350M은 32), input-output embedding sharing(16M 절감, 125M 모델의 11.8%를 layer 2개 증설에 재투자), GQA(query/KV heads 125M은 9/3, 350M은 15/5). 이 baseline 위에 MobileLLM-LS는 immediate block-wise layer sharing을 얹는다 — 각 transformer block을 연달아 두 번 실행하는 방식으로, 공유 weight가 두 pass 사이에 cache에 머물 수 있어 repeat-all-over·reverse sharing 대신 채택됐다.
Key idea At sub-billion scale, architecture shape matters again: depth beats width, and parameters locked in embeddings can earn better rents elsewhere — contrary to the shape-indifference suggested by scaling laws. The second insight is hardware-native: LM decoding is memory-bound, so once weights are already resident in cache, running them a second time is nearly free — like reading the open page twice instead of walking back to the library stacks for another book; the cost is the trip, not the reading. Immediate block-wise sharing converts that free compute directly into accuracy with zero added parameters.
핵심 아이디어 Sub-billion 스케일에서는 아키텍처 형태가 다시 중요해진다 — depth가 width를 이기고, embedding에 묶인 파라미터는 다른 곳에서 더 높은 임대료를 벌 수 있다는 점에서 scaling law가 시사하는 형태-무차별과 어긋난다. 두 번째 통찰은 하드웨어 본성에 닿아 있다: LM decoding은 memory-bound라서 weight가 이미 cache에 상주해 있으면 한 번 더 실행하는 비용이 거의 공짜다 — 서가까지 다시 걸어가 다른 책을 가져오는 대신 펼쳐진 페이지를 두 번 읽는 것과 같고, 비용은 읽기가 아니라 왕복에 있다. Immediate block-wise sharing은 그 공짜 연산을 파라미터 증가 0으로 정확도로 환전한다.
Validation Pretrained models are evaluated on eight zero-shot commonsense benchmarks (ARC-e/c, BoolQ, PIQA, SIQA, HellaSwag, OBQA, WinoGrande) plus TriviaQA and RACE, with all baselines re-evaluated from HuggingFace checkpoints under an identical protocol. Downstream, fine-tuned models are tested on AlpacaEval (GPT-4 judge, text-davinci-001 reference) and MT-Bench for chat, and on a synthetic API-calling task scored by intent/structure exact match and Rouge. Deployment claims are verified directly: FP16 latency on an iPhone 13 (iOS 17.2.1) via ExecuTorch with the Metal (MPS) backend, and a per-token min-max W8A8 PTQ compatibility check.
검증 사전학습 모델은 8개 zero-shot commonsense 벤치마크(ARC-e/c, BoolQ, PIQA, SIQA, HellaSwag, OBQA, WinoGrande)와 TriviaQA·RACE로 평가하고, 모든 baseline을 HuggingFace 체크포인트에서 동일 프로토콜로 재평가했다. Downstream으로는 fine-tune 후 chat을 AlpacaEval(GPT-4 judge, text-davinci-001 reference)·MT-Bench로, API-calling을 intent/structure exact-match와 Rouge로 채점하는 합성 태스크로 검증한다. 배포 주장은 직접 확인한다 — iPhone 13(iOS 17.2.1)에서 ExecuTorch+Metal(MPS) backend로 FP16 모델 지연을 재고, per-token min-max W8A8 PTQ 호환성을 점검했다.
Results MobileLLM gains +2.7%/+4.3% average zero-shot accuracy over prior SoTA 125M/350M models (reaching 46.3/51.3), and layer sharing adds a further +0.7%/+0.8% (47.0/52.1) at identical parameter count. Fine-tuned MobileLLM-350M reaches 65.3% API-calling intent exact-match versus 62.8% for LLaMA-v2 7B, and MobileLLM-LS-350M scores a 48.2% AlpacaEval win rate against text-davinci-001 — whose self-win rate is 50%. On iPhone 13, layer sharing costs only 2.6% execution overhead (2.2% loading+init), versus +86%/+143% for a true 60-layer non-shared model, and W8A8 PTQ loses under 0.5pt.
결과 MobileLLM은 이전 SoTA 125M/350M 대비 평균 zero-shot 정확도 +2.7%/+4.3%(46.3/51.3 도달)를 얻고, layer sharing이 동일 파라미터 수에서 추가 +0.7%/+0.8%(47.0/52.1)를 더한다. Fine-tune된 MobileLLM-350M은 API-calling intent exact-match 65.3%로 LLaMA-v2 7B(62.8%)를 넘고, MobileLLM-LS-350M은 AlpacaEval에서 text-davinci-001 상대 승률 48.2%를 기록한다 — 이 기준 모델의 self-win rate가 50%다. iPhone 13에서 layer sharing의 실행 오버헤드는 2.6%(loading+init 2.2%)에 그쳐 진짜 60-layer 비공유 모델의 +86%/+143%와 대비되고, W8A8 PTQ 손실은 0.5pt 미만이다.
Comparison At equal size it beats OPT, GPT-Neo, Pythia, RWKV, BLOOM, Cerebras-GPT, Galactica, and LaMini-GPT across the zero-shot suite, all re-run under a single protocol. On chat benchmarks it surpasses even larger models — AlpacaEval win rates of 47.1/48.2 for MobileLLM(-LS)-350M versus 30.4 for Falcon-1.3B, 19.9 for BLOOM-1.1B, and 16.6 for Pythia-1B. Against LLaMA-v2 7B it wins on API-calling intent exact-match but trails on structure exact-match (48.8 vs 50.9) and Rouge.
비교 동급 크기에서는 OPT, GPT-Neo, Pythia, RWKV, BLOOM, Cerebras-GPT, Galactica, LaMini-GPT를 zero-shot 전 종목에서 이기며, 전부 단일 프로토콜로 재평가한 결과다. Chat 벤치마크에서는 더 큰 모델까지 넘는다 — MobileLLM(-LS)-350M의 AlpacaEval 승률 47.1/48.2 vs Falcon-1.3B 30.4, BLOOM-1.1B 19.9, Pythia-1B 16.6. LLaMA-v2 7B 상대로는 API-calling intent exact-match에서 이기지만 structure exact-match(48.8 vs 50.9)와 Rouge에서는 뒤진다.
Significance The paper established deep-thin plus weight sharing as the default recipe for sub-billion on-device LMs and showed that common on-device workloads — chat and API calling — do not require 7B-class models. To stretch the apartment analogy, it drew the floor plan that later small-model families moved into (reviewer judgment: the deep-thin consensus in subsequent sub-billion models traces largely to this study). It also reframed the efficiency axis from parameter count to accuracy per byte of DRAM and per joule, connecting architecture design to memory-hierarchy reality.
의의 이 논문은 deep-thin + weight sharing을 sub-billion on-device LM의 기본 레시피로 확립했고, chat·API calling 같은 흔한 on-device 워크로드에 7B급 모델이 필요 없음을 보였다. 원룸 비유를 잇자면 이후 소형 모델 패밀리들이 입주한 평면도(floor plan)를 그린 셈이다 (리뷰어 판단: 이후 sub-billion 모델들의 deep-thin 합의는 상당 부분 이 연구로 거슬러 올라간다). 또한 효율의 축을 파라미터 수에서 DRAM byte당·joule당 정확도로 옮겨, 아키텍처 설계를 memory-hierarchy 현실에 연결했다.
Limitations The paper itself reports that knowledge distillation from a LLaMA-v2 7B teacher slowed training 2.6-3.2× while giving comparable or inferior accuracy to plain label training — hiring the 7B tutor slowed the class without raising its grades. API-calling Rouge scores also trail 7B models, and the layer-sharing choice is an admitted trade-off: repeat-all-over sharing scores slightly higher (50.7 vs 50.2 at 350M on 0.25T tokens) but immediate block-wise was chosen for cache behavior. (Reviewer judgment) Evaluation centers on commonsense, chat, and API calling — long-context, multilingual, and coding abilities are untested, and latency is measured on a single device/backend (iPhone 13, Metal).
한계 논문 스스로 보고하기를, LLaMA-v2 7B teacher로부터의 knowledge distillation은 학습을 2.6-3.2× 늦추면서 정확도는 label 학습과 비슷하거나 더 나빴다 — 7B 과외 선생을 붙였는데 수업만 느려지고 성적은 오르지 않은 셈이다. API-calling Rouge도 7B 모델에 뒤지고, layer-sharing 선택 역시 명시된 트레이드오프다 — repeat-all-over가 약간 더 높지만(350M·0.25T에서 50.7 vs 50.2) cache 거동 때문에 immediate block-wise를 택했다. (리뷰어 판단) 평가가 commonsense·chat·API calling에 집중되어 long-context·다국어·코드 능력은 검증되지 않았고, 지연 측정도 단일 기기/backend(iPhone 13, Metal)에 한정된다.
Future work The paper has no explicit future-work section. Its own ablations mark the seams instead — repeating layers three or four times yields diminishing returns, and the accuracy-vs-cache tension between sharing orders (repeat-all-over vs immediate block-wise) is measured but not resolved. (Reviewer judgment) Scaling the recipe beyond 350M and combining it more deeply with quantization, sparsity, and KV-cache reduction are the natural next steps.
향후 과제 논문에 명시적 future-work 절은 없다. 대신 자체 ablation이 이음새를 표시해 두었다 — layer 반복을 3-4회로 늘리면 수확이 체감하고, sharing 순서(repeat-all-over vs immediate block-wise)의 정확도-cache 긴장은 측정만 되고 해소되지 않았다. (리뷰어 판단) 레시피의 350M 이상 확장과 quantization·sparsity·KV-cache 절감 기법과의 더 깊은 결합이 자연스러운 다음 단계다.
Released resources Training code is released on GitHub (facebookresearch/MobileLLM) and pretrained checkpoints on HuggingFace (facebook/MobileLLM-125M and siblings). The on-device latency numbers rest on the public ExecuTorch runtime with the Metal (MPS) backend, so the profiling setup is reproducible on commodity iPhones. The paper appeared at ICML 2024.
자원 공개 학습 코드는 GitHub(facebookresearch/MobileLLM), 사전학습 체크포인트는 HuggingFace(facebook/MobileLLM-125M 등)에 공개되어 있다. On-device 지연 수치는 공개 ExecuTorch 런타임 + Metal(MPS) backend 위에서 측정되어 일반 iPhone에서 재현 가능한 프로파일링 셋업이다. 논문은 ICML 2024에 발표됐다.
The research thread
Where this paper sits 연구의 흐름
MobileLLM stands where two older lines of work collide. One is the scaling-law line — Kaplan et al. (2020) and Chinchilla (Hoffmann et al., 2022) — which taught that loss is governed by parameter and token counts while shape is a second-order detail; the sub-billion baselines the paper measures against (OPT, GPT-Neo, Pythia, BLOOM, Cerebras-GPT) inherited their shallow-wide proportions from that teaching. The other is a scattered efficiency toolbox never assembled in one place: embedding tying from Press & Wolf (2017), cross-layer weight sharing from the Universal Transformer and ALBERT, and the MQA-to-GQA lineage (Shazeer 2019; Ainslie et al. 2023) that shrinks KV heads. MobileLLM invents no new lever — it audits all of them under one fixed budget, one set of on-device constraints, and one evaluation protocol.
What changes conceptually is the unit of accounting. Scaling laws treat a model as a point on the (parameters, tokens) plane; MobileLLM treats it as a resident of a physical memory hierarchy — the DRAM bytes it occupies, the bytes it moves per token, the joules it burns. Under that accounting, 'model size' splits into two currencies, storage and traffic, and they stop trading at par. Layer sharing is the purest expression of the split: parameters stay flat, FLOPs double, yet latency moves only 2.6%, because memory-bound decoding re-reads cache-resident weights almost for free. Depth beating width and embeddings having to earn their rent are corollaries of the same audit: at 125M, every parameter is judged by where it lives, not by what it counts as.
The floor plan gained tenants quickly. The deep-thin, tied-embedding, GQA recipe is visible across the small-model wave that followed — Hugging Face's SmolLM builders cite the depth-versus-width finding, Llama 3.2's 1B ships with tied embeddings, Apple's OpenELM pushes per-layer reallocation further, and Meta itself extended the line toward reasoning with MobileLLM-R1. The larger opening is that the memory-traffic lens does not stop at transformer shape: the same accounting that made re-running cache-resident weights nearly free now motivates linear-attention and hybrid designs such as Gated DeltaNet and MiniMax-01, where the operator itself is chosen for its memory behavior.
The tensions the paper leaves are concrete. Shape competes with data — the Phi series showed that data quality is an equally strong lever at small scale, and the two literatures rarely share a protocol, so which dominates is unsettled. Distillation sits unresolved: here a 7B teacher slowed training 2.6-3.2× for no gain, yet later small models lean heavily on distillation from larger parents. And the admitted accuracy-versus-cache trade in sharing order, measured on a single iPhone backend, begs re-measurement on NPUs, where deep-thin's longer serial chain may be billed differently. The likely next moves are mapping the crossover scale at which shape-indifference resumes, and grading recipes in joules across devices rather than points on one benchmark suite.
MobileLLM은 두 갈래의 오래된 연구가 부딪히는 지점에 서 있다. 한쪽은 scaling law 계열이다 — Kaplan et al.(2020)과 Chinchilla(Hoffmann et al., 2022)는 loss가 파라미터 수와 토큰 수에 지배되고 형태는 이차적 디테일이라고 가르쳤고, 이 논문이 비교 대상으로 삼는 sub-billion baseline들(OPT, GPT-Neo, Pythia, BLOOM, Cerebras-GPT)은 그 가르침으로부터 얕고 넓은 비율을 물려받았다. 다른 쪽은 한 번도 한자리에 조립된 적 없는 흩어진 효율 도구함이다: Press & Wolf(2017)의 embedding tying, Universal Transformer와 ALBERT의 cross-layer weight sharing, KV head를 줄여온 MQA→GQA 계보(Shazeer 2019; Ainslie et al. 2023). MobileLLM은 새 레버를 발명하지 않는다 — 고정된 예산 하나, on-device 제약 한 벌, 평가 프로토콜 하나 아래서 그 전부를 감사(audit)한다.
개념적으로 바뀐 것은 회계의 단위다. scaling law는 모델을 (파라미터, 토큰) 평면 위의 한 점으로 다루지만, MobileLLM은 모델을 물리적 memory hierarchy의 거주자로 다룬다 — 점유하는 DRAM byte, token당 움직이는 byte, 태우는 joule. 이 회계로 바꾸는 순간 '모델 크기'는 storage와 traffic이라는 두 통화로 쪼개지고, 둘은 더 이상 등가로 교환되지 않는다. layer sharing이 이 분리의 가장 순수한 표현이다: 파라미터는 그대로, FLOPs는 두 배인데 지연은 2.6%만 움직인다 — memory-bound decoding에서 cache에 상주한 weight를 다시 읽는 것은 거의 공짜이기 때문이다. depth가 width를 이기는 것도, embedding이 임대료를 벌어야 하는 것도 같은 감사의 따름정리다: 125M에서는 모든 파라미터가 '몇 개로 세어지는가'가 아니라 '어디에 사는가'로 심판받는다.
이 평면도는 빠르게 입주자를 얻었다. deep-thin + tied embedding + GQA 레시피는 뒤따른 소형 모델 물결 곳곳에서 보인다 — Hugging Face의 SmolLM 제작진은 depth-vs-width 발견을 인용했고, Llama 3.2의 1B는 tied embedding을 싣고 나왔으며, Apple의 OpenELM은 layer별 재배분을 더 밀어붙였고, Meta 스스로는 MobileLLM-R1으로 이 계보를 reasoning 쪽으로 연장했다. 더 큰 개방은 memory-traffic 렌즈가 transformer 형태에서 멈추지 않는다는 점이다: cache에 상주한 weight의 재실행을 거의 공짜로 만든 바로 그 회계가, operator 자체를 메모리 거동으로 고르는 Gated DeltaNet·MiniMax-01류의 linear-attention·hybrid 설계를 지금 밀어주고 있다.
논문이 남긴 긴장은 구체적이다. 형태는 데이터와 경쟁한다 — Phi 시리즈는 소형 스케일에서 데이터 품질이 그만큼 강한 레버임을 보였고, 두 문헌이 프로토콜을 공유하는 일이 드물어 어느 쪽이 지배적인지는 미결이다. distillation도 미해결로 남아 있다: 여기서는 7B teacher가 학습을 2.6-3.2× 늦추고도 이득이 없었지만, 이후의 소형 모델들은 더 큰 부모로부터의 distillation에 크게 기댄다. 그리고 sharing 순서의 정확도-cache 트레이드오프는 단일 iPhone backend에서만 측정된 채 인정되고 끝났다 — deep-thin의 더 긴 직렬 사슬이 다르게 과금될 수 있는 NPU에서의 재측정을 부른다. 다음 수순은 형태-무차별이 다시 시작되는 crossover 스케일을 지도화하는 것, 그리고 레시피를 단일 벤치마크 점수가 아니라 기기 전반의 joule로 채점하는 것일 공산이 크다.
Sparks — where one could take this 아이디어의 씨앗
-
One could turn the paper's negative distillation result — a 7B teacher slowing training 2.6-3.2× with no accuracy gain — into a mechanism study by sweeping teacher size and capacity gap at a fixed student budget. 논문의 부정적 distillation 결과 — 7B teacher가 학습을 2.6-3.2× 늦추고도 정확도 이득이 없었다 — 를 고정된 student 예산에서 teacher 크기와 capacity gap을 sweep하는 메커니즘 연구로 확장해볼 수 있다.
-
One could re-run the lever-stacking audit at 1-3B scale to locate the crossover point where the deep-thin advantage fades and scaling-law shape-indifference resumes. lever-stacking 감사를 1-3B 스케일에서 재실행해, deep-thin 이점이 사라지고 scaling law의 형태-무차별이 다시 시작되는 crossover 지점을 짚어볼 수 있다.
-
One could settle the admitted accuracy-versus-cache tension between repeat-all-over and immediate block-wise layer sharing by profiling both orders across heterogeneous mobile backends — NPU, GPU, CPU — rather than a single iPhone-Metal setup. repeat-all-over와 immediate block-wise layer sharing 사이의 인정된 정확도-cache 긴장을, 단일 iPhone-Metal 셋업이 아니라 NPU·GPU·CPU 등 이기종 모바일 backend 전반의 프로파일링으로 판정해볼 수 있다.
Seeds grounded in the paper's own stated limitations and open questions. 논문이 스스로 밝힌 limitations와 open questions에 뿌리를 둔 씨앗입니다.
Notes
Notes
MobileLLM is the canonical design-space paper for sub-billion on-device LMs: instead of proposing one trick, it measures how each architectural lever (depth vs width, SwiGLU, embedding sharing, GQA, layer sharing) pays off under a hard parameter budget, and its deep-thin recipe was picked up by most later small-model families. The layer-sharing result is the most interesting lens for efficiency work — it explicitly trades extra FLOPs for weights that stay resident in cache, the same compute-for-memory-traffic exchange that governs memory-bound decode at every scale. Its GQA and W8A8 findings also connect on-device architecture design to the KV-cache and quantization line of work.
작은 모델에서 아키텍처 형태가 scaling law보다 중요해진다는 관측은, 파라미터 예산이 아니라 메모리 트래픽이 병목인 구간에서는 설계 축이 달라진다는 일반 교훈으로 읽힌다.
Linked reviews
KIVI: A Tuning-Free Asymmetric 2-bit Quantization for KV Cache
Asymmetric KV quantization derived from element-distribution analysis — per-channel keys, per-token values — pushes the KV cache to tuning-free 2 bits, cutting peak memory 2.6x and lifting serving throughput up to 3.47x.
hybrid-architectureMiniMax-01: Scaling Foundation Models with Lightning Attention
One softmax-attention block per seven lightning (linear) attention blocks, scaled to a 456B-parameter MoE, matches GPT-4o-class quality while training at 1M-token context and extrapolating to 4M.
linear-attentionGated Delta Networks: Improving Mamba2 with Delta Rule
Unifies Mamba2-style gated decay with the delta-rule targeted memory update into a single hardware-efficient linear-attention layer that beats both parents and anchors strong hybrid stacks with sliding-window attention.
compressionBudget-Aware Compression Pipeline for Single-GPU LLM Inference: Methods, Trade-offs, and Coupling Effects
A systematic coupling study shows that quantization, pruning, and KV-cache compression do not simply add up when stacked -- and uses the resulting rules to fit a 70B model on a single 48GB GPU with a 10K-token context.
post-trainingDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Pure RL with rule-verifiable rewards (GRPO) incentivizes o1-level reasoning to emerge from a base model without supervised CoT, and the capability transfers to small dense models via distillation.
servingFreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
An edge-native MoE serving system that continuously repartitions GPU memory between KV cache and resident experts at runtime, letting consumer GPUs serve up to 753B-parameter models with 1.3-2.3x higher decode throughput than prior edge engines.
quantizationLiftQuant: Continuous Bit-Width LLM via Dimensional Lifting and Projection
A lift-then-project weight-quantization scheme that stores each weight block as a linear projection of a 1-bit lattice living in a higher-dimensional space, so the effective bit-width becomes a quasi-continuous dial (lifted dim / block dim) — e.g. Llama-3-70B at 2.4 bits exactly fills a 24GB GPU and clearly beats every 2-bit method forced onto the same card, with a lookup-table-free INT1-GEMM decode path.
video-diffusionMobileWan: Closing the Quality Gap for Mobile Video Diffusion
A 5B-parameter video diffusion transformer is converted into a constant-memory, chunk-wise autoregressive RNN-like process via recurrence distillation and causal linear attention, becoming the first 5B-scale video diffusion model deployable on a commercial mobile device.
quantizationPolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference
PolyQ is a CPU-oriented quantizer-compiler codesign that assigns per-channel bit-widths from a CPU-aligned {2,3,4,8,16} palette to hit any fractional average-bit budget, then clusters and permutes channels at compile time so the resulting mixed-precision layout runs on regular LUT/SIMD CPU kernels with almost no runtime reordering cost.