Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Background Linear-time sequence models solve long-context recall in two structurally opposite ways. State-space models (SSMs) and linear Transformers write densely: every new token updates the entire fixed-size state, which is efficient but blurs old content together over time. Sliding-window attention (SWA) instead writes sparsely, giving each token its own slot, but only within a fixed window -- once a token falls outside that window it is gone for good, like a sticky-note board sized for exactly the last N notes: put down a new one and the oldest simply falls off the edge.

배경 선형-시간 시퀀스 모델들은 장문맥 recall 문제를 구조적으로 정반대인 두 방식으로 푼다. SSM과 선형 Transformer는 densely(밀집) 쓴다 -- 새 토큰이 들어올 때마다 고정 크기 상태 전체를 갱신하므로 효율적이지만 오래된 내용이 시간이 지날수록 서로 뒤섞인다. 슬라이딩-윈도우 어텐션(SWA)은 반대로 sparsely(희소) 쓴다 -- 토큰마다 자기 슬롯을 갖지만 고정된 윈도우 안에서만 유효해서, 윈도우 밖으로 밀려난 토큰은 영구히 사라진다 -- 정확히 최근 N개의 메모만 붙일 수 있는 포스트잇 보드와 같아서, 새 메모를 붙이면 가장 오래된 메모가 그냥 가장자리에서 떨어져 나가는 셈이다.

Problem No prior linear-time architecture treats where information gets written and how long it persists as two separate design choices -- SSMs and SWA each hard-code both at once, at opposite extremes. The paper names this the routing/decay tradeoff and frames it as a property of any fixed-memory sequence mixer, not just of attention, exposing a design space existing architectures had left implicit.

문제 기존의 어떤 선형-시간 아키텍처도 『정보를 어디에 쓸지』와 『얼마나 오래 유지할지』를 별개의 설계 선택지로 다루지 않는다 -- SSM과 SWA는 각각 이 둘을 양극단에서 한 번에 고정해버린다. 논문은 이를 routing/decay 트레이드오프라 명명하고, 이것이 어텐션만이 아니라 고정-메모리를 쓰는 모든 시퀀스 믹서에 적용되는 일반적 속성이라고 프레이밍하여, 기존 아키텍처들이 암묵적으로만 다뤄온 설계 공간을 명시적으로 드러낸다.

Prior limitations Dense SSM updates cause interference: because every token rewrites the whole state, a specific past token (say, a password mentioned once in a long prompt) can become hard to recover later even though the model in principle retains some trace of it. SWA's failure mode is the opposite and cruder -- a token is either inside the window and perfectly recoverable, or outside it and permanently evicted, regardless of how important that token actually is.

기존 한계 SSM의 밀집 갱신은 간섭(interference)을 낳는다 -- 모든 토큰이 상태 전체를 다시 쓰기 때문에, 긴 프롬프트 초반에 한 번 언급된 특정 토큰(예: 비밀번호)은 모델이 원칙적으로 그 흔적을 어딘가 보유하고 있어도 나중에 복원하기 어려워진다. SWA의 실패 방식은 정반대이면서 더 단순하다 -- 토큰은 그 중요도와 무관하게 윈도우 안에 있으면 완벽히 복원되고, 밖에 있으면 영구히 사라진다.

Goal Build a linear-time sequence mixer that keeps SWA's advantage -- dedicated, interference-free storage for specific tokens -- without inheriting its hard positional cutoff, and keeps SSMs' advantage -- unbounded context -- without inheriting their dense-write interference.

목표 SWA의 장점(특정 토큰을 위한 전담, 간섭 없는 저장 공간)은 유지하되 그 하드한 위치 기반 컷오프는 물려받지 않고, SSM의 장점(제한 없는 문맥)은 유지하되 그 밀집-쓰기 간섭은 물려받지 않는 선형-시간 시퀀스 믹서를 만드는 것이 목표다.

Method Raven keeps a fixed set of M memory slots, and at every step a learned, input-dependent router selects a Top-K subset of those slots to update; decay is then applied only to the slots just written, leaving every other slot completely untouched. SSMs are the special case where the router picks all slots every step (dense write, gradual decay everywhere); SWA is the special case where the router is a one-hot FIFO pointer (fully sparse, deterministic, hard eviction). Raven sits between the two by making the routing sparse and learned rather than fixed by position.

방법 Raven은 고정된 M개의 메모리 슬롯을 유지하고, 매 스텝마다 입력에 따라 학습되는 라우터가 그중 Top-K개 슬롯만 골라 갱신한다. decay는 방금 갱신된 슬롯에만 적용되고 나머지 슬롯은 전혀 건드리지 않는다. SSM은 라우터가 매 스텝 모든 슬롯을 고르는(밀집 쓰기, 전역 완만한 decay) 특수 사례이고, SWA는 라우터가 원-핫 FIFO 포인터인(완전 희소, 결정론적, 하드 eviction) 특수 사례다. Raven은 라우팅을 위치가 아니라 학습된 방식으로 희소하게 만들어 이 둘 사이에 자리한다.

Key idea The key move is decoupling the routing decision (which slot gets written) from the decay decision (how fast that slot forgets) -- two axes every prior architecture had implicitly fused into a single mechanism. Because the router is learned and content-dependent rather than positional, Raven can recognize a retrieval-critical token and route it into a slot that stays shielded from being overwritten, while ordinary tokens spread across shared slots that decay normally -- like a librarian who reserves a dedicated shelf for rare or frequently-requested books instead of leaving every book to cycle through the same rotating stacks. Standard Transformers achieve something similar by dedicating whole attention heads to retrieval; Raven gets the same effect inside one fixed-size state, at a much finer per-slot resolution.

핵심 아이디어 핵심은 『어느 슬롯에 쓸지(routing)』결정과 『그 슬롯이 얼마나 빨리 잊을지(decay)』결정을 분리한 것이다 -- 기존 아키텍처들은 이 두 축을 암묵적으로 하나의 메커니즘에 융합해왔다. 라우터가 위치가 아니라 학습된, 내용-의존적 판단이기 때문에 Raven은 검색에 중요한 토큰을 알아보고 그것을 덮어써지지 않도록 보호되는 슬롯으로 보내는 한편, 일반 토큰들은 정상적으로 decay되는 공유 슬롯들에 분산시킬 수 있다 -- 마치 사서가 희귀하거나 자주 찾는 책을 전용 서가에 따로 두고 나머지 책들만 순환하는 일반 서가를 돌리는 것과 비슷하다. 표준 Transformer는 어텐션 헤드 전체를 검색용으로 전담시켜 비슷한 효과를 내는데, Raven은 하나의 고정 크기 상태 안에서 슬롯 단위의 훨씬 더 미세한 해상도로 같은 효과를 낸다.

Validation The authors train 400M and 800M-parameter models on 15B tokens and compare against Transformer w/RoPE, gated linear attention (FoX), Mamba-2, and SWA baselines at a matched total memory budget (about 12.5M recurrent elements). Evaluation covers single Needle-in-a-Haystack (NIAH-1/2/3) at context lengths from 1K to 32K, three in-context recall benchmarks (SWDE, FDA, SQuAD), and standard language-modeling metrics (LAMBADA perplexity and average accuracy); ablations isolate router design (sigmoid vs. softmax gating, Gumbel noise during training, linear vs. MLP projection) and block components (output gate, short convolution).

검증 저자들은 15B 토큰으로 400M·800M 파라미터 모델을 학습시켜, 동일한 총 메모리 예산(약 1250만개 recurrent element) 기준으로 Transformer w/RoPE, gated linear attention(FoX), Mamba-2, SWA 베이스라인과 비교한다. 평가는 문맥 길이 1K~32K에 걸친 단일 Needle-in-a-Haystack(NIAH-1/2/3), 세 가지 in-context recall 벤치마크(SWDE·FDA·SQuAD), 표준 언어모델링 지표(LAMBADA perplexity·평균 정확도)를 포함하며, 라우터 설계(sigmoid 대 softmax 게이팅, 학습 중 Gumbel 노이즈, linear 대 MLP projection)와 블록 구성요소(출력 게이트, short convolution)에 대한 ablation도 별도로 수행한다.

Results At matched memory budget, Raven matches or beats every linear-time baseline on the recall-intensive benchmarks, and keeps working when extrapolated to context lengths 16x longer than its training length -- a regime where the SWA and dense-SSM baselines degrade sharply. It reaches this without the short-convolution or windowed-attention component that prior linear architectures lean on for local recall; the ablations show the router itself, not an auxiliary component, drives most of the gain.

결과 동일 메모리 예산에서 Raven은 recall-집약적 벤치마크 전반에서 모든 선형-시간 베이스라인과 동등하거나 이를 능가하며, 학습 문맥 길이보다 16배 긴 길이로 외삽해도 계속 작동한다 -- 이 구간에서 SWA와 밀집 SSM 베이스라인은 성능이 급격히 무너진다. 이 결과는 기존 선형 아키텍처들이 지역적 recall을 끌어올리기 위해 의존하는 short convolution이나 윈도우 어텐션 구성요소 없이 달성되며, ablation은 이 이득 대부분이 보조 구성요소가 아니라 라우터 자체에서 나온다는 것을 보여준다.

Comparison Against SWA, Raven trades blind FIFO position-based eviction for content-dependent slot allocation and selective decay, so a token's importance -- not just its recency -- decides whether it survives. Against dense SSMs like Mamba-2, Raven updates only a Top-K subset of slots per step instead of the entire state each time, which is the direct mechanical reason interference drops; the paper also shows the gains transfer when a Raven layer is composed inside a hybrid model alongside standard attention layers.

비교 SWA 대비 Raven은 위치 기반의 맹목적 FIFO eviction을, 내용 의존적 슬롯 배정과 선택적 decay로 대체한다 -- 즉 토큰의 최신성이 아니라 중요도가 생존 여부를 결정한다. Mamba-2 같은 밀집 SSM 대비로는 매 스텝 상태 전체가 아니라 Top-K개 슬롯만 갱신하는데, 이것이 간섭이 줄어드는 직접적인 메커니즘상의 이유다. 논문은 또한 Raven 레이어를 표준 어텐션 레이어와 함께 하이브리드 모델 안에 구성했을 때도 이 이득이 그대로 전이됨을 보인다.

Significance Read through an efficient-AI lens, this generalizes a question KV-cache eviction work usually asks only about attention -- which tokens to keep -- into a property of any fixed-memory linear mixer: routing and decay are independent knobs, and tuning them trades recall against a fixed compute/memory budget rather than changing that budget. That reframing gives a shared vocabulary for comparing SSM-style, attention-style, and hybrid memory designs on the same axis -- like handing every architecture family the same two dials (routing, decay) instead of each baking its own fixed combination of them into the design -- which matters for anyone designing the next hybrid (linear + full-attention) architecture.

의의 efficient-AI 관점에서 보면 이 논문은 KV-cache eviction 연구가 보통 어텐션에만 던지는 질문(『어떤 토큰을 남길까』)을, 고정-메모리를 쓰는 모든 선형 믹서의 일반적 속성으로 확장한다 -- routing과 decay는 서로 독립적인 조절 노브이며, 이 둘을 조정하는 것은 메모리 예산 자체를 바꾸지 않고도 recall과 그 예산 사이를 트레이드오프하게 해준다. 이 재구성은 SSM 계열·어텐션 계열·하이브리드 메모리 설계를 같은 축 위에서 비교할 수 있는 공통 언어를 제공한다 -- 각 아키텍처 계열이 routing과 decay의 조합을 설계 안에 고정해 굽는 대신, 모두에게 동일한 두 개의 다이얼(routing, decay)을 쥐어주는 것과 비슷하다 -- 이는 다음 세대의 하이브리드(선형+풀 어텐션) 아키텍처를 설계하는 사람에게 특히 유용하다.

Limitations Not stated in the paper -- there is no dedicated Limitations section in the main text. (reviewer judgment) Models are trained and evaluated only at 400M-800M-parameter scale on 15B tokens, so behavior at production LLM scale and longer training budgets is not directly demonstrated. (reviewer judgment) The router intentionally drops the standard MoE load-balancing loss to allow uneven slot usage by design -- a deliberate choice the paper does not stress-test for degenerate or collapsed routing beyond the benchmarks shown.

한계 논문 내 명시 없음 -- 본문에 별도의 Limitations 절이 없다. (리뷰어 판단) 모델은 15B 토큰 기준 400M~800M 파라미터 규모에서만 학습·평가되어, 프로덕션 LLM 규모나 더 긴 학습 예산에서의 거동은 직접 입증되지 않았다. (리뷰어 판단) 라우터는 슬롯 사용의 불균형을 의도적으로 허용하기 위해 표준 MoE의 load-balancing loss를 일부러 빼는데, 이는 의도된 설계 선택이지만 논문에 제시된 벤치마크를 넘어서는 퇴화·붕괴 라우팅 상황에 대해서는 별도로 스트레스 테스트되지 않는다.

Future work The paper explicitly names combining head-level routing (as used in some sparse-attention designs, where whole heads specialize for retrieval) with Raven's memory-slot-level router as a promising direction, which could push writes to be even sparser within the sequence mixer.

향후 과제 논문은 (일부 sparse-attention 설계에서 쓰이는, 헤드 전체를 검색용으로 전담시키는) 헤드 단위 라우팅을 Raven의 메모리-슬롯 단위 라우터와 결합하는 것을 유망한 방향으로 명시적으로 제시하며, 이는 시퀀스 믹서 내부의 쓰기를 한층 더 희소하게 만들 수 있다고 언급한다.

Released resources Code is released at the authors' GitHub repository, and the authors also published an accompanying blog post walking through the method -- both links verified reachable. No trained model checkpoints are mentioned in the material reviewed here.

자원 공개 코드는 저자들의 GitHub 저장소에 공개되어 있고, 저자들은 방법을 설명하는 블로그 글도 함께 게시했다 -- 두 링크 모두 접속 확인됨. 학습된 모델 체크포인트에 대한 언급은 이번에 검토한 자료에는 없다.