推論に訪れる Snowflake の転換点

10年前、Snowflake はストレージと計算を分離する価値を示しました。この1つのアーキテクチャ上の選択が、データウェアハウスと分析をどれほど変えたかは、強調してもしすぎることはありません。本質的に異なる動作をするシステムを切り離すと、それぞれ専用のハードウェアで、別々の最適化とコスト体系のもと、独立して拡張できます。

このパターンはデータウェアハウスだけのものではありません。その後、イベントストリーミング、検索、あらゆる種類のデータベースで繰り返されてきました。ストレージと計算を分離するたびに、新たな効率とアーキテクチャが生まれます。別の資源を増やすために、ある資源を過剰に用意する必要がなくなります。かつて不可能だったワークロードが、日常のものになります。

推論も、同じ変革の目前にあります。プリフィルで生成し、デコードで消費するアテンションの状態を保持する KV キャッシュが、共有ストレージ層として中心的な役割を担います。推論フレームワークが KV キャッシュを、内部の作業領域よりも耐久性のあるプラットフォーム資源として扱い始めるにつれ、同じ構造の変化が進んでいます。

本記事では、この進化を3つに分けて見ていきます。まず vLLM と周辺エコシステムがストレージと計算をどう分離し始めているか。次に、その分離を現在どこまで進められるかを決める帯域幅の壁。そして最後に、その壁を越えた先で何が可能になるかです。

ストレージと計算を分離する

プリフィルとデコードは、本質的に異なるワークロードです。プリフィルはコンテキストを取り込み、KV キャッシュを生成します。計算に制約され、GPU の演算器を集中的に使います。デコードは一度に1トークンを生成し、各ステップで KV キャッシュ全体を読みます。こちらはメモリ帯域幅に制約されます。同じ GPU 上で動かすと、段階間の資源競合に阻まれ、それぞれが周期的に停止します。

2つの段階を分離すると、興味深いことが起きます。書き込み経路（KV を生成するプリフィル）、読み取りまたはクエリ経路（KV を消費するデコード）、そして間の共有ストレージという構成になります。実際、vLLM はプリフィルとデコードの分離を、低レイテンシの書き込み後読み取りシーケンスとして実装しています。ルーターがプリフィルノードへの書き込みを開始し、データが利用可能になるのを待ってから、デコードノードへ出力を問い合わせます。

こうして分離すると、KV キャッシュは一時的な内部状態から、耐久性のある共有データへ格上げされます。共有されれば、他の価値あるデータと同じように、保存、移動、再利用、管理できます。

現在、各チームがこの道のりのどこにいるかは、シンプルな成熟度モデルで表せます。

段階1：ローカルオフロード。 現代の推論エンジンには、ローカルオフロードが組み込まれています。KV キャッシュは GPU メモリから CPU RAM、さらにローカル NVMe へあふれ出します。多くのチームはすでに何らかの形で使っています。クラスターを変えずに、容量を桁違いに増やせます。ただし各ノードのキャッシュは他のノードから見えず、同じコンテキストが複数マシンで再計算されます。

段階2：ピアツーピア共有。 あるノードが他の任意のノードから KV ブロックを取得できれば、クラスターの総メモリが1つの共有プールになります。容量はクラスターサイズに応じて増え、ノード間の再利用が冗長なプリフィルをほぼなくします。ただしキャッシュは RAM とローカルディスクにあるため、クラスターを再起動すると消えます。多くのハイパースケーラーは、ピアツーピア共有の一形態であるプリフィルとデコードの分離を、堅牢な本番環境へ展開することに注力しています。

段階3：リモートの永続ストレージ。 最終的に KV キャッシュは、Pod の再起動、ノード障害、クラスター全体のアップグレードを越えて残る、独立した耐久性のあるシステムへ完全に切り出されます。セッション間、ユーザー間の再利用が標準になります。アーキテクチャは複雑になりますが、明確なサービス境界が、より高度な機能と最適化への道を開きます。

Snowflake に当てはめると、見慣れた構成です。計算は vLLM や sglang を中心とする推論エンジン。ストレージは階層化された KV キャッシュで、性能、コスト、簡潔さを競うベンダーが増えています。サービスは、その上の AI ゲートウェイ、メモリ層、エージェント実行基盤、オーケストレーションなどです。3つの層が独立して拡張し、それぞれの速度で進化します。

ストレージ、つまり KV キャッシュが第一級のプラットフォーム資源へ進化する。これが推論における Snowflake の転換点です。

帯域幅の壁

理論は簡単です。制約が現れるのは実装です。計算とストレージをどこまで分離できるかを決める厳しい制約は、帯域幅です。

プリフィル中、推論エンジンはモデルとコンテキストの大きさに比例する量のアテンション状態を生成します。パイプラインを滑らかに流すには、この KV スループットを利用可能なネットワーク帯域幅に収める必要があります。帯域幅はハードウェアの接続方式により、HBM は1+ TB/s、NVLink や InfiniBand は100+ GB/s、Ethernet は1〜10 GB/sです。実用的なスループットの実現は、新しい推論アーキテクチャとハードウェアが共に進化する重要な要因でした。

データセンターを作るなら、さまざまな特殊なネットワークやストレージから選ぶ必要があります。大きな設備投資と引き換えに、システム構成の選択肢は大幅に増えます。それ以外の私たちは、クラウドプロバイダーが提供するものを使います。通常はノード内が NVLink、クラスター内が InfiniBand、それ以外は Ethernet で、配置の近さを制御できないこともよくあります。

幸い、適切に設計すれば、汎用ネットワークでも十分以上に対応できます。高性能な分散システムはよく理解された分野ですが、専門的な設計と慎重な運用が必要です。

Python の GIL の外で動かすなど、プロセス構成が重要です。ゼロコピーのデータ経路、TCP 調整、パイプライニング、圧縮を積み重ねて、データリンクを使い切ります。もう半分は階層型ストレージです。オブジェクトストレージの前に RAM、NVMe、Valkey や Redis の層を重ねることで、オブジェクトストレージ単体につきまとう長いテールレイテンシを平準化します。そして分散システム全体を活用する鍵が、ルーティングとオーケストレーションです。

これは、まさに Momento が解いている問題です。私たちのデータファブリックは、大規模にセッション状態を移動する AAA ゲームから、スーパーボウルのようなピークイベントのライブ配信基盤まで、1マイクロ秒が重要なハイパースケールのワークロード向けに作られています。

課題を具体化するため、標準的な Redis ベースの KV キャッシュと、Valkey、S3、ハイパースケールルーターを緊密に統合する私たちのハイブリッドストレージを比較しました。単純な Redis の方式は、利用可能な帯域幅のごく一部である0.3 GB/sしか出ません。適切な設計と慎重な調整により、Momento のスループットは30倍に伸び、10 GB/sの Ethernet リンクを使い切りました。

最終的には、飽和した複数のリンクを束ねることで、標準 Ethernet が特殊なデータファブリックと直接競合できます。しかも大幅に安く、柔軟で、移植しやすくなります。帯域幅とストレージが賢くなるにつれ、KV キャッシュを独立した汎用サービスへ切り出すのは自然な選択になります。

この先にあるもの

アテンション状態を共有の永続ストレージへ格上げすると、推論に新たな可能性が開けます。今後1年で注目すべき傾向を3つ挙げます。

知能密度が最も重要なパレートフロンティアになる。 KV スループットは分散構成の性能に直接影響します。幸い、研究者は少ないバイトにより多くの知能を詰め込み続けています。量子化、圧縮、アテンション構造には毎週驚くような進歩があります。Deepseek の最新 v4 モデルは、100万トークン分の状態をわずか10 GBに収めます。2026年に注目すべき競争は、知能密度です。

本番運用できる Prefill-as-a-Service。 Kimi と Mooncake を開発する Moonshot の研究者は最近、プリフィルとデコードの分離を極限まで進めました。異なるデータセンターの汎用 GPU 上でプリフィルとデコードを動かし、本番で使えるスループットを達成しました。独立したリモートストレージ層が機能することを、明確に示しています。今後の課題は、堅牢で本番運用に耐える展開です。

組み合わせ可能なアテンションの断片。 効率的なストレージ層の鍵は、KV キャッシュブロックの柔軟な再利用です。さまざまなハードウェアで複数モデルを動かしながら、コンテキストを常に圧縮、並べ替え、更新するエージェント型ワークロードでは特に重要です。CacheBlend のコンテキスト並べ替えや、ICaRus の複数モデル間の再利用など、アテンションを自由に組み合わせられるようにする革新に注目してください。

これらが合わさると、推論システムはアテンション状態を、事前計算し、永続保存し、クエリ時に結合し、アプリケーションの必要な構成で提供する、ウェアハウスのデータテーブルのように扱えるようになります。

コンテキストを第一級の資産として扱う

Snowflake の転換点は、単にストレージと計算を分けただけではありません。その構造の変化は、一時的で捨てられていた出力を、それ自体に価値のある永続的な資産として捉え直しました。

推論システム内のコンテキストにも、同じ変化が起きています。

• 入出力比率100:1のエージェント型ワークロードでは、コンテキストがコストの大半を占めます。
• 複数ターン、複数セッション、複数ユーザーでの再利用により、保持する価値が生まれます。
• 知能密度が上がり、移動と保存が安くなります。
• 新たな技法が、コンテキストをリアルタイムに組み合わせ、分散できることを示しています。

問いはもはや、プリフィルをどう速く計算するかではありません。コンテキストを第一級の資産として、保存、変換、構成し、同じ計算を二度と行わないようにするにはどうすべきかです。