Valkey によるリモート KV キャッシュの実践的なアーキテクチャ
共有 Valkey キャッシュで推論ワーカー間の KV キャッシュを再利用します。Momento の RDMA/EFA ネットワーク、NVMe、オブジェクトストレージの各機能で階層化した構成を紹介します。

プレフィックスキャッシュが有効でも、推論ワーカー群が同じコンテキストを何度も処理することがあります。あるワーカーが有用な状態をローカルに保持していても、次のリクエストは別のワーカーに届きます。以前の計算結果が別のマシンに残っていたり、すでにキャッシュから削除されていたりするため、長い文書のプレフィックスを再計算することになります。
共有 Valkey 層を使えば、その結果を、互換性のあるすべてのワーカーからアクセスできる場所に置けます。Momento の RDMA モジュールと AWS EFA モジュールは、推論用 GPU と Valkey RAM 上の KV ブロックを直接結ぶ経路を提供します。NVMe モジュールはローカルディスクの容量を追加し、オブジェクトストレージコネクターは、低コストの長期ストレージへデータを非同期でフラッシュします。これらの機能により、個々のワーカーの寿命やメモリ容量の制約を超えて、再利用できる状態を保持できます。
運用マニュアルについての質問に答えるアシスタントを考えてみましょう。各プロンプトは同じシステム指示とマニュアルから始まり、その後に異なる質問が続きます。目標は、次の質問をどのワーカーで処理しても、この共通プレフィックスを再利用することです。
再利用できる状態を保持する
KV キャッシュには、過去のトークンに対して計算した attention のキーと値が含まれます。prefill は入力を処理して、この状態を作ります。decode はそれを使って応答を生成し、新しいトークンが加わるにつれて状態を拡張します。これらのテンソルを保持することで、生成中に作り直さずに済みます。
プレフィックスキャッシュは、リクエストをまたいで再利用を行います。後のプロンプトが同じトークン列のプレフィックスと互換性のあるモデル状態を持つ場合、エンジンは計算済みのキャッシュブロックを再利用できます。それでも、新しい質問の処理と回答の生成は必要です。話題が同じというだけでは不十分です。指示を変えたり、プロンプト内でマニュアルを後ろへ移したりすると、再利用できるプレフィックスが変わることがあります。
リモートでの再利用は、prefill と decode の分離とも異なります。分離構成では、この 2 つのフェーズを別々のワーカープールで実行するため、状態の引き渡しが必要です。共有キャッシュはその設計を支援できますが、両フェーズを同じワーカーで処理する場合にも役立ちます。マニュアルの例では、両方を処理するワーカーを使います。
推論とストレージの間に Valkey を配置する
推論ワーカーとは別のストレージノードに Valkey を配置します。GPU メモリは、実行中の推論に必要な状態を保持します。Valkey RAM は、ワーカー群で共有する再利用可能なブロックを保持します。Valkey ノードのローカル NVMe とオブジェクトバケットによって、保持できるワーキングセットを拡張します。
ストレージとコンピュートを分離すると、推論用 GPU を買い足さずにキャッシュ容量を追加できます。新規または置き換え後のワーカーからも、以前に計算したプレフィックスへアクセスできるようになります。Valkey は、モジュールによる拡張機構を備えたオープンソースのストレージ基盤です。Momento のモジュールが、このアーキテクチャに必要な転送機能とストレージ機能を追加します。
以下の参照設計では、下位層のブロックを Valkey RAM に一度読み込んでから転送します。配置、上位層への移動、調整の方法は、この参照設計で選択したアーキテクチャ上の方針です。

GPU への直接転送には Valkey RAM を使います。この参照設計では、下位層のブロックも RAM を経由して戻します。オブジェクトへの書き込みは、即時の再利用とは別に非同期で実行します。
ランタイムとの統合部分は、再利用可能なブロックを識別し、その利用可能性を調整して、テンソルを GPU が使えるキャッシュ状態にする処理を手配します。検索と一括データ転送には、それぞれ異なる役割があります。ブロックが見つかっただけでは、GPU がすぐに使える状態になったとは限りません。
ワーカー A がマニュアルを処理し、再利用の条件を満たす計算済みブロックを外部へ出力したとします。ワーカー B が別の質問を受け取ると、まずローカルキャッシュを確認します。ローカルでミスした場合、統合部分が Valkey に互換性のあるプレフィックスブロックを探します。RAM にヒットすると、Momento の RDMA モジュールまたは EFA モジュールが、そのブロックをワーカー B の GPU メモリへ移動します。その後、ランタイムは一致しなかったプロンプトの末尾部分を処理し、生成を続けます。
使えるブロックがなければ、ワーカー B がプレフィックスを計算します。新たに作られたブロックは、後続のリクエストで使えるよう、共有ストレージへ格納できます。検索が遅くても、回復可能なキャッシュミスが長い待ち時間にならないよう、取得には上限を設けます。まず RAM 上での再利用を機能させ、その後に、RAM だけでは保持しきれない有用なプレフィックスを残す方法へ進みます。
NVMe とオブジェクトストレージでワーキングセットを広げる
各層に明確な役割を与えます。Valkey RAM は、頻繁に使う共有プレフィックスを提供します。Momento の NVMe モジュールは、RAM の外でも保持する価値のあるブロック向けに、ストレージノードの容量を増やします。オブジェクトストレージは、数時間後、別のセッション、またはワーカーの置き換え後に再び使うかもしれないコンテキストを、より大きな保持層に残します。
この参照設計では、要求された NVMe 上のブロックを Valkey RAM に読み込み、同じ高速な転送経路で GPU へ送ります。ディスクは Valkey ノードにローカル接続されているため、推論ワーカーはストレージサービスを通じてアクセスします。すべてのマニュアルを各ワーカーのディスクに複製する必要はありません。
Momento のオブジェクトコネクターは、データを非同期でフラッシュします。RAM にあるブロックは、そのオブジェクトコピーを書き込んでいる間も再利用できます。そのため、即時の再利用をアップロードから切り離せますが、すべてのキャッシュ書き込みがすぐに永続化されるわけではありません。フラッシュが完了する前に、利用できる唯一のコピーが失われた場合、プレフィックスの再計算が必要になることがあります。
オブジェクトにヒットした場合、ここで提案する復帰経路では、保持していたブロックを Valkey RAM に読み込み、それから GPU にロードします。再起動後も互換性のあるオブジェクトを識別できるよう、保持する状態には復元可能な検索用メタデータも必要です。オブジェクトストレージは再利用できる期間を延ばしますが、取得時間はリクエストのレイテンシ予算に収まらなければなりません。必要なアクセス時間に対応できるストレージクラスを選びます。
格納対象の選択と保持のポリシーによって、この階層を有効に使えます。一度しか使わないプロンプトを次々に格納するよりも、再利用される可能性が高いブロックを優先します。コピーを使う転送が終わるまで、そのコピーを利用できる状態に保ちます。削除済みまたは互換性のない状態が利用可能なヒットとして見えないよう、検索用メタデータと下位層で有効期限を調整します。アーキテクチャを定める際は、容量と調整のトレードオフを検討してください。
ワーカーは、引き続き GPU キャッシュにロードした状態を使って attention を計算します。リモートの各層は、利用と利用の間に、再利用可能なブロックを保持します。古いプレフィックスを読み込んで GPU に配置するコストが再計算を上回る場合は、取得を適切なところで打ち切って再計算に切り替える方がよい判断です。この比較によって、ネットワークもキャッシュ設計の一部となります。
ワークロードに合わせてネットワークを選ぶ
推論を提供している負荷条件で、検索、下位層からの読み出し、GPU への配置を含めた実効的なブロック転送帯域幅を測定します。ネットワークの公称速度だけでは、ヒットした場合に prefill より速くなるか判断できません。同時に発生する推論トラフィックやキャッシュへの格納も、帯域幅を取り合います。
RDMA は、通常のソケットのデータ経路を通さずに登録済みのメモリ領域間でデータを移動し、オーバーヘッドを減らします。対応するハードウェアとソフトウェアがあれば、GPU への直接転送によって、推論ホストのメモリを経由したペイロードの受け渡しを避けられます。Momento は、この直接経路の Valkey 側を提供します。
AWS では、対応する GPU とストレージのエンドポイントで Momento の EFA モジュールを使います。プロビジョニングする前に、インスタンスの組み合わせと GPU への直接転送の対応状況を確認してください。EFA デバイスのトラフィックは、同じ Availability Zone と VPC の内部にとどまります。オブジェクトバケットは同じ Region に配置し、通常のオブジェクト API でアクセスします。
推論スタックを接続する
Momento Cache は、リアルタイムのワークロード向けに開発された Redis のオープンソースフォークである Valkey の主要な提供サービスです。Momento Cache と Valkey により、Snap、FOX、Coinbase、Capcom などの世界的な企業を支える、高性能なインフラを利用できます。
Momento は、SGLang、vLLM、LMCache との直接統合を提供します。推論スタックに合う経路を選んでください。マニュアルの例では、すでにワーカーを vLLM で動かしていれば、vLLM との直接統合から始めます。LMCache ですでにオフロードを管理していれば、Momento の LMCache 統合を使います。SGLang のデプロイ環境では、SGLang との直接統合が対応する入口となります。
両方のワーカーで、同じモデルのリビジョンとアダプター、一致するトークン化済みプレフィックス、互換性のあるテンソル表現と並列処理の配置が必要です。新しいモデルやキャッシュ形式には、専用の名前空間を用意します。共有範囲を、認可されたテナントや信頼グループに限定し、プレフィックスの一致とは別にストレージへのアクセスを保護してください。コンテンツハッシュだけでは、認可の境界にはなりません。これらの要件は、統合部分とデプロイ設定で扱い、アプリケーションコードはリクエストの処理に集中できるようにします。
共有キャッシュの効果を測定する
最初の検証構成には、互換性のある推論ワーカー 2 台、RAM と NVMe を備えた独立した Valkey ノード 1 台、オブジェクトバケットが必要です。選択したトポロジーに合う Momento のモジュールとランタイム統合を用意します。ディスクやオブジェクトからの取得を導入する前に、共有 RAM での再利用が機能することを確かめます。
長いマニュアルのプレフィックスをワーカー A に送り、次に同じプレフィックスと別の質問をワーカー B に送ります。比較対象のベースラインでも、ローカルのプレフィックスキャッシュは有効にしておきます。B にローカルコピーがなく、共有ストレージから互換性のあるブロックを取得することを確認します。同じ推論提供条件で、プレフィックスを再計算する場合と最初のトークンが返るまでの時間を比較します。
次に、ワーキングセットを RAM 層の容量より大きくして、NVMe の経路を試します。オブジェクトからの取得は、フラッシュが完了し、対応する制御方法で高速な層のコピーを取り除いたブロックで検証します。推論ワーカーを再起動し、ワーカーが入れ替わっても再利用できることを確認します。リモート層を利用できない場合も試し、取得を上限内で打ち切ってから再計算に切り替わることを確認します。
同時実行数が増えたときのテールレイテンシと転送時間を測定します。層ごとのヒット数と取得バイト数、GPU メモリの逼迫度、オブジェクトへのフラッシュ待ちを追跡します。結果を評価する際は、キャッシュのメモリ、ディスク、オブジェクトへのリクエスト、ネットワークのコストを含めます。取得コストを伴わないヒット率だけを見ると、高価なキャッシュを成功と誤認しかねません。
Valkey と Momento で KV キャッシュを高速化する
繰り返し使うプレフィックスを単一ワーカーのキャッシュより長く保持する必要があり、その状態の読み込みが再計算より速い場合、Valkey は実用的な選択肢です。Momento のモジュールは、共有 RAM 層を推論用 GPU に接続し、ディスクやオブジェクトストレージへも拡張します。導入に向けたアドバイスや検証の支援が必要な場合は、Momento にお問い合わせください。ソリューションエンジニアが、お客様の構成を一緒に検討します。