分離型 LLM 推論、第3回：ネットワーク基盤の準備が整っていないかもしれない理由

本シリーズの第1回と第2回では、いつ分離するか、リクエストが適切な GPU をどう見つけるか、KV キャッシュが段階間をどう移動するかを扱いました。そのすべてが、実際にバイト列を運べるデータプレーンを前提にしています。

上位に賢いルーティング、中間にオーケストレーションのポリシーがあっても、複数ギガバイトをミリ秒単位で GPU 間転送する必要があります。

標準的な方式では、明らかに不十分です。PyTorch の通常のシリアライズは 1 GB/s未満で頭打ちになり、3 GBの KV キャッシュなら3秒以上何も進みません。次に思い浮かぶのは NCCL ですが、これは学習用に作られています。起動時に決まる静的なトポロジー上の AllReduce、AllGather など、集合通信のパターン向けです。分離型推論が必要とするのは、ルーターがリクエストごとに選ぶプリフィルノードとデコードノード間の、ポイントツーポイント転送です。

専用の代替手段が3つ登場し、それぞれ異なる課題を解決しています。NIXL（NVIDIA Inference Xfer Library）はメモリの抽象化層です。HBM、DRAM、NVMe、S3 を共通の「メモリセクション」として公開し、アプリケーションが意識しなくても、下層で NVLink、GPUDirect Storage、InfiniBand、RoCE から最適な転送方式を選びます。UCCL（Unified Collective Communication Library）は、データ移動で GPU の計算資源を消費せず P2P 転送を行います。NCCL は転送自体にストリーミングマルチプロセッサーを使いますが、UCCL は使いません。NVIDIA と AMD の GPU に対応し、NCCL 形式の集合通信と、明示的な読み書き API の両方を公開します。NCCL の使いやすさを SM の負担なしに得られ、NIXL の読み書き経路が要求する帯域外のメタデータ調整も省けます。Mooncake の Transfer Engine は帯域幅に特化し、ハードウェアのトポロジー行列を参照して転送ごとに最も近い NIC を選び、NUMA のボトルネックを回避します。4×200 Gbpsで87 GB/s、8×400 Gbpsで最大190 GB/sに達し、最適化した TCP の約2.4〜4.6倍です。

実際の比較はどうでしょうか。UCCL チームは、400 Gbps NIC（リンクあたり50 GB/s）で接続した、8 GPU の AMD MI300X ノード2台で4方式を比較しました。KV 転送で一般的な256KB〜1MBのメッセージでは、NIXL と UCCL P2P は両方ともリンクを使い切ります。NCCL/RCCL は30〜50%遅く、SM 使用の負担が表れます。10MB以上では SM の負担が分散され、差が縮まります。意外だったのは、Mooncake TE が100MBのメッセージでも単一の50 GB/sリンクを使い切れなかったことです。複数 NIC での優れた合計値と食い違う点を、UCCL の著者も指摘していますが、十分には説明できていません。

選択は、実際の課題によります。異種メモリ階層には NIXL、異なるベンダーの GPU 間で計算資源を効率よく使う P2P 転送には UCCL、多数の NIC に並列化でき、合計帯域幅を追求するなら Mooncake TE です。

これから向かう先

分離構成は LLM サービングのボトルネックをなくしません。場所を変えます。「より大きな GPU を買う」という一体型の時代は、購入したアクセラレーターよりも、スケジューリングの精度、キャッシュ階層のポリシー、データプレーンの品質が重要な、分散システムの時代へ移りつつあります。キャッシュを考慮したルーティング、内容のハッシュで管理する階層型ストレージ、RDMA 転送は、いずれも機械学習固有の概念ではありません。分散キャッシュプラットフォームが10年にわたって磨いてきた基本要素です。

これまでで最も明確な本番導入の兆候は、3月に AWS と Cerebras が発表した Bedrock サービスです。プリフィルを AWS Trainium、デコードを Cerebras CS-3 で実行し、異なるベンダー、異なるチップ、異なる段階を Elastic Fabric Adapter でつなぎます。本シリーズで説明してきた構造は、研究デモではなく、マネージド製品として提供される段階にあります。接続の両端のチップを別々の企業が作るとき、それらをつなぐデータプレーンは実装の詳細ではなく、製品そのものになります。

LLM サービング基盤は、どこからでもアドレス指定できる階層型キャッシュネットワークに、計算層を載せたものへ変わりつつあります。最良のユーザー体験を提供するのは、H100 を最も多く持つチームではありません。推論パイプラインを、まずキャッシュ、その次にモデル実行エンジンと捉え、それに必要な運用規律を備えるチームです。Momento では、テールレイテンシ、輻輳、ヒット率の計算を何年も追う中で、その規律がキャッシュシステムに育つ過程を苦労とともに見てきました。それが1層上で再び起きる様子には、驚くほど見覚えがあります。