Valkey Router と Momento Cache によるビーコン取り込み
Valkey Router でライブイベントのテレメトリ取り込みを保護します。小さなビーコンをバッチ化し、関連イベントをまとめ、突発的なトラフィックをバッファリングしてから後段で処理します。

ライブイベントでは、多数のテレビ、ブラウザー、モバイル端末に利用が集中します。視聴や操作、再生状態の変化に応じて、これらの端末はビーコンを送信します。その結果、トラフィックが突発的に増大することがあり、その発生パターンを予測するのは困難です。重要な内部サービスは、視聴者の動向によって取り込みの量やペースが変わっても、イベントデータの処理を続ける必要があります。
ビーコンには、後段の分析に必要な信号を選んで収めた端末のテレメトリが含まれます。そのイベントデータは、視聴品質の監視、不正視聴の検知、パーソナライゼーションなどに使えます。どの信号を選ぶかは、分析だけでなく取り込みにも影響します。フィールドを追加するたびにペイロードが増え、その追加バイト数が、システムで受信して保持するビーコン全体にわたって積み重なります。
そのため、ビーコン取り込みには、端末のトラフィックと内部処理の間に保護のための境界が必要です。このアーキテクチャでは、Momento Valkey Router がゲートウェイ層でビーコンを受信し、端末の接続を管理して、転送するデータをバッチ化します。共有のオープンソース Valkey が関連するイベントを集め、後段のサービスで処理できるまでバッファリングします。ゲートウェイと Valkey を組み合わせることで、予測しにくい大量のビーコンを、内部サービスが無理のないペースで消費できる整理されたデータへと変えます。

Valkey Router と共有 Valkey によるイベント収集が、端末のトラフィックと後段のサービスの間に取り込みの保護境界を作ります。図中の Kafka、ClickHouse、S3 は後段の処理先の例です。
端末のトラフィックから内部サービスを保護する
ゲートウェイは、視聴者の端末接続と、内部インフラが支える接続を分離します。この境界がなければ、端末数の増加によって、ビーコン量とデータベースへの接続負荷の両方が増える可能性があります。この 2 つは異なる要求です。内部サービスにイベントを処理する能力が十分あっても、それを届ける接続の管理に苦労することがあります。
Valkey Router は端末の接続を処理し、Valkey への接続プールを再利用します。プールを使うことで、端末ごとに Valkey 接続を個別に作る必要がなくなります。ゲートウェイは、多数の端末からトラフィックを受けながら、データベースへの接続数を制御できます。Momento は、Valkey のオープンソースのストレージ基盤とともにこのゲートウェイ層を提供し、共有のイベント収集よりも手前に、端末向けの接続処理機能を配置します。
ゲートウェイは、イベント収集へのアクセスも制御します。認証とアクセスチェックによって、入ってきたトラフィックを内部インフラへ通してよいか判断します。HTTPS と TLS 終端が端末からゲートウェイまでの通信を保護し、カスタム証明書を使えば、デプロイ先で求められる証明書をエンドポイントに設定できます。こうした機能によって、端末のトラフィックがシステムに入る境界で接続とアクセスを処理します。
流入するトラフィックが次の処理段階を圧倒しそうな場合には、スロットリングで転送レートを制限します。ゲートウェイが、過剰なトラフィックがデータベースやコンシューマーに届く前に取り込みを制御します。コネクションプーリングとスロットリングは、同じ保護境界の異なる課題を担います。一方はデータベースへの接続数を制御し、もう一方は内部サービスへ届くデータのレートを制御します。
小さなビーコンをまとめて転送のオーバーヘッドを分担する
接続を管理しても、転送すべき小さなペイロードは大量に残ります。ビーコンを 1 件ずつ送ると、通信やリクエスト処理のオーバーヘッドが繰り返し発生します。この反復的な処理が取り込み能力の大きな部分を占めると、イベントデータを効率的に集める代わりに、小さなテレメトリを個別に運ぶことにリソースを費やしてしまいます。
Valkey Router は、一緒に扱えるビーコンをローカルでバッチ化してから転送します。複数のビーコンでバッチのオーバーヘッドを分担することで、ビーコン 1 件あたりの転送コストの反復を減らします。含まれるイベントデータは、引き続き収集できます。バッチ化はデータの運び方を変えるものであり、分析に必要な観測データをアプリケーションから削る必要はありません。
バッチ化には、まとめて送るデータがたまるまでゲートウェイで短時間待つという側面があります。ゲートウェイは、その待ち時間と蓄積するデータ量に上限を設けます。件数のトリガーは、十分な数のビーコンがたまるとバッチを送信します。タイマーは、待機間隔が終わると、それまでにたまったデータを送信します。混雑時には件数のトリガーによって、バッチがすぐに埋まります。閑散時にはタイマーによって小さなバッチも先に進められ、すぐには来ないかもしれない追加のトラフィックを待ち続けずに済みます。
サイズの上限によって、バッチに含めるデータ量を制限することもできます。選択した信号によってビーコンのサイズが変わるため、この制限は重要です。件数が適切でも、個々のビーコンのペイロードが大きければ、バッチのバイト数が多すぎることがあります。件数、時間、サイズの上限は互いに補完し合います。これらの上限でローカルの蓄積を制限しながら、転送効率と待機によって加わる遅延のバランスを取ります。
各ゲートウェイは、自分が受信したトラフィックからバッチを組み立てます。そのため、小さなペイロードが最初にたまる端末の取り込み地点に近い場所でバッチ化できます。ローカルのバッチは、転送効率を高めるために短時間データを保持します。一方、共有 Valkey によるイベント収集は、後段の処理に向けてイベントをより長く保持する役割を担います。また、あるパーティションのイベントの一部しか各ゲートウェイに届かない場合もあるため、別々のゲートウェイが効率よく作ったバッチを、適切な収集先へ届ける必要があります。
関連するイベントを同じ収集先に集める
ゲートウェイ層は、複数のインスタンスに取り込みを分散しますが、関連するビーコンが別々のゲートウェイへ届くことがあります。アプリケーションが定義したパーティションを処理するコンシューマーには、端末が異なっても、そのパーティションに関連するイベントがまとまっている必要があります。イベントがゲートウェイごとのローカルな収集先に分散したままでは、後段のすべてのコンシューマーが、それらを集める処理を担うことになります。
このアーキテクチャでは、ビーコンの属性からグループ化キーを決定的に導き出し、関連イベントをまとめます。すべてのゲートウェイが同じグループ化ルールを適用します。グループ化に使う属性が同じビーコンからは同じキーが得られ、関連する活動に一貫した論理アドレスを与えます。ゲートウェイは、このアドレスを使ってイベントデータを同じ Valkey シャードへルーティングします。共有の収集先に関連イベントを集約することで、後段で消費できるまとまりのあるデータストリームを作ります。
パーティション S42 に割り当てられたビーコンを、2 台の端末が送る場合を考えます。一方のビーコンはある Valkey Router インスタンスに届き、もう一方は別のインスタンスに届きます。どちらにもパーティション識別子が含まれ、両方のゲートウェイがそこからグループ化キー partition:S42 を導き出します。各ゲートウェイは、この論理アドレスを使って、関連するイベントデータを選択した Valkey シャードへ送ります。端末やゲートウェイが異なっても、そのパーティションのイベントは共有の収集先で合流します。
選択されたシャードは、共有 Valkey の収集基盤の一部であり、キーで区別された複数のグループを保持します。グループ化キーによって、ほかのパーティションのデータと並んでいても、そのパーティションのイベントの関連性を保てます。コンシューマーは、個々のゲートウェイから断片を集めることなく、収集済みのパーティションの活動を処理できます。これにより、ビーコンを受け取るゲートウェイと、関連イベントを集める先を切り離し、後段の分析に必要な関係性を保ちながら、取り込み層に端末のトラフィックを分散できます。

各ゲートウェイは、効率よくバッチ転送するためにイベントをローカルでバッファリングします。同じパーティションキーを使うことで、別々のゲートウェイから来た関連イベントを、同じ Valkey の収集先へ集めます。矢印は、印を付けた 3 件の S42 イベントを追っています。ほかのパーティションやシャードの配置は説明用の例です。
コンシューマーが処理できるまでイベントを待機させる
イベントを整理しても、後段のサービスが処理するより速く到着することがあります。トラフィックが急増すると取り込みはすぐに増えますが、コンシューマーはそれまでと同じペースで処理を続けるかもしれません。流入が一定でも、コンシューマーの処理速度が落ちれば同じ不均衡が生まれます。共有バッファーは、この差を保持する場所を提供します。
Valkey は、コンシューマーが処理するまで、収集したイベントデータを保持します。突発的な増加の間は、取り込みが消費を上回るにつれてバッファーが大きくなります。トラフィックが落ち着いたりコンシューマーの処理能力が増えたりすると、コンシューマーが追いつき、滞留分を減らせます。共有バッファーによって、データを保持できる容量の範囲内で、一時的にレートが釣り合わなくても、ゲートウェイはトラフィックの受信を続けられます。
その容量には限りがあります。待機するデータの量は、流入量と、後段で処理するまでの待ち時間の両方で決まります。ビーコンのペイロードが大きくなったり、トラフィックが増えたりすると、バッファーに入るデータ量が増えます。コンシューマーが遅くなれば待ち時間が長くなります。いずれも必要な容量を増やす可能性があり、同じライブイベント中に両方が起こることもあります。
通常運用からのこうした変化を吸収するのが、容量の余裕です。トラフィックの急増、消費が遅い時間帯、オートスケーリングで容量が増えるまでの間に備えて、保持できる空間を確保します。需要の増加にオートスケーリングが対応するには時間がかかります。応答を待つ間にたまるデータは既存の容量で保持する必要があるため、スケーリングは容量の余裕を補完するものであり、その代わりにはなりません。
このバッファーの役割は、ゲートウェイでのバッチ化とは異なります。ゲートウェイは、小さなビーコンを効率よく転送するために短時間待ちます。Valkey は、後段の処理が追いつくまで、収集済みのイベントを共有で保持します。この役割を区別すると、転送を効率化するだけでは、取り込みと消費の継続的な差を吸収できないことが分かります。
収集したイベントを後段のサービスへ渡す
後段との境界では、内部サービスは収集、グループ化、バッファリングを終えたイベントデータを受け取ります。取り込みアーキテクチャによって端末の接続はすでに処理され、関連イベントが共有の収集先に集まっています。コンシューマーは、そのデータをアプリケーションに必要な処理に使えます。
送信先には、イベント配信の Kafka、分析の ClickHouse、オブジェクトストレージの S3 などがあります。後段での役割は異なりますが、どのサービスも、引き渡し時点で利用できる整理済みのイベントデータから処理を始められます。取り込み境界は、データを生む端末のトラフィックに対応しながら、そのデータを準備する役割を担います。
ライブイベントのトラフィックを扱いやすくする
ゲートウェイと共有 Valkey バッファーは、役割を分担して内部処理を保護します。Valkey Router は端末の接続を処理し、取り込みを制御します。バッチ化は、小さなビーコンの間で転送のオーバーヘッドを分担します。決定的なグループ化キーによって、異なるゲートウェイから来た関連イベントが、まとまりのあるデータストリームへ集まります。共有バッファーは、取り込みと消費の一時的な差が解消するまで、イベントを待機させます。
これらの仕組みを組み合わせることで、境界が予測しにくい端末のトラフィックを処理する間も、内部サービスは整理されたイベントデータを処理できます。その効果を得るには、トラフィックに見合う十分な容量と、待ち時間に応じた保持容量が必要です。このアーキテクチャは、その関係を明確にし、効率的な取り込みと、ライブイベント中のリアルタイム処理を支える容量の余裕を結び付けます。
この境界を設計する際は、想定するビーコンのトラフィック、ペイロードのサイズ、グループ化の要件、後段の処理要件を Momento にご相談ください。お客様のワークロードやトポロジーに Valkey Router と共有 Valkey によるイベント収集をどう組み込めるか、一緒に検討します。