FOX、リアルタイムデータ分析で Super Bowl の視聴体験を監視

概要：

FOX の Media Collection and Viewership Beaconing Service（MCVBS）は、視聴者データを収集・分析するシステムです。Momento、Amazon Athena、Amazon Simple Storage Service（Amazon S3）を活用し、記録を更新した Super Bowl LIX で、途切れないリアルタイム指標と正確な試合後の分析を提供しました。MCVBS は同時視聴者 1,550 万人の負荷を余裕をもって処理し、他のダッシュボードより最大 1 分早くリアルタイム指標を提供し、イベント中の可用性 100% を達成しました。試合当日には Tubi アプリから 250 億件を超えるビーコンを、毎秒約 200 万件の速度で円滑に取り込みました。

MCVBS は、各 Tubi 端末のプレイヤーから端末の種類、ストリーム情報、配信ネットワークなどの豊富なビーコン情報を受け取ります。Momento を活用したサーバー側の仕組みが、個々のビーコンの処理、保存、分析結果の報告を支えます。リアルタイムの分析により、FOX の運用担当者はデータに基づいて判断し、コンテンツ配信の最適化、視聴体験の向上、イベント中に発生する端末や CDN（コンテンツ配信ネットワーク）の問題の診断を行えました。

Momento は Amazon Athena と Amazon S3 を活用した詳細な事後分析も実現し、視聴のピーク時点、端末数、視聴者数、端末の種類を特定できるようにしました。Athena では分析したい問いを SQL クエリで簡単に表現できます。Momento Gateway が個々のビーコンを圧縮した Parquet バッチに変換することで、Athena は数 TB のビーコンデータを数秒で処理できました。

背景：

大型のストリーミングイベントは視聴者数の記録を更新し続け、注目度が高まっています。同時に、イベント中の問題が数百万人に影響し得るため、技術的な課題も増しています。最良の視聴体験を提供するには、対処につながる指標をリアルタイムで把握する必要があります。Mux や Conviva などの既存ツールは幅広い可視性を提供しますが、汎用的なクエリに最適化されているため、試合中の運用で必要になる即時性の高い情報の提供には十分ではありません。また、イベント中のすべてのビーコンのテレメトリーがあれば、端末別の UHD 視聴内訳や、視聴者数のピークの規模と時刻など、自由度の高い分析が可能になります。

FOX の MCVBS チームは、各端末から 10 秒に 1 回送られるクライアント側のビーコンを基に、可能な限り最新のデータを使って、ほぼリアルタイムの分析結果を提供するシステムを目指しました。当初は Amazon API Gateway で構築し、小規模なイベントでは機能していました。しかし Super Bowl のような視聴者数の多いイベントでは、リクエストの欠落やスロットリングが発生し、スケーラビリティの課題に直面しました。

解決策： FOX は Momento Gateway、Momento Cache、Amazon S3 をデータ基盤とする Amazon Athena を選択しました。数千万人規模のピーク視聴を円滑に吸収し、必要な情報を迅速に提供できる、堅牢なアーキテクチャを構築するためです。

各 Tubi 端末は 10 秒ごとに Momento Gateway へ直接ビーコンを送り、Super Bowl のハーフタイムショー中には端末数がピークの 1,550 万台に達しました。端末から接続を受ける Momento Gateway は、各ビーコンを変換してより大きなバイナリデータの塊にまとめ、Amazon S3 に保存しました。また、事前計算した指標を Momento Cache に直接保存し、ライブ視聴状況のダッシュボードを支えました。このダッシュボードは配信について独自のリアルタイム情報を提供し、FOX の運用担当者や経営陣が視聴体験の状況を把握できるようにしました。

あらかじめ定義した Momento のカウンターを使ってビーコンを非正規化し、複雑なビーコンデータを保存しやすい単純な形式に変換しました。これにより、取得を高速化するために事前計算した結果を保存するマテリアライズドビューから、主要な指標をすばやく参照できます。この指標がダッシュボードを支え、各ブラウザーは Momento Cache から必要な指標の値を取得するだけで、高速かつインタラクティブにリアルタイム指標を表示できました。

Momento Gateway はビーコンを処理すると同時に、より大きなファイルへバッチ化しました。分析を高速化する列指向のデータ形式 Parquet に変換し、ZSTD で圧縮して Amazon S3 へ送信しました。これにより FOX は、SQL で簡潔に記述した多様なクエリを使い、Athena でビーコンを分析できるようになりました。

「Amazon S3 へのデータストリーミング対応の追加には 1 日もかかりませんでした。Athena の力を余すところなく使えるようになり、十分に価値がありました。何より、試合中でも Athena とリアルタイム指標との差は 20 秒未満でした。想定外の事象を診断する複雑な分析を、ほぼリアルタイムで実行できたのです」と、Momento の創業エンジニア Ellery Addington-White は述べています。

Athena のクエリはクライアント側ビーコンのデバッグに大きく貢献し、本番の試合に向けて MCVBS をより堅牢にしました。SQL クエリで不整合を見つける方法は、非常に強力で使いやすいものです。

高性能なインメモリデータストアである Momento Cache は、Momento Gateway から読み込んだ事前計算済みの指標へ低レイテンシでアクセスできるようにしました。また、ユーザーが Athena に実行したクエリの結果もキャッシュし、よく使われる分析リクエストの性能を向上させました。データは Momento Gateway を介して Momento Cache から読み取られ、FOX のエンジニアと経営陣向けの社内ダッシュボードに表示されます。

試合当日に確実に備えるため、チームは想定ピーク視聴者数の 2 倍をシミュレーションし、厳密な負荷テストを実施しました。その結果、このアーキテクチャが膨大なトラフィックを余裕をもって処理できることを確認しました。

成果： Momento と AWS を活用する MCVBS は、試合中、FOX のエンジニアと経営陣に分析機能を稼働率 100% で提供しました。完全なサーバーレスアーキテクチャが視聴需要の急増に合わせて円滑にスケールし、予想を上回る視聴者数でもオブザーバビリティを途切れさせませんでした。実際、Momento Gateway は 1,550 万台の端末からピーク時に毎秒 180 万件のメッセージを、配信エラーなしで処理しました。

Momento Gateway と Momento Cache は Super Bowl のトラフィックを円滑に処理し、1,550 万の同時接続と毎秒約 200 万件のビーコンを、エラーもビーコンの欠落もなく管理しました。

「これほどの負荷を円滑に吸収するには、入念な準備、負荷テスト、優れた運用が必要です。Momento では日々そのための鍛錬を積んでいます」と、Momento の CTO 兼共同創業者 Daniela Miao は述べています。

FOX、AWS、Momento の協力により、ライブスポーツ放送の極めて厳しい要求にも確実に応えるソリューションが生まれました。Momento と AWS の強力で高性能なコンポーネントは、毎秒数百万件のイベントを余裕をもって処理しました。MCVBS を通じて FOX は、メディア企業だけでなく、ゲーム、金融、広告技術などの分野でも、大規模なリアルタイムデータ処理を活用するための手本を示しています。

インフォグラフィック全体をダウンロード