Cache-it 第 2 回: 埋め込み時代のインデックス設計と世界水準の検索システム

概要

注: Cache It は、パフォーマンスエンジニアリングと Valkey をテーマにしたポッドキャスト Unlocked に名称を変更しました。新しいエピソードを見逃さないよう、ぜひチャンネルをご登録ください。

Cache-it ポッドキャストの第 2 回では、Khawaja が Etsy のエンジニアリング担当バイスプレジデント Manju Rajashkhar を迎え、検索システムのインデックスについて対談します。まず、順方向インデックスや逆方向インデックスといった従来の方式を取り上げ、その後、Lucene や Elasticsearch などの現代的な検索エンジンで使われる転置インデックスの概念を掘り下げます。

Manju は、クエリの性質に応じて適切なインデックス方式を選ぶための知見を紹介し、検索システムが継続的に自己学習することの重要性を強調します。最後に、シアトルの MoCon 2023 で行った講演を紹介します。この講演では、現代のインデックス技術に対応した柔軟な検索システムの設計について、Manju の専門知識が共有されました。

Manju Rajashkhar について

Manju は Etsy のエンジニアリング担当バイスプレジデントとして、Machine Learning Enablement と Personalization Engine の二つのグループを率いています。顧客と製品を重視するリーダーであり、Etsy に在籍した 7 年間で、検索と機械学習、広告、レコメンデーション、ナレッジベース、主要な購入者体験など、複数のグループを率いてきました。Etsy に入る前は、検索と深層学習を手がける Blackbird AI の共同創業者兼 CTO を務め、同社は Etsy に買収されました。また、Twitter の初期エンジニアリングチームの一員として、アクティブユーザーが 5,000 万人から 2 億人へと増加する間、キャッシュシステムの構築と拡張を主導しました。Twitter の規模に対応するために開発したキャッシュソフトウェアの多くは、オープンソースとして公開されています。そのうち、よく知られる twemproxy と twemcache は、現在もスケーラブルな分散キャッシュの構築に広く使われています。Manju は Stanford 大学の大学院で、システムとアルゴリズムを専門とするコンピューターサイエンスの学位を取得しています。