JioHotstar、AIコーディング向け検索手法を比較評価

インドの動画配信サービスJioHotstarが、AIコーディングエージェント向けのコード検索手法を体系的に比較した評価結果を公開した。対象となったのは6種類のアプローチで、複数のベンチマークと社内評価基盤を組み合わせて検証が行われた。

AIコーディングエージェントとは、人間の指示をもとにコードの生成や修正を自律的に行うAIシステムのことだ。こうしたエージェントが適切なコードを生成するためには、膨大なコードベースの中から関連する情報を素早く正確に引き出す「検索」の仕組みが欠かせない。どのような検索手法を使うかによって、エージェントの性能が大きく左右されるため、各社がその最適解を模索している段階にある。

JioHotstarの評価では、SWEベンチマーク、CodeScale Bench、そして社内で構築したQA（質問応答）ハーネスという3種類の評価環境が使用された。比較対象となった6つのアプローチはいずれもコード検索の手法として位置づけられており、それぞれ異なる特性を持つ。評価の軸としては、検索精度、AIモデルへの入力量（トークン使用量）、ツール設計の複雑さという3つの観点が設けられた。

結果として、構造的な検索手法は具体的なタスク、たとえば特定の関数名やクラスの場所を探すといった明確な目的のある作業で高い性能を示した。一方、要件が曖昧な場合や意図を言葉で表現しなければならない場面では、意味的な類似性にもとづくセマンティック検索が有効だったという。二つの手法はそれぞれ得意とする場面が異なり、一方がもう一方を完全に上回るという結果にはならなかった。

この評価が示す重要な示唆は、「万能な検索手法は存在しない」という点にある。タスクの性質に応じて適切な検索ツールを選ぶという設計判断が、AIコーディングエージェント全体の出来を左右するという見方ができる。トークン使用量の観点も見逃せない。AIモデルへの入力が増えるほどコストと処理時間が増加するため、精度と効率のバランスをどこで取るかという問題は、実運用上の重要な課題と位置づけられる。

AIコーディングエージェントの活用が企業の開発現場で広がるなか、このような実践的な比較評価の公開は、同様の課題に取り組む開発チームにとって参照価値のある知見となりうる。JioHotstarのような大規模なコードベースを持つ組織が独自の評価基盤まで構築して検証を行った点は、問題の複雑さと重要性を示しているという見方もできる。

今後の注目点は、単一の手法に頼るのではなく、タスクの種類を自動的に判別して検索手法を切り替えるハイブリッドな設計をどう実装するか、という点になりそうだ。検索精度・コスト・ツールの複雑さというトレードオフをどのように整理するかは、AIコーディングエージェントの実用化を進める上での共通課題と言える。