Anthropic、会話APIの応答開始を高速化

Anthropicは、同社のMessages API向けに「Message Threads」と呼ばれる新機能をリリースした。これにより、AIエージェントが長い会話を処理する際の応答開始までの時間が短縮される。特に大量のテキストをやり取りする場面で効果が大きく、50万〜100万トークンの規模のリクエストでは、最初の応答が返ってくるまでの時間（time to first token）が約35%短縮されるとAnthropicは発表している。

この機能が解決しようとしている課題は、AIと会話を重ねるほど処理が重くなるという構造的な問題だ。これまでのMessages APIでは、会話のやり取りが1回増えるたびに、その会話の全履歴をまとめて送り直す仕組みになっていた。つまり、会話が長くなればなるほど、毎回のリクエストで送信するデータ量も膨らみ、その分だけ応答が遅くなるという課題があった。これはAIアシスタントを組み込んだアプリケーションや、複数のAIが連携して動くエージェントシステムにとって、実用上の大きなボトルネックになっていた。

Message Threadsでは、会話の全履歴を毎回送り直すのではなく、前回のやり取りからの「差分」、つまり新たに加わった部分だけを送る方式に変わる。これはちょうど、ドキュメントを丸ごとコピーして送るのではなく、変更箇所だけを通知するようなイメージに近い。結果として、リクエストごとのデータ転送量が大幅に削減され、応答開始までの待ち時間が短くなる。

この改善が特に意味を持つのは、長文の会話や複雑なタスクを扱うエージェント向けアプリケーションの開発者にとってだ。たとえば、法律文書の読み込みや長期的なプロジェクト管理を支援するAIツールでは、一度の会話で扱う情報量が膨大になりやすい。そうした場面でレスポンスが35%速くなる効果は、ユーザー体験の改善として実感しやすいと位置づけられる。

また、この変更はAPIを使って製品を開発するエンジニアにとっても注目すべき動きという見方ができる。大規模なトークン処理における効率改善は、単に速度の問題にとどまらず、同じ処理を行う際のコスト削減にもつながりうる。クラウドベースのAI APIでは、処理するトークン数が料金に直結することが多いため、差分送信によってリクエスト全体のトークン量が減れば、開発者側のコスト構造にも影響を与える可能性がある。

AIエージェントの活用が広がるにつれて、長い文脈を扱う能力と、それを効率よく処理するインフラの整備が各社の競争軸のひとつになりつつある。Anthropicは今回のMessage Threads導入によって、APIの実用性を高める方向への取り組みを示した形といえる。今後、同様の効率化がどのトークン規模まで広がるか、また他のAPI機能と組み合わせてどのような改善がもたらされるかが、開発者コミュニティの注目点になるだろう。