ElevenLabs、リアルタイム音声変換モデルを2種公開

音声AI企業のElevenLabsが、リアルタイムの会話に特化した新しい音声変換モデル「Eleven Realtime」を2種類リリースした。このモデルは音声をそのまま別の音声に変換する「スピーチ・トゥ・スピーチ」と呼ばれる技術を採用しており、AIとのリアルタイム会話を実現することを主な目的としている。

スピーチ・トゥ・スピーチとは、音声入力を一度テキストに変換することなく、音声から直接音声へと処理する技術だ。従来の多くの音声AIは「音声→テキスト→テキスト処理→音声」という複数のステップを踏むため、どうしても遅延が生じやすかった。ElevenLabsが今回選んだアプローチは、こうした変換ステップを省くことで応答の速さを追求するものと位置づけられる。

今回リリースされた2種のモデルのうち、上位にあたる「v1 Max」バリアントは、音声処理モデルの性能評価指標であるBig Bench Audioベンチマークで98.8%のスコアを記録した。また、応答にかかる時間は0.57秒とされており、ElevenLabsはArtificial Analysisのリーダーボード上で、この速度と精度を同時に上回るモデルは現時点で存在しないと発表している。

こうした数値が意味するのは、AIとの音声会話の「自然さ」に直結する性能だという点だ。人が人と会話するとき、0.5秒程度の間（ま）はほとんど気にならないが、それ以上になると不自然さを感じやすくなる。0.57秒という応答速度は、その境界線に近い水準であり、ユーザーが違和感なく会話できる可能性を示している。

リアルタイム音声AIをめぐっては、カスタマーサポートや語学学習、医療相談など幅広い応用が検討されている。こうした用途では「正確さ」と「速さ」の両立が不可欠であり、どちらか一方が欠けると実用的な利用が難しくなる。ElevenLabsが今回の発表でその両立を強調したのも、こうした市場の要件を意識した訴求と見ることができる。

音声AI分野ではここ数年、複数の企業が精度向上や低遅延化に向けた開発を進めており、競争が続いている。ElevenLabsはもともと音声合成（テキストから音声を生成する技術）で知られる企業だが、今回のリアルタイム音声変換モデルの投入によって、会話型AIの領域でも存在感を強めようとしている動きと見ることができる。今後は実際の利用場面での品質や、他社モデルとの比較検証が注目点になるだろう。