ElevenLabs, 실시간 음성 변환 모델 2종 공개

음성 AI 기업 ElevenLabs가 실시간 대화에 특화된 새로운 음성 변환 모델 "Eleven Realtime" 2종류를 출시했다. 이 모델은 음성을 그대로 다른 음성으로 변환하는 "스피치 투 스피치"라고 불리는 기술을 채택하고 있으며, AI와의 실시간 대화를 실현하는 것을 주요 목적으로 한다.

스피치 투 스피치란 음성 입력을 한 번 텍스트로 변환하지 않고 음성에서 직접 음성으로 처리하는 기술이다. 종래의 많은 음성 AI는 "음성→텍스트→텍스트 처리→음성"이라는 여러 단계를 거치기 때문에 어떻게든 지연이 발생하기 쉬웠다. ElevenLabs가 이번에 선택한 접근 방식은 이러한 변환 단계를 생략함으로써 응답의 빠름을 추구하는 것으로 자리매김된다.

이번 출시된 2종의 모델 중 상위에 해당하는 "v1 Max" 바리언트는 음성 처리 모델의 성능 평가 지표인 Big Bench Audio 벤치마크에서 98.8%의 점수를 기록했다. 또한 응답에 걸리는 시간은 0.57초로 알려져 있으며, ElevenLabs는 Artificial Analysis의 리더보드에서 이 속도와 정확도를 동시에 상회하는 모델은 현 시점에서 존재하지 않는다고 발표했다.

이러한 수치가 의미하는 바는 AI와의 음성 대화의 "자연스러움"에 직결되는 성능이라는 점이다. 사람이 사람과 대화할 때 0.5초 정도의 간격은 거의 신경 쓰지 않지만 그 이상이 되면 어색함을 느끼기 쉬워진다. 0.57초라는 응답 속도는 그 경계선에 가까운 수준이며, 사용자가 위화감 없이 대화할 수 있는 가능성을 보여준다.

실시간 음성 AI를 둘러싸고는 고객 지원, 언어 학습, 의료 상담 등 광범위한 응용이 검토되고 있다. 이러한 용도에서는 "정확성"과 "속도"의 양립이 필수이며, 어느 한쪽이 부족하면 실용적인 이용이 어려워진다. ElevenLabs가 이번 발표에서 그 양립을 강조한 것도 이러한 시장의 요건을 의식한 전달이라고 볼 수 있다.

음성 AI 분야에서는 최근 몇 년간 여러 기업이 정확도 향상 및 저지연화를 향한 개발을 진행하고 있으며, 경쟁이 계속되고 있다. ElevenLabs는 원래 음성 합성(텍스트에서 음성을 생성하는 기술)으로 알려진 기업이지만, 이번 실시간 음성 변환 모델의 투입으로 대화형 AI 영역에서도 존재감을 강화하려는 움직임으로 볼 수 있다. 향후에는 실제 사용 현장에서의 품질과 다른 회사 모델과의 비교 검증이 주목점이 될 것으로 보인다.