Anthropic, 메시지 API 응답 시작 시간 단축

Anthropic이 동사의 Messages API를 위해 'Message Threads'라고 불리는 새로운 기능을 출시했다. 이를 통해 AI 에이전트가 긴 대화를 처리할 때 응답 시작까지의 시간이 단축된다. 특히 대량의 텍스트를 주고받는 상황에서 효과가 크며, 50만~100만 토큰 규모의 요청에서는 첫 응답이 반환될 때까지의 시간(time to first token)이 약 35% 단축된다고 Anthropic이 발표했다.

이 기능이 해결하려는 과제는 AI와의 대화가 반복될수록 처리가 무거워진다는 구조적 문제다. 기존의 Messages API에서는 대화 교환이 한 번 늘어날 때마다 그 대화의 전체 이력을 종합하여 재전송하는 방식이었다. 즉, 대화가 길어질수록 매번의 요청에서 전송하는 데이터량도 늘어나고, 그만큼 응답이 느려진다는 과제가 있었다. 이는 AI 어시스턴트가 통합된 애플리케이션이나 여러 AI가 연계하여 동작하는 에이전트 시스템에 있어 실용상의 큰 병목이 되고 있었다.

Message Threads에서는 대화의 전체 이력을 매번 재전송하지 않고, 이전 교환으로부터의 '차이분', 즉 새로 추가된 부분만 전송하는 방식으로 변경된다. 이는 마치 문서를 통째로 복사하여 전송하는 것이 아니라, 변경된 부분만 알리는 것과 같은 이미지에 가깝다. 그 결과, 요청마다의 데이터 전송량이 대폭 감소하고, 응답 시작까지의 대기 시간이 단축된다.

이 개선이 특히 의미를 갖는 것은 장문의 대화나 복잡한 작업을 다루는 에이전트 지향 애플리케이션의 개발자들에게다. 예를 들어, 법률 문서의 읽기나 장기 프로젝트 관리를 지원하는 AI 도구에서는 한 번의 대화에서 다루는 정보량이 방대해지기 쉽다. 그러한 상황에서 응답 속도가 35% 향상되는 효과는 사용자 경험의 개선으로서 체감하기 쉬운 것으로 자리매김된다.

또한 이 변경은 API를 사용하여 제품을 개발하는 엔지니어들에게도 주목할 만한 움직임으로 볼 수 있다. 대규모 토큰 처리에서의 효율 개선은 단순히 속도 문제에 그치지 않고, 동일한 처리를 수행할 때의 비용 감소로도 이어질 수 있다. 클라우드 기반 AI API에서는 처리하는 토큰 수가 요금에 직결되는 경우가 많기 때문에, 차이분 전송을 통해 요청 전체의 토큰량이 감소하면, 개발자 측의 비용 구조에도 영향을 미칠 가능성이 있다.

AI 에이전트의 활용이 확대됨에 따라, 긴 문맥을 다루는 능력과 이를 효율적으로 처리하는 인프라의 정비가 각사의 경쟁 축의 하나가 되고 있다. Anthropic은 이번 Message Threads 도입을 통해 API의 실용성을 높이는 방향으로의 노력을 보여준 셈이라고 할 수 있다. 앞으로 유사한 효율화가 어떤 토큰 규모까지 확대될 것인지, 또한 다른 API 기능과 결합하여 어떤 개선이 가져올지가 개발자 커뮤니티의 주목점이 될 것이다.