값인하로 사라지지 않는 AI 비용 문제

DeepSeek이 주력 모델 'V3-Pro'의 제공 가격을 75% 인하했다. 표면상으로는 AI 개발자들에게 반가운 소식으로 보이지만, 기업 현장에서는 '비용이 줄었다'는 실감이 퍼지지 않고 있다. 그 이유는 모델의 단가가 내려가는 속도보다 AI 에이전트가 소비하는 토큰(AI의 처리 단위)의 량이 더 빠른 속도로 증가하고 있기 때문이다.

소프트웨어 업계에서는 지난 20년간 인프라 비용은 매년 내려가고, 애플리케이션의 성능은 계속 올라가는 법칙이 성립해 왔다. AI도 처음에는 같은 흐름을 탈 것으로 예상되었으며, 모델의 성능이 올라가고 가격이 내려가면, 추론 비용(AI에 질문할 때마다 들어가는 처리 비용)은 결국 무시할 수 있는 수준이 될 것이라고 많은 개발자들이 가정했다. 그러나 그 전제가 AI 에이전트의 확산으로 무너지고 있다는 견해가 가능하다.

종래의 챗봇은 사용자의 질문 하나에 대해 모델으로의 호출도 거의 하나로 충분했다. 한편, AI 에이전트는 같은 질문을 받았을 때, 계획 수립·정보 검색·도구 활용·결과 검증·요약·추가 판단 같은 여러 단계를 연쇄적으로 실행한다. 사용자에게는 최종 답변이 하나만 반환되지만, 그 뒷면에서는 모델로의 호출이 여러 번 반복되며, 그때마다 과금이 발생한다. 원문에서는 이를 '100배 문제'라고 부르고 있다.

구체적인 수치로 보면, 그 차이는 극히 크다. 일문일답의 챗봇에서는 사용자의 입력 1에 대해 시스템이 과금되는 처리량의 비율이 대체로 1대 5 정도에 머물러 있다. 그런데 고객 지원이나 법무 확인 같은 업무에 투입된 다단계 에이전트에서는, 같은 비율이 1대 700 이상에 달할 수 있다고 알려져 있다. 예를 들어 '지난주에 주요 고객으로부터 어떤 문의가 있었나'라는 한 문장의 질문이라도, 시스템 프롬프트의 반복 읽기·검색 결과 획득·여러 번의 모델 호출·출력 정형 등 7가지의 과금 대상 오퍼레이션이 실행되어, 총 약 3만 5000개 토큰 규모의 처리가 발생할 수 있다.

이러한 비용 구조는 AI 서비스를 제공하는 모델 공급자의 가격 책정에도 드러난다. OpenAI가 Y Combinator에 채택된 스타트업 기업에 대해 API 이용 크레딧 200만 달러 상당의 제공 프로그램을 제안했다는 것은, AI 네이티브 기업이 첫 해를 넘기기 위해 필요한 비용 수준을 보여 주는 사례로 읽을 수 있다. 이전의 기술 스타트업이 수천 달러 정도의 클라우드 크레딧으로 초기 개발을 해결할 수 있었던 것과 비교하면, 그 규모감의 차이는 두드러진다.

근본적인 문제는 모델의 단가를 내려도, 제품의 아키텍처 자체가 변하지 않으면 비용은 줄지 않는다는 점이다. 에이전트는 구조상 하나의 사용자 조작을 수십 개의 과금 오퍼레이션으로 변환한다. 루프마다, 그때까지의 대화 기록·도구의 출력·추론의 경과가 축적되어 다음 단계로 인계된다. 아무것도 생략되지 않기 때문에 토큰 수는 계속 쌓여간다. 단가의 인하는 그 경향을 완화하는 효과는 있지만, 구조적 문제를 해소하기에는 이르지 못한다.

AI 에이전트가 업무 시스템에 깊숙이 통합될수록, 이 비용 증폭 메커니즘은 더 뚜렷해진다고 볼 수 있다. 개발자와 기업에게는 모델의 가격뿐만 아니라, 에이전트의 설계가 얼마나 효율적으로 토큰을 사용할 수 있는지가 수익 구조에 직결되는 중요한 판단 축이 되어 가고 있다. 모델 가격의 경쟁이 계속되는 가운데, 다음 초점은 '얼마나 적은 토큰으로 같은 성과를 낼 것인가'라는 아키텍처 측의 고안으로 옮겨간다고 위치 지을 수 있다.