인공지능이 인공지능을 이용하는 시대로 진입하다

인공지능이 인간보다 더 많은 인공지능을 사용하는 시대가 조용히 시작되고 있다. 여러 인공지능 모델을 일괄적으로 이용할 수 있는 API 게이트웨이인 OpenRouter에서는 2025년 2월 6일을 기점으로 인공지능 에이전트에 의한 토큰 소비량이 인간에 의한 그것을 상회하게 되었다. 토큰이란 인공지능이 문장을 처리할 때의 최소 단위로, 소비량의 많음은 곧바로 인공지능 이용의 규모를 나타내는 지표가 된다.

그 이후의 증가 추이는 대조적이다. 인공지능 에이전트에 의한 토큰 소비는 2월 6일 이후 약 14배로 확대되었다. 한편 인간에 의한 토큰 이용의 증가는 2.8배에 그쳤으며, 양자의 격차는 계속 벌어지고 있다. 이 수치는 개인이나 기업이 인공지능을 도구로서 사용할 뿐만 아니라, 인공지능이 다른 인공지능을 호출하여 작업을 진행하는 '에이전트형' 이용이 급속도로 주류가 되어가고 있음을 보여준다.

다만 비용 증가 속도는 소비량만큼 급격하지는 않다. 에이전트가 소비하는 토큰의 약 70%는 '캐시된 프롬프트'라는 메커니즘으로 처리되고 있다. 이는 한 번 사용한 프롬프트(지시문)를 재활용함으로써 통상적인 것보다 저렴하게 토큰을 처리할 수 있는 기능이다. 이로 인해 이용량은 14배로 증가해도 실제 비용 증가는 그보다 훨씬 완만하게 진행되고 있다는 것이다.

배경에 있는 것은 인공지능 에이전트 전체의 보급이다. 최근 여러 인공지능이 연계하여 오랜 시간에 걸친 복잡한 작업을 자율적으로 수행하는 '에이전트형 인공지능'의 개발과 도입이 가속화되고 있다. 종래의 인공지능 이용은 인간이 매번 지시를 입력하는 형태가 중심이었으나, 에이전트형에서는 한 번 목표를 주면 인공지능이 스스로 판단하여 여러 단계를 거치면서 태스크를 수행한다. 이러한 메커니즘에서는 1회의 작업으로 대량의 토큰이 소비되므로 소비량이 일시에 증가하기 쉬운 구조가 된다.

이 변화가 업계에 중요한 이유는 인공지능 인프라의 수요 구조 자체를 변화시키고 있다는 점에 있다. 그동안 인공지능 서비스의 수요는 주로 '인간이 몇 회 사용하는가'로 규정되어 왔으나, 에이전트형의 등장에 의해 '인공지능이 몇 회 인공지능을 호출하는가'라는 새로운 축이 추가되었다. 이 축은 인간의 행동 속도와 관계없이 움직이므로 수요의 예측이나 설계가 종래와는 크게 달라지는 것으로 볼 수 있다는 견해가 가능하다.

비용 측면에서는 캐시 기능이 완충재 역할을 하고 있다 하더라도, 에이전트형의 이용이 더욱 확대되면 인프라 비용에 미치는 영향도 무시할 수 없게 될 것이다. 향후로는 얼마나 효율적으로 토큰을 사용하면서 고도의 태스크를 수행할 수 있는가가 인공지능 에이전트의 경쟁력을 좌우하는 중요한 요소로 위치지어질 것이다. 이용의 '량'뿐만 아니라 '질과 비용 효율'이 문제되는 단계에 접어들고 있다고 볼 수 있다.