Grab, AI 에이전트 배포 시간을 2주에서 1시간으로 단축

동남아시아의 배차·배달 대형 업체 Grab이 사내 AI 에이전트 서비스를 일원관리하는 프레임워크 「LLM-Kit」을 도입했다. 이 시스템을 통해 새로운 AI 에이전트를 본운영 환경에 배포하는 데 걸리는 시간이 기존의 2주에서 단 1시간으로 단축되었다고 발표했다.

AI 에이전트란 인간의 지시를 받아 작업을 자율적으로 수행하는 AI 프로그램을 말한다. 기업이 AI를 실무에서 활용하려면 여러 시스템을 연결하고, 동작을 검증하고, 인증 정보(API 키 등의 기밀 정보)를 안전하게 관리하는 작업이 따른다. 이러한 것들을 개별적으로 설정하면 엔지니어의 업무량이 늘어나 배포 속도가 크게 제약된다. Grab이 직면했던 것도 바로 그러한 과제였다고 생각된다.

LLM-Kit은 이러한 작업을 표준화·집약함으로써 과제를 해결하는 프레임워크다. 현재 Grab 사내에는 500개를 넘는 에이전트 서비스가 이 시스템 위에서 작동하고 있다. 구체적으로는 서비스 간 연계를 정리하는 기능, 에이전트의 동작을 평가하는 메커니즘, 그리고 인증 정보를 안전하게 다루는 기능이 통합되어 있다. 또한 실행 중인 시스템이 필요한 도구를 동적으로 감지할 수 있는 「런타임 도구 발견」에도 대응하고 있으며, 활용하는 AI 모델을 유연하게 전환할 수 있는 설계가 되어 있다.

이 프레임워크의 핵심은 「인프라 관리의 중앙화」에 있다. 개발자가 개별 에이전트를 만들 때마다 기반 부분을 처음부터 구축할 필요가 없어지고, 필요한 기능을 미리 준비된 공용 기반에서 호출할 수 있게 된다. 이를 통해 개발자는 에이전트 자체의 설계·개선에 집중할 수 있다는 관점이 가능하다.

배포 시간이 「2주→1시간」이라는 변화는 단순한 효율화에 그치지 않는 의미를 갖는다. 2주라는 대기 시간은 빠르게 변화하는 비즈니스 환경이나 사용자 요구에 대한 대응을 지연시키는 요인이 될 수 있다. 그것이 1시간이 되면 가설을 세우고 시도하고, 결과를 보고 수정하는 사이클이 훨씬 더 빠르게 회전할 수 있게 된다. AI 개발에서 「실험에서 본운영 배포까지의 리드타임 단축」은 많은 기업들이 경쟁하듯이 추진 중인 과제이며, Grab의 이러한 취조는 그에 대한 하나의 해법으로 위치지어진다.

한편 LLM-Kit은 운용상 제어를 유지하는 것도 설계상의 요건으로 제시하고 있다. AI 에이전트를 대량·고속으로 배포할 수 있게 되는 반면, 품질 관리나 거버넌스가 뒷전이 되는 위험도 쉽게 발생한다. 평가 기능이나 인증 정보 관리를 프레임워크 측에 내장한 설계는 그러한 트레이드오프에 대한 인식을 보여준다고 할 수 있다.

향후 주목할 점은 유사한 프레임워크 접근 방식이 다른 대규모 테크 기업이나 AI 에이전트의 사내 활용을 진행 중인 일반 기업에 어떻게 확산되는지 하는 부분이다. LLM-Kit은 어디까지나 Grab 사내의 독자적 프레임워크지만, 그 설계 사상——표준화·중앙화·속도와 관리의 양립——은 AI 에이전트를 본격적으로 운용하려는 조직이 공통으로 직면하는 과제에 대한 해답으로서, 업계 전체에 시사를 주는 것이라 할 수 있다.