TOTVS가 기업 데이터를 AI 에이전트용으로 설계하는 방법 공개

브라질의 대형 ERP 벤더 TOTVS의 Fabiane Nardon 담당자가 AI 에이전트에 대응하는 기업 데이터 기반의 설계 방법을 공개했다. AI 에이전트란 인간의 지시를 받아 자율적으로 작업을 실행하는 AI 시스템으로, 대량의 데이터를 참조하면서 동작한다. Nardon 담당자는 이러한 에이전트가 효율적으로 동작할 수 있도록 기업 내 데이터 계층을 어떻게 정비할지를 상세히 설명하고 있다.

AI 에이전트의 보급에 따라 기업이 직면하는 과제 중 하나가 '토큰 비용'이다. 대규모 언어 모형(LLM)은 텍스트를 '토큰'이라는 단위로 처리하며, 참조하는 데이터량이 증가할수록 비용과 처리 시간이 늘어난다. 특히 수발주나 재고 관리 같은 업무 시스템(트랜잭션 시스템)의 데이터를 그대로 AI에 전달하면 불필요한 정보까지 대량으로 전송하게 되기 쉽다. TOTVS 같은 ERP를 핵심으로 하는 기업에게 이 문제는 피할 수 없는 실무 과제로 위치지어진다.

Nardon 담당자가 소개한 방법 중 하나가 '데이터 메시'다. 이는 데이터를 한 곳에 집중 관리하는 것이 아니라 각 비즈니스 영역이 자신들의 데이터에 책임을 지고 분산 관리하는 아키텍처 설계의 개념을 가리킨다. 더불어 AI가 신속하게 데이터를 취득할 수 있도록 저지연(응답 속도가 빠른) 데이터베이스 구성을 도입하는 중요성도 제시했다. 나아가 데이터의 의미적 관계성을 체계적으로 정리하는 '의미론적 온톨로지'라는 개념 모형을 활용하여 AI가 맥락을 보다 정확하게 이해할 수 있도록 하는 방안도 소개하고 있다.

또한 AI에게 어떤 도구를 언제 사용하게 할지를 상황에 따라 동적으로 선택하는 'MCP(Model Context Protocol) 도구 선택' 방법도 다루었다. 이는 AI가 보유한 정보의 범위(컨텍스트 윈도우)를 낭비 없이 활용하기 위한 체계로, 필요한 도구만을 필요할 때마다 선택하여 여분의 토큰 소비를 줄이는 것을 목표로 한다. 이러한 여러 방법을 조합함으로써 토큰 소비량을 삭감하면서도 정확도를 떨어뜨리지 않고 에이전트를 동작시키는 설계를 실현하려고 한다.

한편 Nardon 담당자는 기술적인 최적화뿐만 아니라 세 가지 축의 균형을 맞추는 어려움도 언급했다. '정확도' '보안' '비용'의 세 가지인데, LLM은 확률적으로 동작하기 때문에 출력이 매번 일정하지 않은 반면, 업무 시스템은 정확한 처리를 전제로 한다. 이러한 '비결정론적인 LLM'과 '결정론적인 업무 로직'을 어떻게 공존시킬지가 엔터프라이즈 AI 설계에 있어 본질적인 난제라고 지적하고 있다.

이 시도가 보여주는 것은 AI 에이전트의 실용화가 '모형의 성능'뿐만 아니라 '데이터의 설계'에도 깊이 의존하고 있다는 현실이다. 아무리 고성능의 모형을 사용하더라도 전달하는 데이터가 정비되어 있지 않으면 정확도는 올라가지 않고 비용은 늘어난다. 엔터프라이즈 영역에서는 AI를 도입하기 전 단계로서 데이터 기반 자체를 재검토할 필요성이 높아지고 있다는 견해가 가능하다. 향후 이러한 데이터 설계의 지식이 AI 활용의 성패를 좌우하는 중요한 경쟁 요인이 될 가능성이 있다.