기업 AI의 한계, 지식 관리 부재가 원인

기업용 AI의 보급이 진행되는 가운데, 많은 조직이 공통적인 과제에 직면하고 있다. AI 애플리케이션이나 에이전트를 여러 개 배포함에 따라, 개별 애플리케이션마다 정보를 준비하는 현행의 접근 방식이 더 이상 작동하지 않고 있다는 지적이 확산되고 있다. 문제의 본질은 기술적 정확도가 아니라 기업 내 '지식 관리' 체계 자체에 있다는 견해가 가능하다.

현재 기업 AI의 주류를 이루는 기법은 'Context Engineering'이라고 불린다. 이는 사내 시스템에서 필요한 정보를 추출하여 AI가 참조하기 쉬운 형식(청크나 임베딩이라고 불리는 데이터의 조각 및 수치 표현)으로 가공한 후 각 애플리케이션에 전달하는 구조이다. 단일 어시스턴트나 보조 도구라면 이 방법으로 충분히 작동한다. 하지만 여러 개의 AI 애플리케이션을 동시에 운영하려고 하면 근본적인 문제가 발생한다.

구체적으로는 세 가지 문제가 지적된다. 첫 번째는 지식의 불일치이다. 사내의 동일한 제품, 고객, 업무 프로세스에 관한 정보가 문서, 프로젝트 관리 도구, 소스 코드, CRM 시스템 등 여러 장소에 서로 다른 형태로 존재한다. 이 정보를 그대로 AI에 전달해도 모순이 해소되지 않으며, 서로 다른 에이전트가 동일한 사안에 대해 다른 이해를 갖는 상황이 발생한다.

두 번째는 정보 업데이트가 각 애플리케이션에 파급되기 어렵다는 점이다. 문서나 업무 정의가 변경된 경우, 각 애플리케이션이 독립적으로 보유하는 데이터가 개별적으로 업데이트되기 때문에, 한 에이전트는 최신 정보를 참조하지만 다른 에이전트는 구 정보의 상태로 계속 작동하는 상황이 자주 발생한다. 세 번째는 중복된 개발 비용의 문제이다. 서로 다른 팀이 동일한 사내 정보를 별도로 처리하고 유사한 데이터 파이프라인을 각각 구축함으로써 엔지니어링 공수와 인프라 비용이 낭비적으로 증가한다.

이러한 과제는 AI의 기술적 정확도를 높이는 것으로는 해결할 수 없다는 점이 중요하다. 구조화 데이터(표나 데이터베이스 등 정리된 형식의 데이터)의 세계에서는 기업이 이미 '데이터 플랫폼'이라고 불리는 공통 기반을 정비하고 정보를 통합 관리한 후 여러 애플리케이션에 제공하는 체계를 구축했다. AI 시대에도 유사한 발상이 요구된다는 견해가 가능하다.

이 논의가 보여주는 것은 기업 AI의 성숙에 향한 다음 단계로 '공유형 지식 플랫폼'의 정비가 필요해진다는 방향성이다. AI 애플리케이션마다 지식을 재가공하는 것이 아니라, 기업의 지식을 한 번만 관리하고 정비한 후 여러 AI 애플리케이션이 재활용할 수 있는 형태로 제공하는 체계로의 전환이 향후 과제로 떠오르고 있다.

AI 에이전트의 활용이 업무의 중심에 가까워질수록, 그 판단의 품질은 배후의 지식 정합성과 직결된다. Context Engineering에서 지식 관리로의 시점의 전환은 기업 AI 전략의 설계에서 간과되기 쉽지만 본질적인 논점으로 자리 매김된다.