RAG는 데이터 품질 문제를 해결하지 않는다

기업용 생성형 AI 도입 프로젝트가 본번 환경에 도달하기 전에 중단되는 사례가 잇따르고 있다. 지난 2년간 많은 기업이 생성형 AI 실증 실험에 막대한 자금을 투자해왔지만, 대부분이 상용화에 이르지 못했다. 실패의 원인으로 가장 먼저 의심되는 것은 AI 모델 자체이지만, 실제로는 데이터 파이프라인 쪽에 근본적인 문제가 숨어 있는 경우가 많다고 현장의 데이터 엔지니어들은 지적한다.

이러한 상황의 배경에 있는 것이 '정제 함정(Cleanup Trap)'이라고 불리는 함정이다. 이는 단편적이고 일관성 없는 오래된 데이터를 그대로 LLM(대규모 언어 모델)에 흘려보내고, 검색이나 검색 단계에서 사후에 수정할 수 있다는 잘못된 전제를 의미한다. RAG(검색 강화 생성)라고 불리는 구조가 널리 사용되면서 '벡터 데이터베이스만 준비하면 데이터 정비 문제가 해결된다'고 생각하는 조직이 증가하고 있지만, 그것은 정확하지 않다.

RAG는 AI가 응답을 생성할 때 관련된 업무 데이터를 참조하게 하는 메커니즘이다. 그러나 품질 관리를 거치지 않은 원본 데이터가 이 시스템에 직접 유입되는 경우, 데이터가 가진 오류, 중복, 모순이 그대로 벡터 공간(데이터를 수치로 표현한 검색용 공간)으로 이어진다. 더욱이 스키마 변화(데이터 구조 변경), 필드 결손, 데이터 동기화 지연 같은 문제가 보이지 않은 채로 누적되면, 그 열화가 그대로 검색 결과에 반영된다. 프롬프트의 개선이나 검색 알고리즘의 조정으로는 깨진 데이터 검색 파이프라인의 문제를 보완할 수 없다는 것이 현장 엔지니어들의 일치된 견해다.

이러한 문제를 극복하려면 데이터 품질 확보를 후처리 단계에서 미루지 말고, AI에 전달하기 전 단계에서 보장하는 설계로 전환할 필요가 있다고 지적된다. 구체적으로는 제로 트러스트(모든 데이터를 신뢰하지 않는 전제에 바탕함)에 기초한 데이터 수입, 구조화된 검증 프레임워크, 그리고 자동적인 이상 검지 메커니즘을 AI 처리의 상류에 내장할 것이 요구된다. 데이터 검증을 배치 처리(야간 일괄 처리 등)에 의존하지 않고, 실시간으로 인라인에서 수행하는 체제가 필요하다는 뜻이기도 하다.

이 문제가 중요한 이유는 생성형 AI에 대한 투자가 확대되는 중에도 많은 기업이 '모델만 좋으면 성과가 나온다'는 선입견 속에서 도입을 진행하고 있다는 점이다. 하지만 실제로는 AI 모델이 제공할 수 있는 품질의 상한은 입력되는 데이터의 질에 의해 결정된다. 기반이 되는 데이터가 불완전하다면, 모델은 사실과 다른 내용을 생성하거나 본래 참조하면 안 되는 정보를 출력하거나, 안정적인 결과를 반환할 수 없게 될 위험이 있다.

기업이 AI 도입으로 성과를 얻으려면, 모델의 선정이나 검색 알고리즘의 최적화보다 먼저 데이터 기반의 정비에 정면으로 마주할 필요가 있는 단계에 이르렀다는 관점도 가능하다. AI 시스템의 신뢰성은, 궁극적으로는 그것을 뒷받침하는 데이터 파이프라인의 견고함에 정비례한다. 앞으로는 '어떤 모델을 사용할 것인가'와 마찬가지로 '어떻게 데이터를 관리·검증할 것인가'가 AI 도입의 성패를 결정하는 중요한 평가 축으로 자리매김될 것으로 보인다.