RAG 비용을 6분의 1로 줄이는 캐스케이드 설계

RAG(검색 증강 생성)를 사용한 분류 시스템에서 모든 판단을 대규모 언어모델(LLM)에 위임하는 설계는 비용과 설명책임 양쪽 측면에서 한계를 안고 있다. 이를 해결하는 수법으로 처리를 3단계로 나누어 진행하는 "캐스케이드 아키텍처"가 주목받고 있다. 규제 산업에서의 RAG 구현 경험을 바탕으로 한 설계론으로서, 추론 비용을 최대 6분의 1로 억제할 수 있다는 개념이 제시되고 있다.

배경에는 LLM을 모든 처리의 입구로 사용하는 설계의 구조적 문제가 있다. LLM은 판단의 근거를 재현하기 어렵고, "모델이 문맥을 바탕으로 판단했다"는 설명은 규제 당국이나 컴플라이언스 담당자에게는 통용되지 않는다. 또한 하루에 수만 건의 사건을 처리하는 시스템에서는 모든 경우에 LLM 호출이 발생하면 비용과 응답 지연이 처리량에 정비례하여 증가한다. 더욱이 본래라면 정해진 규칙으로 답이 나와야 하는 단순한 경우에도 LLM은 미묘한 편차를 발생시킬 수 있다. 이는 감지하기 어려운 형태로 일관성을 손상시키는 과제이다.

캐스케이드 설계의 1단계는 "결정론적 처리"이다. 완전 일치 비교나 구조화된 필드의 비교 등 명확한 규칙으로 해결할 수 있는 경우를 여기서 처리하고 LLM을 호출하지 않는다. 이 단계에서 전체의 과반 이상을 처리할 수 있다고 알려져 있으며, 모든 판단은 규칙 기반 참조이기 때문에 설명책임 관점에서도 투명성이 높다.

1단계를 통과한 모호한 경우는 2단계의 "검색층"으로 진행한다. 여기서는 과거 심사자의 판단이나 표면상의 모순을 설명하는 문서, 엣지 케이스를 정리한 과거 사례 등 그 모호함과 직접 관련된 증거를 검색하여 추출한다. 이 설계에서는 검색의 정확성이 생성의 품질보다 중요하다고 여겨진다. 잘못된 문맥을 검색하면 아무리 우수한 LLM을 사용하더라도 그럴듯하지만 잘못된 답을 낼 위험이 있기 때문이다.

그리고 3단계에서야 비로소 LLM이 등장한다. LLM은 "최전선"이 아닌 "최종 에스컬레이션 대상"으로 위치 지어진다. 이 단계까지 도달하는 것은 결정론적 처리로도 검색만으로도 해결되지 않은, 정말로 복잡한 판단이 필요한 경우뿐이다. 결과적으로 LLM으로의 호출 횟수가 대폭 감소하고 추론 비용 절감으로 이어진다.

이 설계가 보여주는 의미는 AI 시스템의 비용 대비 효율성만에 그치지 않는다. 금융·의료·법무 등 규제가 엄격한 영역에서는 판단의 재현성과 설명 가능성이 필수 요건이 된다. 캐스케이드 설계는 그 요건에 부응하면서 비용도 절감하는 실용적인 절충점으로 위치 지어진다. LLM을 만능의 해답자로 사용하는 것이 아니라 그 강점인 "복잡한 문맥에서의 판단"에만 집중시킨다는 생각은 엔터프라이즈 AI 설계의 방향성 중 하나로 주목할 가치가 있다.

RAG 시스템의 설계에서 "무엇을 LLM에 건넬 것인가"라는 선택 자체가 품질·비용·설명책임 모두를 좌우한다. 앞으로는 LLM을 사용하는 "량"보다 LLM을 사용하는 "상황 선택의 능숙함"이 AI 시스템의 경쟁력을 가르는 축이 되어갈 것이라는 견해가 가능하다.