Google, LLM의 '충실한 불확실성' 제안

대규모 언어 모델(LLM)이 유발하는 환각(사실 오인)은 기업의 AI 활용에 있어 계속되는 큰 장벽이 되고 있다. Google의 연구원들이 이 문제에 새로운 접근 방식으로 도전한 논문이 주목을 받고 있다.

연구팀이 제시하는 것은 '충실한 불확실성(faithful uncertainty)'이라는 개념이다. 이는 모델의 응답을 모델 자체가 내부에서 가지고 있는 확신도와 일치시키는 메타인지적 방법이다. 이러한 메커니즘을 통해 모델은 '답할 것인가, 말 것인가'라는 이분법적 판단에 구속되지 않고, '아마도 이렇다고 생각되지만……'과 같이 적절히 보류를 두는 형태로 답변할 수 있게 된다.

현재 환각을 억제하려고 하면 피할 수 없는 트레이드오프가 발생한다. 오류를 줄일수록 실제로는 올바르게 답할 수 있는 질문에도 답변을 자제하게 되는 문제다. 논문에서는 이를 '유틸리티 세금(utility tax)'이라고 부르고 있다.

공동 저자이자 Google의 리서치 사이언티스트인 Gal Yona는 VentureBeat와의 인터뷰에서 "환각을 줄이기 위한 개입 전략의 상당수가 실제로는 본격 운영 환경에 배포되지 않는 이유가 바로 여기에 있다"고 설명했다. "환각은 확실히 줄어들지만, 모델이 실제로는 알고 있는 질문에도 답하지 않게 되어 유용성이 손상되기 때문입니다"라고 Yona는 말했다.

그 심각성을 보여주는 구체적인 데이터도 제시되고 있다. 오답률 25%인 모델을 5%까지 엄격히 낮추려고 한 경우, 올바른 답변의 52%를 포기해야 한다는 것이다. 즉, 영 환각을 추구하다 보니 정확한 정보의 절반 이상이 묻혀버리는 것이다.

'충실한 불확실성'은 이 문제를 해결하는 열쇠가 된다. 모델이 자신의 지식의 경계를 정확히 파악할 수 있게 되면, 내부 지식으로 대응 가능한 장면과 외부 도구나 검색 API 호출이 필요한 장면을 정확히 판단할 수 있다. 이는 자율적으로 작동하는 에이전트형 AI 시스템에서 특히 중요한 제어 계층이 된다.

연구팀은 LLM의 사실성을 개선하는 방법으로 크게 두 가지를 제시하고 있다. 하나는 모델에 더 많은 지식을 가르치는 것이고, 다른 하나는 자신이 무엇을 모르는지 모델 자신이 인식할 수 있도록 하는 것이다. Yona는 "모델의 용량에는 한계가 있고, 지식의 범위는 사실상 무한하다"고 지적하며 후자의 접근법의 중요성을 강조한다. '충실한 불확실성'은 이 두 번째 과제에 정면으로 대처하는 시도로서, 엔터프라이즈 AI의 실용화를 향한 유망한 한 발걸음이라고 할 수 있다.