AI 모델이 추론 중 부적절한 표현 출력, 원인은 불명

Thinking Machines가 개발한 AI 모델 'Inkling 2 Small'이 벤치마크 실행 중 내부 추론 과정에서 부적절한 표현을 반복 출력했다는 사실이 드러났다. AI 평가·분석을 담당하는 Vals AI의 조사에 따르면, 2,655회의 벤치마크 실행에 걸쳐 총 316회의 부적절한 표현이 확인되었다.

이러한 현상이 발생한 것은 모델이 답을 도출하기 위해 내부에서 수행하는 '사고 과정'에 해당하는 부분이다. 최근의 추론 특화형 AI는 최종 답변을 제시하기 전에 마치 초안처럼 사고의 단계를 쌓아나간다. 이번 부적절한 표현은 그 내부 과정에서 발생했으며, 사용자에게 직접 반환되는 답변과는 별개 영역에서의 현상이었다.

Vals AI의 분석에 따르면, 부적절한 표현은 대부분의 경우 처리가 길어진 후 결과가 실패로 끝나는 경우의 후반부에 집중되어 나타났다. 즉, 모델이 정답에 도달하지 못한 채 막힌 상태에서 발생하기 쉬운 패턴이 있었다는 뜻이다. 다만 실패한 실행 중 부적절한 표현을 포함한 것은 극히 일부에 불과하며, 실패한 실행 전체의 96%에는 그러한 출력이 전혀 포함되지 않았다.

이 수치가 나타내는 중요한 점은 부적절한 표현이 '실패의 전조'로 기능하지 않는다는 것이다. 만약 특정 출력 패턴이 실패의 신호로서 안정적으로 나타난다면, 이를 필터링이나 조기 종료 판단에 활용할 수 있을 가능성이 있다. 그러나 이번의 경우 부적절한 표현 없는 실패가 대부분이므로, 경고 신호로서 사용할 수 있는 실질적 가치는 거의 없다고 할 수 있다.

AI 모델이 의도하지 않은 표현을 생성하는 것 자체는 드문 일이 아니지만, 추론의 내부 과정에서 반복적으로 관찰되었다는 점은 모델의 품질 관리 관점에서 간과하기 어려운 사건이다. 특히 기업용이나 교육용 등 출력 내용에 제약이 요구되는 용도에서는 내부의 사고 과정을 포함한 감시의 필요성이 다시금 부각되었다고 할 수 있다.

이번 사례는 AI 모델의 평가가 최종적인 정답률만으로는 불충분함을 보여주는 하나의 예로 위치 지어진다. 추론의 과정 자체를 가시화하고 어떤 상황에서 어떤 출력이 발생하는지를 상세히 추적하는 방법이 향후 AI 평가에서 중요성을 더해갈 것으로 보인다. Vals AI와 같은 제삼자 평가기관의 역할이 산업 전체의 신뢰성 확보에 있어 커져가는 흐름에도 주목할 필요가 있다.