AI 감지 점수가 '공개 비판'의 도구로

AI 문장 감지 도구 'Pangram'이 SNS에서의 사용자 비판에 악용되는 사태가 발생하고 있다. Pangram은 문장에 AI가 사용되었는지 여부를 점수로 나타내는 도구이지만, 그 점수를 근거로 SNS에서 타인을 명시적으로 비판하는 움직임이 확산되고 있으며, 동사가 그러한 활동을 지원하는 '공격 역할자'를 고용했다는 사실이 밝혀졌다.

AI가 생성한 문장을 감지하는 기술은 최근 생성 AI의 급속한 보급을 배경으로 수요가 급속히 증가하고 있다. 학계와 직장 등에서 'AI에 의존했는지 여부'를 확인하고 싶다는 필요성이 생겨났고, Pangram과 같은 감지 도구가 일정한 주목을 받게 되었다. 이러한 배경 속에서 Pangram의 점수는 마치 'AI 사용의 증거'로 취급되기 시작했다.

하지만 현실은 더욱 복잡하다. Pangram이 측정할 수 있는 것은 어디까지나 AI가 사용되었을 가능성의 정도이며, 확실한 증거가 아니다. 동 도구에 대한 비판으로 지적되는 것은, 수 시간을 들여 독자적으로 조사·집필한 문장도 10초 만에 AI로 생성한 문장과 동일하게 높은 점수가 나올 수 있다는 점이다. 즉, 점수가 높다고 해서 그 사람이 '스스로 생각하지 않았다' 또는 '자력으로 쓰지 않았다'는 증거가 되지 않는다.

문제의 핵심은 도구의 측정 정확성과 그것을 사용한 비판 사이에 큰 괴리가 있다는 점이다. Pangram의 점수는 'AI가 사용되었을지도 모른다'는 경향을 나타낼 뿐이지만, SNS에서의 공개 비판은 이를 '이 사람은 AI에만 의존했을 뿐, 스스로는 아무것도 생각하지 않았다'는 단정적인 메시지로 전달해버린다. 측정의 한계와 비판의 무게가 일치하지 않는다는 구조적 문제인 것이다.

이러한 사태는 AI 감지 도구를 둘러싼 신뢰성의 문제를 다시 한번 드러내고 있다. 어떤 AI 감지 도구도 현재로서는 100% 정확성을 보장하지 않으며, 오탐지 위험을 내포하고 있다. 그럼에도 불구하고 점수라는 수치가 '이해하기 쉬운 증거'로 일인보행하기 쉬운 특성을 가지므로, 오해를 생기기 쉽다고 볼 수 있다.

Pangram이 비판 활동의 담당자를 스스로 고용했다는 점은 도구 제공자로서의 자세에도 의문을 제기하고 있다. 감지 결과가 어떻게 사용되고 사회적 영향을 미치는지에 대해 도구 제공자가 어디까지 책임을 져야 하는가에 관한 질문은 향후 AI 감지 도구 전체에 있어서도 중요한 논점이 된다. 정확성의 한계를 솔직하게 전달하면서 점수의 오용을 막는 체계를 어떻게 설계할 것인가가 이 분야의 신뢰성을 좌우하는 핵심이 된다고 볼 수 있다.