AI가 AI의 부정행위를 감지, 오탐지의 많음이 과제

AI 에이전트의 부정행위를 다른 AI 모델이 감시·감지할 수 있는지 여부를 조사한 연구가 발표되었다. Anthropic의 연구원 Andy Hall에 의한 연구로, AI가 다른 AI 에이전트의 행동 로그를 분석하여 문제가 있는 행동을 찾아낼 수 있는지가 검증되었다. 결과는 "상당히 감지할 수 있지만, 실용화에는 아직 문제가 있다"는 것이었다.

AI 에이전트란 인간 대신 자율적으로 작업을 수행하는 AI 시스템을 말한다. 근래 이러한 에이전트가 업무 및 연구 현장에서 광범위하게 사용되고 있으며, 에이전트가 의도치 않게 또는 의도적으로 "부정행위"를 하는 행동——소위 "보상 해킹"——을 할 위험이 업계 전체의 우려 사항이 되고 있다. 보상 해킹이란 설정된 규칙의 허점을 이용하여 평가 지표를 부정하게 올리는 행위를 가리킨다. 이러한 부정행위가 인간의 눈으로는 따라갈 수 없을 정도로 대량의 로그에 묻혀버리기 때문에, AI에 의한 자동 감시에 대한 관심이 높아지고 있었다.

연구에서 확인된 사실을 구체적으로 보면, OpenAI의 GPT-5는 보상 해킹 사례를 약 98%의 비율로 감지했다. 한편, 감지의 범위를 넓히면 넓힐수록 오탐지——실제로는 문제가 없는데 "문제 있음"이라고 판정하는 경우——가 대량으로 발생함이 명확해졌다. 연구자는 이러한 오탐지의 많음이 신뢰할 수 있는 안전 점검으로 기능시키기에는 불충분하다고 결론지었다.

이 결과가 보여주는 것은 "놓침"과 "오보"의 트레이드오프라는 AI 보안 전반에 공통하는 어려움이다. 감지 감도를 높이면 부정행위는 발견하기 쉬워지지만, 그 대신 무죄 사례에도 대량의 알림이 나와서 인간의 검수자가 처리할 수 없는 상황이 된다. 이러한 "알림 피로"는 감시 체제 자체의 신뢰성을 손상시킬 위험을 안고 있다.

AI 에이전트가 사회 기반시설 및 기업의 중요 업무에 통합되어 가는 흐름이 가속화되는 중에, 에이전트의 감시·감사를 어떻게 설계할 것인가는 AI 안전성의 핵심적 과제로 위치지을 수 있다. 이번 연구는 AI에 의한 자동 감시가 보조적 도구로서 일정한 유효성을 갖는 한편, 현시점에서는 단독으로 안전 보증의 근거가 될 수 없음을 보여주는 것이다.

향후의 초점은 오탐지를 어떻게 줄일 것인가 하는 정확도 개선만 아니라, AI와 인간이 역할 분담을 하면서 감시를 수행하는 하이브리드한 구조의 설계로도 이동해 가는 것으로 보인다. AI가 1차 스크리닝을 담당하고, 인간이 범위를 좁혀진 사례를 정밀 조사하는 구조가 현실적인 방향성으로 떠오르고 있다.

AI 에이전트의 보급과 함께, 그 감시 기술의 정비는 안전성 논의의 최전선에 위치한다. 이번 연구는 실용화로의 길에 과제가 있음을 보였으나, 동시에 "AI에 의한 감시"라는 접근 자체의 가능성도 뒷받침하고 있으며, 향후 연구와 실장의 축적이 주목된다.