OpenAI, AI 코딩 평가 지표의 3할에 결함이 있다고 지적

OpenAI는 AI 모델의 프로그래밍 능력을 측정하기 위해 널리 사용되어 온 벤치마크 'SWE-Bench Pro'를 검증한 결과, 전체 작업의 약 30%에 불구가 포함되어 있음을 확인했다. 이를 받아 동사는 이제까지 보여주었던 SWE-Bench Pro에 대한 지지를 철회하고 있다.

SWE-Bench Pro는 실제 소프트웨어 개발에서 발생하는 과제를 모방한 문제를 AI에게 풀게 함으로써 모델의 실용적인 코딩 능력을 평가하는 구조다. 이러한 '벤치마크'는 AI 모델의 성능을 비교·선정할 때의 공통된 척도로서 연구자와 기업에 널리 활용되어 왔다. 특히 코딩 분야에서는 프로그램 작성 보조 도구의 정확도 평가에 직결되기 때문에 업계에서의 활용이 진행되고 있었다.

이번 OpenAI가 명확히 한 것은 SWE-Bench Pro에 포함된 작업의 약 30%가 '깨져 있다', 즉 정상적으로 기능하지 않는 상태에 있다는 사실이다. 벤치마크 자체에 결함이 있다면, 그 결과에 기초한 모델의 평가도 정확성을 잃을 가능성이 있다. OpenAI는 이 검증 결과를 근거로 동 벤치마크에 대한 추천·지지를 철회하기로 결정했다.

이 문제가 지니는 의미는 작지 않다. AI 모델의 성능 평가는 어느 모델을 채택할지, 어느 제품을 신뢰할지에 대한 판단에 직접적인 영향을 미친다. 평가의 토대가 되는 벤치마크에 큰 결함이 있다면, '이 모델은 코딩에 능하다'는 주장의 근거 자체가 흔들리게 된다. 업계 전체가 같은 척도를 사용하여 모델을 비교해 온 만큼, 그 척도의 신뢰성이 문제가 되는 사태는 광범위한 영향을 초래할 수 있다고 할 수 있다.

AI의 평가 지표를 둘러싸고는 예전부터 '벤치마크에 과적합한 모델이 실용 현장에서는 예상대로 작동하지 않는다'는 문제가 지적되어 왔다. 이번 건은 그것과는 성질이 다르며, 평가 문제 자체의 설계나 동작에 결함이 있었다는 점에서 더욱 근본적인 과제를 제기하고 있다. 신뢰할 수 있는 평가 기준을 정비하는 것이 AI의 실용화가 진행되는 중에 더욱 중요한 과제로 떠오르고 있다.

향후 SWE-Bench Pro의 수정이나 대체 벤치마크의 정비가 어떻게 진행될지가 주목점이 될 것이다. 또한 다른 벤치마크에도 유사한 문제가 숨어 있지 않은지를 재점검하는 움직임이 확산될지 여부도 업계 전체의 평가 신뢰성을 좌우하는 중요한 관점으로 위치지어진다.