AI 코딩 에이전트, 실무 작업의 7할 이상에서 한계

AI가 실제 코딩 현장에서 얼마나 활용될 수 있을까. 이 질문에 정면으로 대응한 성능 평가 기준이 중국의 알리바바가 공개한 「Co-Design Bench」다. 이 벤치마크에서 가장 높은 성적을 거둔 모델도 작업을 완전히 해결한 비율은 26.4%에 불과했다. 즉, 남은 약 4분의 3의 작업은 인간의 수정이 필요했다는 뜻이다.

AI 코딩 도구의 평가에는 지금까지 다양한 벤치마크가 사용되어 왔다. 하지만 대다수는 미리 준비된 문제를 AI에 풀게 하는 형식으로, 실제 개발 현장에서의 사용 방식과는 거리가 멀었다. 그 때문에 점수가 높아도 현실의 업무에서 같은 방식으로 기능하는지 여부는 별개라는 지적이 연구자들 사이에서 자주 제기되어 왔다.

Co-Design Bench의 특징은 테스트 문제의 선정 방식에 있다. 실제 사용자가 AI 에이전트에 의뢰했을 때 「잘 작동하지 않았던」 사례들을 모아 문제로 활용하고 있다. 현실의 실패 사례를 그대로 테스트 소재로 삼음으로써, 기존 평가에서는 드러나기 어려웠던 약점을 부각시키는 설계다. 이 벤치마크에서 최고 성적을 기록한 것은 「GPT-4o」가 아니라 「GPT-4 Astra」로 알려져 있으며, 완전 해결률은 26.4%였다. 한편 기존 형식의 오래된 벤치마크에서는 같은 모델이 99% 이상의 점수를 기록하고 있다.

이 숫자의 차이는 큰 의미를 가진다. 99% 이상과 26.4%라는 격차는 기존 벤치마크가 실제의 어려움을 충분히 반영하지 못했을 가능성을 보여준다. 다시 말해 높은 벤치마크 점수는 「실무에서 거의 완벽하게 사용 가능하다」는 것을 보장하지 않는다고 볼 수 있다. 현 상황에서 AI 코딩 에이전트는 보조 도구로서는 유용하지만, 자율적으로 완결할 수 있는 범위는 아직 제한적이라는 평가가 가능하다.

AI 에이전트에 대한 기대는 산업 전체에서 높아지고 있으며, 코딩 분야는 그 최전선에 위치하고 있다. 소프트웨어 개발 자동화는 생산성 향상 관점에서 많은 기업이 투자를 진행 중인 영역이며, 에이전트의 실력을 정확히 측정하는 수단의 중요성도 증가하고 있다. Co-Design Bench 같은 「현실에 부합하는 평가 기준」이 확산됨으로써, 개발자와 기업이 자사의 필요에 어떤 도구가 맞는지를 판단하기 쉬워진다는 관점이 있다.

앞으로 주목해야 할 점은 현실에 부합하는 벤치마크가 업계 표준으로 얼마나 널리 보급될 것인가라는 측면이다. 모델의 성능 경쟁이 점수의 높낮이를 중심으로 전개되어 온 측면이 있는 가운데, 「실제로 도움이 되는가」를 축으로 한 평가가 정착되면 개발 방향에도 영향을 미칠 가능성이 있다. AI 코딩 에이전트의 실용화를 둘러싼 논의는 벤치마크의 존재 방식 자체를 다시 문제 삼는 단계로 접어들고 있다고 위치지을 수 있다.