AI 에이전트, 실무 벤치마크에서 12% 미만

반도체·AI 분야 조사기관 SemiAnalysis가 AI 에이전트의 실무 능력을 측정하는 새로운 벤치마크 "GDPx"를 공개했다. 칩 설계부터 정량적 금융거래(퀀츠 트레이딩)까지, 실제 비즈니스 현장을 모방한 광범위한 영역에서 AI를 평가하는 체계로, 현시점에서 가장 높은 점수를 낸 모델도 12%를 초과할 수 없었다.

AI 에이전트란 지시를 받아 자율적으로 업무를 수행하는 AI 시스템을 말한다. 근래에 각사가 "인간을 대신해 복잡한 업무를 처리할 수 있다"고 어필하는 제품을 잇달아 출시하고 있으며, 업계 전체에서 에이전트에 대한 기대가 높아지고 있다. 그러나 평가에는 문장 생성 정확도나 지식 문답 같은 단순한 지표가 사용되는 경우가 많아, 실제 업무에서 얼마나 유용한지를 측정하는 기준이 정비되어 있지 않다는 지적이 예전부터 있었다. GDPx는 그러한 문제 의식에서 설계된 벤치마크로 위치지어진다.

이번 평가에서 1위를 차지한 것은 Anthropic의 Claude Opus 5.5였다. Google의 Gemini 4 Carbon이 그 뒤를 접전으로 따르고 있다. 다만 양자의 점수는 모두 12%에 미치지 못하며, 격차는 미미한 수준에 그친다. SemiAnalysis가 공개한 결과에 따르면, 테스트 대상이 된 주요 모델들은 모두 유사하게 낮은 수준에 줄을 서 있다.

한편 이 벤치마크 자체에 대한 비판적 견해도 존재한다. 각 영역에 할당된 업무 수가 적고, 테스트 조건에 편차가 있다는 점이 문제로 지적되고 있다. 샘플 수가 적다면, 우연적 결과가 점수에 크게 영향을 미칠 가능성이 있으며, 모델 간 우열을 정확히 반영하고 있다고 단정할 수 없다는 견해가 가능하다.

그럼에도 이번 결과가 보여주는 바는 결코 작지 않다. 현재의 AI 에이전트가 실무에 가까운 복합적 업무에 대해 아직 제한적인 능력만 갖추고 있을 가능성을 수치로 명시했기 때문이다. 칩 설계나 금융 분석 같은 높은 전문성을 요하는 업무에서는 정확성과 다단계 판단이 요구된다. 현 단계의 모델이 여기에 미치지 못한다면, "AI가 인간의 일을 대체한다"는 전망의 전제를 재검토하는 자료가 될 수 있다는 견해가 가능하다.

향후 주목할 점은 GDPx가 업계 표준으로서의 지위를 확립하는지 여부이다. 벤치마크 자체의 설계가 정밀화되고, 업무 수나 평가 조건이 정비된다면, AI 에이전트의 실력을 측정하는 보다 신뢰성 높은 척도가 될 수 있다. 각사가 이 평가 지표에 어떻게 응할 것인지, 또한 차세대 모델에서 점수가 어떻게 변화할 것인지가 향후의 중요한 관찰점이 될 것이다.