AI 에이전트, 시간 감각 결여 드러나

AI 코딩 지원 도구에는 '시간의 감각'이 없으며, 게다가 자신이 이 사실을 인식하지 못하고 있다——이런 연구 결과가 드러났다. 조사 대상이 된 것은 Anthropic의 Claude Code와 OpenAI의 Codex. 둘 다 작업에 소요되는 시간을 체계적으로 과대 추정하는 경향이 확인되었다.

AI 에이전트란 인간이 세세히 지시하지 않아도 주어진 목표를 향해 자율적으로 여러 단계를 실행하는 AI 시스템을 말한다. 코딩 보조 도구의 경우, 코드 생성·수정·테스트라는 일련의 작업을 자동으로 수행한다. 이러한 자율적인 작업 처리가 증가함에 따라, AI가 '어느 정도 시간이 걸릴 것인가'를 정확히 파악할 수 있는지 여부는 실용상의 중요한 문제가 되고 있다.

이번 연구에서 특히 두드러진 것은 Codex의 오차의 크기였다. 실제 소요 시간에 대해, 최대 10배나 되는 시간이 걸릴 것으로 추정하는 사례가 확인되었다. Claude Code도 유사한 경향을 보이고 있으며, 양쪽에 공통되는 구조적 문제로 보인다. 더욱 심각한 것은 자기평가의 정확성이다. 두 도구 모두 자신의 작업 품질을 실제보다 약 20포인트 높게 평가하는 경향이 있다고 한다.

이런 '자기평가의 미흡함'은 단순한 성능의 문제에 그치지 않는다. AI 에이전트가 장시간에 걸쳐 자율적으로 작업을 진행하는 상황에서는, 인간이 중간에 개입할 타이밍을 판단하는 근거로 AI의 자기보고가 사용될 수 있다. 그 AI가 '나는 잘하고 있다'고 잘못 보고해 버린다면, 문제의 발견이 지연되거나 수정의 기회를 놓칠 위험이 생긴다.

배경으로 눈여겨봐야 할 것은 이러한 AI 에이전트의 활용이 급속도로 확산되고 있는 현황이다. 단순한 질답에 그치지 않고, 코드의 자동 생성, 데이터 분석, 업무 흐름의 자동화 등 인간이 장시간을 요하는 작업을 맡기는 사례가 증가하고 있다. 그만큼 AI가 자신의 상태나 작업의 진행 상황을 정확히 파악하고 있는지에 대한 요구도 높아지고 있다.

이번 연구는 현재의 AI 에이전트가 '메타인지'——자기 자신의 능력과 한계를 객관적으로 파악하는 능력——를 아직 충분히 갖추지 못했을 가능성을 시사하고 있다. 시간의 추정이나 자기평가가 부정확한 상태로는 AI를 감시·관리하는 체계의 설계에도 영향을 미친다고 할 수 있다. 향후 AI 에이전트의 실용화가 진행되는 가운데, 이러한 자기인식의 정확도를 어떻게 개선할 것인가가, 개발자나 이용 기업에 있어 주목할 점이 되는 것으로 위치 지어진다.

이용자의 관점에서 보면, AI 에이전트에 작업을 맡겨만 두는 것이 아니라, 정기적인 진행 상황 확인이나 성과물의 리뷰를 포함시키는 것이 당면으로는 현실적인 대응이 될 것 같다. AI가 '해냈다'고 보고해도, 이를 그대로 받아들이지 않는 자세가 요구된다고 할 수 있다.