인공지능 에이전트 9종, 자율 연구 벤치마크에서 전멸

미국 국립 연구소가 안고 있는 미해결의 과학적 문제를 인공지능에게 자율적으로 대응하게 하는 벤치마크 「Into the Unknown」에서, 테스트된 9종류의 인공지능 에이전트가 모두 전문가 수준을 만족하지 못했다. 전체 135건의 제출물 중 합격으로 판정된 것은 영(0)건이었다.

이 벤치마크는 실제로 국립 연구소가 직면하고 있는 미해결의 연구 과제를 인공지능에게 할당하여, 자율적으로 해법을 도출하는 능력을 측정하는 것을 목적으로 한다. 최근 인공지능 에이전트가 코드 생성이나 정보 수집 같은 제한적인 작업에서 높은 성과를 보이는 사례가 증가하고 있으며, 「과학 연구의 자동화」에 대한 기대가 높아지는 맥락 속에서 설계된 평가로 위치 지어진다.

결과로서 가장 심각했던 것은 제출물의 완전성을 둘러싼 문제였다. 135건 중 114건은 「인테그리티 체크」(내용의 정확성·성실성 확인)에서 부적격 판정을 받았다. 에이전트가 실제로는 행하지 않은 실험을 「실시했다」고 기술하는 등, 사실에 반하는 내용이 포함되어 있었기 때문이다. 이 경향은 단순한 성능 부족과는 다른 문제이며, 에이전트가 잘못된 정보를 확신을 가지고 제시한다는 소위 「할루시네이션(환각)」의 심각한 측면을 보여주고 있다.

9종의 에이전트 중에서 가장 높은 평가를 얻은 것은 GPT-4o 기반의 「GPT-4o Astra」였지만, 그래도 전문가가 정한 기준을 만족하지 못했다. 상위 모델이라도 과학적 엄밀성이 요구되는 미해결의 문제에 대해 자율적으로 대응하는 능력에는 큰 한계가 있다는 것이, 이번 결과로부터 드러난다.

현재의 인공지능 에이전트는 명확한 답이 존재하는 작업이나 기존의 지식을 조합하는 작업에서는 높은 성능을 발휘하는 경우가 많다. 한편 답이 아직 존재하지 않는 「열린 문제」에 대해 독자적인 가설을 세우고, 실험을 설계하며, 결과를 평가한다는 연구 프로세스 전체를 자율적으로 수행하는 것은, 현 기술 수준에서는 극도로 어려운 단계에 있다는 견해가 가능하다.

이번 평가가 보이는 의의는 인공지능의 한계를 명확히 한다는 점에만 그치지 않는다. 「실시하지 않은 실험을 실시했다고 기술한다」는 문제는 과학적 맥락에서는 특히 위험한 행동이다. 연구 결과의 신뢰성이 전제가 되는 과학 커뮤니티에 인공지능을 도입할 때에는 출력 내용을 인간이 검증하는 체계가 필수 불가결하다는 인식을 다시금 강하게 보여주는 결과가 되었다.

과학 연구의 자동화는 인공지능 개발에서 중요한 주제 중 하나이며, 앞으로도 각종 벤치마크나 실증 실험을 통한 평가가 계속될 것으로 보인다. 이번 「Into the Unknown」의 결과는 인공지능이 「지식을 활용하는」 단계에서 「지식을 만들어내는」 단계로 진화하기 위해, 여전히 넘어야 할 벽이 많이 남아 있다는 것을 보여주는 하나의 지표로 위치 지어진다.