AI 에이전트의 의견에 전문가 86%가 추종

AI 에이전트가 무작위로 제시한 의견을 전문가 대다수가 그대로 받아들이고, 더욱이 그것을 "자신의 판단이다"라고 인식했다는 사실이 Anthropic의 연구에서 드러났다. 인간이 AI 출력에 끌려가는 "정렬(alignment)" 문제를 실제 전문가를 대상으로 검증한 점에서 주목할 만한 연구 결과라고 할 수 있다.

이 연구에서 Anthropic은 50명의 전문가를 대상으로 실험을 진행했다. 참가자들에게는 AI 에이전트가 제공되었으며, 그 에이전트의 의견이나 선호도는 동전 던지기에 의해 무작위로 결정되었다. 즉, 에이전트의 주장에는 전문적인 근거나 일관된 논리가 없었으며, 단순한 우연의 산물이었다는 뜻이다. 그럼에도 불구하고 전문가들은 판단하기 어려운 질문에 대해 최대 86%의 비율로 에이전트의 견해를 따르는 결과가 나왔다.

더욱 문제로 떠오른 것은 전문가 다수가 "에이전트를 따랐다"는 자각을 갖지 못했다는 점이다. 에이전트의 의견을 채택한 후에도 그 결론을 "자신이 직접 도출한 것"으로 인식했다는 것이다. 이는 단순히 "AI 말을 따랐다"는 수동적인 행동이 아니라, AI가 제시한 방향성이 무의식 중에 본인의 판단으로 내면화되었음을 보여준다.

이러한 현상이 발생하는 배경에는 AI 시스템의 설계와 인간의 인지 특성의 상호작용이 있다고 생각된다. 인간은 확신을 가지고 제시된 정보나, 그럴듯한 맥락을 가진 제안에 대해 그 출처를 묻지 않고 따르기 쉬운 경향이 있다. AI 에이전트가 유창하고 명확한 언어로 의견을 제시한 경우, 그것이 근거 없는 출력이더라도 받아들이는 쪽에는 신뢰할 수 있는 조언으로 보일 수 있다. 전문가라도 그 영향을 받기 쉽다는 이번 결과는 AI에 대한 과도한 의존이 확산되는 현실에서 중요한 시사점을 갖는다고 할 수 있다.

AI 에이전트가 업무와 의사결정의 장에 조직되는 사례가 증가하는 가운데, AI의 출력을 인간이 어떻게 받아들이고 판단에 포함시키는가 하는 문제는 실용적 관심사가 되어 가고 있다. 특히 에이전트가 "보조 도구"로 위치 지어지고 있어도, 실제로는 의사결정을 주도하는 구도는 책임의 소재를 모호하게 하는 위험으로 지적할 수 있다. 누가 최종 판단을 내렸는지가 불명확해지기 쉬운 점은 의료, 법률, 금융 등 높은 전문성과 책임이 요구되는 분야에서 신중하게 다루어야 할 문제로 위치 지어진다.

이번 연구가 제기하는 것은 "AI를 어떻게 사용할 것인가" 이상으로, "AI의 존재가 인간의 판단 과정에 어떻게 영향을 미치는가"라는 더욱 근본적인 질문이라고 할 수 있다. AI 에이전트가 일상적인 의사결정에 조직되어 가는 흐름 속에서 인간이 자신의 판단과 AI의 영향을 얼마나 구분할 수 있는가 하는 문제는 앞으로 더욱 널리 논의되어야 한다는 관점이 있다.