GPT-6, 환각 감소했으나 문서 경유 공격에 취약

OpenAI의 최신 모델 「GPT-6 Astra」는 AI가 사실과 다른 정보를 생성하는 「환각(할루시네이션)」이 이전 세대 모델보다 감소했음이 확인되었다. 한편 문서 내에 숨겨진 형태로 악의적 명령을 심는 「간접 프롬프트 인젝션」이라 불리는 공격에 대해서는 여전히 취약점이 남아있음이 드러났다.

프롬프트 인젝션이란 AI 모델에 대해 정규의 지시와는 별개의 숨겨진 명령을 보내 의도하지 않은 동작을 하도록 하는 공격 기법이다. 공격자가 직접 모델에 명령을 보내는 「직접형」과 AI가 읽어들이는 문서나 웹페이지 내에 명령을 삽입하는 「간접형」의 2가지 종류가 있다. AI가 자율적으로 외부 정보를 읽으면서 작업을 진행하는 「AI 에이전트」가 보급되는 가운데 이 문제에 대한 관심이 높아지고 있다.

GPT-6 Astra가 직접형 공격을 차단하는 성공률은 99.99%에 도달하고 있으며, 이 점에서는 높은 견고성을 보이고 있다. 그러나 AI가 참조하는 문서 내에 공격이 숨겨져 있는 간접형 시나리오에서는 8.5%의 사례에서 공격이 성공했다는 결과가 보고되었다. 비교 대상으로 제시된 Anthropic의 「Claude Opus 5」에서는 동일한 간접형 공격의 성공률이 4.8%로 GPT-6 Astra보다 낮다.

8.5%라는 수치는 언뜻 작아 보일 수 있지만, AI 에이전트가 실제 비즈니스 데이터나 개인정보를 다루는 장면에서는 무시할 수 없는 리스크가 될 수 있다. 예를 들어 AI가 대량의 메일이나 계약서를 자율적으로 처리하는 시스템이라면 100건에 8~9건의 비율로 공격이 통할 가능성이 있다는 뜻이기 때문이다. 실제 운용 환경에서는 한 번의 침해가 심각한 정보 유출이나 오조작으로 이어질 수 있다.

AI 에이전트의 활용이 확산됨에 따라 모델이 외부 콘텐츠를 읽어들이는 기회는 계속 늘어나고 있다. 메일의 첨부 파일, 웹페이지의 본문, 공유 문서 등 공격자가 명령을 숨길 수 있는 장소는 무수히 많다. 이러한 간접형 공격 경로는 직접형과 비교해 방어가 어렵고, 현재의 주요 모델에게도 미해결의 과제로 위치지어진다.

GPT-6 Astra와 Claude Opus 5의 비교로부터 보이는 것은 각 회사가 보안 면에서의 경쟁을 계속하고 있다는 구조다. 환각의 저감과 공격에 대한 내성은 모델의 「똑똑함」과는 별개의 평가 기준으로서 앞으로 점점 더 중시될 것으로 볼 수 있다. 특히 기업이 AI 에이전트를 업무의 중핵에 두기 시작한 단계에서는 이러한 종류의 견고성 평가가 모델 선정의 중요한 판단 자료가 되어갈 것이다.