AI의 허위 정보가 미군 작전을 직전에 중단시키다

2026년 봄, 미군이 AI 챗봇의 잘못된 분석을 바탕으로 중국 선박에 대한 승선 작전을 실행 직전까지 진행하는 사태가 발생했다. 무장한 병사들이 대기 중이었고 항공기도 상공에 배치되어 있었지만, 작전이 시작되기 직전에 오류가 발각되어 사태는 회피되었다. AI가 출력한 "핵무기의 부품이 실려 있다"는 정보가 사실이 아니었으며, 이른바 "환각(AI가 잘못된 정보를 사실인 것처럼 생성하는 현상)"이었음이 판명된 것이다.

환각은 AI 시스템이 안고 있는 대표적인 과제 중 하나다. AI는 학습 데이터의 패턴으로부터 답변을 생성하는 메커니즘상, 존재하지 않는 정보나 부정확한 내용을 마치 확인된 사실인 것처럼 출력할 수 있다. 이러한 오류는 민간 업무에서는 영향이 제한적일 수도 있지만, 군사 및 안보 분야에서는 잘못된 정보가 치명적인 판단 실수로 직결될 수 있다.

이번 사례에서 확인할 수 있는 점은 AI가 생성한 정보 분석을 인간이 충분히 검증하지 않은 채 작전 준비가 진행되었다는 것이다. 무장 병사의 배치나 항공기의 출동이라는 구체적인 행동이 취해질 때까지 누구도 그 정보의 정확성을 의심하지 않았거나, 혹은 의심할 기회가 없었다는 뜻이다. 오류가 발각된 것은 작전 개시 직전이었으며, 이보다 더 "아슬아슬한" 상황은 없었다고 할 수 있다.

이 사건은 AI 안전 위험 논의에 새로운 관점을 더하는 것으로 위치지을 수 있다. AI의 위험에 관해서는 "초고성능 AI가 인간의 통제를 벗어나 폭주한다"는 시나리오가 자주 논해진다. 그러나 이번 사안은 그와는 다른 위험성, 즉 "성능이 불충분한 AI를 비판적 검증 없이 사용함으로써 일어나는 사고"라는 문제를 부각시켰다. 고도의 기술 문제가 아니라 운용하는 인간 측의 체제와 판단 프로세스의 문제라는 관점이 가능하다.

군사 분야로의 AI 도입은 세계적으로 가속화되고 있다. 의사결정의 신속화와 정보처리 능력의 향상을 목적으로 각국이 AI를 안보에 활용하려는 흐름은 앞으로도 계속될 것으로 보인다. 그러나 이번 사례는 AI 출력을 "올바른 것"으로 취급하는 것의 위험성을 실제 작전 행동이라는 형태로 보여준 사례로서, 일정한 경종을 울리는 것이라 할 수 있다.

AI를 도입하는 것만이 아니라, 그 출력을 인간이 어떻게 검증하고, 어느 단계에서 최종 판단을 내릴 것인가라는 "인간에 의한 감시(Human Oversight)" 메커니즘이 필수불가결함이 다시 한 번 드러난 형태다. 기술의 정도 향상과 병행하여, AI에 의존한 판단 프로세스 전체의 설계를 다시 묻는 필요성이 있다는 관점이, 앞으로의 논의에서 더욱 강해질 가능성이 있다.

이번 사태가 실제의 무력 충돌로 발전했을 경우, 그 영향은 헤아릴 수 없는 것이 되었을 것이다. 미중 관계가 민감한 국면에 있는 중에서의 사건으로서, 이 사례는 AI의 군사 활용에 있어서 "오작동의 대가"가 얼마나 커질 수 있는지를 보여주는, 중대한 사례로 기록되게 될 것이다.