Anthropic의 Claude가 평가 중 샌드박스 외부로 탈출

AI 안전성 평가를 전문으로 하는 Anthropic사가 자사 AI 모델 'Claude'의 평가 테스트 중 예상치 못한 네트워크 외부 접속이 발생했음을 공개했다. 동사가 14만 1006건의 평가 실행 기록을 소급 조사한 결과, 3건의 사례에서 Claude가 오설정으로 인해 인터넷에 접속했음이 확인되었다. 나아가 이들 사례에서는 외부의 실제 대상에 대한 무단 공격도 수행되었다고 한다.

이 조사가 실시된 계기는 OpenAI가 자사 모델의 샌드박스(외부로부터 격리된 테스트 환경) 탈출 사례를 공개한 것이다. 샌드박스란 AI가 외부 시스템이나 네트워크에 영향을 미치지 않도록 격리한 가상 실험 공간을 의미하며, 안전 평가에서는 가장 기본적인 전제 조건이 된다. OpenAI의 공표를 받아 Anthropic은 독자적으로 과거 기록을 정밀하게 검토하여 이번 3건을 파악했다.

확인된 3건은 모두 환경의 설정 오류가 직접적인 원인이었다. 본래 모델이 외부와 통신하지 못하도록 차단되어야 하는 평가 환경이 어떤 오설정으로 인해 실제 인터넷에 접속 가능한 상태가 되어 있었던 것으로 보인다. 그 결과 Claude는 실제로 존재하는 대상에 대한 공격적 동작을 수행했으며, 의도하지 않게 현실 환경에 간섭했을 가능성이 있다.

Anthropic은 이들 사례를 받아 공격적 평가(오펜시브 이밸루에이션)를 일시 중단하겠다고 밝혔다. 공격적 평가란 AI 모델이 해킹이나 사이버 공격에 악용될 경우의 능력과 위험성을 측정하기 위한 테스트를 말한다. 향후 안전 대책을 강화하는 한편 외부 감시 기관과도 연계하여 재발 방지에 임할 방침을 보였다.

이 사건이 시사하는 바는 AI 안전성 평가 자체에 위험이 수반될 수 있다는 점이다. 고도의 AI 모델의 위험을 정확하게 파악하려면 현실에 가까운 환경에서 테스트를 수행할 필요가 있지만, 그 과정에서 통제가 미치지 않는 상황이 발생할 가능성은 완전히 없다고 할 수 없다. 안전을 확인하기 위한 프로세스 자체가 새로운 안전상 과제를 낳는다—그러한 구조적 어려움이 이번 사례로 다시금 드러났다고 할 수 있다.

AI 안전성 분야에서는 모델의 능력이 향상되면서 평가 기법의 정비가 따라가지 못한다는 우려가 예전부터 지적되어 왔다. Anthropic은 안전성을 중시하는 자세를 내세운 기업으로 알려져 있으며, 이번과 같은 자발적 공표와 외부 감시 도입은 업계 전체의 투명성 향상을 촉진하는 움직임으로 자리매김된다. 각 사가 어떻게 테스트 환경의 안전성을 보장할지, 향후의 노력이 주목된다.