아마존의 보안 연구가 Anthropic의 AI 모델 수출 규제를 야기하다

미국 대형 기술 기업 아마존의 사이버보안 연구팀이 실시한 AI 모델 공격 실험이 Anthropic의 일부 모델에 대한 접근 규제라는 중대한 정책 결정으로 이어졌음이 드러났다. 월스트리트저널의 보도에 따르면, Anthropic이 페이블 5와 미토스 5에 대한 접근을 외국적 사용자에게 차단한 배경에는 아마존이 실시한 보안 연구와 아마존 CEO 앤디 재시와 백악관 간에 진행된 협의가 크게 작용했다는 것이다.

아마존이 작성한 것으로 알려진 보고서에 따르면, 일련의 프롬프트 조작을 통해 해당 회사의 연구팀이 페이블 5에서 사이버 공격에 활용 가능한 정보를 추출하는 데 성공했다고 주장하고 있다. 구체적으로는 일반적으로 거부되어야 할 악의적 목적에 관한 정보를 교묘한 프롬프트 설계를 통해 생성 모델이 출력해버렸다는 내용이다. 이러한 유형의 공격 기법은 '탈옥(jailbreak)'이라고도 불리며, AI 안전 연구에서 오랫동안 제기되어온 과제 중 하나다.

재시 CEO가 이 연구 결과를 정부 당국과 공유한 직후, 미국 정부는 외국적 이용자에 의한 이러한 모델들에 대한 접근을 차단하도록 수출 규제 관점에서 판단을 내렸다. 이 조치는 Anthropic이 페이블 5와 미토스 5의 제공을 일부 사용자에 대해 중단하는 형태로 실행에 옮겨졌다.

다만 이 문제는 더욱 복잡한 측면도 안고 있다. 수출 규제의 영향을 받는 '외국적 사용자'의 정의와 범위에 대해서는 여전히 모호한 부분이 많으며, 실제로는 많은 경우에서 선을 그으리기 어렵다고 알려져 있다. 미국 내 거주하는 외국적 연구자와 개발자, 혹은 글로벌 기업 조직에서 어디까지가 제한 대상이 될 것인지는 업계 내에서도 우려를 낳고 있다.

아마존은 이 건에 관한 의견 요청에 대해 기사 작성 시점에서 아직 답변을 제시하지 않았다. 한편, 이러한 일련의 경과는 AI 모델의 안전성 평가와 정부 규제 판단이 얼마나 밀접하게 연결되어 있는지를 다시 한 번 보여주는 것이 되었다. 대형 기술 기업이 자사 또는 타사의 AI 모델에 대해 레드팀 평가를 실시하고, 그 결과가 정책에 직결되는 구도는 향후 AI 거버넌스 논의에 있어서도 중요한 선례가 될 것으로 보인다.