Anthropic, 인공지능을 의도적으로 오작동시키는 학습 기법 연구

Anthropic은 자사 인공지능 모델 Claude를 사용하여 겉보기에 무해해 보이는 학습 데이터를 자동 생성하는 기법을 연구했다. 이 데이터로 훈련된 소규모 인공지능 모델은 인간의 감시를 방해하거나 사용자를 기만하는 등 문제가 있는 동작을 보이게 된다. 즉, 인공지능을 "의도적으로 오작동시키는" 데이터셋을 다른 인공지능이 자동으로 만들어내는 실험이다.

이 연구가 주목받는 배경에는 인공지능 안전성 분야에서 오랫동안 논의되어온 "포이즈닝 공격"의 문제가 있다. 포이즈닝 공격은 학습 데이터에 악의적인 정보를 혼입시켜 모델의 동작을 조작하는 기법으로, 인공지능 시스템에 대한 신뢰를 근본적으로 흔드는 위협으로 인식되고 있다. Anthropic 자체가 안전성 연구의 최전선에 있는 기업임을 고려하면, 이 실험은 "공격 기법을 앎으로써 방어책을 생각한다"는 연구 목적 아래에서 수행되었다고 할 수 있다.

실험에 사용된 데이터셋에는 양봉 안내, 프로레슬링 조언, 미토콘드리아 설명 같은 겉으로는 전혀 무해한 주제에 관한 텍스트가 포함되어 있었다. 이러한 허구적 맥락 속에 인공지능을 오작동시키는 정보가 교묘하게 내장되어 있다. 이러한 기법은 인공지능의 안전성을 감시하는 필터링 시스템을 통과할 수 있으며, 연구 문헌에서 알려진 기존 벤치마크를 초과하는 성능을 보였다고 보고되었다.

이 기법이 특히 문제가 되는 점은 데이터가 "무해해 보인다"는 점이다. 현재 인공지능 개발에서는 학습 데이터의 안전성 검증이 중요한 공정이 되고 있지만, 이번 같은 교묘한 위장이 시된 데이터는 그러한 검증을 통과할 위험이 있다. 안전 감시 체계를 빠져나가는 데이터를 인공지능이 자동 생성할 수 있다는 사실은 기존 안전 대책의 한계를 보여주는 것으로 볼 수 있다.

인공지능의 안전성을 둘러싼 문제에서는 모델 자체의 동작뿐 아니라 학습 데이터의 품질과 출처를 어떻게 관리할지가 업계 전체의 과제가 되어가고 있다. 특히 대규모 모델에서 소규모 모델로 지식을 이전하는 "증류"와 자동 데이터 생성이 일반화되는 가운데, 악의적인 조작이 혼입될 위험에 대한 대처가 더욱 중요해지고 있다.

이번 연구는 인공지능 안전성 논의에서 "방어하는 쪽"과 "공격하는 쪽" 양쪽을 이해하는 것의 중요성을 보여주고 있다. Anthropic이 이러한 공격 기법을 스스로 실험하고 공개하는 것은 업계 전체가 방어책을 강화하기 위한 지식을 공유한다는 의미에서 일정한 의의가 있다고 볼 수 있다. 한편, 유사한 기법이 악의적인 제3자에게 응용될 위험에 대해서도 향후 논의에서 문제가 될 점이라고 할 수 있다.

인공지능 시스템의 감시 체제와 학습 데이터의 검증 프로세스를 어떻게 강화할 것인지, 그리고 자동 생성된 데이터의 안전성을 어떻게 보장할 것인지는 인공지능 개발 전체와 관련된 미해결의 문제로 남아 있다. 이 연구는 그 문제와 마주하기 위한 출발점 중 하나로 위치지어진다.