생성AI의 레드팀 기법, AWS 환경에서의 실전 해설

보안 연구자 Kennedy Torkura가 대규모 언어 모델(LLM)과 지식 기반을 겨냥한 사이버 공격에 대응하기 위한 생성AI 레드티밍 기술을 설명했다. 구체적으로는 데이터 포이즈닝이나 LLM 재킹과 같은 공격 방식을 상정한 실전적인 접근 방식을 AWS 환경을 전제로 제시하고 있다.

레드티밍이란 공격자의 관점에서 시스템의 약점을 의도적으로 찾는 기법으로, 소프트웨어 개발과 클라우드 보안 분야에서는 오랫동안 활용되어 왔다. 생성AI의 보급에 따라 이 기법을 AI 시스템에 적용하는 움직임이 확산되고 있으며, 모델 자체 및 모델이 참조하는 데이터에 대한 공격을 어떻게 방어할 것인가가 업계의 공통 과제로 떠오르고 있다.

Torkura의 설명에서는 엔지니어링 리더와 시스템 설계자가 기존의 클라우드 보안 지식을 활용하면서 AI 특화 위협에 대응하기 위한 구체적인 길이 제시되었다. 활용할 프레임워크로 언급된 것이 MITRE ATLAS로, 이는 AI 시스템에 대한 공격 전술과 기법을 체계적으로 정리한 지식 기반이다. 이 프레임워크를 활용함으로써 취약점을 사전에 파악하고 운영 환경의 AI 애플리케이션에 가드레일(안전 제어 기능)을 구현하는 것이 가능해진다고 한다.

데이터 포이즈닝이란 AI가 학습·참조하는 데이터에 의도적으로 오정보를 혼입시켜 모델의 출력을 왜곡하는 공격을 말한다. 한편 LLM 재킹은 LLM의 API나 클라우드 리소스를 제3자가 무단으로 사용하여 비용 피해나 정보 유출을 초래하는 기법이다. 둘 다 AI 시스템이 운영 환경에서 작동하기 시작하면서 처음으로 드러난 상대적으로 새로운 공격 벡터이며, 기존의 보안 대책만으로는 대응할 수 없는 영역이라고 할 수 있다.

이번 시도가 보여주는 중요한 관점은 AI 보안이 모델의 성능과는 독립된 전문 분야로 확립되고 있다는 점이다. 클라우드에서 AI를 운영하는 조직에게 있어서는 기존의 클라우드 보안 담당자가 AI 특화 위험 모델을 습득하는 것이 현실적이고 효율적인 접근 방식으로 자리 잡고 있다. MITRE ATLAS 같은 표준화된 프레임워크를 매개로 사용함으로써 그 전환이 용이해진다는 견해가 가능하다.

생성AI의 기업 도입이 가속화되는 가운데 보안 대책의 정비가 따라가지 못하는 사례가 적지 않다. 운영 환경의 AI 애플리케이션을 보호하기 위해서는 개발·운영 단계에서부터 위협을 상정한 설계를 포함시키는 것이 요구되며, 앞으로는 레드티밍과 같은 공격 관점의 접근 방식이 AI 시스템의 안전 평가에 있어서 표준적인 프로세스로 정착할 가능성이 있다.