인공지능 모델의 88%가 멀티턴 공격으로 뚫린다

인공지능 모델에 대한 공격 기법으로서 '멀티턴 공격'이 심각한 위협이 되고 있다. Cisco의 인공지능 위협 인텔리전스·보안 연구 책임자인 에이미 찬이 2026년 VB Transform 컨퍼런스(에이전트형 인공지능 보안에 관한 패널)에서 발표한 연구에 따르면, 여러 번의 상호작용을 통해 대화를 조작하는 멀티턴 공격은 최대 88.3%의 확률로 인공지능 모델의 보안 조치를 돌파할 수 있는 것으로 확인되었다. 15가지 주요 인공지능 모델을 대상으로 6,986건의 공격을 시도한 결과로 얻어진 수치이며, 모델에 따라 돌파율은 7.89%에서 88.3%까지 폭넓게 나타났지만, 모든 모델에서 무시할 수 없는 위험성이 확인되었다.

멀티턴 공격이란 한 번의 악의적인 질문(싱글턴)이 아니라 여러 번의 대화를 거치면서 인공지능을 유도하여 원래는 출력되지 않아야 하는 유해한 정보나 부적절한 행동을 이끌어내는 기법이다. 찬은 "우리가 실제로 인공지능 모델이나 에이전트, 애플리케이션과 상호작용하는 방식에 가깝다"고 설명하고 있으며, 현실의 공격 시나리오를 더 정확히 반영한다는 관점에서 볼 수 있다. 이에 반해 싱글턴 테스트만으로는 대화의 누적을 통한 취약점을 감지할 수 없으며, 모델의 안전성을 과대평가할 위험이 있다. 실제로 두 가지 테스트 방법은 모델의 위험 순위마저 일치하지 않았다는 점도 밝혀졌다.

찬과 니콜라스 컨리가 공동 집필한 이 연구는 30,090건의 싱글턴 프롬프트와 6,986건의 멀티턴 공격을 결합한 대규모 평가에 기반하고 있다. Cisco는 현재 105가지 인공지능 모델을 대상으로 한 평가 결과를 "LLM 보안 리더보드"로 공개하고 있으며, 모델별 공격 내성을 지속적으로 측정하고 있다. 또한 동사는 인공지능 에이전트가 자율적으로 공격 시나리오를 생성·평가하는 프레임워크 개발도 진행 중이라고 찬이 언급했다.

엔터프라이즈(기업) 측의 보안 대책 현황도 드러났다. VentureBeat가 2026년 6월에 기업 담당자 107명을 대상으로 실시한 조사에 따르면, 54%가 에이전트 관련 보안 사고를 경험하거나 미리 방지하고 있었다. 한편 에이전트별로 전담 관리 권한(범위가 정해진 신원)을 부여하고 있는 기업은 32%에 불과하며, 위험도가 높은 에이전트를 샌드박스(격리된 안전한 실행 환경)에서 분리하고 있는 기업은 30%에 지나지 않는다. 82%의 기업이 클라우드 서비스 제공업체의 표준 기능을 보안의 주요 수단으로 삼고 있으며, 추가적인 방어 계층이 아직 충분히 갖춰지지 않은 실태가 드러난다.

이러한 상황을 받아 대형 보안 기업들의 인수합병이 잇따르고 있다. Palo Alto Networks는 2026년 2월 CyberArk를 250억 달러에 인수 완료했으며, Crowdstrike는 같은 해 1월 SGML을 7억 4,000만 달러에 인수하기로 합의했다. Cisco는 보도에 따르면 4억 달러 규모로 Astrix Security의 인수를 발표했다. 모두 인공지능 시스템에서 "누가·무엇을" 접근할 수 있는지를 관리하는 신원 및 격리 메커니즘을 강화할 목적이며, 많은 기업이 아직 구축 중인 보안 계층을 채우려는 움직임으로 자리매김할 수 있다.

찬은 사이버보안 업무, 정부 기관, 군에 걸쳐 약 20년의 경험을 보유하고 있으며, JP Morgan Chase에서 사이버 위협 인텔리전스 팀을 이끈 바 있고, 미국 하원 외교위원회의 고급 스태프와 해군 예비역 장교를 역임했다. 현재는 Middlebury Institute of International Studies에서 사이버보안과 신흥 위협을 가르치고 있다.

이번 발표가 보여주는 것은 인공지능 에이전트의 보안 평가에서 싱글턴 테스트만을 기준으로 삼고 있는 기업에게는 보이지 않는 위험성이 존재한다는 점이다. 인공지능이 단발적인 질문에 답하는 도구에서 자율적으로 여러 작업을 수행하는 '에이전트'로 진화하면서, 공격자도 대화의 흐름을 활용한 수법으로 이행하고 있다는 관점에서 볼 수 있다. 향후 에이전트형 인공지능을 운영하는 모든 조직에게 멀티턴 공격 대응과 권한 관리 강화가 우선 과제가 될 것으로 예상된다.