프롬프트 인젝션, 기업 AI의 주요 위협으로

기업용 AI 시스템에 대한 공격 기법으로 '프롬프트 인젝션'이 실질적 피해를 동반한 위협으로 정착하고 있다. 이는 AI에 대한 지시문(프롬프트)에 악의적인 명령을 섞어 넣어 시스템을 의도하지 않은 동작으로 유도하는 공격이다. OWASP(오픈 웹 애플리케이션 보안 프로젝트)는 2025년판 'LLM 리스크 톱 10'에서 이 공격을 최상위의 'LLM01'에 2회 연속으로 위치시키고 있으며, 현 시점에서 가장 심각한 LLM 고유의 취약점 범주로 인정하고 있다.

배경에는 대규모 언어 모델(LLM) 자체의 구조적 특성이 있다. LLM은 '지시'와 '데이터', 혹은 '문맥'과 '메타데이터'를 엄격히 구별하기를 어려워한다. 인간이라면 '이것은 악의적인 명령이다'라고 판단할 수 있는 상황에서도 LLM은 텍스트의 형식이나 문맥을 잘못 읽어 공격자의 명령을 그대로 실행해 버릴 수 있다. 기업이 LLM을 업무 지원, 분석, 개발, 사내 자동화에 활용하는 장면이 급속도로 확대되는 가운데, 이러한 약점이 실제 침해 경로로 기능하기 시작했다.

사이버보안 기업 CrowdStrike가 2026년에 공표한 '글로벌 위협 보고서'에 따르면, 2025년 중 90개 이상의 조직에서 정규 생성 AI 도구에 악의적인 프롬프트가 주입되었다. 공격자들은 이 수법으로 인증 정보나 암호화폐를 탈취하는 명령을 생성했으며, 해당 보고서는 '프롬프트는 새로운 악성코드다'라고 명시하고 있다. 또한 AI를 활용한 공격자에 의한 공격량은 전년 대비 89% 증가했으며, 프롬프트 인젝션이 침입의 입구이자 공격력의 증폭 장치로 기능하고 있음을 보여주었다.

실제 피해 사례도 보고되었다. 2024년 8월 보안 연구원들이 Slack AI의 프롬프트 인젝션 취약점을 공개했다. 공격자들은 공개 채널에 글을 쓰거나 첨부 문서에 코드를 숨겨 본래 접근할 수 없어야 할 비공개 채널의 데이터(개발자가 공유한 API 키 포함)를 외부로 반출할 수 있는 상태였다고 보고되었다. 더욱이 2025년 6월, 보안 기업 Aim Security는 Microsoft 365 Copilot을 대상으로 한 취약점 'EchoLeak'(CVE-2025-32711, CVSS 점수 9.3)을 공표했다. 이는 운영 환경의 AI 시스템을 대상으로 한 첫 번째 '제로클릭형 프롬프트 인젝션'으로 기록되었으며, 조작된 이메일 1통을 보낼 뿐 사용자의 조작을 전혀 필요로 하지 않고 Copilot에 내부 파일에 대한 접근과 그 내용의 외부 송신을 실행하게 할 수 있었다. 두 취약점 모두 이후 수정되었다.

공격의 대상도 확대되고 있다. 프롬프트 인젝션은 이제 단순한 채팅 AI 공격에 그치지 않으며, 여러 AI가 연계하여 작동하는 '멀티에이전트 아키텍처', 외부 문서를 참조하여 응답을 생성하는 RAG(검색 증강 생성) 파이프라인, 여러 모델로의 처리를 배분하는 모델 라우터, 그리고 AI가 대화 기록을 보유하는 장기 메모리 기능에까지 확대되었다. 이들은 모두 기업이 업무 효율화를 위해 적극적으로 도입하는 방식이며, 공격 표면의 확대는 곧 기업 리스크의 확대를 의미한다.

이 상황이 보여주는 것은 프롬프트 인젝션이 '이론상의 결함'이 아니라 이미 실제 침해에 사용되는 '반복 가능한 공격 수법'이라는 점이다. LLM을 업무의 핵심에 통합하는 기업에게 AI 시스템이 '어디까지를 신뢰해야 하는가'를 설계 단계에서 명확히 정의하는 것이 보안의 출발점이 된다고 할 수 있다. 모델의 버전 업그레이드나 기능 추가와 동일한 우선순위로 입력 데이터 검증이나 권한 분리 같은 보안 설계를 포함할 필요성이 일련의 사례들로부터 드러나고 있다.

앞으로 주목해야 할 점은 멀티에이전트나 RAG 등 복잡한 구성을 가진 시스템에 대한 대책이 어느 정도까지 체계화될 것인가 하는 것이다. 단일 모델에 대한 대책과는 달리, 여러 AI가 연계하는 환경에서는 어느 단계에서 인젝션이 발생하고 있는지를 검지하기 자체가 어려워진다. OWASP나 CrowdStrike 같은 기관이 지속적으로 경고를 발하는 가운데, 기업의 보안 팀과 AI 개발 팀이 연계하여 리스크를 관리하는 체제 구축이 그 어느 때보다 문제가 되는 국면에 들어갔다고 할 수 있다.