프롬프트 인젝션, 취약성 스캔으로 감지할 수 없는 구조적 문제

AI 보안의 중요한 지표인 OWASP(오픈 웹 애플리케이션 보안 프로젝트)의 「LLM 애플리케이션용 Top10」에서 프롬프트 인젝션은 3년 연속 1위를 차지해왔다. 그런데 실제로 공개된 인시던트 기록과 비교하면, 같은 공격이 12위에 머물러 있었다. 이 수치의 큰 괴리가 AI 시대의 보안 관리에 근본적인 과제를 제시하고 있다.

이 분석을 발표한 것은 OWASP의 LLM 애플리케이션 Top10 프로젝트를 이끄는 Kyriakos「Rock」Lambros와 Steve Wilson이다. 2025년 8월 18일 arXiv에 공개한 논문에서 두 저자는 CVE(공통 취약점 식별자), GitHub Security Advisories, OSV, 그리고 AIAIC AI 해롭(Harm) 데이터베이스에서 수집한 7,714건의 LLM 보안 인시던트를 분석했다. 이 중 6,639건을 20개 항목의 분류체계에 적용하여 전문가 판단과 실제 인시던트 기록을 비교했다. 참고로 이 논문은 동료 검토를 거친 것이 아니며, OWASP의 공식 입장도 아니라고 저자가 명시했다.

분석 결과, 전문가 평가와 공개 인시던트 기록 간에 통계적으로 유의미한 일치가 나타나지 않았다. 일치 정도를 나타내는 지표인 「코헨의 카파」는 0.20이며, 90% 신뢰 구간은 마이너스 0.16부터 0.57에 이른다. 구간이 0을 포함하고 있기 때문에 두 순위의 일치가 우연의 범위를 초과한다고 단정할 수 없다고 저자들은 기술했다. Lambros는 이 결과를 「두 증인이 서로 모순된 증언을 하고 있으며, 어느 쪽이 맞는지 판단할 수 없는 상태」라고 표현했다.

왜 프롬프트 인젝션은 인시던트 기록에서 보이지 않을까? 그 이유는 이 공격의 메커니즘 자체에 있다. 프롬프트 인젝션이란 공격자가 AI 모델이 읽어들이는 콘텐츠—로그 항목, 지원 티켓, 검색으로 얻은 문서 등—에 불정상 지시를 내장하는 기법이다. AI 에이전트는 이를 정상 지시로 오인하여 자신이 보유한 권한의 범위 내에서 공격자가 의도한 동작을 실행해버린다. 이 일련의 과정에는 소프트웨어상의 결함이 존재하지 않기 때문에 CVE로 기록되지 않으며, 취약성 스캐너의 눈에 띄지도 않는다.

기존 보안 관리에서는 CVE 건수가 적으면 위험이 낮다고 판단하기 쉽다. 하지만 프롬프트 인젝션은 그 전제를 뒤엎는 공격으로 위치지어진다. 취약성 스캐너가 감지할 수 있는 영역 외부에서 작동하기 때문에 CVE 수가 0이어도 안전하다고 할 수 없는 상황이 발생한다. AI 에이전트가 외부 데이터를 참조하거나 도구를 호출하는 기능이 확산될수록 이러한 공격 표면은 넓어질 수 있다는 점을 고려할 수 있다.

대책으로 논문이 제시하는 방향성은 두 가지다. 하나는 실제로 가동 중인 시스템에 대해 공격을 모방한 테스트를 수행하는 것이다. 다른 하나는 AI 에이전트가 접근할 수 있는 리소스와 도구의 범위를 아키텍처 단계에서 엄격하게 제한하는 것이다. 에이전트의 메모리 관리와 MCP(모델 컨텍스트 프로토콜) 도구의 경계 설정에 초기 단계부터 착수하는 것이 인시던트 건수가 누적된 후가 아니라 구조적으로 대응하기 위해 중요하다는 생각이 배경에 있다.

이번 연구가 보여주는 최대의 시사점은 「무엇이 위험한가」에 대한 인식이 측정 방법에 따라 달라질 수 있다는 점이다. 전문가 지식에 기반한 리스트와 실제로 기록된 인시던트 리스트가 일치하지 않는다는 것은 어느 한쪽만을 의존하여 보안 대책을 구성하는 것에 대한 경고로 볼 수 있다. AI 시스템의 안전성을 평가할 때 스캔할 수 없는 영역을 어떻게 가시화할 것인가—그 기법의 정비가 업계 전체의 차기 과제로 떠오르고 있다.