AI의 안전 제한이 사이버보안 연구를 방해한다

OpenAI와 Anthropic이 설정한 AI의 "가드레일(안전 제한 기능)"이 공격적인 사이버보안 연구자의 업무를 방해하고 있는 실태가 드러나고 있다. 다수의 보안 연구자 취재에 따르면, 미지의 취약점을 찾아내거나 이를 악용하는 도구를 개발하는 연구 활동에서 AI가 필요한 정보 및 지원 제공을 거부하는 사례가 잇따르고 있다. 이러한 상황은 보안 향상을 목적으로 한 정당한 연구 활동에도 영향을 미치고 있다.

"공격적인 사이버보안 연구"란 악의적인 공격자의 수법을 미리 파악하여 취약점을 발견·보고하고 방어에 활용하는 전문적인 활동을 의미한다. 이른바 "침투 테스트(침입 테스트)" 또는 "레드팀 연습"이 그 대표적인 예이며, 조직의 보안 수준을 높이는 데 필수적인 것으로 인식되고 있다. 이러한 연구자들은 실제 공격 기법을 깊이 있게 이해할 필요가 있기 때문에 AI에 대해 고도로 기술적인 질문을 하는 경우가 많다.

그런데 OpenAI의 ChatGPT나 Anthropic의 Claude 같은 AI는 악용의 위험이 있다고 판단한 질문에 대해 답변을 거부하거나 내용을 대폭 제한하도록 설계되어 있다. 취재에 응한 연구자들은 취약점 분석이나 익스플로잇(취약점을 이용한 프로그램) 개발 같은 업무에서 AI에 질문했을 때, 정규 연구 목적임에도 불구하고 차단되는 경험을 반복하고 있다고 증언했다. 결과적으로 AI를 활용한 효율화가 기대될 작업을 종래대로 수작업으로 진행할 수밖에 없는 상황이 되고 있다.

이러한 문제가 발생하는 배경에는 AI의 안전 설계가 안고 있는 근본적인 딜레마가 있다. "악의적인 공격자"와 "정당한 연구자"의 질문은 AI 입장에서는 모양이 매우 유사하기 때문에 양자를 정확히 구별하기는 현 시점에서 기술적으로 어렵다. AI 개발 기업은 해로운 사용을 방지하는 것을 우선하여 가드레일을 엄격하게 설정하고 있지만, 그 결과로 정당한 사용자까지 거르게 되는 부작용이 발생하고 있다.

이러한 상황은 보안 커뮤니티에 구체적인 영향을 미치고 있다. 연구자가 AI를 사용할 수 없게 되면 새로운 취약점 발견 속도가 떨어지며, 최종적으로는 시스템의 안전성이 저하될 위험이 있다. 한편 AI의 제한을 의도적으로 우회하려는 악의적 행위자는 계속해서 다양한 우회 수단을 찾고 있기 때문에 가드레일이 실제로 어느 정도 유효한지에 대한 의문도 남는다. 정당한 연구자만 불편함을 강요당하는 비대칭적 구조가 형성될 가능성이 있다.

AI 도구가 사이버보안 현장에 확산되고 있는 가운데 가드레일의 방식은 업계 전체의 과제로 떠오르고 있다. 보안 연구자 사이에서는 연구 목적임을 입증하는 인증 제도나 전문가 대상의 특별 접근권 설정을 요구하는 목소리도 나오고 있다. AI 기업이 보안 연구자와의 대화를 어떻게 진행하고 제한의 범위를 어떻게 재검토할지가 향후 주목할 점의 하나로 자리잡고 있다.

AI 기술이 고도화될수록 그 안전한 사용과 활용 촉진의 균형을 어떻게 맞출지에 대한 물음은 더욱 복잡해진다. 특정 사용자 속성이나 용도에 따라 가드레일의 수준을 유연하게 조정하는 "문맥 의존형 안전 설계"를 실현할 수 있는지 여부가 보안 분야에서의 AI 활용의 열쇠를 쥐고 있다는 견해가 가능하다.