AI가 Firefox 취약점을 자동으로 악용, 인간의 개입 없음

공개된 AI 모델 GLM 5.3이 Firefox의 취약점을 이용한 공격 코드를 인간의 도움 없이 자동 생성할 수 있음이 확인되었다. Epoch AI의 연구자들이 이 사실을 보고했으며, 48시간 이내에 여러 Firefox 버전에 대한 공격 체인을 완성했다고 밝혔다.

이번 연구에서 특히 주목할 점은 AI가 "보안 수정의 공개"라는 정보를 출발점으로 삼았다는 것이다. 소프트웨어 개발사가 버그를 수정할 때, 그 수정 내용은 종종 공개된다. 그러나 모든 사용자가 즉시 업데이트를 적용할 수 있는 것은 아니다. 이 "수정은 공표되었지만 아직 널리 퍼지지 않은" 시간차를 GLM 5.3이 자동으로 활용한 형태가 되었다.

Epoch AI의 보고에 따르면, GLM 5.3은 6개의 Firefox 릴리스에 대해 각각 약 1,000달러(API 이용료)를 들여 침해에 성공했다. 또한 테스트한 모든 AI 제공업체의 안전 필터도 작동하지 않았다고 알려져 있으며, 기존의 방어 체계를 우회한 점도 확인되었다. GLM 5.3은 오픈웨이트형, 즉 누구나 다운로드하여 사용할 수 있는 모델이며, 특별한 접근 권한 없이 획득 가능하다는 점도 이번 사건의 특징 중 하나다.

종래에는 소프트웨어의 취약점을 악용하는 공격 코드 개발에 고도의 보안 지식을 가진 전문가와 상당한 시간이 필요했다. 이번 사례는 그 진입 장벽이 AI에 의해 크게 낮아질 가능성을 보여주는 것으로 위치지어진다. 1,000달러 정도의 비용으로 자동화할 수 있다면, 지금까지 국가 수준의 조직에 국한되었던 고도의 공격이 더 넓은 범위의 공격자에게 도달할 수 있다는 견해도 있다.

보안의 맥락에서 특히 심각한 것은 안전 필터가 기능하지 않았다는 점이다. AI 제공업체들은 모델이 악의적인 용도로 사용되지 않도록 "가드레일"이라 불리는 제한을 설정하고 있지만, 이번 테스트에서는 그것들이 제대로 작동하지 않았음이 드러났다. 이는 현재의 안전 설계가 특정 시나리오에 대해 의도한 대로 기능하지 않을 가능성을 암시한다.

향후 초점은 AI 제공업체와 연구 커뮤니티가 어떻게 대응하는가에 있다. 안전 필터의 강화는 물론, 오픈웨이트 모델의 취급 방식이나 취약점 정보 공개 시기의 문제에 대해서도 다시 논의할 필요가 있는 단계에 와 있다는 견해가 가능하다. 본 사례는 AI 기술 자체의 문제라기보다, 그 사용 방식과 방어 체계가 따라가지 못하고 있음을 보여주는 사례로서 업계 전체에 질문을 던지고 있다.