Cloudflare, AI 봇 관리를 종류별로 세분화

Cloudflare는 AI 봇에 대한 관리 기능을 전체 고객을 대상으로 개편했다. 그동안 일괄적으로 차단할 수밖에 없었던 설정을 개선하여, 봇의 종류별로 개별 제어할 수 있는 체계를 제공한다. 사이트 운영자는 「검색계」「학습계」「에이전트계」라는 3가지 카테고리를 각각 독립적으로 켜고 끌 수 있게 되었다.

이러한 변경이 나타난 배경에는 AI 봇이 급속도로 다양화해온 상황이 있다. 웹상을 순회하는 봇은 이전부터 존재했지만, 근년에는 AI 모델의 훈련 데이터를 수집하는 크롤러나, AI 간에 자율적으로 연계하여 정보를 취득하는 「AI 에이전트」형 접근이 급증하고 있다. 종류가 다른 봇을 한데 묶어서 차단하는 설정으로는 검색 엔진 최적화에 필요한 크롤러까지 차단하게 되는 등, 사이트 운영자가 의도하지 않은 영향이 발생하기 쉬웠다.

구체적인 변경 사항으로 주목할 점은 2026년 9월 15일 이후에 적용되는 새로운 기본값 설정이다. 이 날짜 이후, 광고 수익을 얻고 있는 페이지에서는 「학습계 봇」과 「에이전트계 봇」이 자동으로 차단된다. 사이트 운영자가 개별적으로 설정을 변경하지 않아도, 상업적 이용과 관련된 봇 접근은 표준적으로 차단되는 형태가 된다.

이 변경이 업계에 중요한 의미를 갖는 이유는 Cloudflare가 세계 많은 웹사이트의 인프라를 담당하는 서비스이기 때문이다. 동사의 설정이 기본값으로 변경된다는 것은 특별한 지식이 없는 소규모 사이트 운영자도 자동으로 일정 수준의 보호를 받을 수 있다는 의미다. AI 모델 개발 기업의 입장에서는 훈련 데이터를 수집할 수 있는 범위가 실질적으로 좁혀질 가능성이 있다고 볼 수 있다.

한편, 3가지 카테고리로의 세분화는 「모두 차단하거나, 모두 허용하거나」라는 이분법에서 탈피하는 움직임으로도 자리매김할 수 있다. 예를 들어 검색 엔진용 크롤러는 계속 허용하면서, 훈련 데이터 수집만 제한하는 등 유연한 운영이 가능해진다. 사이트 운영자가 콘텐츠의 이용 목적에 따라 접근을 선별할 수 있게 된 점은 권리 보호 측면에서도 한 걸음 전진이라고 할 수 있다.

앞으로 주목할 점은 2026년 9월의 기본값 변경을 향해 AI 개발 기업과 콘텐츠 기업이 어떻게 대응을 진행할 것인가라는 부분이다. 훈련 데이터의 조달 방식이나 사이트 소유자와의 허락 계약의 방식에도 영향을 미칠 가능성이 있다. Cloudflare의 이번 결정이 웹상의 콘텐츠 이용을 둘러싼 논의에 새로운 논점을 더하게 될 것이다.