Cloudflare, AI봇 관리를 종류별로 세분화

Cloudflare는 AI봇에 대한 관리 기능을 전체 고객을 위해 혁신했다. 이전에는 일괄적으로 차단할 수밖에 없었던 설정을 개선하여, 봇의 종류에 따라 개별적으로 제어할 수 있는 체계를 제공한다. 사이트 운영자는 '검색형', '학습형', '에이전트형'이라는 3가지 카테고리를 각각 독립적으로 켜고 끌 수 있게 되었다.

이러한 변화가 나타난 배경에는 AI봇이 급속도로 다양화되었다는 상황이 있다. 웹을 순회하는 봇은 예전부터 존재했지만, 근래에는 AI모델의 훈련 데이터를 수집하는 크롤러나, AI끼리 자율적으로 연계하여 정보를 취득하는 'AI에이전트' 형식의 접근이 급증하고 있다. 종류가 다른 봇을 한데 묶어 차단하는 설정으로는 검색 엔진 최적화에 필요한 크롤러까지 차단하게 되는 등 사이트 운영자의 의도하지 않은 영향이 발생하기 쉬웠다.

구체적인 변경 사항으로 주목할 점은 2026년 9월 15일 이후에 적용되는 새로운 기본값 설정이다. 이 날 이후, 광고 수익을 얻고 있는 페이지에서는 '학습형 봇'과 '에이전트형 봇'이 자동으로 차단된다. 사이트 운영자가 개별적으로 설정을 변경하지 않아도, 상업적 이용과 관련된 봇 접근은 표준으로 차단되는 형태가 된다.

이 변화가 업계에 중요한 의미를 갖는 이유는 Cloudflare가 전 세계 많은 웹사이트의 인프라를 담당하는 서비스이기 때문이다. 동사의 설정이 기본값으로 변한다는 것은 특별한 지식이 없는 소규모 사이트 운영자도 자동으로 일정 수준의 보호를 받을 수 있음을 의미한다. AI모델 개발 기업 입장에서는 훈련 데이터를 수집할 수 있는 범위가 실질적으로 좁혀질 가능성이 있다는 견해도 있다.

한편, 3가지 카테고리로의 세분화는 '모든 것을 차단할 것인가, 모든 것을 허용할 것인가'라는 양자택일에서 벗어나는 움직임으로도 자리매김된다. 예를 들어 검색 엔진용 크롤러는 계속 허용하면서 훈련 데이터 수집만 제한하는 등 유연한 운영이 가능해진다. 사이트 운영자가 콘텐츠의 이용 목적에 따라 접근을 선별할 수 있게 된 점은 권리 보호 관점에서도 한 발 전진이라고 할 수 있다.

향후 주목할 점은 2026년 9월의 기본값 변경을 앞두고 AI 개발 기업과 콘텐츠 기업이 어떻게 대응을 진행할 것인가 하는 부분이다. 훈련 데이터 조달 방식과 사이트 소유자와의 허가 계약 방식에도 영향이 미칠 가능성이 있다. Cloudflare의 이번 판단이 웹상의 콘텐츠 이용을 둘러싼 논의에 새로운 논점을 더하게 될 것으로 보인다.