클라우드플레어, AI 에이전트 트래픽 증가에 대응하는 새로운 웹 경제 모델 제시

AI 에이전트 중심의 웹 트래픽 변화

클라우드플레어는 인터넷 트래픽의 절반 이상이 이제 인간이 아닌 소프트웨어 에이전트로부터 발생하고 있다고 발표했다. 2024년 말 초당 평균 6,300만 건의 HTTP 요청을 처리하던 클라우드플레어 네트워크는 현재 초당 1억 1,500만 건으로 거의 두 배 증가했으며, 최고치는 1억 5,000만 건을 넘어선다. 지난 한 해 동안 AI 에이전트의 일일 요청은 1,700% 이상 급증했다. 이러한 변화는 웹사이트 운영자들이 대역폭 비용을 지불하면서도 광고 노출이나 구독으로 이어지지 않는 새로운 문제에 직면하게 만들었다.

과거 30년간 웹은 검색 엔진이 사이트를 크롤링하고 방문자를 보내면, 이 방문자를 통해 수익을 창출하는 방식으로 운영되었다. 그러나 AI 기반 답변 엔진이 페이지를 읽고 요약 정보를 제공하면서, 인간 방문자가 웹사이트에 직접 방문할 필요성이 줄어들었다. 이로 인해 소매, 컴퓨터 소프트웨어, IT 서비스, 금융 서비스와 같이 크롤링이 활발한 일부 산업에서는 1년도 채 되지 않아 인간 트래픽이 최대 40% 감소하는 현상이 나타났다. 결과적으로 요청당 수익은 감소하고 비용은 증가하는 상황이 발생하고 있다.

콘텐츠 제어 및 식별 기능 강화

클라우드플레어는 이러한 변화에 대응하기 위해 웹사이트 운영자가 AI 에이전트 트래픽을 더 효과적으로 관리할 수 있는 새로운 제어 기능을 도입했다. 기존의 단일 'AI 봇 차단' 스위치는 2024년 7월부터 검색, 에이전트, 훈련 등 세 가지 개별 제어 기능으로 분리되어 모든 요금제에서 제공된다. 이 데이터는 이러한 구분이 필요함을 보여주는데, 클라우드플레어 사용자 중 1% 미만이 검색 크롤러를 차단하는 반면, 17%는 훈련 크롤러를 차단한다.

특히 2024년 9월 15일에는 'Disallow AI Training' 기능을 출시했다. 이 기능은 웹사이트가 검색 엔진에 계속 색인되면서도, 크롤러별 메커니즘을 사용하여 운영자에게 해당 데이터를 AI 훈련에 사용하지 않도록 지시한다. 애플, 구글, 마이크로소프트는 이 지시를 준수하겠다고 약속했다. 또한, 클라우드플레어 레이더는 크롤러의 행동을 공개적으로 추적하여 투명성을 높인다. 웹사이트 운영자는 AI 크롤 제어, 비즈니스 인사이트, 봇베이스 도구를 통해 누가 크롤링하는지, 어떤 데이터를 가져가는지, 어떤 URL을 가장 많이 요청하는지 파악할 수 있다.

봇의 신뢰성을 높이기 위해 'Web Bot Auth' 기능도 제공한다. OpenAI, 구글, AWS와 같은 운영자들은 에이전트 요청에 암호화 서명을 하여, 웹사이트가 IP 주소나 사용자 에이전트 문자열에 의존하지 않고 실제 에이전트와 위장 에이전트를 구별할 수 있도록 돕는다. 클라우드플레어는 매주 5천억 건 이상의 검증된 봇 요청을 처리하고 있다. 신규 도메인의 경우, 사이트의 수익 모델에 기반한 권장 구성이 제공되며, 광고 기반 사이트의 경우 광고가 있는 페이지에서 훈련을 금지하고 에이전트를 차단하는 등의 설정을 쉽게 적용할 수 있다.

새로운 수익 모델: 사용량 기반 결제

클라우드플레어는 웹사이트가 에이전트 트래픽으로부터 수익을 창출할 수 있도록 'Pay Per Use'와 'Monetization Gateway'라는 두 가지 새로운 결제 모델을 구축하고 있다. 2026년 8월에 발표된 '에이전트 웹' 비전의 핵심은 '지불 가능성(payable)'이다. 웹은 단순히 '예' 또는 '아니오'가 아닌 '예, 지불한다면'이라고 말할 수 있는 방법이 필요하다.

'Pay Per Use'는 직접 라이선싱 계약이 어려운 대다수 웹사이트를 위한 모델이다. 이 모델은 크롤링 자체에 비용을 부과하지 않고, 콘텐츠가 실제로 사용될 때 지불한다. 모든 구매자는 검증된 크롤러이며, 각 구매자는 '사용'의 정의와 지불할 금액을 명시한다. 게시자는 제안을 확인하고 참여 여부를 선택하며, 언제든지 옵트아웃할 수 있다. 구매자는 각 사용 내역을 보고하고, 클라우드플레어는 이를 확인한 후 구매자에게 청구하고 게시자에게 지급한다. 이 시스템은 게시자에게 어떤 콘텐츠가 언제 사용되었는지, 얼마를 벌었는지, 그리고 어떤 질문에 의해 콘텐츠가 노출되었는지에 대한 상세한 보고서를 제공하여 피드백 루프를 형성한다.

'Monetization Gateway'는 기존에 수익화하기 어려웠던 가치를 포착한다. 계정, API 키, 구독은 이미 알고 있는 고객에게는 작동하지만, 한 번의 조회를 원하는 에이전트에게는 적합하지 않다. 클라우드플레어의 클로즈드 베타 프로그램은 미국 내 적격 고객이 기존의 규칙 언어를 사용하여 클라우드플레어를 통과하는 모든 것에 가격을 책정할 수 있도록 한다. 규칙이 일치하면 HTTP 402 Payment Required 응답이 x402 프로토콜을 사용하여 반환되며, 에이전트는 판매자에게 직접 지불한다. 이 게이트웨이는 요청당, 쿼리당, 또는 토큰당 고정 또는 상한 가격으로 요금을 부과할 수 있다. 예를 들어, 광고 기반 스포츠 통계 사이트는 에이전트가 특정 질문을 할 때마다 소액을 청구할 수 있다.

두 제품 모두 구매자에게는 차단 페이지 대신 안정적인 접근과 수백만 개의 사이트에 도달할 수 있는 방법을 제공한다. 모든 유료 요청은 구매 내역과 지불 증명을 포함하는 영수증을 남긴다. 이 두 모델은 신원 확인, 측정, 가격 책정, 정산, 분석 등 공유된 기본 요소를 기반으로 구축되었으며, 함께 작동하여 게시자가 하나의 대시보드에서 훈련을 금지하고, 검색을 허용하며, AI 답변으로 수익을 얻고, 에이전트에게 기사당 요금을 청구할 수 있도록 한다.

개발자 및 사용자에게 미치는 영향

이러한 변화는 웹사이트 운영자에게 새로운 수익 창출 기회를 제공한다. 기존에는 대역폭 비용만 발생하고 수익으로 이어지지 않던 AI 에이전트 트래픽을 이제는 잠재적인 고객으로 전환할 수 있다. 콘텐츠 사용에 대한 명확한 통제권을 확보하고, 어떤 콘텐츠가 AI 에이전트에게 가치 있는지에 대한 통찰력을 얻을 수 있다. 이는 콘텐츠 전략 수립에도 긍정적인 영향을 미칠 수 있다.

AI 개발사와 에이전트 사용자에게는 웹 콘텐츠에 대한 보다 안정적이고 투명한 접근 방식을 제공한다. 맞춤형 라이선스 계약이나 개별 API 키 관리의 복잡성 없이, 표준화된 방식으로 수많은 웹사이트의 콘텐츠를 이용하고 그에 대한 대가를 지불할 수 있게 된다. 이는 AI 모델의 학습 및 서비스 품질 향상에도 기여할 수 있다.

클라우드플레어는 또한 에이전트 트래픽에 최적화된 도구를 제공하여 비용 절감에도 기여한다. 'Markdown for Agents'는 에이전트가 인간의 눈을 위한 추가 스타일링 없이 페이지를 읽을 수 있도록 하며, 'WebMCP'는 에이전트가 어떤 버튼을 눌러야 할지 추측할 필요 없이 직접 작업을 수행할 수 있도록 한다. 이는 불필요한 대역폭 소비와 컴퓨팅 자원 낭비를 줄이는 데 도움이 된다.

적용 조건 및 향후 계획

'Pay Per Use'와 'Monetization Gateway'는 현재 베타 버전으로 제공되며, 실제 고객과 거래를 통해 발전하고 있다. 특히 가격 책정 및 발견 메커니즘은 아직 완전히 해결되지 않은 과제이다. 'Monetization Gateway'는 현재 미국 내 적격 클라우드플레어 고객을 대상으로 하는 클로즈드 베타로 운영된다. 'Disallow AI Training' 기능은 애플, 구글, 마이크로소프트가 준수하겠다고 밝혔지만, 이는 크롤러 운영자의 자발적인 준수에 의존하는 측면이 있다.

클라우드플레어는 오픈AI와 공동 연구 프로젝트를 진행하여 클라우드플레어의 글로벌 네트워크에서 얻은 통찰력이 AI 검색 엔진이 오픈 웹에서 관련 콘텐츠를 더 효율적으로 발견하고 색인하는 데 어떻게 도움이 될 수 있는지 탐색하고 있다. 초기 결과는 수주 내에 공유될 예정이다. 클라우드플레어는 x402 및 Web Bot Auth와 같은 개방형 표준을 기반으로 이러한 시스템을 구축하여, 소수의 기업이 에이전트 생태계를 통제하는 대신 누구나 구현할 수 있는 개방적인 환경을 지향한다. 도메인 소유자는 자체 신원 공급자, 결제 처리자, 에이전트 파트너를 선택할 수 있으며, 클라우드플레어는 전체 스택이 아닌 하나의 옵션으로 기능한다.