클라우드플레어, AI 게이트웨이에 웹 검색 API 통합 출시

AI 에이전트의 실시간 정보 접근

클라우드플레어가 AI 게이트웨이를 통해 웹 검색 API를 출시한다고 발표했다. 이 서비스는 Ceramic.ai, Exa, Linkup과 같은 웹 검색 제공업체와의 파트너십을 기반으로 한다. 이번 통합으로 AI 에이전트는 인터넷에서 실시간으로 관련 데이터를 검색하고, 이를 기반으로 응답을 생성할 수 있게 된다.

기존 AI 에이전트는 웹 페이지 정보를 가져올 때 URL을 추측하는 방식으로 작동하여 404 오류가 발생하거나 비효율적인 경우가 많았다. 새로운 웹 검색 API는 이러한 비효율성을 개선하고, 인간이 검색 엔진을 사용하는 방식과 유사하게 에이전트가 인터넷을 탐색할 수 있도록 지원한다.

AI 모델의 지식 한계 극복

AI 모델은 특정 시점까지의 데이터로 훈련되어 지식 차단 시점 이후의 최신 정보에 접근하기 어렵다는 한계가 있다. 이로 인해 최근 사건, 변경되는 API, 빠르게 진화하는 뉴스 등 동적인 정보에 대한 모델의 참여가 제한된다. 웹 검색 API는 이러한 문제를 해결하기 위해 설계되었다.

이 API는 추론 파이프라인에 직접 통합되어 에이전트에 동적인 컨텍스트 레이어를 제공한다. 이를 통해 애플리케이션은 웹에서 가져온 신선하고 구조화된 스니펫을 모델의 컨텍스트에 직접 주입하여 실시간 정보에 접근할 수 있다. 예를 들어, 클라우드플레어 개발자 도구를 사용하는 에이전트가 최신 제품 및 기능 출시 정보를 놓치지 않고 활용할 수 있게 된다.

투명한 웹 크롤링 표준 준수

클라우드플레어는 크롤러가 정직하고 투명하며 모든 봇 규칙과 선호도를 존중해야 한다고 강조한다. 또한 사이트 소유자가 콘텐츠 사용 방식에 대해 의미 있는 투명성과 제어권을 가져야 한다고 믿는다. 이번 웹 검색 API 출시와 함께 파트너사들은 클라우드플레어의 봇 크롤링 표준을 준수하기로 약속했다.

웹 검색 제공업체가 사용하는 크롤러는 클라우드플레어 개발자 문서에 정의된 '검증된 봇' 요구 사항을 준수해야 한다. 또한 웹 검색 응답에는 크롤링된 콘텐츠의 원본 위치 링크가 포함되어야 한다. 이러한 규칙은 공정한 인터넷 환경을 조성하고, 콘텐츠 제작자가 자신의 데이터를 어떻게 활용할지 결정할 수 있도록 지원한다.

AI 게이트웨이를 통한 통합 및 활용

클라우드플레어의 AI 게이트웨이는 새로운 웹 검색 API 제품의 핵심 통합 지점이다. AI 게이트웨이는 애플리케이션의 제어 플레인 역할을 하며, 관측성, 통합 결제, 보안 및 접근 제어 기능을 내장하고 있다. 웹 검색 기능은 AI 게이트웨이 크레딧을 사용하여 이용할 수 있으며, 웹 검색 호출에 대한 로그 및 요청 데이터를 수집하고, 특정 웹 검색 제공업체에 대한 접근을 제어할 수 있다.

AI 게이트웨이 관측성 로그에 웹 검색 요청이 표시되며, 웹 검색 쿼리는 AI 게이트웨이 크레딧 잔액에서 차감된다. 클라우드플레어는 제로 데이터 보존(ZDR)을 지원하는 파트너를 식별하여 사용자 데이터가 보존되지 않음을 알린다. 또한 파트너사로부터 추가 마크업 없이 API 정가로 웹 검색을 직접 제공한다. 기존 모델 추론 제공업체와 마찬가지로 웹 검색 제공업체에 대해서도 BYOK(Bring-Your-Own-Key)를 지원하여 기존 조직 설정을 활용할 수 있다.

개발자는 표준 REST API 엔드포인트를 통해 웹 검색을 직접 쿼리할 수 있다. AI 게이트웨이 인증 토큰을 전달하고 페이로드에 선호하는 제공업체를 지정하면 웹 검색 결과가 반환된다. 클라우드플레어 워커스(Workers)에서 직접 개발하는 경우, 단 한 줄의 코드로 웹 검색을 통합할 수 있는 워커 바인딩이 제공된다. 또한 AI 게이트웨이에 내장될 서버 툴(Server Tools) 기능에 웹 검색이 포함될 예정이며, 현재는 워커 코드를 통해 웹 검색을 서버 툴로 오케스트레이션할 수 있다.

개발자 생산성 향상 및 적용 조건

이번 웹 검색 API 출시는 개발자가 AI 에이전트에 최신 정보를 제공하여 더 빠르고 스마트하게 애플리케이션을 구축할 수 있도록 돕는다. 동적인 컨텍스트 레이어를 통해 모델이 항상 최신 데이터에 접근할 수 있으므로, 개발자는 정보의 신뢰성을 높이고 사용자에게 더 정확하고 시의적절한 응답을 제공할 수 있다.

웹 검색 API를 사용하기 위한 주요 조건은 파트너사가 클라우드플레어의 '검증된 봇' 요구 사항을 준수해야 한다는 점이다. 이는 크롤러 식별, robots.txt 파일 존중, 검색 결과의 원본 출처 제공을 포함한다. 이러한 표준 준수는 인터넷 생태계의 건전성을 유지하고 콘텐츠 소유자의 권리를 보호하는 데 기여한다.