클라우드플레어와 x402 : 에이전트 웹의 미래

Source : X(@balajis)

에이전트와 x402 프로토콜에 대한 담론이 뜨거운 지금, 시계를 잠시 2025년 8월로 되돌려보자. 오래전부터 x402의 전신이 되는 웹 기반 소액결제 가능성을 이야기해 온 발라지 스리니바산(@balajis, Balaji Srinivasan)은 포스팅에서 AI 에이전트를 ‘인간의 확장(Extension of a Human)’이라 정의했다. 특히, AI 에이전트는 인간의 연장선으로 작동하므로 웹 요청을 사용자 지시 행동으로 보아야 하며, 자율 봇 스크래핑과는 다르다고 강조했다. 갑자기 이러한 게시물이 나온 이유는, 하루 전, IT 인프라의 거인 클라우드플레어(Cloudflare)와 AI 검색 강자 퍼플렉시티(Perplexity) 논쟁에서 시작되었다.

[25.08] 클라우드플레어(Cloudflare)와 퍼플렉시티(Perplexity)의 논쟁

Source : Cloudflare Blog

2025년 8월, 클라우드플레어는 퍼플렉시티가 웹사이트의 로봇 배제 규약(robots.txt) 규칙을 우회하기 위해 정체를 숨긴 스텔스 크롤러(stealth crawler)를 사용한다고 강도 높게 비판했다.

클라우드플레어는 전 세계 웹사이트의 약 15~20%를 보호하고 인프라를 제공하는 회사로, 웹사이트 운영자(퍼블리셔)의 콘텐츠와 트래픽을 지키는 것이 곧 핵심 사업이다. 반면 퍼플렉시티는 사용자의 질문에 대해 링크 목록을 보여주는 대신, AI가 웹상의 정보를 실시간으로 수집 및 분석하여 직접적인 답변을 요약해 주는 검색 서비스를 제공한다. 문제는 이 과정에서 퍼블리셔의 콘텐츠가 무단으로 스크래핑되고, 사용자가 원본 사이트를 방문할 이유 자체가 사라진다는 점이다. 클라우드플레어 입장에서는 자신이 보호해야 할 고객의 콘텐츠와 트래픽이 빠져나가는 구조를 방치할 수 없는 것이다.

Source : X(@perplexity_ai)

하지만 곧 퍼플렉시티의 반박이 이어졌다. 퍼플렉시티는 자사 서비스를 단순 크롤러가 아닌 '사용자 주도 에이전트(user-driven agent)'로 규정하며, 사용자가 특정 질문을 했을 때만 콘텐츠를 가져올 뿐 이를 저장하거나 학습에 사용하지 않는다고 주장했다. 나아가 클라우드플레어의 시스템이 합법적인 AI 어시스턴트와 실제 위협을 구분하는 데 근본적으로 부적절하며, 해당 블로그 포스트 자체가 자사 차단 제품을 위한 홍보에 불과하다고 맞받아쳤다.

이 충돌은 웹 생태계의 불편한 진실을 건드렸다. 기존 웹은 '방문 → 광고 노출/트래픽 → 수익'이라는 암묵적 가치 교환 위에 서 있었다. 하지만 에이전트는 체류 시간도, 광고 소비도 없이 정보만 가져간다. 운영자 입장에서 이는 명백한 '무임승차'였다. 무너진 가치 교환을 복구할 새로운 규칙, 즉 요청에 대한 즉각적인 대가 지불이 필요해진 순간이었다.

[25.09] 클라우드플레어, 코인베이스(Coinbase)와 x402 재단 설립

Source : Cloudflare Blog

해당 논쟁이 있은 지 불과 한 달 반 뒤인 2025년 9월, 클라우드플레어는 코인베이스와 함께 x402 재단 설립을 공식 발표했다. 사실 클라우드플레어는 x402 이전부터 "결제 필요(Payment Required)"라는 단순한 메시지를 담은 HTTP 402 응답 코드를 매일 10억 건 넘게 봇과 크롤러에게 보내고 있었다. 하지만 표준화된 명세가 없었기에 이 응답들은 대부분 무시되어 왔고, 클라우드플레어는 이 문제를 정면으로 지적하며 x402 재단 설립과 함께 프로토콜의 기술 지원을 선언한 것이다.

[25.09] 클라우드플레어의 페이 퍼 크롤(Pay per Crawl) 모델 발표

Source : Cloudflare Blog

재단 설립과 더불어 발표 내용 중 핵심은 '페이 퍼 크롤' 모델이다. 해당 모델은 아래와 같은 절차를 통해 AI 크롤링을 제어한다:

• 가격 설정: 사이트 소유자가 콘텐츠 영역별로 크롤링 단가를 설정한다.

• 접근 요청: AI 에이전트(크롤러)가 접근을 시도하면 서버는 402 Payment Required와 함께 가격표를 제시한다.

• 결제 및 허용: 에이전트가 헤더에 결제 증명(토큰 등)을 담아 재요청하면 비로소 콘텐츠가 열린다.

이로써 클라우드플레어는 제어하는 수준을 넘어, 퍼블리셔에게는 수익을, 에이전트에게는 정당한 데이터 접근권을 중개하는 플랫폼으로의 방향성을 보여주었다.

물론 클라우드플레어의 재단 설립 준비 시점을 정확히 알 수는 없다. 그러나 인프라 기업의 관점에서 이는 사실 예견된 수순이었다. 다가올 에이전트 시대에는 개인당 수십 개의 에이전트가 네트워크를 오가며 막대한 트래픽 부하를 일으킬 것이 자명하고, 이들에 대한 접근 제어(Throttling)와 과금 모델(Pricing) 수립은 피할 수 없는 과제였기 때문이다. 퍼플렉시티와의 충돌은 클라우드플레어가 이미 그려오던 로드맵에 확신을 심어주고, 실행 버튼을 앞당겨 누르게 만든 기폭제가 된 셈이다.

[로딩 중…] x402 기반 에이전트 웹(Agent Web)이 온다.

이러한 클라우드플레어의 방향성을 생각해 보았을 때, x402 기반의 ‘에이전트 전용 웹’이라는 새로운 웹의 형태를 생각해볼 수 있다:

• 인간을 위한 웹 (Human Layer): 화려한 UI/UX, 광고, 시각적 정보 중심.

• 에이전트를 위한 웹 (Agent Layer): JSON 등 기계가 읽기 쉬운 경량화 데이터, x402 기반의 마이크로 페이먼트 중심.

최근 솔라나 재단이 LLM 전용 인터페이스를 내놓은 것처럼, 앞으로의 웹사이트는 이원화될 것이다. 인간이 웹사이트에 접속하면, 인간을 위한 웹으로 접속되며, 기존 방식처럼 광고 모델로 수익이 정산될 것이다. 한편 에이전트는 에이전트를 위한 웹에서 정보를 수집하는 행위 하나하나에 비용이 책정되고, 에이전트는 지갑을 열어 마이크로 페이먼트로 비용을 실시간으로 처리하며 데이터를 소비하게 될 것이다.

에이전트 경제가 어떤 모습으로 완성되든, 흐름이 가리키는 방향은 하나다. 웹 위의 모든 리소스는 에이전트에게 대가를 요구하게 될 것이고, 그 대가를 주고받는 언어로서 인프라 기업의 x402 선택은 필연이 될 것이다.