AI 크롤러를 막으면 돈이 될까?

1년 전 Cloudflare가 꽤 과감한 일을 벌였습니다. 2025년 7월 1일을 “콘텐츠 독립기념일”이라 부르면서, 신규 도메인에서는 AI 크롤러를 기본으로 차단하도록 정책을 뒤집었거든요. 그동안 웹의 기본값은 “일단 열려 있음”이었는데, 그걸 “먼저 허락을 구하라”로 바꾼 겁니다. 여기에 크롤링 한 건마다 요금을 매기는 Pay Per Crawl까지 얹었습니다. 30년 가까이 예약석으로만 남아 있던 402 Payment Required 상태 코드를 꺼내 쓴 것도 이때였고요.

저처럼 개인 블로그를 운영하는 사람 입장에서 궁금한 건 사실 하나뿐이었습니다. 그래서 돈이 들어오나? 🤔

1년이 지났으니 이제 답을 확인할 수 있습니다. 이 글에서는 Cloudflare 자신의 발표와 공식 문서, 그리고 공개된 측정 데이터를 대조해서 실제로 무엇이 바뀌었는지 짚어보겠습니다. 결론부터 말씀드리면 절반은 성공이고 절반은 아직인데, 예상 밖의 대목에서 보상이 돌아오고 있습니다.

답부터 말하면, 통행료는 걷히지 않았습니다

가장 궁금해하실 부분부터 정리하겠습니다. 크롤러에게 돈을 받는 실험은 1년이 지난 지금도 본격적으로 굴러가지 않고 있습니다.

근거는 세 가지입니다. 우선 기능 자체가 아직 모두에게 열려 있지 않습니다. Cloudflare 공식 문서는 2026년 7월 28일 갱신본에서도 여전히 이렇게 안내합니다.

Pay per crawl is currently in closed beta.

발표한 지 1년이 넘었는데 아직 비공개 베타입니다. 참여하려면 대기 명단에 등록하거나 계정 담당자에게 문의해야 하고요.

또 Cloudflare가 수익 규모를 한 번도 공개하지 않았습니다. 창작자에게 얼마가 지급됐는지, 몇 건의 결제가 발생했는지 알려주는 수치를 찾을 수 없습니다. 보통 잘 굴러가는 제품이라면 자랑할 만한 숫자가 나오기 마련이죠.

마지막으로 가장 결정적인 근거가 있습니다. Cloudflare 스스로 모델을 갈아치웠습니다.

Cloudflare가 직접 밝힌 방향 전환

2026년 7월 1일, 그러니까 발표 정확히 1주년에 Cloudflare는 보도자료에서 이렇게 밝혔습니다.

A year ago, on the first Content Independence Day, Cloudflare launched the first version of Pay Per Crawl so publishers could charge AI companies to crawl their content. Today, Cloudflare is evolving Pay Per Crawl into Pay Per Use, so publishers are paid when their content actually creates value, not just when it’s fetched.

크롤할 때가 아니라 콘텐츠가 실제로 가치를 만들 때 지급하는 방식으로 옮기겠다는 것입니다. Ceramic.ai와 You.com 두 파트너와 먼저 실험을 시작했고요.

여기서 용어를 정확히 구분해둘 필요가 있습니다. 두 모델이 교체된 게 아니라 공존하는 상태거든요. Pay Per Crawl은 문서가 있고 비공개 베타로 돌아가는 실제 기능이고, 지난 6월에도 동적 가격 책정 같은 기능이 추가됐습니다. 반면 Pay Per Use는 보도자료에는 제품명으로 등장하지만 개발자 문서에는 아직 페이지조차 없습니다. 일반 공개 시점도 미정이라고 보도자료의 면책 조항에 명시돼 있고요.

정리하면 새 모델은 아직 제품이라기보다 발표에 가깝습니다.

막는 것 자체는 확실히 해결됐습니다

돈 이야기만 하면 이 실험이 실패한 것처럼 보이는데, 절반은 분명히 성공했습니다. 바로 차단입니다.

1년 전만 해도 AI 크롤러 차단은 명목상으로만 가능했습니다. robots.txt는 법적 구속력이 없는 요청일 뿐이고, User-Agent 문자열은 누구나 위조할 수 있는 평범한 HTTP 헤더이며, IP로 막으면 IP를 바꿔가며 들어왔으니까요. 문 앞에 팻말을 붙여둔 수준이었죠.

지금은 다릅니다. Web Bot Auth로 봇이 개인 키로 요청에 서명하게 만들어서, 사칭인지 아닌지를 암호학적으로 판별할 수 있게 됐습니다. 크롤러가 “저는 GPTBot입니다”라고 주장하는 게 아니라 증명하게 만든 겁니다.

분류도 정교해졌습니다. 2026년 7월부터 Cloudflare는 AI 봇을 검색(Search), 에이전트(Agent), 학습(Training) 세 범주로 나눠 각각 따로 제어할 수 있게 했습니다. 검색 봇은 트래픽을 돌려주니 열어두고 학습 봇만 막는 식의 선택이 가능해진 것이죠.

여기에 눈여겨볼 기본값 변경이 예고돼 있습니다.

On September 15, 2026, we’ll be setting new defaults for each of these three classifications. For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads.

광고가 붙은 페이지에서는 학습 봇과 에이전트 봇을 기본 차단하겠다는 것입니다. 논리가 재밌습니다. 광고가 실려 있다는 건 사이트 주인이 사람이 와서 보기를 의도했다는 신호라는 거죠. 애드센스를 붙인 블로그를 운영하신다면 신규 도메인에서 이 기본값이 적용되니 확인해두시는 게 좋겠습니다.

값을 매기는 지점이 문제였습니다

그럼 막는 건 되는데 왜 돈은 안 될까요? Cloudflare가 스스로 밝힌 이유가 명쾌합니다. 크롤 횟수가 가치를 대변하지 못한다는 것입니다.

합법적인 봇 크롤 트래픽의 절반 이상이 바뀌지도 않은 페이지를 다시 가져가는 요청입니다. 반대로 어떤 페이지는 딱 한 번 크롤되고도 수천 개의 AI 답변에 인용되고요. 크롤 횟수와 콘텐츠가 만들어내는 실제 가치가 어긋나 있으니, 크롤을 세어 값을 매기는 방식은 처음부터 엉뚱한 걸 세고 있었던 셈입니다.

그렇다고 새 모델이 더 쉬운 것도 아닙니다. 문제가 측정 지점의 비대칭에 있거든요.

콘텐츠는 크롤되는 시점을 거쳐 답변에 인용되는 시점에 이릅니다. 두 모델은 이 중 어느 지점에서 계산기를 두드리느냐가 다른데, 그 선택이 곧 문제가 됩니다.

사이트가 직접 관측할 수 있는 지점에는 가치가 없고, 가치가 있는 지점은 사이트가 관측할 수 없습니다. 인용 여부를 보고하는 주체가 돈을 내야 할 쪽이라는 뜻이죠. 광고 산업이 이 문제를 풀려고 제3자 측정 기관을 만드는 데 수십 년이 걸렸는데, AI 답변에는 아직 그런 게 없습니다.

배분 문제도 남아 있습니다. AI 답변 하나는 보통 여러 출처를 조합해서 나오는데, 각각의 기여도를 어떻게 나눌지가 간단하지 않거든요. 모델이 이미 학습해둔 지식과 방금 검색해온 내용의 경계도 모호하고요.

참고로 Cloudflare가 정한 최소 크롤 단가는 1건당 0.001달러입니다. 개인 블로그에 AI 크롤러가 하루 수백 번 다녀간다 해도 한 달에 커피 한 잔 값이 될까 말까 한 금액이죠. 협상 비용이 상품 가치보다 큰 시장은 잘 형성되지 않습니다.

여기에 구조적인 문제가 하나 더 있습니다. 값이 붙으려면 희소해야 하는데, 희소성은 다 같이 막을 때만 생기거든요. 참고할 만한 기준선이 있습니다. Cloudflare가 2024년 7월에 공개한 수치를 보면, 당시 상위 100만 사이트 중 39%에 AI 봇이 접근했지만 차단이나 챌린지 조치를 취한 곳은 2.98%에 불과했습니다. 그 뒤로 Cloudflare가 기본값을 뒤집었으니 지금은 이보다 높아졌겠지만, 웹 전체로 보면 여전히 대다수가 문을 열어두고 있습니다. 옆집이 공짜로 주는데 우리 집만 요금을 매기면 손님은 그냥 옆집으로 갑니다.

그런데 트래픽이 돌아오고 있습니다

여기까지만 보면 우울한 이야기인데, 데이터를 보면 예상 밖의 흐름이 있습니다. 돈은 아니지만 트래픽이 돌아오고 있거든요.

AI 회사가 콘텐츠를 얼마나 가져가고 얼마나 돌려주는지 보여주는 지표로 크롤 대 유입 비율(crawl-to-refer ratio)이라는 게 있습니다. 페이지를 몇 번 크롤하는 동안 방문자를 몇 명 보내주는지 재는 값인데요. 이 숫자가 어떻게 움직였는지 보시죠.

Anthropic이 19개월 만에 286,930에서 1,782로 떨어졌습니다. 여전히 가져가는 쪽이 압도적으로 많지만, 개선 폭 자체는 놀랍습니다. 게다가 이게 크롤링이 줄어서 생긴 변화가 아니라 플랫폼이 트래픽을 돌려보내기 시작해서 생긴 변화라는 게 Cloudflare의 설명입니다.

다만 모든 회사가 그런 건 아닙니다. Google과 Perplexity는 오히려 비율이 나빠졌습니다. 그리고 위 수치들은 측정 구간과 방법이 조금씩 다르니 절대값보다는 자릿수의 변화로 읽으시는 게 안전합니다.

이 흐름이 흥미로운 이유가 있습니다. 웹의 원래 거래는 물물교환이었거든요. 색인을 허용하면 트래픽을 돌려받는 구조라서 가격 협상도 청구서도 필요 없었습니다. AI가 이 고리를 끊어놓았는데, 지금 벌어지는 일은 그 고리가 부분적으로 복구되는 쪽에 가깝습니다. 통행료라는 새로운 정산 방식을 만드는 것보다, 원래 있던 정산 방식이 되살아나는 게 더 빨랐던 셈이죠.

큰돈은 법정에서 움직였습니다

그럼 AI 회사들이 콘텐츠 값을 아예 안 냈느냐 하면 그것도 아닙니다. 다만 돈이 흐른 경로가 402 응답이 아니었습니다.

2026년 7월, Anthropic이 저작권 집단소송에서 15억 달러 규모의 합의를 최종 승인받았습니다. 약 50만 건의 저작물에 건당 3,000달러를 지급하는 조건입니다. 미국 저작권 소송 역사상 최대 규모로 알려져 있고요. 판결의 핵심 논리는 학습 행위 자체는 공정이용으로 볼 여지가 있지만 해적판 복제본을 보관한 것은 아니라는 쪽이었습니다.

즉 지난 1년 동안 실제로 큰 보상을 강제한 건 프로토콜이 아니라 법원이었습니다. Cloudflare가 만든 건 결제 수단이라기보다 협상 지렛대에 가깝습니다. 막을 수 있으니 협상 테이블에 앉힐 수 있게 된 것이고, 실제 금액은 그 테이블 위에서 따로 정해졌습니다.

중개자가 시장을 겸하는 구조

한편 Cloudflare는 이 시장에서 자기 자리를 계속 넓히고 있습니다. 2026년 1월 15일에는 영국의 AI 데이터 마켓플레이스 Human Native를 인수했습니다. 1년 전 발표에서 약속했던 콘텐츠 거래 시장을 직접 만드는 대신 사서 채운 셈이죠.

여기에 짚어볼 만한 긴장이 있습니다. Cloudflare는 원래 요청이 지나가는 길목에 서 있는 인프라 회사입니다. 그런데 지금은 크롤러를 들일지 말지 정하는 문지기이면서, 결제를 처리하는 기록상 판매자(Merchant of Record)이면서, 콘텐츠를 사고파는 시장의 운영자까지 겸하게 됐습니다. 세 역할이 한 회사에 모여 있는 것이죠.

창작자 입장에서 나쁘기만 한 건 아닙니다. AI 회사 수십 곳과 따로 계약하고 정산할 능력이 없는 개인 블로거에게는 창구가 하나로 모이는 편이 훨씬 낫습니다. 다만 “콘텐츠 독립”이라는 구호와, 그 독립을 특정 회사 한 곳을 통해서만 행사할 수 있는 구조 사이에는 분명한 거리가 있습니다. 웹의 상당 부분이 한 회사의 네트워크를 지나간다는 점을 생각하면 더 그렇고요.

Google이라는 큰 구멍

한 가지 더 짚어야 할 게 있습니다. 지금의 규칙에는 아주 큰 예외가 있거든요.

Cloudflare가 2026년 1월 영국 경쟁시장청에 제출한 의견에 인상적인 데이터가 담겨 있습니다. Googlebot이 접근한 고유 URL 수는 ClaudeBot의 약 1.70배, GPTBot의 약 1.76배, PerplexityBot의 약 166.98배였습니다. 그런데 정작 퍼블리셔가 차단하는 빈도는 정반대입니다.

the number of websites actively blocking other popular AI crawlers (e.g., GPTBot, Claudebot), was nearly seven times as high as the number of websites that blocked Googlebot

다른 AI 크롤러를 차단하는 사이트가 Googlebot을 차단하는 사이트의 약 7배라는 뜻입니다. 이유는 짐작하실 수 있습니다. Googlebot을 막으면 검색 노출이 사라지니까요. 크롤링과 검색 색인이 한 봇에 묶여 있어서 사실상 거부할 수가 없는 구조입니다.

그래서 Cloudflare는 Google에 크롤러를 분리하라고 요구하고 있습니다. 검색용과 AI 학습용을 나눠야 퍼블리셔가 선택할 수 있다는 것이죠. 이게 정리되지 않는 한 지금의 차단 규칙은 사실상 구글을 제외한 나머지에게만 적용되는 셈입니다.

개인 블로거는 무엇을 하면 될까요

여기까지 읽으시고 “그래서 내 블로그는 어떻게 하지”가 궁금하실 텐데요. 저는 먼저 목적을 정하는 게 순서라고 봅니다.

기술 블로그나 오픈소스 문서처럼 읽히는 것 자체가 목적이라면 전면 차단은 자해에 가깝습니다. 특히 검색 봇까지 막으면 유입이 끊기니까요. 앞서 본 크롤 대 유입 비율이 개선되고 있다는 것도 이쪽에 유리한 신호입니다. 반대로 유료 구독이나 독점 자료가 수익원이라면 차단이 실제 협상력이 됩니다.

목적이 도달 쪽이라면 접근 자체를 막기보다 용도를 표현하는 편이 낫습니다. robots.txt는 원래 가져가도 되는지만 말할 수 있고 가져가서 무엇을 해도 되는지는 말할 수 없었는데, 이 빈칸을 메우려는 시도가 콘텐츠 신호 정책입니다. 검색은 허용하되 학습은 거부하는 식으로 구분해서 밝힐 수 있습니다.

다만 이런 신호들은 아직 표준이 아닙니다. 국제 인터넷 표준화 기구에서 AI 사용 선호를 표현하는 규격을 만들고 있지만, 2026년 8월 현재까지 초안 단계이고 정식 RFC로 발행된 문서는 없습니다. 여러 진영이 각자의 방식을 내놓고 경쟁하는 중이라고 보시면 됩니다.

마치며

지금까지 AI 크롤러 유료화 실험의 1년을 살펴봤습니다. 정리하면 이렇습니다. 막는 문제는 풀렸고, 값을 매기는 문제는 아직 풀리지 않았습니다. Cloudflare가 크롤당 과금에서 사용량 기반 과금으로 옮겨간 것 자체가 첫 모델이 맞지 않았다는 인정이기도 하고요.

그런데 제가 이번에 데이터를 확인하면서 가장 인상적이었던 건 따로 있습니다. 통행료 받는 일은 지지부진한데, 정작 플랫폼들이 링크를 돌려보내기 시작했다는 점입니다. 새로운 정산 체계를 세우는 것보다 웹에 원래 있던 거래 방식이 복구되는 쪽이 더 빨랐다는 게 좀 아이러니하죠.

물론 아직 갈 길이 멉니다. 비율이 개선됐다지만 Anthropic 기준으로도 여전히 1,782번 가져가고 한 명 보내주는 수준이고, 구글이라는 예외는 그대로 남아 있으니까요. 그래도 창작자가 차단과 무료 개방 사이에서 양자택일을 강요받던 시절보다는 선택지가 늘었습니다. 저는 그 정도면 1년치 성과로 나쁘지 않다고 생각합니다. 여러분의 사이트는 어느 쪽을 선택하시겠어요?

기계가 값을 치르고 콘텐츠를 가져가는 방식 자체가 궁금하시다면 x402 프로토콜을 다룬 글에서 실제 402 응답과 결제 흐름을 코드로 확인하실 수 있습니다.

더 자세한 내용은 Cloudflare AI Crawl Control 공식 문서를 참고하세요.