Cloudflare 봇 트래픽 제어 설정 총정리
Cloudflare 대시보드의 Security 메뉴를 몇 달 만에 열어보면 꼭 뭔가가 바뀌어 있습니다. 이번에는 "Block AI Bots"가 있던 자리에 "Configure AI bot policies"가 생겼고 그 안의 Training 항목에는 못 보던 "Disallow"라는 선택지가 추가되어 있었습니다. 켜두었던 Managed robots.txt는 어느새 Bot Preference Sync라는 이름으로 바뀌어 있었고요. 😅 AI 크롤러 문제를 두고 이 블로그에서 여러 편을 썼는데요. robots.txt로 시작해 Pay Per
