사이트는 사람에게 열려 있고 AI에는 닫혀 있다

9월의 가장 값비싼 고장은 고장처럼 보이지 않는다. 사이트는 열리고 디자인도 그대로다. 담당자가 휴대폰으로 들어가도 다 보인다. 그런데 순위는 떨어지고, Google Ads에는 "Destination not accessible"이 뜨고, AI 답변에서는 사이트가 사라진다. 2026년 9월 7일에 나온 분석에는 상황이 그대로 적혀 있다. 외주 업체가 2026년 7월에 Cloudflare에서 모든 봇 차단을 켰고, 거기에 Googlebot이 걸렸고, 오가닉과 함께 광고까지 누웠다. 아래는 누구를 명시적으로 다시 통과시켜야 하는지, 그리고 두 번째 손실 경로인 링크 대신 스크립트가 왜 리포트에는 전혀 보이지 않는지에 대한 이야기다.

403의 물결은 어디서 왔나

2026년 7월 1일 Cloudflare는 "AI 봇 차단" 단일 스위치를 없애고 봇을 세 범주로 나눴다. Search, Agent, Training. 이 옵션은 무료 요금제를 포함해 모두에게 열려 있다. 개선처럼 들리고, 실제로 개선이다. 다만 끝까지 읽은 사람이 드문 단서 하나가 붙는다.

단서는 이렇다. Cloudflare는 일부 크롤러를 용도가 섞인 것으로 본다. 검색이면서 동시에 학습이라는 뜻이다. 혼합으로 분류된 것은 Googlebot, Bingbot, Applebot이다. 학습을 차단하는 모든 구성, 예전 옵션인 "Block AI bots"까지 포함해서, 이들도 함께 차단한다. 이에 대한 경고는 2026년 8월 5일에 공개됐다. 그런데 사람들이 설정을 클릭한 시점은 6월과 7월이었다.

2026년 8월 4일 Search Engine Journal은 r/SEO에 올라온 글을 소개했다. AI Training = Block과 Bot Fight Mode를 함께 켠 상태에서 Googlebot과 Bingbot이 sitemap을 가져가려 할 때 HTTP 403을 받았고, Cloudflare 패널의 AI Crawlers 섹션에서는 둘 다 차단된 것으로 표시됐다. Cloudflare Community 스레드에서 한 사이트 소유자는 이미 2026년 7월 초에 검증된 Googlebot 요청이 403을 받았고 Security Events에 "Blocked by 'Block AI training crawlers'"라는 표시가 남았다고 썼다.

그리고 중요한 날짜가 하나 더 있다. 2026년 9월 15일부터 Cloudflare의 기본값이 바뀐다. 신규 도메인의 경우 Training과 Agent 범주의 봇은 광고가 표시되는 페이지에서 차단되고 Search는 허용된 상태로 남는다. 즉 새 도메인은 이제 차단이 켜진 상태로 도착하고, 이 문제는 항의 메일을 받은 뒤가 아니라 출시 전에 정리해야 한다.

1. 2026년 7월 1일Cloudflare가 봇을 Search, Agent, Training으로 분류
2. 2026년 8월 4일Googlebot과 Bingbot의 sitemap 403 사례 보도
3. 2026년 8월 5일경고: Googlebot, Bingbot, Applebot은 혼합으로 분류
4. 2026년 8월 31일모든 Search Console에 AI 표면 리포트 적용
5. 2026년 9월 15일신규 도메인 차단 기본값 변경

왜 이제는 드문 이야기가 아닌가

1년 전 크롤러 차단은 대형 퍼블리셔 열 곳 정도의 주제였다. 이제는 배경음이다. Cloudflare 데이터에 따르면 자사 네트워크의 전체 크롤러 4xx 응답 비율은 2026년 7월 35.79%로, 2025년 7월 14.04%에서 21.75포인트 올랐다. 주간 수치도 이를 뒷받침한다. 2025년에는 11.70%에서 16.77% 사이, 2026년에는 34.85%에서 37.10% 사이다.

이유는 분명하다. Cloudflare의 2026년 6월 통계에서 학습용 크롤러가 모델 봇 트래픽의 50.6%를 차지했고 검색용은 10.7%에 불과했다. 그리고 크롤링의 절반 이상이 지난 방문 이후 바뀌지 않은 페이지를 향했다. 2026년 6월 Cloudflare 대표 매튜 프린스는 봇 트래픽이 사람 트래픽을 처음으로 넘어섰다고 말했다. 로그를 보면 부하의 절반이 변하지 않은 페이지를 누군가의 데이터셋으로 퍼가는 작업이라는 게 드러나는데, 그러면 "차단" 버튼은 저절로 눌린다. 문제는 그와 함께 무엇이 걸려 들어가는지다.

습관을 바꾸는 또 하나의 디테일. 봇 관리가 robots.txt 층에서 인프라 층으로 옮겨갔다. Cloudflare의 범주, use 필드를 가진 Content Signals(immediate, reference, full), 암호학적 식별 방식인 Web Bot Auth. Shopify는 2026년 5월 7일부터 Web Bot Auth로 요청에 서명하지 않는 봇에 더 엄격한 한도를 적용한다. robots.txt 수정이 사라진 건 아니다. 다만 이제 사이트가 봇에게 "안 된다"고 말하는 유일한 장소가 아니다.

항상 화이트리스트에 둬야 할 대상

목록은 짧고, AI와는 무관하다. 이들이 없으면 검색, 광고, 상품 피드가 깨진다.

• Googlebot
• Google InspectionTool
• AdsBot-Google
• AdsBot-Google-Mobile
• Storebot-Google

AdsBot에 대해서는 공식 입장이 있고, 그것으로 논쟁이 끝난다. "Destination not accessible"에 관한 Google Ads 도움말은 거부 사유로 AdsBot 크롤링 시의 404와 403 코드, robots.txt에서의 AdsBot 차단, 접근을 막는 서버 구성을 직접 언급한다. 권고도 같은 문서에 있다. user agent AdsBot-Google과 AdsBot-Google-Mobile을 화이트리스트에 추가하고 모든 국가에서 사이트에 접근할 수 있게 하라는 것이다. 마지막 항목은 CDN 층에서 지오필터로 세계 절반을 막아둔 쪽에 특히 아프다. 봇은 당신이 기다리는 곳에서 오지 않는다.

Google InspectionTool은 Search Console의 URL 검사가 사용하는 도구다. Storebot-Google은 상품 페이지를 돈다. 이들을 통과시키지 않으면 순위 하락이 아니라 기묘한 상태를 얻는다. 리포트는 비어 있고, 지원팀은 "우리 쪽은 이상 없다"고 말한다.

Search Console의 초록색 체크가 아무것도 증명하지 못하는 이유

2026년 9월 7일의 같은 분석에는 그것만으로 읽을 값이 있는 문장이 있다. URL Inspection의 성공적인 검사는 검색 봇의 접근을 확인해 주지만 AdsBot의 접근은 증명하지 않는다. 서로 다른 user agent이고, CDN의 규칙은 한쪽을 통과시키면서 다른 쪽을 자를 수 있다.

그래서 점검 순서는 이렇다. 먼저 최근 30일의 user agent별 로그, 다음으로 CDN 패널의 보안 이벤트, 그 다음에야 Google 도구다. 로그에는 의견이 아니라 응답 코드가 보인다. Googlebot이 와서 403을 받았다면 거기에는 403이 있고, 인터페이스의 어떤 체크 표시도 그것을 덮지 못한다. 나는 이 점검을 한 달에 한 번, 그리고 인프라를 건드린 뒤마다 돌린다. 남의 손이든 내 손이든 [숫자 필요: 1년 동안 불필요한 규칙을 몇 번 찾았는지].

41일 실험이 보여준 것

손실의 나머지 절반도 기술적이지만 성격이 전혀 다르다. LOCOMOTIVE의 Associate Director SEO 비니시우스 스타눌레가 41일 실험을 진행하고 Search Engine Land에 정리했다. 사이트에 11개 섹션은 순수 HTML 링크로 연결하고, 10개 섹션은 JavaScript로 링크를 삽입했다. Sitemap은 404를 반환하게 하고 빵부스러기와 계층 패널은 제거했다. 봇에게 링크만 남겨둔 것이다.

결과. Googlebot은 JS 링크로만 도달 가능한 페이지의 2%에 이르렀다. 그리고 GPTBot, ClaudeBot, Bingbot, Meta의 크롤러, Amazonbot은 그런 페이지를 사실상 하나도 찾지 못했다.

이는 2024년 12월 Vercel과 MERJ의 더 이른 측정과도 맞아떨어진다. 주요 AI 크롤러 중 어느 것에서도 JavaScript 실행이 확인되지 않았다. ChatGPT의 크롤러는 요청의 11.50%에서 JS 파일을 내려받았고 Claude의 크롤러는 23.84%였지만, 실행하지는 않았다. 내려받기와 실행은 다른 일이고, 바로 이 차이에서 카탈로그, 필터, 클릭으로 불러오는 블록, 무한 스크롤이 사라진다.

여기서 나오는 실무는 단순하다. 페이지를 열고 브라우저에서 JavaScript를 끄고 무엇이 남았는지 본다. 상품과 텍스트 대신 빈 틀만 남았다면 AI 봇에게 그것은 존재하지 않는다. 링크는 클릭 핸들러가 아니라 href 속성을 가진 a 태그여야 하고, 주요 페이지는 200을 반환하는 sitemap에 들어 있어야 한다.

AI 답변에서 빠진 것을 어떻게 알아채나

별개의 문제는 이 이탈이 익숙한 리포트에 보이지 않는다는 점이다. 전통적인 순위는 그대로일 수 있고, 오가닉 트래픽도 완만하게 흐르는데, AI 답변에서는 사이트가 사라졌다. 표준 월간 리포트에는 그런 열이 아예 없다.

일부는 Google이 이미 내준다. 2026년 6월 3일 Search Console에 Search Generative AI performance 리포트가 열렸고, 2026년 8월 31일 전 세계 모든 사이트로 확대됐다. 노출, 페이지, 국가, 기기, 날짜가 있다. 클릭은 없다. 같은 2026년 8월 31일에는 AI Overviews, AI Mode, Discover의 생성형 기능을 포함한 Google의 AI 표면에서 콘텐츠 노출을 막을 수 있는 토글이 전 세계에 켜졌다. 또한 리포트에는 외부 플랫폼의 조회수가 추가됐다. 그중에는 Instagram, YouTube, TikTok이 있다.

미리 알아둘 제약도 있다. 생성형 데이터는 인터페이스 안에서만 살아 있다. 2026년 8월 11일 확인 결과 Search Analytics API도, BigQuery 내보내기도 이 수치를 주지 않는다. 즉 AI 가시성 자동 대시보드는 아직 만들 수 없고, 손으로 들어가 주 단위로 스크린샷을 찍어야 한다. 클릭 없는 노출, 내보내기 부재, 히스토리의 구멍. 데이터는 있지만 일반 쿼리 리포트처럼 기댈 수는 없다.

하락을 알고리즘 탓으로 돌리기엔 이른 이유

순위가 떨어지면 첫 가설은 늘 하나다. 업데이트. 달력을 보자. 마지막으로 확인된 랭킹 업데이트는 스팸 업데이트다. 2026년 8월 18일 미국 동부시간 12:30경에 시작해 2026년 8월 21일 4:50에 종료됐고, 롤아웃은 약 2.5일 걸렸으며 전 세계 모든 언어 대상이었다. 2026년의 세 번째 스팸 업데이트다. 9월에 주저앉은 나머지는 대체로 기술 문제다. 봇 접근, 렌더링, 망가진 랜딩 페이지.

여기에 9월의 또 다른 이야기가 얹힌다. Google Data Manager가 사이트의 데이터 수집 방식을 바꾸고, 관련 리스크 분석은 2026년 9월 8일에 나왔다. 취지는 같다. 모두가 텍스트 품질을 논하는 동안, 아무도 보지 않는 층이 깨진다. 늘 잘 작동해 왔기 때문에 아무도 안 본다.

이번 주에 할 일

1. 최근 30일 로그를 열고 user agent별로 403과 404 응답을 모두 찾는다. Googlebot, AdsBot-Google, AdsBot-Google-Mobile, Google InspectionTool, Storebot-Google.
2. CDN 패널에서 학습용 크롤러 차단이나 혼합 크롤러까지 건드리는 봇 대응 모드가 켜져 있지 않은지 확인한다. 신규 도메인은 2026년 9월 15일 이후가 아니라 그 전에 한다.
3. 브라우저에서 JavaScript를 끄고 대표 페이지 세 개를 지나가 본다. 메인, 카테고리, 상품 또는 기사. 스크립트 없이 보이지 않는 것은 AI 봇에게 없는 것이다.
4. Sitemap이 200을 반환하는지, 중요한 링크가 href를 가진 a 태그인지 확인한다.
5. Search Console의 AI 표면 리포트에 들어가 섹션별 현재 노출을 기록하고, 주 1회 기록하라는 알림을 걸어둔다. 내보내기가 없으니 히스토리는 저절로 쌓이지 않는다.

참고로 학습용 크롤러를 차단하는 것은 정상적인 결정이다. 비정상적인 것은 자기가 누구를 차단했는지를 광고 중단 안내 메일로 알게 되는 상황이다. 원하면 로그와 설정으로 당신의 사례를 봐 줄 테니 지원으로 연락 주시라.