AI 검색 최적화 실태 조사 — 국내 주요 사이트 100곳의 AI 크롤러 허용 현황(2026년 10월)
목차 9개 항목
AI 검색 최적화의 첫 단계는 ChatGPT·Perplexity·Claude 같은 AI가 우리 사이트를 읽을 수 있게 하는 것입니다. 그렇다면 국내 주요 사이트는 AI 크롤러에게 얼마나 열려 있을까요? 오월의꿈은 2026년 10월 19일, 10개 업종 대표 사이트 100곳의 첫 화면을 ‘AI 크롤러 접근 점검’ 도구와 같은 기준으로 확인했습니다.
AI 검색 최적화는 왜 크롤러 허용부터 확인하나요?
AI가 답변에 인용하려면 먼저 페이지를 가져와 읽어야 하기 때문입니다. robots.txt에서 AI 봇을 막거나, 방화벽이 AI 봇의 접속을 거부하거나, 본문이 자바스크립트로만 그려지면 아무리 좋은 콘텐츠도 AI 답변의 근거가 되기 어렵습니다.
어떻게 조사했나요?
- 대상: 금융, 유통·커머스, 여행·항공·숙박, IT·플랫폼, 언론·미디어, 교육(대학), 의료(대형 병원), 법률(로펌), 외식·프랜차이즈, 공공기관 — 업종별 10곳씩 총 100곳(홈페이지 첫 화면 기준)
- 점검 항목: robots.txt의 AI 봇 10종 허용 여부, 각 봇 이름으로 접속했을 때의 서버 응답, llms.txt 보유, 서버 HTML의 본문 양, 회사 정보 구조화 데이터
- 일반 점검 봇의 접속 자체를 서버에서 막은 6곳과 응답이 없던 3곳은 통계에서 빼고 91곳을 집계했습니다.
- 개별 사이트 이름은 공개하지 않고 업종별 비율만 공개합니다.
AI 크롤러를 막는 사이트는 얼마나 되나요?
91곳 중 36%가 robots.txt나 서버 설정에서 AI 봇을 1개 이상 막고 있었습니다. robots.txt에서 핵심 AI 봇(OAI-SearchBot, PerplexityBot, GPTBot, ClaudeBot)을 1개 이상 막은 곳은 20%, 네 개를 모두 막은 곳은 11%였습니다. robots.txt로는 허용하면서 실제 서버(방화벽·보안 설정)가 AI 봇 이름의 접속을 거부한 곳도 15%였습니다.
| 업종 | 측정 | 핵심 AI 봇 차단(robots.txt) | AI 봇 서버 차단 | llms.txt 보유 | 본문 HTML 부족 |
|---|---|---|---|---|---|
| 금융 | 10곳 | 40% | 0% | 10% | 60% |
| 유통·커머스 | 7곳 | 29% | 14% | 14% | 71% |
| 여행·항공·숙박 | 5곳 | 0% | 80% | 20% | 20% |
| IT·플랫폼 | 10곳 | 20% | 20% | 10% | 30% |
| 언론·미디어 | 10곳 | 70% | 20% | 10% | 10% |
| 교육(대학) | 9곳 | 22% | 22% | 0% | 44% |
| 의료(대형 병원) | 10곳 | 10% | 0% | 10% | 60% |
| 법률(로펌) | 10곳 | 0% | 30% | 40% | 20% |
| 외식·프랜차이즈 | 10곳 | 0% | 0% | 0% | 30% |
| 공공기관 | 10곳 | 0% | 0% | 0% | 50% |
유통·커머스(7곳)와 여행·항공·숙박(5곳)은 일반 점검 봇 접속을 막은 사이트를 제외해 측정 수가 적습니다. 비율은 반올림 값입니다.
봇별로 보면 robots.txt 차단 비율은 Bytespider 23%, CCBot 21%, GPTBot 19%, ClaudeBot 16% 순으로 높았고, 검색·답변용인 OAI-SearchBot(13%)과 PerplexityBot(12%)은 상대적으로 덜 막혀 있었습니다. 모델 학습용 수집은 막고, 실시간 답변용 조회는 허용하는 흐름으로 볼 수 있습니다.
업종별로 어떤 차이가 있나요?
- 언론·미디어: 핵심 AI 봇을 막은 비율이 70%로 가장 높았습니다. 기사 학습을 제한하려는 움직임으로 보입니다.
- 금융: 40%가 핵심 봇을 막았고, 30%는 네 개를 모두 막았습니다. 본문 HTML 부족도 60%로 높았습니다.
- 여행·항공·숙박: robots.txt 차단은 없었지만 측정된 5곳 중 80%가 서버에서 AI 봇 이름의 접속을 거부했습니다. robots.txt만 보고 “열려 있다”고 판단하면 안 되는 이유입니다.
- 법률(로펌): 핵심 봇 차단이 0%였고 llms.txt 보유가 40%로 가장 높아, AI 검색 대응이 가장 빠른 업종이었습니다.
- 외식·프랜차이즈·공공기관: 핵심 AI 봇을 막은 곳은 없었지만 llms.txt를 둔 곳도 없었습니다.
- 의료(대형 병원): 핵심 봇 차단은 10%로 대체로 열려 있었지만, 60%가 서버 HTML에 본문이 거의 없었습니다.
열려 있으면 AI가 내용을 읽을 수 있나요?
꼭 그렇지는 않습니다. 91곳 중 40%는 서버가 보내는 HTML에 본문 글자가 200자도 되지 않았습니다. 화면 내용을 자바스크립트로 나중에 그리는 구조라면, 자바스크립트를 실행하지 않는 AI 봇에게는 빈 페이지에 가깝게 보입니다.
회사 이름·주소·연락처 같은 정보를 구조화 데이터(Organization 등)로 첫 화면에 둔 곳은 23%에 그쳤습니다. AI가 브랜드를 하나의 대상으로 알아보는 데 쓰는 정보입니다.
llms.txt는 얼마나 쓰고 있나요?
AI에게 사이트의 핵심 페이지를 안내하는 llms.txt는 11%(10곳)가 이미 두고 있었습니다. 아직 공식 표준은 아니지만, 법률(40%)처럼 빠르게 도입하는 업종이 생기고 있습니다.
www 없는 주소도 확인해야 하나요?
네. 응답한 97곳 중 8%는 www를 뺀 주소로 접속하면 인증서 오류나 접속 실패가 났고 www 주소에서만 열렸습니다. 사람은 브라우저가 보정해 주지만 링크나 AI 답변에 www 없는 주소가 쓰이면 수집이 실패할 수 있으니, 두 주소가 모두 같은 대표 주소로 연결되게 해 두는 것이 안전합니다.
우리 사이트는 무엇부터 점검해야 하나요?
- robots.txt에서 OAI-SearchBot·PerplexityBot 같은 검색·답변용 AI 봇이 막혀 있지 않은지 확인합니다. 학습용 봇(GPTBot 등) 허용 여부는 회사 정책에 맞게 정하면 됩니다.
- robots.txt가 허용이어도 방화벽·CDN·보안 플러그인이 AI 봇을 막고 있지 않은지 실제 서버 응답으로 확인합니다.
- 핵심 내용이 서버 HTML 안에 글자로 들어 있는지 확인합니다.
- 회사 정보 구조화 데이터와 llms.txt로 AI에게 브랜드와 핵심 페이지를 알려 줍니다.
- www가 있는 주소와 없는 주소가 모두 같은 대표 주소로 연결되는지 확인합니다.
이 조사의 한계는 무엇인가요?
업종별 대표 사이트 10곳씩을 고른 표본 조사라 중소 규모 사이트 전체를 대표하지는 않습니다. 서버 응답은 각 AI 봇의 이름(User-Agent)으로 접속했을 때를 기준으로 했으며, 실제 봇은 IP 확인 등으로 다르게 처리될 수 있습니다. 결과는 2026년 10월 19일 측정 시점 기준이고, 사이트 설정은 언제든 바뀔 수 있습니다.