AI 크롤러가 우리 사이트를 읽을 수 있어야,
답변에 나올 수 있습니다
ChatGPT, Perplexity, Gemini 같은 AI 서비스는 웹사이트의 글을 가져가는 전용 크롤러(봇)를 씁니다. 이 AI 크롤러가 우리 사이트의 문을 열 수 있는지 확인하는 것이 GEO의 첫 단계입니다.
지금 바로 점검해 보기
점검할 페이지 주소를 넣으면 robots.txt와 각 AI 봇의 접속 결과, 본문 구조를 확인합니다.
점검은 별도의 점검 서버가 수행합니다. 각 봇의 접속 방식(User-Agent)으로 요청해 본 결과이며, 실제 AI 서비스의 수집 여부를 보장하지는 않습니다.
이런 상황이라면 먼저 확인하세요
AI 답변에 브랜드가 나오지 않는 이유가 콘텐츠가 아니라 “접근”일 때가 생각보다 많습니다.
“ChatGPT에 우리 회사를 물어도 답이 없어요”
내용을 다듬기 전에, 수집 봇이 사이트를 막고 있지는 않은지부터 봅니다. 접근이 막혀 있으면 어떤 콘텐츠도 근거로 쓰이기 어렵습니다.
“보안 플러그인을 새로 설치했어요”
방화벽, CDN, 보안 플러그인의 봇 관리 기능이 AI 봇을 자동으로 걸러내는 경우가 있습니다. robots.txt가 열려 있어도 서버 단에서 접근이 거부될 수 있습니다.
“홈페이지를 리뉴얼했어요”
주소 구조, robots.txt, 리다이렉트, 화면을 그리는 방식이 바뀌면서 접근 조건도 함께 바뀝니다. 오픈 직후 반드시 점검해야 하는 이유입니다.
이렇게 점검합니다
한 가지만 열려 있어서는 충분하지 않습니다. 봇이 사이트에 들어와 내용을 읽기까지의 길을 순서대로 확인합니다.
robots.txt, 이렇게 읽습니다
아래는 이해를 돕기 위한 예시입니다. 실제 정책은 사업 목적과 콘텐츠 성격에 맞춰 함께 정합니다.
# 답변·검색용 AI 봇: 인용 기회를 열어 둡니다 User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / # 학습 목적 수집은 사업 정책에 따라 범위를 정합니다 User-agent: GPTBot Disallow: /members/ # 아래 두 줄은 사이트 전체를 막는 “한 줄 실수”의 대표 예 User-agent: * Disallow: /
※ AI 서비스의 봇 이름과 정책은 자주 바뀝니다. 점검 시점의 각 서비스 공식 안내를 기준으로 확인합니다. robots.txt는 “요청 규칙”이며 보안 수단이 아닙니다. 페이지를 검색 결과에서 빼려면 noindex 등 다른 설정이 필요합니다.
진행 방식
점검으로 끝나지 않고, 고친 뒤 다시 확인하는 데까지가 한 사이클입니다.
현황 수집
robots.txt, 응답 헤더, 서버·CDN 설정, 접속 기록을 확인합니다.
원인 분석
접근이 막히는 지점이 규칙인지, 서버 설정인지, 화면 구조인지 특정합니다.
개선안 정리
허용 정책과 설정 방법을 개발·운영 담당자가 바로 적용할 수 있게 정리합니다.
재점검
적용 후 접근 상태를 다시 확인하고, 이후 정기 점검 주기를 정합니다.
자주 묻는 질문
AI 봇을 허용하면 우리 콘텐츠가 무단으로 학습되는 것 아닌가요?
봇마다 수집 목적이 다릅니다. 답변·검색에 쓰는 봇과 모델 학습에 쓰는 봇을 나눠 정책을 정할 수 있습니다. 다만 서비스별 정책은 수시로 바뀌므로 점검 시점의 공식 안내를 기준으로 판단합니다.
허용하면 반드시 AI 답변에 인용되나요?
아닙니다. 접근이 열려 있는 것은 필요조건일 뿐입니다. 이후에는 콘텐츠의 정확성, 브랜드 정보의 일관성, 구조화된 답변 같은 조건이 뒤따라야 합니다.
우리 사이트가 막혀 있는지 직접 확인할 수 있나요?
주소창에 “내도메인/robots.txt”를 입력하면 규칙을 볼 수 있습니다. 서버·방화벽 단의 차단은 눈으로 확인하기 어려워 별도 점검이 필요합니다. GEO 엔티티 체크에서도 기본 항목을 자가 점검할 수 있습니다.
우리 사이트, AI에게 열려 있을까요?
접근 상태와 허용 정책을 점검하고, 바로 적용할 수 있는 설정 가이드로 정리해 드립니다.