GEO · 실무 가이드
robots.txt·llms.txt 설정,
robots.txt·llms.txt 설정,
AI가 읽을 수 있어야 인용됩니다
robots.txt는 검색·AI 봇에게 사이트 수집을 허용하거나 막는 파일이고, llms.txt는 AI에게 사이트의 핵심을 요약해 알려 주는 안내 파일입니다. 내용이 좋아도 봇이 들어오지 못하면 인용될 수 없으니, 무엇을 허용하고 어디서 막히는지 순서대로 확인하세요.
최종 업데이트최종 수정일 · 오월의꿈
KNOW THE BOTS
주요 AI 봇과 역할
같은 회사의 봇이라도 "모델 학습용", "검색·인용용", "사용자 요청 시 방문용"이 나뉘어 있는 경우가 많습니다.
| 운영 주체 | 봇 이름(user-agent) | 주된 용도 |
|---|---|---|
| OpenAI | GPTBot · OAI-SearchBot · ChatGPT-User | 학습 · ChatGPT 검색 · 사용자 요청 방문 |
| Anthropic | ClaudeBot · Claude-SearchBot · Claude-User | 학습 · 검색 · 사용자 요청 방문 |
| Perplexity | PerplexityBot · Perplexity-User | 검색 색인 · 사용자 요청 방문 |
| Google-Extended | Gemini 등 생성형 AI 활용 허용 여부를 정하는 robots.txt 토큰 | |
| Apple · Common Crawl | Applebot-Extended · CCBot | AI 활용 허용 토큰 · 공개 웹 아카이브 수집 |
봇 이름과 용도는 각 회사가 바꿀 수 있으므로, 적용 전에 해당 회사의 최신 공식 문서를 확인하세요. 학습용 봇을 막고 검색·인용용 봇만 허용하는 선택도 가능합니다.
ROBOTS.TXT
robots.txt에서 허용하기
차단 규칙이 없다면 기본적으로 허용 상태이지만, 정책을 명시해 두는 편이 안전합니다.
robots.txt 예시 — 검색·인용용 봇과 일반 봇을 허용
User-agent: * Allow: / Disallow: /admin User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / Sitemap: https://www.example.com/sitemap.xml
가장 흔한 실수는 개발 중 걸어 둔 Disallow: / 가 운영 서버에 그대로 남아 있는 것입니다. 오픈 직후 가장 먼저 확인하세요.
FIREWALL
그래도 안 들어온다면: 방화벽·보안 설정
robots.txt가 열려 있어도 서버 쪽에서 봇을 막는 경우가 많습니다.
01
CDN·방화벽(WAF)의 봇 차단 설정
Cloudflare 등의 "봇 차단" 기능이나 AI 크롤러 차단 옵션이 켜져 있지 않은지 확인합니다.
02
보안 플러그인·호스팅 설정
워드프레스 보안 플러그인, 호스팅 기본 봇 차단 규칙이 AI 봇을 걸러내는지 점검합니다.
03
서버 응답 확인
봇 이름으로 접속했을 때 200으로 응답하는지, 403·429가 나오지 않는지 확인합니다.
LLMS.TXT
llms.txt는 무엇이고, 어떻게 쓰나요
llms.txt는 사이트의 핵심 내용을 AI가 빠르게 파악하도록 요약해 주는 제안된 형식의 안내 파일입니다.
/llms.txt 예시
# 회사명 > 브랜드를 정의하는 한 문장. 누구를 위해 무엇을 하는 회사인지. ## 핵심 페이지 - [서비스 소개](https://www.example.com/service): 제공하는 서비스 개요 - [자주 묻는 질문](https://www.example.com/faq): 비용·기간·진행 방식 - [회사소개](https://www.example.com/about): 연혁과 일하는 기준
llms.txt는 아직 모든 AI 서비스가 공식적으로 읽는다고 확인된 표준은 아닙니다. 읽히지 않더라도 손해는 없고 내용 정리에도 도움이 되므로, robots.txt와 구조화 데이터 정비를 먼저 하고 보조 수단으로 두는 것을 권합니다.
CHECK
현재 상태 점검
점검 도구로 10개 주요 AI 봇의 허용 여부를 한 번에 확인할 수 있습니다.
AI 크롤러 접근 점검 → 에 주소를 넣으면 robots.txt 규칙과 서버 응답을 기준으로 봇별 접근 상태를 알려 드립니다.
우리 사이트, AI에게 열려 있을까요?
봇별 접근 상태와 방화벽 설정까지 점검해 드립니다.