서치콘솔 ‘발견됨’·‘크롤링됨’ 미색인 차이와 해결 순서 — 네이버 서치어드바이저까지

홈페이지를 만들고 구글 서치콘솔에 사이트맵을 제출하면, 며칠 뒤 “페이지” 보고서에 색인되지 않은 페이지 목록이 생깁니다. 그중 가장 많이 보이는 것이 “발견됨 - 현재 색인이 생성되지 않음”과 “크롤링됨 - 현재 색인이 생성되지 않음”입니다. 이름은 비슷하지만 멈춘 단계가 다르기 때문에 고치는 방법도 다릅니다.

두 상태는 무엇이 다른가요?

검색엔진은 주소 발견 → 크롤링(페이지 읽기) → 색인(검색 후보로 저장) → 검색 결과 노출 순서로 페이지를 처리합니다. ‘발견됨’은 크롤링 전 단계에서, ‘크롤링됨’은 색인 전 단계에서 멈춘 상태입니다.

• 발견됨 - 현재 색인이 생성되지 않음: 사이트맵이나 링크로 주소는 알았지만 아직 페이지를 가져가지 않았습니다. 구글은 사이트에 부담을 줄 수 있다고 판단하면 크롤링을 뒤로 미룹니다.
• 크롤링됨 - 현재 색인이 생성되지 않음: 페이지를 읽었지만 색인하지 않았습니다. 나중에 색인될 수도 있고, 그대로 남을 수도 있습니다.

막 등록한 사이트라면 기다려도 되나요?

네, 사이트를 새로 등록하거나 주소 구조를 바꾼 직후라면 1~2주는 지켜보는 것이 좋습니다. 새 페이지는 크롤링 대기열에서 순서를 기다리는 경우가 많아, 이 기간의 ‘발견됨’은 자연스러운 현상입니다. 같은 상태가 몇 주 넘게 계속되거나 숫자가 계속 늘어날 때 아래 점검을 시작하세요.

‘발견됨’이 쌓이면 무엇부터 확인하나요?

크롤링 전 단계에서 멈췄으므로, 검색엔진이 페이지에 접근하고 찾아가는 길을 먼저 봅니다.

• 서버 응답: 페이지가 느리거나 오류(5xx)가 잦으면 크롤링이 줄어듭니다.
• robots.txt: 중요한 경로를 실수로 막고 있지 않은지 확인합니다.
• 불필요한 주소: 필터·정렬 조건이 붙은 주소가 수없이 만들어지면 정작 중요한 페이지가 뒤로 밀립니다.
• 내부 링크: 사이트맵에만 있고 메뉴나 본문 어디에서도 연결되지 않은 페이지는 우선순위가 낮게 취급되기 쉽습니다.
• 사이트맵: 실제로 존재하는 대표 주소만 넣고, 수정일(lastmod)을 정확하게 유지합니다.

구글 문서에 따르면 페이지가 1,000개 미만인 사이트는 크롤링 예산을 크게 걱정하지 않아도 됩니다. 작은 사이트라면 서버 상태와 내부 링크, 사이트맵을 먼저 정리하는 편이 효과적입니다.

‘크롤링됨’이 쌓이면 무엇부터 확인하나요?

구글이 이미 읽고도 색인하지 않았다면 대개 내용에 이유가 있습니다.

• 내용이 얇거나 비슷한 페이지가 많은지: 같은 주제를 조금씩 바꿔 쓴 짧은 글이 여러 개면 하나로 합치는 것이 낫습니다.
• 구글이 고른 대표 주소(canonical)가 내가 의도한 주소와 같은지: URL 검사에서 “Google에서 선택한 표준 URL”을 확인합니다.
• 내부 링크가 충분한지: 관련 페이지에서 자연스럽게 연결해 중요도를 알려 줍니다.
• 정말 검색에 나와야 하는 페이지인지: 태그 목록, 인쇄용 화면처럼 검색에 필요 없는 페이지는 색인되지 않아도 문제가 아닙니다.

색인 생성 요청은 언제 누르나요?

URL 검사의 “색인 생성 요청”은 원인을 고친 뒤 핵심 페이지에만 쓰는 것이 좋습니다. 하루에 요청할 수 있는 양에 한도가 있고, 아무것도 바꾸지 않은 주소를 반복해서 요청해도 결과는 달라지지 않습니다. 페이지가 많을 때는 사이트맵을 갱신하는 편이 효율적입니다.

네이버 서치어드바이저에서는 어떻게 확인하나요?

네이버도 수집 → 색인 → 노출 흐름은 같습니다. 서치어드바이저의 리포트 메뉴에서 수집 현황과 검색 노출 현황을 확인하고, 수집이 안 되는 페이지가 있다면 robots.txt 검증과 사이트맵 제출 상태를 먼저 점검하세요. 새로 만든 중요한 페이지는 요청 메뉴의 웹 페이지 수집 요청으로 알릴 수 있습니다.

네이버는 특히 페이지 제목과 본문의 첫 부분, 이미지 대체 텍스트처럼 기본적인 웹 페이지 구조를 꼼꼼히 봅니다. 구글에서 ‘크롤링됨’으로 남은 페이지라면 네이버에서도 노출이 약할 가능성이 높으니, 두 곳을 함께 보며 같은 페이지의 내용을 보강하는 것이 효율적입니다.

점검은 이 순서로 하세요

• 1. 보고서에서 페이지가 ‘발견됨’인지 ‘크롤링됨’인지 확인합니다.
• 2. 그 페이지가 검색에 나와야 하는 페이지인지 먼저 정합니다.
• 3. 발견됨은 접근·구조를, 크롤링됨은 내용·중복을 고칩니다.
• 4. URL 검사의 실제 URL 테스트로 수정 결과를 확인합니다.
• 5. 사이트맵을 갱신하고 핵심 페이지만 색인 생성을 요청합니다.
• 6. 1~2주 뒤 같은 보고서에서 상태가 바뀌었는지 다시 봅니다.