용어사전 · SEO 기본

크롤링Crawling

크롤링은 검색엔진 로봇이 웹페이지를 돌아다니며 내용을 읽어 가는 것으로, 로봇은 링크를 따라 새 페이지를 발견하며 링크가 끊겨 있거나 접근이 막혀 있으면 읽히지 않습니다.

#크롤링#Crawling#검색엔진_로봇

개념 이해하기

SEO의 가장 첫 단계: 검색엔진이 우리 페이지의 존재를 아는 것부터 시작됩니다.

한 줄 정의

구글봇(Googlebot) 같은 검색엔진 로봇은 링크를 따라 웹을 돌아다니며 페이지를 발견하고 내용을 읽습니다. 이 과정을 크롤링이라 부릅니다. 어디서도 연결되지 않은 "고아 페이지"는 로봇이 발견할 방법이 없어 크롤링 자체가 되지 않습니다.

크롤링된다고 바로 검색 결과에 나오는 것은 아닙니다. 크롤링 다음 단계인 색인을 거쳐야 검색 결과의 후보가 됩니다. robots.txt 설정이나 사이트맵 제출은 이 크롤링을 돕는 대표적인 장치입니다.

발견의 전제 조건입니다

크롤링되지 않으면 색인도, 검색 노출도, AI 인용도 모두 불가능합니다. 모든 최적화의 출발점입니다.

내부 링크 구조가 핵심입니다

로봇은 링크를 따라 이동하므로, 새 페이지를 만들면 기존 페이지에서 링크로 연결해 주어야 합니다.

사이트맵으로 보완할 수 있습니다

링크 구조가 복잡하거나 페이지가 많을 때, 사이트맵 제출로 크롤링 발견을 도울 수 있습니다.

우리 페이지가 크롤링되고 있는지 어떻게 확인하나요?

구글 서치 콘솔의 URL 검사 도구로 특정 페이지의 크롤링·색인 상태를 직접 확인할 수 있습니다.

크롤링을 막아야 하는 경우도 있나요?

로그인 후 화면, 관리자 페이지처럼 검색에 나올 필요가 없는 영역은 robots.txt로 크롤링을 막는 것이 일반적입니다.

아래 1차 공식 자료를 바탕으로 정리했습니다.

AI 크롤러 접근 점검 도구로 검색·AI 봇의 수집 허용 여부를 함께 확인할 수 있습니다.