용어사전 · SEO 기본

크롤 예산Crawl Budget

크롤 예산은 검색엔진이 한 사이트에 쓰는 크롤링의 양으로, 페이지가 아주 많은 사이트에서 의미가 크며 중복·오류 페이지가 많으면 중요한 페이지를 늦게 읽을 수 있습니다.

#크롤_예산#Crawl_Budget#대규모_사이트_관리

개념 이해하기

검색엔진이 우리 사이트에 할애하는 시간과 자원은 무한하지 않습니다.

한 줄 정의

검색엔진 로봇은 전 세계 모든 사이트를 무한정 크롤링할 수 없어, 사이트별로 할애하는 크롤링 자원(예산)을 조절합니다. 페이지 수가 적은 일반 사이트에서는 거의 문제가 되지 않지만, 수만 개 이상의 페이지를 가진 대규모 사이트에서는 중요한 이슈가 됩니다.

중복 페이지, 오류 페이지, 의미 없는 파라미터 조합 페이지가 많으면 이들이 크롤 예산을 소모해, 정작 중요한 신규·업데이트 페이지가 늦게 발견될 수 있습니다. 불필요한 페이지를 정리하고 robots.txt로 제어하는 것이 핵심 관리 방법입니다.

대규모 사이트의 필수 관리 항목입니다

쇼핑몰, 대형 미디어처럼 페이지가 많은 사이트에서 특히 중요합니다.

중요한 페이지의 발견 속도에 영향을 줍니다

예산이 낭비되면 핵심 페이지의 색인이 지연될 수 있습니다.

불필요한 페이지 정리와 직결됩니다

중복·저품질 페이지를 줄이는 것이 크롤 예산 관리의 핵심입니다.

크롤 예산은 어떻게 확인하나요?

서치 콘솔의 크롤링 통계 보고서에서 크롤링 요청 수와 추이를 확인할 수 있습니다.

소규모 사이트도 신경 써야 하나요?

페이지 수가 적은 사이트는 대체로 영향이 크지 않지만, 불필요한 중복 페이지가 많다면 점검할 가치가 있습니다.

아래 1차 공식 자료를 바탕으로 정리했습니다.

기술 SEO 점검으로 불필요한 크롤링 낭비 요인을 찾아 드립니다.