블로그를 열심히 운영하다 보면 어느 날 갑자기 가슴이 철렁하는 순간이 찾아오곤 합니다.
잘 노출되던 글이 갑자기 사라지거나 구글 서치콘솔에서 빨간색 경고등을 마주할 때가 바로 그렇습니다.
최근에 저도 열심히 작성한 글들이 포털에 정상적으로 검색되지 않아서 서치콘솔을 열었다가 당황했던 적이 있습니다.
리포트를 확인해 보니 수많은 페이지들이 색인 생성 범위 오류 때문에 정상적으로 수집되지 못하고 제외된 상태였습니다.
열심히 쓴 글이 검색 엔진에 차단되어 세상에 나오지 못하고 있다는 생각에 마음이 조급해졌습니다.
하나씩 원인을 분석하고 차근차근 해결해 나가면서 생각보다 간단하게 묶인 매듭을 풀 수 있었습니다.
지금부터 구글 서치콘솔에서 발생하는 색인 생성 범위 오류의 대표적인 원인 4가지와 이를 아주 쉽게 해결할 수 있는 실전 노하우를 상세히 공유해 드리겠습니다.
구글 서치콘솔 ‘색인 생성 범위 오류’ 원인과 해결책
1. robots.txt 차단과 noindex 태그 문제
구글 크롤러가 블로그에 방문했을 때 문을 열어주지 않으면 색인 생성 범위 오류가 발생하게 됩니다.
가장 흔한 원인 중 하나는 웹사이트의 루트 디렉토리에 있는 robots.txt 파일이 구글봇의 접근을 기술적으로 막고 있는 경우입니다.
또는 글을 작성하는 과정에서 플랫폼 설정이나 플러그인 오류로 인해 시스템 내부에 noindex 태그가 강제로 삽입되기도 합니다.
이 태그가 활성화되어 있으면 구글은 이 페이지를 검색 결과에 노출하지 말라는 강력한 거부 신호로 받아들입니다.
따라서 서치콘솔 내부의 URL 검사 도구를 활용하여 해당 주소가 차단 상태인지 가장 먼저 조회해 보아야 합니다.
⚠️ 주의사항
티스토리나 워드프레스의 특정 플러그인을 업데이트할 때 간혹 보안 설정이 초기화되면서 검색 엔진 차단 코드가 자동으로 생성될 수 있으니 주기적인 모니터링이 필수입니다.
2. 크롤링됨 - 현재 색인이 생성되지 않음
이 현상은 구글봇이 내 블로그 글을 정상적으로 긁어갔음에도 불구하고 색인 생성 범위 오류 목록에 남겨두는 유형입니다.
주로 글의 분량이 너무 적거나 사진만 나열되어 있어서 검색 엔진이 가치가 낮은 콘텐츠라고 판단할 때 일어납니다.
혹은 다른 사이트의 글을 그대로 복사해서 붙여넣었거나 내부적으로 중복된 텍스트가 많을 때도 구글은 수집을 보류합니다.
이 문제를 해결하기 위해서는 텍스트의 양을 더 풍성하게 늘리고 독창적인 정보를 추가하는 고도화 작업이 선행되어야 합니다.
정보의 퀄리티를 높인 뒤 서치콘솔 화면에서 '실제 URL 테스트'를 거쳐 '색인 생성 요청' 버튼을 다시 눌러주면 해결됩니다.
3. 발견됨 - 현재 색인이 생성되지 않음
발견됨 상태는 구글이 내 글의 존재는 인지했으나 크롤링 예산 부족이나 사이트 신뢰도 문제로 크롤러를 보내지 않은 상태를 말합니다.
구글 검색 엔진은 사이트 전체의 품질 신호나 내부 링크 구조가 부실하다고 판단하면 해당 페이지의 수집 스케줄을 뒤로 미뤄버립니다.
따라서 이 영역에 들어간 글이 많다면 무조건 시간만 기다리기보다 내 블로그의 전반적인 콘텐츠 신뢰도를 높여야 합니다.
카테고리 구조를 명확히 하고 관련 글끼리 내부 링크를 촘촘하게 연결하여 구글봇이 이동하기 편한 길을 만들어주는 것이 핵심입니다.
이후 사이트맵(sitemap.xml)과 피드(rss) 주소를 서치콘솔에 다시 제출하거나 주소별로 직접 색인 생성을 요청하면 크롤러의 방문을 앞당길 수 있습니다.
💡 꿀팁
새로 개설한 블로그일수록 구글 크롤러의 방문 주기가 길어지므로 초기에는 매일 일정한 시간에 글을 발행하여 수집 로봇이 자주 찾아오는 환경을 만들어주는 것이 유리합니다.
4. 리디렉션 오류 및 잘못된 URL 구조
블로그 주소 체계를 변경하거나 글의 카테고리를 이동하는 과정에서 링크 주소가 꼬이면 색인 생성 범위 오류가 나타납니다.
사용자가 글을 클릭했을 때 다른 주소로 무한 반복 이동하는 순환 리디렉션이 걸리면 구글봇은 추적을 포기해 버립니다.
또한 주소창에 한글이 섞여 있거나 특수문자가 길게 포함되어 인코딩이 깨지는 경우에도 정상적인 수집이 불가능합니다.
기존에 발행했던 글의 주소는 가급적 수정하지 않는 것이 좋으며 만약 변경했다면 기존 주소와 새 주소를 301 리디렉션으로 매끄럽게 연결해 주어야 합니다.
서치콘솔에서 제공하는 리디렉션 에러 목록을 다운로드하여 깨진 링크를 하나씩 지우거나 정상적인 고유 주소로 매핑해 주면 깔끔하게 해결됩니다.
⚠️ 주의사항
블로그 글의 주소 형식을 중간에 '숫자'에서 '문자'로 변경하면 기존에 구글이 수집했던 모든 링크에 대규모 크롤링 끊김 현상이 발생하므로 처음 세팅을 유지하는 것이 안전합니다.
구글 서치콘솔 색인 생성 범위 오류 원인과 해결책 요약
블로그를 운영하다 보면 누구나 한 번쯤 마주하게 되는 구글 서치콘솔의 수집 누락 현상은 원인만 명확하게 파악하면 누구나 쉽게 고칠 수 있습니다.
- robots.txt 파일 및 HTML 소스 내 noindex 메타 태그 삽입 여부 확인하기
- 글의 분량을 늘리고 유익한 정보를 채워 콘텐츠의 품질 지수 높이기
- 내부 링크 구조를 개선하고 사이트맵과 RSS 피드를 최신 상태로 재등록하여 구글봇 방문 유도하기
- 깨진 링크나 무한 루프가 걸린 리디렉션 주소를 올바른 URL로 정렬하기
- 문제를 수정한 뒤에는 모니터링 로깅을 위한 수정 검증을 시작하고 개별 URL 검사 툴로 색인 생성을 즉시 요청하기
작성한 글들이 검색 엔진에 정상적으로 반영되기까지는 며칠에서 몇 주까지 다소 시간이 걸릴 수 있으니 마음의 여유를 가지시길 바랍니다.
알려드린 해결책들을 하나씩 적용해 보시면서 소중한 블로그 자산을 더 건강하게 가꾸어 나가시기를 진심으로 응원합니다.
