[SEO대응] 네이버 100 : 구글 1 vs 네이버 1 : 구글 3

— 같은 팀이 만든 두 서비스, 색인 결과가 정반대였다

두 개의 서비스를 동시에 운영하다 보면 의도치 않게 비교 실험이 된다. 같은 프레임워크, 같은 인프라, 같은 기본 SEO 셋업. 그런데 한 서비스는 네이버에서 구글보다 압도적으로 많이 색인됐고, 다른 서비스는 반대로 구글이 네이버보다 3배 가까이 많이 색인됐다.

처음엔 뭔가 기술적으로 잘못된 건가 싶었다. 그런데 이것저것 찾아보고 직접 진단해보니, 고장이라기보다는 두 검색엔진의 색인 방식 자체가 다르기 때문이라는 설명이 가장 그럴듯하게 맞아 들어왔다. 다만 검색엔진 내부 알고리즘은 공개된 게 아니라서, 여기 쓰는 내용은 어디까지나 "관찰 결과 + 업계에서 통용되는 가설"임을 먼저 밝혀둔다.

두 서비스의 색인 현황

• A 서비스: 특정 지역 팝업스토어, 공연, 축제 정보를 다루는 hyperlocal 미디어
• B 서비스: 미식·문화·라이프·테크를 다루는 라이프스타일 매거진

기술적으로 무언가 막힌 게 아니라면, 이 차이는 어떻게 설명될 수 있을까.

네이버 vs 구글 — 색인 방식이 다르다는 이야기

SEO 커뮤니티나 여러 기술 블로그에서 자주 언급되는 설명 중 하나는, 두 엔진이 "수집(크롤링)"과 "색인(검색 결과 등록)"을 다루는 방식이 다르다는 것이다.

네이버에 대해 흔히 이야기되는 것: 사이트 구조에 큰 문제가 없고 크롤러 접근이 허용되면, 수집된 페이지 대부분이 색인에 올라가는 편이라는 이야기가 많다. 실제로 우리 A 서비스도 기술적 오류를 수정하자 네이버 색인 수가 비교적 빠르게 늘어났다.

구글에 대해 공식 문서와 커뮤니티에서 언급되는 것: 구글은 URL을 읽어간 것(크롤)과 검색 결과에 올리는 것(색인)을 별개로 처리하며, "페이지가 사용자에게 충분한 가치를 제공하는가"를 기준으로 색인 여부를 판단한다고 알려져 있다. 구글의 공식 문서(Google Search Central)에도 얇은 콘텐츠(Thin Content)나 중복 콘텐츠는 색인에서 제외될 수 있다고 명시되어 있다.

이 설명이 맞다면, 우리가 관찰한 현상도 어느 정도 설명이 된다.

A 서비스: 구글 색인이 극소수인 이유 — 가능한 설명들

기술 결함이 없다고 확인한 뒤에도 구글 색인이 극히 적었다. 구글 서치콘솔을 열어보니 대부분의 URL이 아래 두 상태 중 하나였다.

• 발견됨 - 현재 색인이 생성되지 않음: URL은 알고 있지만 아직 읽으러 오지 않음
• 크롤됨 - 현재 색인이 생성되지 않음: 읽었지만 색인에 올리지 않음

업계에서 자주 언급되는 원인으로는 몇 가지가 있다.

크롤링 예산(Crawl Budget)이 아직 적을 수 있다 도메인이 생성된 지 얼마 안 됐거나 구글 내에서 신뢰도가 충분히 쌓이지 않았다면, 구글 봇이 하루에 읽어가는 페이지 수 자체가 제한된다는 이야기가 있다. 시간이 지나면서 자연스럽게 늘어난다는 경험담도 많다. 우리 서비스도 아직 이 단계일 가능성이 높다고 보고 있다.

콘텐츠 유형의 차이일 수 있다 날짜·장소·짧은 소개 위주의 이벤트 정보 페이지는 구글 기준에서 정보 밀도가 낮다고 판단될 수 있다는 설명도 있다. 네이버는 시의성 있는 정보로 받아들이는 반면, 구글은 다른 기준을 적용할 수 있다는 것인데—이건 어디까지나 가설이고, 실제로 그런지는 시간이 지나야 알 수 있다.