내 구글 블로그가 네이버 등의 검색사이트에 노출이 안될 때 robots.txt

네이버에 나의 블로그가 정상적으로 노출이 되고 있는지 궁금해서 검색을 해봤습니다.
그런데.. 네이버 웹마스터 도구에 블로그를 등록한지 일주일이 다 되어가는데 제 글이 뜨지 않습니다.
이상해서 네이버 서치 어드바이저에 로그인을 해봤습니다.

지난 포스트

구글 블로그에서 다른 블로그를 구독하는 방법

구글 블로그에서 다른 블로그를 구독하는 방법을 알아보겠습니다. 구글 블로그는 같은 구글 블로그뿐만 아니라 다른 플랫폼의 블로그를 구독할 수도 있습니다.

문제는 robots.txt

내 블로그에 대한 어떠한 정보도 뜨지 않습니다.
'처음 소유 확인한 사이트의 경우, 리포트 생성까지 일정 시간이 소요됩니다.'라는 글만 보고 기다렸는데.. 예전에 티스토리로 블로그를 시작할 때는 이 정도로 오래 걸렸던 기억이 없습니다.
'잠시 기다리는 동안 검색엔진 최적화 가이드를 참고하여, 사이트의 검색 노출에 문제가 있는지 점검해주세요.'라는 안내문구에 따라 검색엔진 최적화 가이드에 들어가 보았습니다.

그 안에서 robots.txt 설정하기를 들어가 봤는데, 여기에는 아래와 같은 내용이 있었습니다.

robots.txt 규칙 예제

robots.txt 파일에 작성된 규칙은 같은 호스트, 프로토콜 및 포트 번호 하위의 페이지에 대해서만 유효합니다. http://www.example.com/robots.txt의 내용은 http://example.com/ 와 https://example.com/에는 적용되지 않습니다.

대표적인 규칙은 아래와 같으며 사이트의 콘텐츠 성격에 맞게 변경해주세요.

• 다른 검색엔진의 로봇에 대하여 수집을 허용하지 않고 네이버 검색로봇만 수집 허용으로 설정합니다.

  User-agent: *
  Disallow: /
  User-agent: Yeti
  Allow: /
  

  
  
• 모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다.

  User-agent: *
  Allow: /
  

  
  
• 사이트의 루트 페이지만 수집 허용으로 설정합니다.

  User-agent: *
  Disallow: /
  Allow: /$
  

  
  
• 관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹 페이지는 수집 비허용으로 설정해주세요. 아래 예제는 네이버 검색로봇에게 /private-image, /private-video 등은 수집하면 안 된다고 알려줍니다.

  User-agent: Yeti
  Disallow: /private*/
  

  
  
• 모든 검색로봇에게 사이트의 모든 페이지에 대하여 수집을 허용하지 않는다고 알려줍니다. 이 예제는 사이트의 어떠한 페이지도 수집 대상에 포함되지 않으므로 권장하지 않습니다.

  User-agent: *
  Disallow: /
  

  
  

◎ 네이버 웹마스터 가이드 robots.txt 설정하기

구글 블로그에서 robots.txt에 손을 댄 적이 전혀 없습니다.
위의 안내에 따라 제대로 설정이 되어있을지 궁금해져서 확인을 해보기로 했습니다.

내 블로그 주소/robots.txt 로 들어가 봤습니다.
놀랍게도 내 블로그의 /search 루트에 있는 페이지의 수집을 허용하지 않게 세팅이 되어있습니다.
저 루트에 들어가면 뭐가 있냐면, 제 블로그의 모든 포스팅을 전체보기 하는 페이지가 있습니다.
저는 구글 블로그의 robots.txt 세팅을 한 적이 없으니 이것이 기본 설정인 것입니다.
역시 구글 블로그는 진입 장벽이 높음을 느낍니다.
검색엔진이 내 블로그의 글을 수집해 갈 수 있도록 하는 것도 직접 설정을 해야 합니다.
하늘색으로 표시해놓은 저 한 줄을 삭제하러 가야 합니다.

구글 블로그의 robots.txt 수정하는 방법

블로고 관리 메뉴에서 '설정'으로 들어가서 스크롤을 내리고
'맞춤 robots.txt 사용 설정'의 스위치를 켭니다.

그리고 '맞춤 robots.txt'를 클릭합니다.

수정한 robots.txt를 저장합니다.

네이버 웹마스터 도구로 돌아가서 수정한 robots.txt를 수집 요청했습니다.

이것으로 문제가 해결되었습니다.
이것 이외의 더 이상의 설정 문제는 없길 바랍니다.

다음 포스트

구글 블로그 초기 설정, 메타 태그로 블로그를 설명하자.

메타 태그로 구글 블로그의 블로그 설명(description)을 쓰고 등록하는 과정을 알아보겠습니다.