구글 블로그 robots.txt 설정법 - 블로그스팟 초보를 위한 가이드
목차
들어가기
안녕하세요. 오늘은 맞춤 robots.txt에 대해 알아보려고 해요! 블로그를 설정 하다 보니 맞춤 robots txt라는 항목이 있었어요. 이런 개념의 존재 자체를 모르고 살아와서 처음 접했을 때 엄청 전문적으로 보이고 이거 내가 할 수 있는 게 맞는가 하는 생각이 들었어요. 근데 막상 찾아보니 생각보다 간단하고 구글 블로그 성능에도 이로운 요소가 많아서 제일 먼저 다루게 되었어요. 그래서 초보 분들도 편하게 이해하실 수 있도록 풀어서 정리해보겠습니다.
맞춤 robots.txt 뜻
"맞춤 robots.txt"는 검색 엔진 크롤러나 웹 로봇에게 내 블로그의 어느 페이지를 방문해도 괜찮은지 어느 페이지는 방문하지 말아야 하는지 알려주는 간단한 지침 파일이에요. 웹 로봇이나 크롤러가 어떤 주소를 접속하기 전에 먼저 robots.txt를 살펴보며 허용된 영역만 탐색하는 방식입니다.
구글 블로그를 위한 간단한 코드
블로그가 구글 애드센스를 달거나 앞으로 달 계획이 있다면 광고 로봇이 모든 페이지를 잘 확인할 수 있도록 해야 해요. 그리고 검색 결과나 라벨 페이지처럼 굳이 노출되지 않아도 되는 주소는 막아주는 편이 효율적입니다. 여러 복잡한 코드들(경쟁사에 키워드 노출을 막거나 한국웹에 도움이 안되는 국가의 검색엔진들 크롤링을 막아 효율을 올린다거나 기타 등등)을 검토했는데 구글 블로그에서 어떻게 안 좋은 작용이 있을지 모르다 보니 결국 돌고 돌아 심플한 코드로 결정했네요. 설정을 어떻게 해야 좋을지 모르겠고 머리가 아프다 하시는 분들은 아래 코드만 복사해 내 블로그의 "맞춤 robots.txt"에 붙여넣기 하시면 됩니다.😄
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/sitemap.xml위에서 example 부분을 내 블로그의 주소로 바꾸면 돼요. 만약 도메인을 사용 중이시라면 색칠한 부분 전체를 내 도메인으로 입력해주시면 됩니다. 이유는 검색엔진이 실제 운영 중인 도메인을 기준으로 크롤링을 하기 때문이에요.
User-agent: Mediapartners-Google 구글 애드센스 등의 광고 로봇을 의미해요.
Disallow: 해당 로봇에게는 차단할 페이지가 없다는 뜻이라, 모든 페이지를 볼 수 있어요.
User-agent: * 구글이나 네이버, 빙 등 대부분의 검색 로봇을 뜻해요.
Disallow: /search 검색 결과나 라벨 관련 페이지를 검색 로봇이 크롤링하지 못하도록 막아요. 해당 페이지들은 검색 노출에 도움이 안되고 중복 콘텐츠 문제를 일으킬 여지가 있다고 해요.
Allow: / 나머지 모든 페이지는 검색 로봇이 자유롭게 볼 수 있게 허용해요.
Sitemap: https://example.blogspot.com/sitemap.xml 사이트맵 주소를 알려주는 건데 크롤러가 내 블로그에 있는 글 목록을 좀 더 쉽게 파악할 수 있도록 안내해주는 역할을 합니다.
마무리
이렇게 짧은 코드로 내 블로그를 검색하는 봇들에게 안정적이고 효율적인 지침을 내릴 수 있습니다. 설정 방법은 아주 간단해요. 블로그 설정에 들어가서 맞춤 robots.txt 사용 설정을 켜고 나면 바로 밑에 robots.txt가 활성화되어요. 맞춤 robots.txt를 누르시고 방금 알려 드린 코드를 그대로 복사해서 붙여넣고 저장하기를 누르면 끝납니다.
관련 내용을 찾아보니 이런저런 말들이 많아 어느 걸 해야 할지 고민을 많았는데, 고민은 제가 다 했으니 여러분은 그냥 입력만 하시면 됩니다!😆 (혹시나 능력자분들은 당연히 입맛에 맞추어 사용하시면 됩니다. 오류나 안 좋은 영향이 있더라도 확인이 가능하시고 대응할 수 있으시니까요!) 혹시 설정 중에 막히는 부분이 있다면 다시 한번 이 글을 읽어보시거나 댓글로 물어봐 주시면 저도 함께 고민해보겠습니다.
오늘도 긴 글 봐주셔서 고맙습니다. 모두 좋은 하루 보내시길 바랍니다. 저는 다음 주제로 뵙겠습니다. 감사합니다!!