AhrefsBot 차단했습니다.

컨텐츠 정보

본문

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇입니다.

 

이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ

 

최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;

 

홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했습니다.

 

구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만

 

오늘 확인해보니 한번도 안왔네요.

 

 

참고로 제 robots.txt입니다.

 


User-agent: AhrefsBot
Disallow: /
 
User-agent: *
Disallow: 
Disallow: /adm/

 

AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단입니다.

관련자료

댓글 0
등록된 댓글이 없습니다.
Total 155 / 5 Page
RSS
미소 베이직 4.3 main side 예제파일 공유합니… 댓글 6

2016년 12월 2일 현재 미소 베이직 4.3 기준 제 홈페이지 예제코드입니다.메인과 사이드, PC와 모바일을 구분하였습니다.1. PC 메인2…

드래그 텍스트 선택 색상 변경하기

위 스샷과 같이 드래그 했을 때 색상을 바꾸는 방법입니다.사실 저는 기본 드래그 색상과 큰 차이는 없는데요. 아무래도 파비콘의 색상과 맞추려고 …

그누보드5에 Github 아이디로 로그인 추가하기

1. Github개발자 분들이라면 거의다 아시는 바로 깃허브입니다.그 계정으로도 소셜 로그인이 가능합니다.링크1에 있는 소셜로그인 플러그인에 추…

미소 베이직 4.0 테마 사이드바 아이콘 색깔 변경하기

1. 메인화면에 떠있는 아이콘 배경색 지정하기/thema/Miso-Basic-4/widget/miso-sidebar/widget.php대략 18…

미소 베이직 4.0 테마로 작업 완료했습니다. 댓글 4

기존 테마는 미소 베이직 3.0이었습니다.하지만 오늘 미소 베이직 4.0이 나오면서 바로 갈아탔습니다. ㅎㅎ예전에 10월 초에 나온다고 들었었는…

그누보드5에 이모지 이모티콘 사용하기 (MariaDB,…

1. Emoji 이모지 문자열 이모티콘이란?에모지(絵文字, Emoji; 한국 한자: 회문자)는 일본의 휴대 전화 단문 메시지(SMS)에서 사용하…

최근글


새댓글