작업실

AhrefsBot 차단했습니다.

컨텐츠 정보

본문

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇입니다.

 

이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ

 

최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;

 

홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했습니다.

 

구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만

 

오늘 확인해보니 한번도 안왔네요.

 

 

참고로 제 robots.txt입니다.

 


User-agent: AhrefsBot
Disallow: /
 
User-agent: *
Disallow: 
Disallow: /adm/

 

AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단입니다.

관련자료

댓글 0
등록된 댓글이 없습니다.
Total 157 / 5 Page
RSS
우분투에서 구글 SMTP 메일서버 설치 후 에러 해결 방법입니다.

1. 구글 아이디와 비번을 제대로 넣었는데 계정 인증이 안되어 메일 발송이 안될 경우https://webdir.tistory.com/227위 링…

배경화면에 눈 내리게 만들기

위 스샷처럼 배경에 눈 내리게 만드는 방법입니다.http://amina.co.kr/bbs/board.php?bo_table=tip&wr_…

미소 베이직 4.3 main side 예제파일 공유합니다. 댓글 6

2016년 12월 2일 현재 미소 베이직 4.3 기준 제 홈페이지 예제코드입니다.메인과 사이드, PC와 모바일을 구분하였습니다.1. PC 메인2…

드래그 텍스트 선택 색상 변경하기

위 스샷과 같이 드래그 했을 때 색상을 바꾸는 방법입니다.사실 저는 기본 드래그 색상과 큰 차이는 없는데요. 아무래도 파비콘의 색상과 맞추려고 …

그누보드5에 Github 아이디로 로그인 추가하기

1. Github개발자 분들이라면 거의다 아시는 바로 깃허브입니다.그 계정으로도 소셜 로그인이 가능합니다.링크1에 있는 소셜로그인 플러그인에 추…

미소 베이직 4.0 테마 사이드바 아이콘 색깔 변경하기

1. 메인화면에 떠있는 아이콘 배경색 지정하기/thema/Miso-Basic-4/widget/miso-sidebar/widget.php대략 18…

최근글


새댓글


알림 0