작업실

AhrefsBot 차단했습니다.

컨텐츠 정보

본문

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇입니다.

 

이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ

 

최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;

 

홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했습니다.

 

구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만

 

오늘 확인해보니 한번도 안왔네요.

 

 

참고로 제 robots.txt입니다.

 


User-agent: AhrefsBot
Disallow: /
 
User-agent: *
Disallow: 
Disallow: /adm/

 

AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단입니다.

관련자료

댓글 0
등록된 댓글이 없습니다.
Total 157 / 8 Page
RSS
그누보드5 주소복사 버튼 설치하기 댓글 20

그누보드 1. JS 파일 다운받기https://github.com/zenorocha/clipboard.js/tree/master/dist위 링크 또는 (…

멀티 도메인 멀티 루트의 Letsencrypt 인증서 만들기 댓글 4

1. 1개의 도메인, 1개의 루트letsencrypt certonly -a webroot --webroot-path=/var/sitea/ -d …

AhrefsBot 차단했습니다.

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇…

Nginx Gzip 압축 설정하기

사이트 속도 측정하는데 Javascript 파일이 Gzip 압축이 안된다고 나와있어 무난한 설정으로 변경했습니다.nginx.conf 파일에서##…

HTTPS 적용 후 웹마스터 사이트 수정하기 댓글 9

1. 포털별 웹마스터 추가 및 수정하기구글 웹마스터https://www.google.com/webmasters새로 등록했습니다.구글 웹로그 분석…

아미나 테마 미소베이직 HTTPS 적용 방법 댓글 14

생각보다 HTTPS 친화적인 테마인 것 같습니다.수정할 부분이 그다지 많지 않습니다.1. 구글 지도 (글 쓰기 할 때 구글 지도 부분)/skin…

최근글


새댓글


알림 0