AhrefsBot 차단했습니다.

컨텐츠 정보

본문

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇입니다.

 

이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ

 

최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;

 

홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했습니다.

 

구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만

 

오늘 확인해보니 한번도 안왔네요.

 

 

참고로 제 robots.txt입니다.

 


User-agent: AhrefsBot
Disallow: /
 
User-agent: *
Disallow: 
Disallow: /adm/

 

AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단입니다.

관련자료

댓글 0
등록된 댓글이 없습니다.
Total 157 / 1 Page
RSS
그누보드 SMTP 외부메일 설정하는 방법 댓글 6

그누보드 예전에우분투 20.04에서 구글 SMTP메일서버를 활용한 postfix 메일 보내기(https://www.wsgvet.com/home/594)를…

그누보드5에 실시간 채팅 구축하기

서버 현재 제 홈페이지에 있는 실시간 채팅 기능 적용방법을 알려드리겠습니다.원래 기능이 더 업그레이드되면 올리려고 했는데, 언제 업그레이드가 될지 몰…

메일 서버를 Docker로 구축하여 그누보드, 라이믹스, 워드프레스와 연결하기

서버 들어가며도커로 메일서버 구축하기( https://www.wsgvet.com/home/673 )엊그제 윗 글을 올렸습니다.기존에 올렸던 글은 모든…

도커로 메일서버 구축하기

서버 도커 메일서버란?도커에서 메일서버를 직접 운영할 수 있게 해줍니다.SMTP, ESMTP, POP3, IMAP 방식을 사용할 수 있습니다.자신의 …

그누보드5.4 나리야빌더에서 box shadow 효과 적용하기

나리야 현재 제 홈페이지 본문 이미지에 적용된 box shadow 효과를 적용하는 방법에 대해 알려드리겠습니다.우선 적용 전 이미지입니다.위와 같이 사…

그누보드 나리야빌더 NB-Basic 보드스킨 GIF 움짤 표현 최적화하기 댓글 2

나리야 그누보드 5.4.2.8 버전부터 움직이는 GIF 이미지를 올리면 MP4나 WEBM으로 변환하여 보여줄 수 있습니다.https://sir.kr/g…

최근글


새댓글