Chặn Bot Ahref Bằng Cách Nào?

1 comment
Tiện đang tìm hiểu về cách chặn Bot của các SE. Thấy áp dụng cách này được nên lưu về đây để sau này tiện xem lại và chia sẽ lại cho những ai có ghé thăm blog này của mình.
ví dụ về chặn botAhrefs
Có 2 cách là dùng robots.txt và htaccess
C1 : Chặn bằng robots.txt


User-agent: AhrefsBot
Disallow: /

Ngoài ra, mọi người có thể kiểm soát tần số của AhrefsBot đến trang web của mình bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot như sau (trong robots.txt):

User-Agent: AhrefsBot
Crawl-Delay: 2

trong đó chú ý giá trị của tham số Crawl-Delay tính bằng giây

C2 : Hoặc Chặn bằng htaccess

#htaccess mod rewrite code
Options +FollowSymLinks -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Rogerbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dotbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gigabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow* [OR]

1 comment: