针对UA屏蔽Yisouspider的方法:
例如 apache 服务器,.htaccess 文件:
SetEnvIfNoCase User-Agent "YisouSpider" bad_bot Deny from env=bad_bot
或者:
RewriteEngine on RewriteBase / RewriteCond %{HTTP_USER_AGENT} YisouSpider [NC,OR] RewriteRule .* - [F,L]
Nginx 服务器:
if ($http_user_agent !~* "YisouSpider") { return 403; }
原理是通过检测爬虫 UA 中的“"YisouSpider"”来屏蔽该爬虫,返回403禁止访状态码。
扫描二维码手机查看该文章
文章引用:https://www.qinghuahulian.com/news/webzhishi/1405.html