服务器反爬虫攻略：Apache/Nginx/PHP 禁止某些 User Agent 抓取网站

我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如YY蜘蛛（YisouSpider）。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上