第三方账号快速登录
在进行网站结构相关的SEO工作时，我们应该考虑以下三个问题： 1、Baiduspider能找到所有的页面吗？ 2、Baiduspider知道哪些页面很重要吗？ 3、baiduspider能否成功提取Web内容 4、Baiduspider能从网页中提取有用的信息吗？
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如YY蜘蛛（YisouSpider）。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上
