Baiduspider-render 是什么百度蜘蛛?
这个其实是百度渲染蜘蛛,可能你是第一听,但是这个蜘蛛名称在17年的时候就出现了。
百度渲染蜘蛛(Baiduspider-render)是百度专门用来抓取网页上的CSS、Javascript代码的蜘蛛UA,通常被俗称为高级爬虫。
百度高级爬虫UA匹配的IP段:111.206.221.* ,111.206.198.*,两个IP段经常同时出现。
百度为什么弄出这个百度渲染蜘蛛(Baiduspider-render)
官方:为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。
百度增加百度渲染蜘蛛(Baiduspider-render)对于我们的影响
Baiduspider-render 抓取网站的css,js还有网站的图片,那么会更好的识别的页面内容。对于网站的布局整洁,可读性 ,广告,有会更好的识别判断。如果网站可读性差,广告多,那么可能造成排名下降。
百度官方提供的百度渲染蜘蛛(Baiduspider-render)UA如下:
PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)