浅谈百度蜘蛛“伪装”IP的影响

王朝学院·作者佚名  2016-08-22
窄屏简体版  字體: 小  |  中  |  大  |  超大  

在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu Spider)ip中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”,位于福建省福州市。

百度蜘蛛IP(根据网站日志文件统计)

123.125.71.* Baiduspider/2.0(百度网页爬虫),也包括 Baiduspider-image(百度图片爬虫)

61.135.186.* Baiduspider-cPRo(百度联盟爬虫)

百度蜘蛛IP出现伪装IP的影响

分析网站日志文件是必不可少的工作,因为网站日志中记录着详细的数据,这些数据包括搜索引擎爬虫数据、服务器运行、用户浏览行为数据等等,对这些数据的分析,可以比较全面的掌握网站的情况。

对与SEO工作,针对性分析搜索引擎的爬虫数据,有助于了解这些蜘蛛的爬行习惯,进一步改进网站。

面对互联网数以亿计的网页数据,搜索引擎为了增加提高自身爬虫的工作效率果,往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作,但如果这些IP段或者蜘蛛程序存在伪装,必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果,从而可能会影响SEO决策。

何况这次伪装的是百度蜘蛛的IP地址,抓取数量也比较多,造成的影响会更加严重,经过查询,很多SEO人员在网络上询问:

为什么百度蜘蛛总是抓取的网站首页?

为什么百度蜘蛛总是抓取而不是收录我的网站?

类似以上的问题在网络上很多,这些对于结果,对SEO人员的判断和工作都会造成很大的影响。

来源:何清勇SEO博客

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航