google自动填表提交抓取技术浅析

王朝互联网·作者佚名  2011-12-16
窄屏简体版  字體: 小  |  中  |  大  |  超大  

最近大家都比较关注这则google抓取新技术的新闻:据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。

在过去,谷歌公司的蜘蛛机器人并不会填写表格,因为也无法知道下一步的提示网页内容,所以注册页面信息收录是很不支持的。

现在,谷歌公司对抓取系统进行了升级。机器人将会根据表格中各个项目的名字,自动填写数据提交给服务器,这样,服务器的反馈页面也将被机器人所抓取,谷歌将会获得这个网站的更多信息。

点儿S认为这个抓取技术的升级可能带来的一些变化:

1、 google就能更容易判断 一个网站的用户群体特征,进而为更进一步的“掌控”这个网站做出数据支持;

2、 google会更方便判断这个网站的类型;

3、 也有媒体分析认为,这将对网站的信息安全构成威胁;

4、 seo同行们请注意了,如果注册页面有考虑的话,robots.txt文件要设置下最好;

5、 对于搜索引擎用户来说是好事情,更多的信息可以被搜索到。比如多页的心理测试,今后也可以搜索的到了。

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航