分享
 
 
 

随意修改robots.txt 小心搜索引擎不收录你的站

王朝网站推广·作者佚名  2011-12-05
窄屏简体版  字體: |||超大  

Robots.txt是用来告诉bot的访问权限,因Robots.txt协议并不是一个规范,而只是约定俗成的,通常大多数搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面,使用方法是将robots.txt文件放在网站根目录下。举例来说,当搜索引擎访问一个网站(比如http://www.admin5.com)时,通常首先会检查该网站中是否存在robots.txt这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。闲话不扯了,进入正题:

经本人的试验,对于一个遵守Robots.txt协议的蜘蛛,如果你修改Robots.txt过于频繁,可直接导致将你的站“冷”处理!本人的站就已进入该黑洞了,之前百由于不想让百度蜘蛛收录商品列表的老页面,就直接B了百度蜘蛛访问此页,过了约3天,效果果真明显,小CO还暗喜这蜘蛛真听话,于是乎又想到网站内之前使用的几个页面。现在也用不上了,而此前已被搜索引擎收录了N多页,现在一起B了,于是修改了Robots.txt,这一改不要紧,两于过去了,小CO再也高兴不起来了,可爱的百度蜘蛛再也不哪么勤快了(之前每天在站内爬2万以上),现在几天也不到2万,晕死。上了当就得找原因:上边说过了,一旦B了某个页面,蜘蛛就不索引这个页面,以及这个页面的链出页面,偶的就中了这个奖了!很多人放出了他们自己修改的robots.txt文件,但都忽略了百度蜘蛛的爬行规律:并不是进入一个版块后,就按照人类思维,按文章列表顺序爬行的,我从自己的站点,已经证实这个问题:

比如文章列表第一篇爬完后,并不是接着爬第二篇,而是从第一个篇内容页中的“热点文章”等继续爬(这就要求站内的贯通性较好!)。从DZ官站的收录页URL就可以看出这个点,如果随意屏蔽/forum.php?mod=redirect* 或者/forum-redirect*这样的路径,可能会导致大部分网页不被收录。

不要用人的思维习惯来判断蜘蛛程序的规律。很多站长放了robots.txt后,就发现百度很少收录自己的内页,很可能就是这个原因。所以用robots.txt文件来解决重复收录问题,是很危险的,从程序上做根本解决才是上策!小CO是上当了。希望有?的朋友慎用robots.txt!

(站长网首发,作者http://www.tok8.cn转载请注明出处)

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有