近日，一篇“51.com被百度惩罚?”的文章出现在网上，从文中得知51.com几乎被百度拔毛，只剩一个首页。
联系到五一劳动节期间百度大规模检查并封杀作弊网站，开始让业界以为51.com是百度惩罚的网站之一，通过某朋友提示到51.com的robots.txt文件，让大家明白了百度网站只收录一页的原因，并不是搜索引擎人为所至，而是51.com自身原因。
在查到了http://www.51.com/robots.txt文件的最后更新时间为2007-4-24 12:05:37，http://home.51.com/robots.txt文件的最后更新时间为2007-4-20 14:41:01，http://kf.51.com/robots.txt文件的最后更新时间为2007-4-20 14:46:02，http://my.51.com/robots.txt文件的最后更新时间为2007-4-30 13:16:52。通过分析可以看出，这些robots.txt并不是一天加入的，如果说51.com程序或服务器有漏洞，那黑客不仅仅会加个robots.txt，还会拿掉程序，复制数据库等操作，这些大动作应当会被技术人员发现，及时处理掉。
众所周知，网站80%的流量来源于搜索，如果说51.com流量特别之大，脱离搜索也可生存，那它将搜索屏蔽是可以理解的。但现在51.com偏偏在高速发展期，需要搜索的大量流量，51.com的robots.txt文件是针对所有搜索的，不仅仅是针对与自己产品相冲突的百度。同时51.com将包括kf.51.com域名下的所有页面也屏蔽，显然说不过去。
联系到51.com各域名下的robots.txt更新时间，近日myspace.cn上线等，可以初步怀疑51.com想借机炒作，引导业界关注，没想到被细心人员发现了robots.txt文件，导致炒作未能达到预期。
http://www.51.com/robots.txt的内容：
User-agent: *
Disallow: /404.php
Disallow: /9588.php
Disallow: /addAccessCount.php
Disallow: /addClickCount.php
Disallow: /ConfirmPhoto.php
Disallow: /go.php
Disallow: /home.php
Disallow: /ip.php
Disallow: /jb.php
Disallow: /login.php
Disallow: /norz.php
Disallow: /rzphoto.php
Disallow: /send_msg_new.php
Disallow: /show_image.php
Disallow: /show_photo.php
Disallow: /update_9588_status.php
Disallow: /home/
Disallow: /abc/
Disallow: /cache/
Disallow: /Charge/
Disallow: /class/
Disallow: /cms/
Disallow: /face/
Disallow: /help/
Disallow: /hm/
Disallow: /i/
Disallow: /Image/
Disallow: /images/
Disallow: /Inc/
Disallow: /Interface/
Disallow: /js/
Disallow: /kongjian/
Disallow: /lib/
Disallow: /mid/
Disallow: /Music/
Disallow: /myie/
Disallow: /Photo/
Disallow: /port/
Disallow: /shengdanjie/
Disallow: /smc/
Disallow: /temp/
Disallow: /Templates/
Disallow: /user/
Disallow: /User/
Disallow: /v4images/
Disallow: /vda/
Disallow: /websync/
Disallow: /yijian/
http://home.51.com/robots.txt的内容：
User-agent: *
Disallow: /