爬虫的喜与恶
如果我是爬虫-没有人工智能的机械爬虫，我只会按命令行事。不过我的肚子很饿，我要不断“吃”网页。如果你不让我吃，我只会闪人，天涯何处无芳草。我并不会迁就任何人。
如果你在根目录的robots.txt中设置了Disallow选项，我就不会去检测你所指定的目录。所以如果是你不想某个目录在互联网上被搜索到，比如管理后台的目录，最好告诉我。
你还可以在页面上的meta标签中告诉我，index(收录)，follow(继续住下爬)，noindex(不收录)，nofollow(不再往下爬)。使用时请看清楚。
弹出窗口请不要放有价值的内容，因为我看不懂，同时那可能是广告，我并不会继续往下爬，因为那不是路，是寂寞!如果你想用弹窗来补充内容，那你最好创建一个带正常链接的标准页面。
JavaScript我读不懂，我暂时只学了HTML，以后进修也许我就会了，不过现在我真的不会JavaScript。
链接地址，如果太长的话我的数据表项会塞不进去，访客同样不好理解及记不住。最好是静态的，毕竟如果动态网址带了参数(?&等词)的会给我造成阅读障碍，加上动态网址很可能带有区段标志符，像”ID=”这些，极可能都是同一网页，我讨厌你欺骗我的感情。
图片，我能理解的只有1与0，并不了解图片里的具体内容是什么，所以最好在alt上加个能让我明白的名字或内容吧!
URL最好不要改变，因为我并不知道，可能会认为新地址是你之前URL的重复文章，同样这对你的访客也不好，因为他们可能只记住了你的旧URL。如果你的地址改了，请告诉我一听，可以使用重定向，最好是永久的。我并不想只收到了个HTTP404错误消息，因为我并不喜欢它!永久重定向更可将你旧网页的价值传递到新网页上。但我不喜欢javascript与meta的重定向。我说过，我不懂，也不愿意懂。
如果你的服务器经常打不开。试问，你如果让我饱餐一顿呢?如果连续好几次我都找不到食物，我会认为这里已经不可能再有我的食物了。
如果打开得比较慢，那我吃得也比较慢，加上我身上可能被设计了一个定时器。我只能在某个时间段吃，你应该让我在最短时间里吃更多的东西。因为我的肚子是海量的。
还有，我不喜欢吃同样的东西!网页太多肥我也不喜欢吃，所以尽量要自主创新的，更要精致的。
请你不要误导我，因为最后受伤的是你，请注意一下你的HTML的代码有没有错误，更重要的是语言有没有选择错误，否则，你会很受伤!
FLASH我也看不懂，加上FLASH貌似最近很多漏洞。反正我不会索引它的内容。
框架frames这东西都老掉牙了，我会无视它的任何内容。
我比较喜欢的站点有地图，因为它会引导我，它会帮助我继续往下爬。不过要注意，太多的链接我也不会喜欢。精，才是我所喜欢的。
暂时我就先告诉你那么多吧!还有更多的等待你去发现!
本文地址：http://www.yaolin.org/28.html ，转载请保留。