互联网上的蜘蛛
指自动抓取网页内容的机器人Robots，是搜索引擎用来访问Internet上网页的自动程序。spiders根据html的语法和格式，对读取的页面进行代码过滤，收入相关的文字内容。目前搜索引擎无法象人那样去读相应的图片、Flash、影片里面的内容。图片中的文字对Spider来说毫无意义。对于javascript里面的内容，现在已经有部分网站开始收录。
这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:
google蜘蛛： googlebot
王朝蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛： lycos_spider_(t-rex)
alltheweb蜘蛛： fast-webcrawler/
inktomi蜘蛛： slurp
