搜索引擎蜘蛛指自动抓取网页内容的机器人Robots
世界各大搜索引擎蜘蛛名字
google蜘蛛： googlebot
王朝蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛： lycos_spider_(t-rex)
alltheweb蜘蛛： fast-webcrawler
inktomi蜘蛛： slurp
有道蜘蛛：YodaoBot和OutfoxBot
当然，蜘蛛的作用就是让走索引擎对有效链接进行搜寻，但不是允许的蜘蛛越多越好，有时会造成负面效果，蜘蛛爬虫太多，会影响服务器的运行，导致网页打开缓慢