对于搜索引擎来说，理论上可以爬行和索引互联网上的所有页面，可以不受限制的，但是实际是并不是这样的，搜索引擎由于受到一些技术因素的限制，例如带宽、海量存储空间、响应速度等因素的限制，总是会优先爬行和索引一些网页，不可能不分主次的爬行和索引所有见面，那么它会优先爬行和索引哪些页面呢?在它看来，而且是合理的，它会尽量爬行一些比较重要的页面，那么索引是怎么认定哪些页面是比较重要的从而优先爬行和索引呢?它一般会考虑以下几个因素：
1、权重比较高的网站 前边已经说了，搜索引擎由于受到一些因素的限制，总是会先爬行一些网页，网站的质量比较高、资格比较老的网站被它认为是权重比较高的，这样的网站搜索引擎蜘蛛会先去爬行和索引的，所以我们要想办法提高网站的权重。网站的权重是一个综合的指标，需要从多方面进行努力。搜索引擎搜索不但优先爬行和索引权重较高的网站，而且对于权重高的网站，搜索蜘蛛也往往会爬行得较深一些。例如一些大的网站，例如新浪、网易、A5、落伍者等，对于新产生的网站，总是会很快被收录的。就是因为它们的权重高。
2、页面的更新频率 搜索引擎蜘蛛每次来爬行网页的时候，都会把数据记录下来，如果下次来爬行的时候，页面没有变化，那么它为了节省带宽，就没有必要来得那么频繁了，如果以前是一周一次，那么它有可能会半月来一次，更新的越少，它来的次数就会越少，如果你更新的频率比较高，而且更新的力度比较大的话，搜索引擎蜘蛛来会得比较频繁一些，例如如果以前是一周一次，如果你更新的足够快，够频繁，它可能会改为一周两次，一周三次....甚至于天天快照。这个需要你去培养蜘蛛。
3、导入链接 搜索引擎蜘蛛是沿着链接来爬行网页的，要想页面被蜘蛛抓取，页面必须要导入链接，如果没有链接，蜘蛛就不会知道你页面的存在。而且高质量的导入链接对页面的收录帮助很大。我们要给首页做外链，而且要把给内页也做外链，而且网站的内部链接要做好，文章来源淘宝网皇冠店：http://www.suptb.cn/相关的页面要互相链接起来，首页要有到栏目页的链接，栏目页要有到首页的链接和到内容页的链接，内容页要有到栏目页和到首页的链接，从而形成一个扁平的权型网状结构。这有利于搜索引擎对网站尽可能多的页面的爬行和索引。
4、页面与首页的点击距离 我们知道一般来说，网站上权重最高的是首页，而且大部分的外部链接也是指向网站的首页的，搜索引擎蜘蛛爬行最频繁的也是首页了，它是爬行其他页面的入口。页面离首页有效点击次数越少，页面的权重就越高，从而被搜索引擎蜘蛛爬行的机会就会越大。所以我们要想办法把新产生的页面的链接在首页多露露脸。从而可以加速被收录的机会。
