一个新域名,花了几天的时间创建了900多个二级域名，然后查看服务器日志，发现百度抓取规律，如下图：
这些IP地址 全是百度的各路蜘蛛，可以到ip138去查，其中/ HTTP/1.1" 代表的是域名首页的意思，意思就是不含后缀链接的意思，比如二级域名，三级域名，从日志看发现百度最先抓取首页，然后再逐个的抓取其他二级域名，然后再列表页，这也是为什么百度没有开始收录内容页的原因，百度的原理先必须把网站的整体结构给索引号，然后最后才抓取内容页，“ 200”代表抓取成功，后面那串五位的数字是页面大小的意思，单位为KB。
我们再来看谷歌蜘蛛的日志：
看图可以发现谷歌在短时间内频繁访问sitemap，说明谷歌更注重站点地图，也就是sitemap.xml文件，另外谷歌是在遵守robots.txt文件下看到链接就抓取，并且可以很快得到搜索，但是一定要先搞好网站结构，哪些该抓取哪些不该抓取一定要在建立站之前就设置好，给谷歌蜘蛛好印象，否则你收录很多都不会有搜索。
这是统计谷歌搜索引擎显示被用户搜索到本站的关键字，一个新站三四天时间就得到谷歌那么多的搜索，我想很多站长都不会有这样的经历。
希望跟大家分享下，本人第一次发文，文字组织不怎么样，见谅，本文爱尚购网原创内容，转载请注明出处，www.23-g.com
