作为一个站长，一个网站的流量多少是个关注的问题，还有pr值，这些流量怎么来的呢?可以通过三个途径：①直接输入网址进行访问②通过引用页来获的③通过搜索引擎来获得，个人认为搜索引擎在那些服务性质的网站上带来的流量是非常高的。说到搜索引擎了，那爬虫在这方面是个主角了，它是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。事实上，搜索引擎优化很大程度上就是针对爬虫而做出的优化。
下面来看一下博百优对其进一步分析：
对网站收录没收录，大家都会很习惯性的去查看爬虫是否来了此站。通过网络爬虫，搜索引擎会随机的获取站上的最新网页信息，从而获取关键词信息。爬虫每次访问你站都会很礼貌的，它会留下脚印，他会“user agent”声称“他是某某的搜索引擎的爬虫”这就为我们提用一个很好的机会，因为机器毕竟和人不一样，要达到人类最好的视觉效果可能会对搜索引擎对页面的分析不利，反之亦然。通过探测爬虫的方法，可以把一个完全只适合给机器看的页面交给爬虫但是一点也不影响到自己真正用户的用户体验。而且，随着时间的发展，爬虫开始变的越来越聪明，有些爬虫比如说google,已经可以理解页面本身中的javascript(但不是包括这样<script type=”text/javascript” src=“……”>外部的javascript),这样如果你不想让爬虫去某个链接的话完全可以把它写进javascript中。
爬虫的资源是有限的。特别是对于一些规模较小的搜索引擎，他们会设计自己的一套算法来决定是否要让爬虫访问某个页面。如果这个页面不够“重要”而且资源也不够的情况下，这个页面就会被忽略。
爬虫可以顺着链接去看网站信息，多爬虫合作通常先抓取站内链接，遇到站外连接然后开始抓取，但是在此过程中，你需要对链接进行检测，避免死链接，这样爬虫就不会有出路，所以引起爬虫的怀疑。
根据以上可以总结下网络爬虫拥有以下特性：
1)网络爬虫高度可配置性。
2)网络爬虫可以解析抓到的网页里的链接
3)网络爬虫有简单的存储配置
4)网络爬虫拥有智能的根据网页更新分析功能
5)网络爬虫的效率相当的高
那怎样才能让爬虫经常光顾你的站呢?那么你就需要勤快点了，要经常更新网站内容，网页更新频率也要把握好了，网页目录页不要设置太深了，做好站内、站外链接，因为爬虫很勤快也很聪明的。
本文首发地址：http://www.kedeng.com/archives/441 转载请保留。
第四届站长SEO大赛博百优交流与学习板块
