搜索引擎有时会把一个设计很好的网页给忽略掉。在这个网页中也许包含了很多现代设计元素。但是搜索引擎蜘蛛在抓取时可能会遇到障碍，比如为列入抓取协议的内容。所以作为一个SEO工作者来说，首先需要明白的是，搜索引擎蜘蛛只是一个程序，而不是人。搜索引擎蜘蛛抓取内容的基本方式就是顺着网站链接寻找。这就是为什么链接建设对SEO很重要。链接不到的地方，蜘蛛是无法抓取的。所以经常会出现网站部分网页没有被搜索引擎收录的情况，这是网站自身和搜索引擎蜘蛛程序的局限造成。那么怎么解决这个问题呢?
1、如果你不知道怎么对网页进行优化，可以将未被收录的网页一个个提交给搜索引擎，这是一个非常枯燥和费时间的事情，但是是有效的。
2、搜索引擎蜘蛛和爬虫，也无法访问有密码保护的网页。确保需要被收录的内容网页没有密码保护。Flash网站也无法被蜘蛛读取。一种解决方法是创建一个框架，将Flash内容放在框架内，这样做可以更好地被蜘蛛识别，但即使是框架，蜘蛛识别有会有困难，所以最好的办法是，是少用Flash。
3、这些问题的根源在于搜索引擎蜘蛛只能识别文本和链接。这是一个问题，比如网站中只有图片的网页时很难被搜索引擎蜘蛛抓取的，所以需要为每张图片添加Alt标记。
4、另外需要注意的就是避免在网页优化过程中使用PDF文件。虽然很多搜索引擎承认PDF文件，但现在应该还是尽量避免使用PDF文件。蜘蛛也无法读取动态网页。
文章由www.zk86.com网赚客原创，欢迎多交流。