有一些网站设计的架构等方面对搜索引擎的爬行和抓取很不友好，这些就是蜘蛛陷阱。常见的蜘蛛陷阱有如下：
1、 session ID
有些网站使用session ID来跟踪每一个来访问网站的用户，用户访问时都会生成唯一特别的session ID,加在URL中。当搜索引擎蜘蛛访问时也会生成session ID当成一个新用户，那么搜索引擎蜘蛛得到的页面URL将不一样。
搜索引擎遇到这种长长的session ID，有时会成功判断出是session ID，就会去掉session ID，收录正常的URL；但经常判断不出来时就不会收录了，不然就是收录了，但发现页面内容完全一样，那么这情况对网站优化是非常不利的。
2、框架结构
使用框架结构不利于搜索引擎抓取。搜索引擎访问一个使用框架的网址所抓取的HTML是只包含调用其他HTML文件的代码，并没有任何文字信息，无法判断内容是什么，对搜索蜘蛛来说是没有价值的。
3、Flash
使用Flash来增强效果是可以的，但不能成为主要的部分，应该以文字为主的内容。Flash和框架是同一个道理的，搜索引擎蜘蛛抓取的HTML代码只有一个连向Flash文件的链接，没有其他文字内容。即使你的网站做的非常漂亮，可惜搜索引擎抓取不了，也是没用的。
4、要求登录
有些网站的内容需要登录后才可以看见，但蜘蛛是不会填用户名、密码，也不会注册，因此内容是抓取不了。
5、各种跳转
搜索引擎除了对301跳转比较好感外，其他的跳转都是比较敏感的，如：302跳转、JavaScript跳转、Flash跳转、Meta Refresh跳转，这些跳转都不利于蜘蛛爬行，而且黑帽SEO经常使用这些跳转欺骗搜索引擎和用户。
6、JavaScript链接
虽然现在搜索引擎技术上有很大的突破，可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对一些权重低的网站，搜索引擎不会浪费时间去执行、跟踪。如果你不希望有些页面被收录，那就可以使用JavaScript脚本来阻止搜索引擎的爬行。
7、强制使用Cookies
有些网站为了实现某种功能，强制用户使用Cllokies，对搜索引擎蜘蛛来说，强制使用Cookies只能造成页面无法访问。
8、动态URL
动态URL指的是带有问号、等号及参数的网址，动态URL不利于搜索引擎蜘蛛爬行，应该尽量避免.
以上文章由千热网（千热影院）www.qianre123.com整理提供