一般的网站程序而言，总是有三种生成方式：动态页面、静态页面、伪静态页面生成。然而正是由于诸多的生成方式导致了同一内容中的不同URL显示，最后导致搜索引擎再索引同一内容的时候索引到不同的URL地址连接。但是也不要庆幸自己又多了条收录，高度重复的内容搜索引擎并不喜欢，何况还是同一个站内的内容，对于这样的内容如果过多出现，不是遭到降权对内容进行剔除，那么便是封站。所以站长理应对其重视起来，避免被搜索引擎收录同一内容的高重复链接。
什么样的链接是重复链接?
一般而言，很多程序设计不完善，即使如Discuz也会存在一部分的高重复性的链接。诸如一些：www .xxxx/1.html是网站的一个页面，而同时又存在www .xxx/view.asp?id=1，这是典型的URL不同，但却造成内容高度重复的链接。对于这样的内容，蜘蛛爬到页面也会大感郁闷，到底哪一个链接才是要阐述内容的链接呢?吃了那么多的链接，怎么都是重复内容啊?介于此，蜘蛛再喜欢你独立的原创，时间久了也会被一次次吓跑。下面还有一个典型范例：
这个是二进制刚刚发现有一个友情链接的情况。事实上，这个文章也仅仅是一篇而已，但是为什么被收录了如此之多呢?就是因为网站在优化过程中，忽略了对一些链接的屏蔽，导致了同一内容出现多条不规范的URL链接而被收录。不过虽说被收录了，但是被剔除也是早晚的事，而且极容易带来搜索引擎的将权惩罚，所以站长们不要学习如何增加收录页，要做的是防微杜渐的进行优化。
如何避免内容重复的URL链接?
发现了问题的所在，我们接下来便解决问题。对于以上问题，一般而言我们基本上用两种方法，第一种：规范URL，第二种：Robots.txt进行屏蔽。
A：在网站建设之初就规范好网站URL的标准化，无论是对外还是对内的链接，统一选择静态，将页面所有可能产生双重或多重的动态链接全部换做静态生成。这样下来，网站基本避免了内容重复的URL链接。
B：Robots.txt，大部分的SEOer们用此来进行内容或页面的屏蔽。如设置(Disallow: /*?*)意在告诉搜索引擎不要访问所有带“?”的页面，不过前提是做好了全站的静态生成。
当然，还有着一些个别的方法，但是论效果而言，以上所介绍的可以说是最好的，二进制携手北京SEO(www .seostudy.org)在做里只是做一下个人所用的经验分享，希望可以帮到更多的朋友。如若有转载，请保留版权地址!
相关链接： 站长网第十三期SEO培训班开始报名http://www.admin5.com/article/20110616/352917.shtml
