同时，也有很多缺乏职业道德的搜索引擎营销商过分使用该策略，对完全相同的信息生成大量冗余内容。因而极有可能被搜索引擎认为是SPAM而受到处罚。
为了使网站百分百的安全，你可以在网站的冗余内容中放入一个纯文本文件robots.txt(Robots Exclusion Protocol)，在这个文件中声明该网站中不想被robot访问的部分，这样就可以限定搜索引擎对你网站的检索范围。不过，你还需要对站点的统计数据进行仔细的分析，看看哪个子目录是最常用到的，对这样的子目录可不要放robots.txt文件哦。
在上述情形下，使用robots.txt文件解决了两个问题。首先，它向搜索引擎传达了你并非故意传输冗余内容。其次，由于相关的容在适当的子目录下仍然有效，所以对用户体验并无负面影响。
结论：
一般来讲，搜索引擎在对子目录的检索上不存在问题。如果你发现把你的网站划分为子目录结构能够为用户提供更好的用户体验，那么你尽可以这么做。但是不要只是为了引起搜索引擎的注意而创建子目录。有许多策略都能够达到这样的目的，它们不但无需花费你很多时间，而且还会给你的网站带来比较好的投资回报(ROI)。
这个用户提出的问题引出了在搜索引擎业界中引发激烈争论的问题：一个网站何时使用子目录(subdirectories)，子域(subdomains)或迷你网站(mini-sites)最合适？网站业主是否应利用目标关键短语创建自己网站的URL？是否子目录的名称中应包含关键短语？那又是后话了。
上一页 [1] [2]
