这里我们假设这个搜索引擎的蜘蛛是第一次来访问站点，为了让它进入网站以后能高效率地进行内容抓取，网站建设前必须要考虑到结构的问题。一定要避免在后期进行结构方面的大改动，因为后期改动的成本太高。
如果在前期能够为网站设置合理的结构层次，那么可以为我们后期的优化带来事半功倍的效果。目前来说网站主要有两种结构方式：树型、扁平型。目前绝大部分的站点都在采用树型结构，一部分站点采用了扁平型结构。还有少部分站点采用了极不符合搜索引擎抓取的结构层次。
扁平型
树型
这两种结构的好处及可能产生的问题：
用扁平型结构做出来的站点，由于结构层次短，蜘蛛效率高，收录会加快，而且会带来好的排名效果，因为搜索引擎，尤其在百度上，短的URL通常占有一定的优势。但是这种结构的层级是不能从URL上识别出来的，不只是语义上会有一些问题，蜘蛛在对站点进行整体分析的时候也会存在问题，从链接上来说，权值传递起来可能存在不集中的后果，导致内链方面的效果无法很好地体现。从管理上来说，页面数据越多导致后期管理越麻烦，因为没有分类，就像桌面图标排满了以后，效率越来越低，长时间找不到文件一样。用树型结构做出来的站点，结构清楚，URL语义明确，识别度高，搜索引擎处理内部链接的权值传递会比较容易，后期管理比较容易。
那树型结构还有一些好处就是，在后期收录量的分析上面，我们可以通过类似：“inurl:目录URL site:域名”的方式进行。
但这种结构可能导致收录存在一些问题
就是一些页面无法在3次点击之内到达，蜘蛛获取困难，导致收录周期长或者丢失收录。当然这是可以处理的，针对搜索引擎来解决上面树型结构问题的时候，我们基本上都是通过站点地图进行处理。做出的这个站点地图应该尽量靠近扁平型的结构，让蜘蛛在3次点击之内到达最终内容页面。如果大家观察仔细，分析过一些大型站点的，应该可以了解到他们的站点地图是非常强大的，有的网站仅地图页面就有几万的收录量，已经能够很好的帮助到蜘蛛获取内容。
