理性分析整合重复网址

都说域名就是网站的“身份证”，只要有身份证号，就绝不会“查无此人”。但是，当有一天，你发现你的某个网页可以通过多个网址也就是多个“身份证号”都能访问；又或者是你不同的网页、但是页面内容类似的在共用同一个“身份证号”，例如有一些网页既是移动版又是PC版，那么谷歌此时就不会很“智能”地给你分辨那个是你的规范网址，这些网页就会被通通归类为同一个网页的重复版本。

一般情况下，谷歌索引的工作原则是：选择一个网址作为规范版本并抓取这个网址、优先索引，而之后索引的其他的所有网址都当作是重复网址。那这个工作机制随之带来的，便是降低这些网址的抓取频率。如果你没有明确告诉谷歌哪个网址是规范网址，那么谷歌将会随机为你做出抉择，或者是将这些网站均视为“抄袭者”。接下来一起看看因何要整合重复网址来规避这些不当行为：

什么是规范网址？

在谷歌看来，网站中的一组重复网页里最具代表性的网页，它的网址便是规范的网址。举个例子，在同一个网页但是有多个访问地址（website.com?blog=123和website.com/blogs/123），谷歌会随机选择其中的网址作为规范网址，规范网址所在的网域可以与相应重复网页的网域不同。

Googlebot如何将网站编入索引并选择规范网址

当某个网页被Googlebot编入索引库时，网站的主要内容内容是会被逐一“确认过眼神”的，因此谷歌总能在后续的搜索服务中为用户推送更加准确的内容。在同一个网站如果存在着多个内容近乎相同的网页，那么两者中相对较完整和实用的网页，将会占据优势而被标记为规范网页。谷歌为了减少对网站的抓取工作量，会经常返回并只抓取规范网页，而不是抓取重复网页。

有很多的因素影响这谷歌选择规范网页，例如：

• 你的网页是使用HTTP还是HTTPS
• 网页质量
• 站点地图中是否存在着对应的网址

从以上情况进行启示，或许你会知道怎么告知谷歌你更想要使用哪个网页来作为规范网页，然而，谷歌并不会完全按照常规“出牌”，索引程序仍然会因为其他的原因选择别的网页。

保留类似或重复网页的合理原因

既然重复网址会影响谷歌的抓取，那么为什么还存在很多百思不得其故的原因，有一些搜索结果中显示网上还保留着重复或类似的网页？你的网站或许存在着一个或者多个不同网址指向同一个网页，或者是内容重复或相似的网页存在在不同的网址，保持着“存在即合理”的观点，探究个中缘由：

• 需要适应不同的设备类型；
• 启用搜索参数或者会话ID等需要动态的网址；
• 同一篇博文同时存在于不同的板块，博客系统会存在多个网址；
• 针对网站协议，服务器皆提供相同的内容；
• 在相应博客上提供的转载内容与其原网站内容完全重复或部分重复。

选择规范网址的原因

• 指定显示在SERP的网址；
• 整合相似、重复的网页的链接；
• 简化单个商品、主题的跟踪指标；
• 管理网站内容，倘若被转载，确保网址出现在搜索结果中；
• 避免重复抓取相同网页。

写在最后

很多时候，即使你明确指定了规范的网页，将指定的网页“告知”了谷歌，但是它也有可能出于各种原因（例如性能或者内容等方面原因）而不听“指挥”，而选择其他的网页作为规范网页。所以，指定了规范的网页，只是能使你的网页能有备无患，相当于提供了一个前提条件，倘若更上一层楼，依我看，还需在网站自身的性能、内容优化等入手。