理性分析整合重复网址

都说域名就是网站的「身份证」，只要有身份证号，就绝不会「查无此人」。但是，当有一天，你发现你的某个网页可以通过多个网址访问，也就是有了多个「身份证号」；又或者是你的不同网页内容几乎一样，例如同一个页面既有电脑版网址、又有单独的手机版网址，那么谷歌就会把这些网页归为同一组重复网页，并从中选出一个作为代表。

一般情况下，谷歌索引的工作原则是：从一组重复网页中选择一个网址作为规范版本，优先抓取和索引它，其他网址则被视为重复网址，抓取频率会相应降低，通常也不会出现在搜索结果里。如果你没有明确告诉谷歌哪个网址是规范网址，谷歌会根据它收集到的各种信号，自行选出它认为最完整、最有用的版本，但这未必是你想要的那个。需要强调的是：网站中存在一些重复内容是很正常的，谷歌明确表示这并不违反其垃圾内容政策，也不会因此惩罚网站。整合重复网址的目的，是让你来决定搜索结果里显示哪个网址，并把链接等信号集中到这个网址上。

什么是规范网址？

在谷歌看来，网站中的一组重复网页里最具代表性的网页，它的网址便是规范网址（Canonical URL）。举个例子：同一篇文章有两个访问地址（example.com/?p=123 和 example.com/blog/123/），谷歌会综合各种信号，从中选择一个作为规范网址。规范网址所在的网域也可以与重复网页的网域不同，例如内容被转载到合作网站时，可以把规范网址指回原文。

Googlebot如何将网站编入索引并选择规范网址

当某个网页被Googlebot编入索引时，网页的主要内容会被逐一分析，因此谷歌能在后续的搜索服务中为用户推送更加准确的内容。在同一个网站如果存在着多个内容近乎相同的网页，那么其中相对完整和实用的网页，更可能被选为规范网页。为了减少对网站的抓取工作量，谷歌会更频繁地抓取规范网页，而较少抓取重复网页。

影响谷歌选择规范网页的信号有很多，例如：

• 你的网页使用的是HTTP还是HTTPS（在其他条件相同时，谷歌优先选择HTTPS网页）
• 是否有重定向指向该网址
• 网页上的 rel=”canonical” 标记
• 站点地图中是否存在着对应的网址
• 网站内部链接主要指向哪个网址

从以上信号你就能知道怎么告诉谷歌你更想使用哪个网页作为规范网页。

保留类似或重复网页的合理原因

既然重复网址会影响谷歌的抓取，为什么很多网站上还会存在重复或相似的网页？其实大多是网站正常运行的结果：

• 需要适应不同的设备类型（例如单独的手机版网址）；
• 启用了搜索参数、排序筛选参数或会话ID等动态网址；
• 同一篇博文同时出现在不同的栏目，博客系统会生成多个网址；
• 网站的HTTP和HTTPS、带www和不带www的版本都能访问，服务器提供相同的内容；
• 内容被转载到其他网站，与原网站内容完全或部分重复。

选择规范网址的原因

• 指定显示在搜索结果（SERP）中的网址；
• 把指向相似、重复网页的链接信号集中到一个网址上；
• 简化单个产品、单个主题的数据跟踪；
• 管理被转载的内容，确保原文网址出现在搜索结果中；
• 避免谷歌把抓取资源浪费在重复网页上。

如何告诉谷歌哪个是规范网址？

谷歌官方给出的方法按作用强弱排列如下，可以组合使用：

一览告诉谷歌规范网址的四种方法

301重定向适合不再需要的旧网址强信号

canonical标记适合必须保留、但内容重复的网址强信号

站点地图只放规范网址，不放重复网址弱信号

内部链接导航、正文和产品列表都指向规范网址保持一致

• 301重定向（强信号）：适合不再需要的旧网址，例如把HTTP重定向到HTTPS、把不带www的版本重定向到带www的版本（或反过来）、网站改版后把旧网址重定向到新网址。
• rel=”canonical” 标记（强信号）：适合必须保留、但内容重复的网址，例如带参数的网址。在重复网页的 <head> 中加入一行代码即可，建议使用完整的绝对网址：
  <link rel="canonical" href="https://www.example.com/products/ball-valve/" />
  每个规范网页最好也给自己加上指向自身的canonical标记。对于PDF等非HTML文件，可以在服务器的HTTP响应标头中返回 rel=”canonical”。
• 站点地图（弱信号）：站点地图里只放规范网址，不放重复网址。
• 内部链接保持一致：导航、正文和产品列表中的链接都指向规范网址，不要一会儿链接带参数的版本、一会儿链接不带参数的版本。

如果网站有单独的手机版网址（例如 m.example.com），电脑版页面要用 rel=”alternate” 指向手机版，手机版页面用 rel=”canonical” 指回电脑版。不过现在更推荐使用响应式设计，一个网址同时适配电脑和手机，从根本上避免这类重复。

Bing等其他主流搜索引擎同样支持 rel=”canonical”，按上述方法设置即可通用。

WordPress和WooCommerce网站的常见情况

• WordPress默认会输出canonical：文章和页面会自动带上指向自身的canonical标记；Yoast SEO等插件还允许你在编辑页面时手动指定规范网址。
• 产品筛选和排序参数：WooCommerce的分类页加上排序、筛选参数（如 ?orderby=price）后会产生大量网址，应让这些网址的canonical指向不带参数的分类页，并且不要把它们放进站点地图。
• 产品变体：同一款产品的不同颜色、尺寸，如果只是参数不同、内容基本一样，应该作为一个产品页面的变体，canonical指向主产品页；只有当每个变体有独立的搜索需求和足够不同的内容时，才值得做成单独的页面。
• 标签页和分类页内容高度重叠：考虑合并或减少标签页，而不是靠canonical硬压。

注意事项

• 不要用robots.txt来实现规范化：被robots.txt屏蔽的网址，谷歌看不到上面的canonical标记；
• 切勿使用网址移除工具来规范网址，因为这会把该网址的所有版本从搜索结果中暂时移除；
• 不要用noindex来阻止谷歌选择某个网址作为规范网址，noindex的作用是把网页排除出索引，而不是管理规范网页的选择；
• 同一个网页不要通过不同的方法指定不同的规范网址（例如站点地图里是A，canonical标记却是B）；
• canonical要指向能正常访问（返回200）、可以被索引的网页，不要指向404页面、被重定向的网址或设置了noindex的网页。

常见问题

网站有重复内容会被谷歌惩罚吗？

一般不会。谷歌明确表示，网站中存在一些重复内容是正常的，并不违反其垃圾内容政策。只有为了操纵排名而故意大量复制内容（例如抄袭其他网站）才会有问题。重复网址的主要影响，是谷歌可能选了一个你不想要的网址显示在搜索结果里。

怎么知道谷歌把哪个网址当作规范网址？

在Google Search Console中使用「网址检查」工具，查看「用户声明的规范网址」和「Google选择的规范网址」。两者不一致时，检查重定向、内部链接和站点地图是否互相矛盾。

canonical标记和301重定向该用哪个？

旧网址已经不需要访问时，用301重定向；网址必须保留（比如带参数的筛选页、转载页面）、只是不希望它出现在搜索结果里时，用canonical标记。

写在最后

很多时候，即使你明确指定了规范网页，谷歌也可能出于各种原因选择其他网页作为规范网页。所以，指定规范网址是基础，更重要的是让各种信号保持一致：重定向、canonical标记、站点地图和内部链接都指向同一个网址，再配合网站自身的性能和内容优化。网站改版、更换域名时尤其要注意这些细节，可以参考网站改版不丢排名的URL映射与301检查清单；如果希望由专业团队排查网站的技术SEO问题，欢迎了解我们的谷歌SEO优化服务。