Magento 2 分类页启用分层导航后,一个分类可能产生颜色、尺码、价格、排序和分页的多种 URL 组合。全部开放收录会造成重复内容和抓取浪费,但简单在 robots.txt 中屏蔽所有带问号的 URL,也可能影响搜索引擎理解页面。

先决定哪些筛选页值得保留

并不是所有筛选页都没有价值。“女士黑色连衣裙”如果有独立搜索需求、稳定商品集合和可编辑内容,可以做成落地页;临时排序、每页数量、价格滑块通常不值得收录。先按业务价值分组,再制定规则。

canonical 是主要信号

普通筛选参数页通常应把 canonical 指向无参数的分类规范 URL。检查主题或 SEO 扩展生成的标签,不能让 canonical 指向当前参数页,也不要所有分类都指向首页。

如果某个筛选组合被做成正式落地页,它应有自己的稳定 URL、标题和 canonical,而不是继续依赖多个参数顺序。

robots 的作用不同

noindex,follow 用于告诉搜索引擎不收录当前页面但可继续发现链接;robots.txt 的 Disallow 阻止抓取,搜索引擎可能无法看到页面里的 noindex 和 canonical。两者不是可以随意互换的开关。

Magento 原生对复杂分层导航的 SEO 控制有限,很多项目会通过主题布局或专门模块按参数类型输出 robots。实现时要避免把正常分类、搜索结果或分页误伤。

内部链接和 Sitemap

  • 导航中的参数链接不要无限组合。
  • 排序和每页数量链接无需加入 Sitemap。
  • XML Sitemap 只保留希望收录的规范分类和落地页。
  • 站内推荐链接统一使用规范 URL。

上线前抽样

选择一个分类,测试无参数、单一颜色、颜色加价格、排序和分页五种 URL。查看状态码、robots、canonical 和页面内容,再检查爬虫日志是否仍在大量访问无价值组合。

参数治理不是一次性封禁。分类属性和 SEO 策略变化后,应定期重新看搜索引擎抓取报告,防止新的属性参数重新制造 URL 膨胀。