分类页的颜色、品牌、价格等筛选被搜索引擎大量收录,索引报告中出现成千上万个参数 URL。问题不只是 Meta Title 重复。多属性组合、排序、每页数量和分页会让 URL 数量呈乘法增长,消耗抓取预算,还可能让权重分散到没有搜索价值的页面。
先给参数分组,而不是一刀切
把 URL 分成真实分页、排序与显示参数、单属性筛选、多属性组合、价格区间和站内搜索结果。不同类型的用户价值不同。某些“品牌 + 分类”页面有明确搜索需求,可以做独立落地页;随机颜色、尺码、价格组合通常不值得索引。
从服务器日志和搜索平台数据中统计搜索引擎实际抓取的参数、状态码、收录量和自然流量。不要只凭 URL 数量决定策略。
Canonical、noindex 和 robots.txt 作用不同
Canonical 是对规范版本的提示;noindex 是索引指令;robots.txt 阻止抓取后,搜索引擎可能无法看到页面中的 noindex。把三者随意叠加,会让信号互相冲突。若筛选页需要被抓取但不希望进入索引,可让页面可访问并输出 noindex;若页面具有独立价值,则应使用自引用 canonical、独特内容和稳定内链。
不要把所有分页都 canonical 到第一页。分页承载不同商品,全部归一可能削弱深层商品发现。排序与每页数量参数通常更适合 canonical 到不带这些参数的同页集合。
Magento 原生配置不能覆盖所有组合
Magento 的分类 canonical 配置主要处理分类和商品规范 URL。第三方 Layered Navigation 模块可能把参数改成路径段、创建可索引筛选页或自行输出 canonical。检查最终 HTML 的 canonical、robots 和页面标题,不能只看后台开关。
自定义实现应建立白名单:只有被业务批准的筛选组合生成可索引页面,其余组合统一 noindex 或规范化。白名单还要按商店、语言和属性 option ID 管理,不能只依赖可变的显示标签。
内链决定搜索引擎会持续发现什么
即使页面 noindex,站内仍向数百万种组合输出可抓取链接,也会持续消耗资源。对无价值组合可以避免生成可跟踪链接,或通过前端交互控制发现路径,但不能破坏用户筛选和可访问性。已经存在外链或历史流量的 URL,应评估重定向而不是突然全部 404。
站点地图只放规范 URL
Sitemap 不应包含排序、每页数量、会 canonical 到其他页面或 noindex 的筛选 URL。若少数筛选页被升级为 SEO 落地页,应提供稳定 URL、独立标题描述、正文和可持续的商品集合。
上线策略前抽样抓取分类首页、分页、一个允许索引的筛选和一个禁止索引的组合,检查状态、canonical、robots、内链及渲染后 HTML。随后观察抓取日志与索引报告数周,因为旧参数页退出索引不会立即完成。

