Magento 2 分类页面长期不被搜索引擎收录,原因可能是页面不可抓取、canonical 指向错误、内容重复、站点地图缺失或页面质量不足。先检查技术信号,再考虑内容优化。

确认页面返回 200

使用未登录状态访问分类 URL,检查最终状态码和跳转链。页面如果返回软 404、循环重定向或需要 Cookie 才能访问,搜索引擎很难稳定收录。

检查 robots 设置

后台的默认 Robots 配置应符合当前环境。生产站点误保留 NOINDEX,NOFOLLOW 是常见问题。还要检查主题布局或 SEO 扩展是否为单个分类输出了额外 robots 标签。

robots.txt 不应屏蔽分类页面需要的 CSS 和 JavaScript,也不要简单屏蔽所有带查询参数的 URL,而应先分析筛选导航策略。

检查 canonical

分类页面 canonical 应指向希望收录的规范 URL。如果所有分类都错误指向首页,搜索引擎会把分类视为重复页面。多 Store View 还要确认域名、Store Code 和语言版本的 canonical 不串站。

站点地图

在后台生成并提交 XML Sitemap,确认目标分类 URL 实际存在于 Sitemap 中,且 URL 可公开访问。Sitemap 只用于发现,不会保证收录。

筛选和分页

分层导航可能生成大量颜色、价格和排序参数组合。需要确定哪些组合值得收录,其他组合通过 canonical、robots 或路由策略控制。不能一概把所有参数页开放,也不能把所有分页都指向第一页而忽略内容差异。

分类页面内容

  • 使用独立、清晰的分类名称和 Meta Title。
  • 添加对用户有帮助的分类说明,不堆砌关键词。
  • 保证分类中有可购买商品,不长期显示空列表。
  • 优化加载速度和移动端体验。
  • 从首页、导航和相关内容页提供内部链接。

Magento 配置检查

bin/magento config:show design/search_engine_robots/default_robots
bin/magento cache:clean config full_page

配置路径和取值可能受 Store View 范围覆盖,CLI 检查后仍需在后台对应范围核对。

验证

  1. 查看页面源码中的 title、robots 和 canonical。
  2. 确认状态码为 200,且没有多余跳转。
  3. 确认 Sitemap 和站内链接都使用规范 URL。
  4. 抽查带筛选和排序参数的页面。
  5. 修改后等待搜索引擎重新抓取,观察覆盖率与日志。