后台把商品禁用后，前台 URL 已经 404，但 XML Sitemap 里几天后仍有它。Sitemap 是生成的静态文件，不会在每次商品保存时逐行更新。首先要确认看到的是哪一个文件、最后何时生成，以及是否被 CDN 缓存。

确认商品在目标 Store 的真实状态

Magento 的 status、visibility 和 website assignment 有范围。管理员在一个 store view 禁用，不代表另一个 sitemap 对应的 store 也禁用；只从分类移除也不会让商品自动退出 sitemap。用正确 store scope 检查状态与网站分配。

看文件，不只看后台“成功”

检查 Sitemap 配置的路径、文件名、后台 Last Generated At 与服务器文件 mtime。多节点部署若生成到本地磁盘，Cron 在节点 A 写入，Web 流量在节点 B 读取旧文件。应使用共享存储或把生成与发布设计成一致流程。

stat pub/sitemap.xml
grep -n 'old-product-url' pub/sitemap.xml
bin/magento cron:run

大文件 grep 要控制资源；若 Sitemap 是索引文件，还要继续检查对应子文件。

CDN 可能继续返回旧对象

比较源站文件与公网响应的 Last-Modified、ETag、Age 和内容。生成任务完成后应 purge 精确 sitemap URL 或设置合理短 TTL。URL 带同名但 CDN 忽略 query 的“版本参数”不一定能绕过缓存。

生成失败会保留旧文件

Cron 运行到一半遇到权限、磁盘或数据库错误时，旧文件可能继续存在，管理员只看到线上可访问而误以为更新成功。查看 cron_schedule messages、系统日志与临时文件。可靠做法是在临时路径完整生成后原子替换，避免爬虫读到半个 XML。

搜索引擎移除还有延迟

从 Sitemap 删除不会立刻清除已收录 URL。已下架且无替代商品时返回合适 404/410；有明确替代时使用一对一 301。不要把所有下架商品重定向首页。修复后重新生成，确认目标 URL 不在任何 sitemap 子文件，并在站长平台观察重新抓取。

分片 Sitemap 要核对索引引用

大型目录常把商品、分类和 CMS 拆成多个文件。旧子文件即使不再被 sitemap index 引用，仍可能通过固定 URL 被爬虫访问；反过来，新子文件生成了但 index 仍指向旧名称，也不会生效。生成任务完成后校验 XML 格式、URL 数量、lastmod 和所有子文件的可访问状态。

Canonical 与 Sitemap 必须表达同一版本

多 Store、HTTP/HTTPS 或尾斜杠配置不一致时，Sitemap 可能输出一个 URL，页面 canonical 却指向另一个。即使商品状态正确，也会浪费抓取并产生重复信号。抽样比较 Sitemap URL、最终跳转、HTTP 状态与 canonical，确认 host、协议和路径格式一致。

生成任务还应排除需要登录、noindex 或仅对特定客户组可见的页面。Sitemap 是希望被索引的 URL 清单，不是站内所有路由的导出。