后台修改 robots 内容后，访问 /robots.txt 仍是旧版本，先确认请求到底由谁响应。Magento 可以按网站配置生成 robots，但站点根目录中的物理文件、Nginx 规则或 CDN 边缘规则可能在它之前直接返回。

用响应头查看缓存状态，并在服务器上检查是否存在真实 robots.txt。多网站共用代码时，不同域名应进入各自的网站作用域；Base URL 和网站代码映射错误，会让两个域名读取同一份配置。

清理配置与全页缓存后仍不变，再刷新 CDN 对该单一 URL 的缓存，不必清空所有静态资源。搜索引擎看到变化还需要重新抓取，浏览器显示新内容不等于站长平台会立即更新。

修改前先明确目标。Disallow 只限制抓取，不保证 URL 从索引消失；需要移除结果时，应使用可抓取的 noindex、正确状态码或访问控制，不能把所有问题都交给 robots.txt。