先区分现象与原因
robots禁止抓取就能隐藏内部页面吗？可以先从敏感内容加授权开始，而不是立即重写整站。内部资料搜索可见常见的误判是抓取禁止被当作保密措施。需要把客户访问、技术配置和搜索实际处理分开记录，才能知道修改是否针对问题；不能只用一次搜索结果作为已经修复或完全失败的证据。
搜索问题先分清能否访问、能否抓取、是否允许索引和是否实际收录。浏览器能打开页面，不代表搜索引擎得到同样的响应。
取回页面层面的证据
本题的证据包括访问权限、robots和外部链接。检查对象应是正在对外提供的具体地址，保留检查日期和实际响应。源代码、浏览器渲染以及服务器返回内容不一致时，先定位差异来源。把“被禁止页面仍有公开链接”保存为反例，便于在改版或重新构建后复查同一条件。
检查服务器响应与实际HTML，再在有权限的Search Console中查看对应URL。每次只更改已找到证据的一处配置。
按问题修改实际产物
先敏感内容加授权，确认影响哪些地址；再核对公开副本，保留修改前后的对照；最后调整索引策略，检查对应文件已经实际部署。修改配置清单或内容源文件不等于线上页面已经变化，还需核对发布结果。涉及旧入口时要检查仍有访问的链接，防止修好新页却让客户从原入口走不通。
例子与适用边界
robots是抓取控制，不是访问权限。敏感资料即使不被索引，也不能在公开地址上让任何人直接读取。
例如：被禁止页面仍有公开链接。在这个样本中，预期应是“未授权用户无法读取资料”。如果没有证据支持抓取禁止被当作保密措施，就不要按该原因批量修改其他页面。可以先在少量代表性地址验证，再把已确认规则应用到同类页面；不同正文或不同市场的页面需要分别判断。
站点地图和申请抓取能帮助发现页面，不能保证收录时间或排名。未公开资料应使用访问控制，不能依赖搜索配置保密。
发布后检查什么
完成后确认未授权用户无法读取资料，并保存与访问权限、robots和外部链接相关的对照记录。技术检查通过后，继续观察真实查询、访问和有效咨询；配置正确不意味着一定获得某个排名，也不保证所有页面同时被收录。Google官方相关依据可查：https://developers.google.com/search/docs/crawling-indexing/block-indexing。具体标记和工具要求应以该类官方说明为准。
执行与验收清单
- 明确内部资料搜索可见的正确结果：未授权用户无法读取资料。
- 准备并脱敏核对资料：访问权限、robots和外部链接。
- 执行敏感内容加授权，保留对应结果。
- 完成核对公开副本与调整索引策略，核对实际产物。
- 使用“被禁止页面仍有公开链接”复查问题，并记录未解决事项。