若要更新现有 robots.txt 文件中的规则，请从您的网站下载 robots.txt 文件的副本，然后进行必要的修改。
下载 robots.
您可以通过多种方式下载 robots.txt 文件，例如：
- 导航到 robots.txt 文件（例如
https://example.com/robots.txt），并将其内容复制到计算机上的新文本文件中。在创建新的本地文件时，请务必遵循与文件格式相关的准则。 - 使用 cURL 等工具下载 robots.txt 文件的实际副本。例如：
curl https://example.com/robots.txt -o robots.txt
- 使用 Search Console 中的 robots.txt 测试工具下载 robots.txt 文件的副本。
- 点击 robots.txt 编辑器右下角的提交。系统会打开“提交”对话框。
- 点击提交对话框中的下载，从 robots.txt 测试工具页面下载 robots.txt 代码。
修改 robots.
在文本编辑器中打开从您的网站下载的 robots.txt 文件，然后对规则进行必要的修改。请确保使用正确的语法，并以 UTF-8 编码格式保存文件。
上传 robots.
将新的 robots.txt 文件以文本文件的形式上传到您所在网域的根目录下，名称仍为 robots.txt 将文件上传到网站的方式在很大程度上取决于平台和服务器。请查看有关将 robots.txt 文件上传到网站的帮助提示。
刷新 Google 的 robots.
在自动抓取过程中，Google 的抓取工具会发现您对 robots.txt 文件所做的更改，并每 24 小时更新一次缓存的版本。如果您需要更快地更新缓存，请使用 robots.txt 测试工具的提交功能。
- 点击查看更新后的版本，查看您当前使用的 robots.txt 是否是您希望 Google 抓取的版本。
- 点击提交，通知 Google 您已更改 robots.txt 文件，并请求 Google 抓取该文件。
- 在浏览器中刷新页面，以便更新该工具的编辑器并查看您当前使用的 robots.txt 代码，从而确定 Google 是否已成功抓取最新版本的 robots.txt 文件。在刷新页面后，您还可以点击下拉菜单，以便查看 Google 首次发现您的 robots.txt 文件最新版本时的时间戳。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=4292
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
