Google 会通过先进的算法确定最佳的网站抓取速度。我们的目标是，每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。在某些情况下，Google 抓取您的网站可能会给您的基础架构带来沉重负载，或在服务中断期间带来不必要的成本。为了避免这种情况，您可以决定减少 Googlebot 发出的请求数量。
如果您决定减慢 Googlebot 的抓取速度，可以采用以下方法：
- 通过 Search Console 减慢抓取速度（推荐做法）
- 让 Google 自动减慢抓取速度
通过 Search Console 减慢抓取速度（推荐做法）
如需快速减慢抓取速度，您可以在 Search Console 中更改 Googlebot 抓取速度。对此设置所做的更改通常会在几天内得以体现。如需使用此设置，请先验证您的网站所有权。设置抓取速度时，请务必避免将速度值设得过低，导致无法满足您网站的需求。详细了解抓取预算对 Googlebot 而言有何意义。
如果您的网站无法使用抓取速度设置，请提交特殊请求以降低抓取速度。 您不能请求提高抓取速度。
让 Google 自动减慢抓取速度
如果您急需让抓取速度在短时间（如几个小时或 1-2 天）内减慢，应该返回包含 500、503 或 429 HTTP 响应状态代码（而非所有内容）的信息性错误页面。在遇到大量包含 500、503 或 429 HTTP 响应状态代码的网址时（例如，如果您停用了您的网站），Googlebot 会减慢对您网站的抓取速度。这项更改会在 Googlebot 抓取返回这些错误的网址以及整个网站时体现出来。这些错误的数量减少后，抓取速度会自动重新开始提升。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=4269
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
