您可以验证访问您服务器的网页抓取工具是否确实是 Google 抓取工具，例如 Googlebot。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者在访问您的网站，则会发现该方法非常有用。
验证 Google 抓取工具的方法有两种：
- 手动验证：如果是一次性查找，请使用命令行工具。对于大多数用例，此方法足以满足需求。
- 自动验证：如果是大规模查找，请使用自动解决方案将抓取工具的 IP 地址与已发布的 Googlebot IP 地址列表进行比对。
使用命令行工具
- 使用
host命令对日志中访问服务器的 IP 地址运行 DNS 反向查找。 - 验证域名是
googlebot.com还是google.com。 - 使用
host命令对在第 1 步中检索到的域名运行 DNS 正向查找。 - 验证该域名与日志中访问服务器的原始 IP 地址是否一致。
示例 1：
host 66.249.66.11.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.host crawl-66-249-66-1.googlebot.comcrawl-66-249-66-1.googlebot.com has address 66.249.66.1
示例 2：
host 35.247.243.240240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.host geo-crawl-35-247-243-240.geo.googlebot.comgeo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240
示例 3：
host 66.249.90.7777.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.host rate-limited-proxy-66-249-90-77.google.comrate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77
使用自动解决方案
或者，您也可以通过将抓取工具的 IP 地址与 Googlebot IP 地址列表进行比对，按 IP 地址识别 Googlebot。对于可借以访问您网站的其他 Google IP 地址（例如通过用户请求或 Apps 脚本），请将访问 IP 地址与 Google IP 地址列表进行比对。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=4271
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
