网站开通cloudflare后,百度站长平台的robots功能无法使用

近日站长派发现一个问题,那就是网站开通cloudflare后,百度站长平台的robots功能无法使用。

具体情况是这样的:

1、站长派开通了cloudflare后使用百度站长平台的robots功能,提示如下:
您的服务器配置有误
百度暂时无法连接您的服务器,请检查服务器的设置,确保您网站的服务器能被正常访问。错误码:500
网站开通cloudflare后,百度站长平台的robots功能无法使用

2、根据提示显然是网站的服务器有问题,但是此时网站是可以正常打开的,并且使用站长平台的“抓取诊断”功能,结果提示网站抓取也是正常的。
网站开通cloudflare后,百度站长平台的robots功能无法使用

3、此时站长派就对此问题提交到了反馈中心,隔天接到的反馈则是:
您好,近期工具内部调整中,无法正常使用,很抱歉给您带来不便,我们会尽快优化,感谢您的反馈。
网站开通cloudflare后,百度站长平台的robots功能无法使用

4、反馈说是功能“无法正常使用”?于是就测试了另一个没有开通cloudflare的网站,则提示:您的Robots文件已生效
网站开通cloudflare后,百度站长平台的robots功能无法使用

由此说明,并不是百度站长平台的Robots功能不能使用了,而是对于开通了cloudflare的网站无法抓取或者识别他的Robots,算是一个BUG,也希望官方人员早些修复此功能。


知识拓展:

一、什么是cloudflare
简单来说cloudflare 是一家国外的 CDN 加速服务商,还是很有名气的。提供免费和付费的加速和网站保护服务。站长派就使用了cloudflare免费的加速和网站保护服务。

具体方法大家可以直接到cloudflare的官网了解,因为整个设置的过程属于傻瓜式操作,所以站长派就不做具体说明。

二、百度站长平台的robots功能是做什么的?
其实就是提供检测网站的robots文件并测试网址是否被阻止抓取的功能,具体如下:

1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
2、 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
3.、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

本文作者:站长派,如若转载,请注明出处:https://zhanzhangpai.com/?p=228

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2021年12月8日 下午2:28
下一篇 2021年12月9日 下午3:43

相关推荐