近日站长派发现一个问题，那就是网站开通cloudflare后，百度站长平台的robots功能无法使用。
具体情况是这样的：
1、站长派开通了cloudflare后使用百度站长平台的robots功能，提示如下：
您的服务器配置有误
百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500
2、根据提示显然是网站的服务器有问题，但是此时网站是可以正常打开的，并且使用站长平台的“抓取诊断”功能，结果提示网站抓取也是正常的。
3、此时站长派就对此问题提交到了反馈中心，隔天接到的反馈则是：
您好，近期工具内部调整中，无法正常使用，很抱歉给您带来不便，我们会尽快优化，感谢您的反馈。
4、反馈说是功能“无法正常使用”？于是就测试了另一个没有开通cloudflare的网站，则提示：您的Robots文件已生效
由此说明，并不是百度站长平台的Robots功能不能使用了，而是对于开通了cloudflare的网站无法抓取或者识别他的Robots，算是一个BUG，也希望官方人员早些修复此功能。
知识拓展：
一、什么是cloudflare
简单来说cloudflare 是一家国外的 CDN 加速服务商，还是很有名气的。提供免费和付费的加速和网站保护服务。站长派就使用了cloudflare免费的加速和网站保护服务。
具体方法大家可以直接到cloudflare的官网了解，因为整个设置的过程属于傻瓜式操作，所以站长派就不做具体说明。
二、百度站长平台的robots功能是做什么的？
其实就是提供检测网站的robots文件并测试网址是否被阻止抓取的功能，具体如下：
1、robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2、 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3.、Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=228
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
