就是网站开通cloudflare后百度站长平台的robots功能无法使用

近日站长派发现一个问题，那就是网站开通cloudflare后，百度站长平台的robots功能无法使用。

具体情况是这样的：

1、站长派开通了cloudflare后使用百度站长平台的robots功能，提示如下：

您的服务器配置有误

百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500

2、根据提示显然是网站的服务器有问题，但是此时网站是可以正常打开的，并且使用站长平台的“抓取诊断”功能，结果提示网站抓取也是正常的。

3、此时站长派就对此问题提交到了反馈中心，隔天接到的反馈则是：

您好，近期工具内部调整中，无法正常使用，很抱歉给您带来不便，我们会尽快优化，感谢您的反馈。

4、反馈说是功能“无法正常使用”？于是就测试了另一个没有开通cloudflare的网站，则提示：您的Robots文件已生效

由此说明，并不是百度站长平台的Robots功能不能使用了，而是对于开通了cloudflare的网站无法抓取或者识别他的Robots，算是一个BUG，也希望官方人员早些修复此功能。

知识拓展：

一、什么是cloudflare

简单来说cloudflare 是一家国外的 CDN 加速服务商，还是很有名气的。提供免费和付费的加速和网站保护服务。站长派就使用了cloudflare免费的加速和网站保护服务。

具体方法大家可以直接到cloudflare的官网了解，因为整个设置的过程属于傻瓜式操作，所以站长派就不做具体说明。

二、百度站长平台的robots功能是做什么的？

其实就是提供检测网站的robots文件并测试网址是否被阻止抓取的功能，具体如下：

1、robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。

2、 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。

3.、Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。