什么是robots文件?robots文件怎么写?

哈喽大家好!

【搜索问答剧场】最新一集如期而至,平小雕又带着满满的知识干货回来啦!准备好迎接知识的洗礼了嘛?

第五集【搜索问答剧场】中,跟大家提到了【Robots】工具。

本期就来详细教大家如何灵活地使用【Robots】工具,以及如何正确设置网站整体的抓取范围。

一、了解robots文件

1、Q:什么是robots文件?

A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源。

2、Q:robots.txt文件怎么写?

文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

“<field>:<optional space><value><optionalspace>”

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

User-agent:该项的值用于描述搜索引擎robot的名字。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

如果”/robots.txt”不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

说明:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

robots.txt文件举例:

什么是robots文件?robots文件怎么写?

什么是robots文件?robots文件怎么写?

3、Q:robots.txt文件放在哪里?

A:robots.txt文件应该放置在网站根目录下。网站对应robots文件的URL:

什么是robots文件?robots文件怎么写?

详情可参考《什么是robots文件

二、如何使用【Robots】工具

1、Q:【Robots】工具的作用?

A:站长可以通过搜索资源平台【Robots】工具来创建、校验、更新robots.txt文件,或查看网站robots.txt文件是否成功生效的情况。

2、Q:使用【Robots】工具的注意事项?

A:【Robots】工具目前支持48k的文件内容检测。同时请保证网站的robots.txt文件不要过大,目录最长不超过250个字符。

robots文件更新和提交后,百度蜘蛛不是立即调整停止/开放抓取的,搜索引擎需要逐渐完成robots.txt的更新。

3、Q:robots.txt中设置了禁止百度收录网站的内容,为何还出现在百度搜索结果中?

A:可能存在以下问题:

(1)robots文件不能够有效访问。站长可以在资源平台-【Robots】工具查看robots文件的访问情况。

(2)文件暂未生效。robots文件在结果中生效一般需要1-2周,可以关注。

4、【Robots】工具校验提示解读?

什么是robots文件?robots文件怎么写?

A:可能出现以下情况:

显示错误码404,robots文件可能无法被访问。

显示错误码301,robots文件可能存在跳转。

显示错误码500,robots页面访问失败。

以上情况时,建议自查robots文件情况针对性优化后,重新提交校验。

5、Q:robots文件误封禁,如何处理?

A:(1)修改robots文件,封禁改为允许。

(2)在搜索资源平台检测并更新robots文件,若显示抓取失败,可以多尝试点击几次,触发蜘蛛抓取站点。

(3)关注【抓取频次】数据情况,可以适当调整抓取频次。

(4)可以使用【链接提交】,主动提交相关资源链接。

相关文档可参考《网站误封robots该如何处理

相关推荐:

robots文件用法举例

robots文件格式

Robots文件应放在哪里

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=3471

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年10月17日 上午10:10
下一篇 2022年10月19日 上午11:44

相关推荐

  • Discuz! X3.5 发布Alpha版本

    尊敬的各位站长/开发者:       Discuz!X3.5版本进入开发周期已经很久了,在2021年的最后一天,很高兴为大家带来第一个Alpha版本,Alpha版本主要针对开发者进…

    2022年1月4日
  • 百度搜索结果中百度自有产品排名占比超过30%,中小站长生存空间雪上加霜

    百度搜索结果中百度自有产品排名占比超过30%,中小站长生存空间雪上加霜 近日从5118大数据获悉:百度自有排名占比从22.59%提升到30.04%,中小站长排名占比从77.41%下…

    2022年3月31日
  • 查询中文域名怎么操作?

    中文域名就是以中文进行输入浏览器访问的网址的域名,多数人习惯查询字母等英文域名,那么你知道查询中午域名要怎么操作吗?中文域名查询用什么方法? 1、首先打开计算机,登录”…

    2022年11月4日
  • .vip域名好不好?有哪些企业启用了.vip域名?

    .vip域名好不好?有哪些企业启用了.vip域名? vip一词很多人并不陌生,那么.vip域名呢?此前为大家介绍过什么是.vip域名,因此很多人提出了,相较于其他新顶级域名.vip…

    2022年7月5日
  • 国外虚拟主机怎样选?

    国外虚拟主机怎样选? 国外虚拟主机怎样选?国外虚拟主机,属于免备案主机,无需备案,即开即用,可以快速搭建网站并上线。国外虚拟主机,用的比较多的是美国虚拟主机,而美国虚拟主机,国内外…

    2022年7月6日
  • 微软宣布暂停在俄罗斯销售所有新的产品和服务

    微软总裁兼首席法务官布拉德·史密斯今天在其官方博客贴出了声明,宣布暂停在俄罗斯销售所有新的产品和服务。 全文如下: 与世界其他国家一样,我们对来自乌克兰战争的图像和消息感到惊恐、愤…

    2022年3月5日
  • 微软IE将正式退役

    微软IE将正式退役 据微软Edge浏览器官方微博5月16日消息,微软IE浏览器将于6月16日正式退役,IE浏览器退役后,将由Edge接力。 1995年8月,微软历史上最成功的操作系…

    站长杂谈 2022年5月18日
  • 可以投资哪些域名?哪类域名有价值?

    可以投资哪些域名?哪类域名有价值? 现如今,域名行业百齐放,不同类型的域名后缀就有几百至几千种。数据显示,2022年第一季度的全球域名行业简报;全球顶级域名注册量已突破3.5亿。 …

    2022年7月6日
  • 国内著名电商学习平台派代网将于2022年2月底关停

    随着移动互联网的发展,短视频对传统网站的冲击十分巨大,因此很多论坛博客相继关闭,据悉国内著名电商学习平台派代网站即将关停。以下是原文内容: 公告:派代网站即将关停 春节已过,派代网…

    2022年2月18日
  • SEM账户展现突然下降怎么办?

    SEM账户展现突然下降怎么办? ①检查账户物料投放状态是否有效,搜索对于物料的检查机制是不定期巡查,有可能账户里有某些物料因为某些原因又被拒了; ②查看关键词排名情况,账户中的80…

    2022年4月8日