robots文件格式

 robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optional space><value><optionalspace>”

 在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干DisallowAllow,详细情况如下:
        User-agent:该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到“robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在“robots.txt”文件中,“User-agent:*”这样的记录只能有一条。如果在“robots.txt”文件中,加入“User-agent:SomeBot”和若干DisallowAllow行,那么名为“SomeBot”只受到“User-agent:SomeBot”后面的 DisallowAllow行的限制。

Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如“Disallow:/help”禁止robot访问/help.html/helpabc.html/help/index.html,而“Disallow:/help/”则允许robot访问/help.html/helpabc.html,不能访问/help/index.html“Disallow:”说明允许robot访问该网站的所有url,在“/robots.txt”文件中,至少要有一条Disallow记录。如果“/robots.txt”不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如“Allow:/hibaidu”允许robot访问/hibaidu.htm/hibaiducom.html/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用“*”and”$”Baiduspider支持使用通配符“*”“$”来模糊匹配url
        “*” 匹配0或多个任意字符
         “$” 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1622

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年3月15日 下午3:46
下一篇 2022年3月15日 下午3:50

相关推荐

  • 什么是C位直达?如何参加C位直达?

    C位直达是百度搜索和百家号联合推出的内容生产计划,激励百家号优质创作者对搜索高频稀缺问题进行定向内容创作,创作者认领词包之后发布内容和摘要,搜索审核通过后即可解锁五大权益激励哦! …

    2022年12月6日
  • 如何寻找友情链接?在哪里找友情链接?

    需要交换就需要寻找对象。现在随着SEO行业的发展,已经有多种渠道可以寻找链接交换对象了,常见的寻找方式如下。 (1)现在有大量的链接交换QQ群,里面有很多有同样链接交换需求的站长或…

    2022年3月16日
  • 代码优化简介,什么是网站代码优化?

    所谓代码优化是指对程序代码进行等价(指不改变程序的运行结果)变换。程序代码可以是中间代码(如四元式代码),也可以是目标代码。等价的含义是使得变换后的代码运行结果与变换前代码运行结果…

    2022年3月15日
  • 网站被黑,到底是谁的责任

    很多网站会突然找院长反馈,说网站突然出现了很多奇怪的页面,虽然域名是自己网站的,但是内容都不是网站发布的,而且一般都是赌博等内容;或者还有站长反馈,百度抓了自己网站的好多内容,而且…

    2022年2月4日
  • 网站结构对seo的影响

    很多seoer在做seo的时候更多的关心网站内容以及外链的质量,很少来关心网站的结构,殊不知,一个好的网站结构对seo来说能达到事半功倍的效果。那么搜索引擎友好的网站结构对seo有…

    2022年3月15日
  • 百度搜索引擎检索系统概述

    前面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这…

    2022年2月1日
  • 什么是面包屑导航?如何优化面包屑导航?

    什么是面包屑导航? 面包屑导航也叫位置导航,告诉用户我们当前位置是在网站的什么位置。 为什么要做面包屑导航优化? 1、有利于SEO优化 简单易懂、便于用户精准定位站点内容,占用位置…

    2022年3月15日
  • 同一个网页多个快照的原因

    有不少朋友都发现了不同的搜索词或搜索方式,得到同一个网页的百度快照时间可能是不同的。 搜索引擎更新索引的过程,并不是一个新索引替换老索引的过程,对于一个重要的网页,百度可能会同时保…

    2022年2月27日
  • 百度智能小程序的图片怎样优化?如何提升百度小程序页面加载速度?

    谁在影响小程序页面的加载速度 在智能小程序开发的过程中,经常需要引入图片资源,如果图片使用不当(图片数量过多、体积过大的图片),在加载时会消耗更多的系统资源,从而影响整个页面的加载…

    2022年3月18日
  • 2022年卡塔尔世界杯将至,网站防范被黑公告

    2022年卡塔尔世界杯即将来临,以棋牌类,赌球类,竞猜类等内容为主的黑产猖獗,近日百度搜索发现网站被黑的情况日益严重,故特发此公告提醒各大站长,时刻关注网站安全,做好网站防护工作,…

    2022年12月6日