robots文件格式

 robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optional space><value><optionalspace>”

 在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干DisallowAllow,详细情况如下:
        User-agent:该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到“robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在“robots.txt”文件中,“User-agent:*”这样的记录只能有一条。如果在“robots.txt”文件中,加入“User-agent:SomeBot”和若干DisallowAllow行,那么名为“SomeBot”只受到“User-agent:SomeBot”后面的 DisallowAllow行的限制。

Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如“Disallow:/help”禁止robot访问/help.html/helpabc.html/help/index.html,而“Disallow:/help/”则允许robot访问/help.html/helpabc.html,不能访问/help/index.html“Disallow:”说明允许robot访问该网站的所有url,在“/robots.txt”文件中,至少要有一条Disallow记录。如果“/robots.txt”不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如“Allow:/hibaidu”允许robot访问/hibaidu.htm/hibaiducom.html/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用“*”and”$”Baiduspider支持使用通配符“*”“$”来模糊匹配url
        “*” 匹配0或多个任意字符
         “$” 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1622

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年3月15日 下午3:46
下一篇 2022年3月15日 下午3:50

相关推荐

  • 白皮书5.0解读—落地页中如何设置咨询功能?

    2020年3月,百度发布的《百度APP移动搜索落地页体验白皮书5.0》中提到”咨询类功能在当前页只能出现一次,且位置不允许出现在顶部;在用户未主动点击的情况下,咨询的对话窗口不可自…

    2022年12月30日
  • 同一个网页多个快照的原因

    有不少朋友都发现了不同的搜索词或搜索方式,得到同一个网页的百度快照时间可能是不同的。 搜索引擎更新索引的过程,并不是一个新索引替换老索引的过程,对于一个重要的网页,百度可能会同时保…

    2022年2月27日
  • 做SEO日常需要监控网站哪些数据?

    1、页面收录 网站的页面收录量直接决定网站Landing Page页面的流量。通过网站的收录数据来找到竞争对手网站权重较高的频道页面从而进一步从竞争对手高权重的频道页面入手,分析其…

    2022年3月15日
  • 移动网页兼容性问题

    近期针对移动页面兼容性问题,百度内部做了专项数据评估和分析,发现一些网站的移动端页面在操作系统的不同版本下,页面浏览效果有较大差异,有些版本下存在排版异常、页面功能失效、页面不美观…

    2022年1月28日
  • 百度搜索引擎抓取系统概述(一)

    编者按:站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓…

    2022年2月2日
  • 网站内容生产相关问答

    网站内容生产相关问答——回答部分我进行了精简,基本上都是按照原意,写的。 “注:”的部分很少,是我自己添加的。 回看地址:http://live.baidu.com/m/media…

    2023年1月10日
  • 阻止个人信息在搜索引擎中出现

    个人信息一旦在网上发布,很有可能会被百度搜索引擎抓取,特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中,以下方式可以帮助您阻止个人信息在搜…

    2022年1月31日
  • 搜索常见问题Q&A

    Q1:隔天看快照收录了,但当天没有展现,这是什么原因? A:这种情况是完全有可能的,因为收录有很多条策略,有一些时效性比较强的内容,短时间有收录,过了这一段时间之后,用户对这个内容…

    2022年12月30日
  • 谷歌SEO-LSI 关键词:定义与重要性

    很多人说Latent Semantic Indexing(LSI)关键词可以让谷歌的排名更好,这个是真的吗?又或者这只是另一个SEO的谣言? 通过阅读其他的关于LSI关键词的文章你…

    2022年2月7日
  • 如何建立关键词之间的联系?

    对于部分网站可能并不需要为挖掘来的关键词建立相关关系,只需要把关键词分布到网站中就可以了。但是关键词之间的相关关系一般可以辅助指导网站内链的布局,所以架构比较大、内容比较多的网站,…

    2022年3月8日