robots文件格式

 robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
“<field>:<optional space><value><optionalspace>”

 在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干DisallowAllow,详细情况如下:
        User-agent:该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到“robots.txt”的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在“robots.txt”文件中,“User-agent:*”这样的记录只能有一条。如果在“robots.txt”文件中,加入“User-agent:SomeBot”和若干DisallowAllow行,那么名为“SomeBot”只受到“User-agent:SomeBot”后面的 DisallowAllow行的限制。

Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如“Disallow:/help”禁止robot访问/help.html/helpabc.html/help/index.html,而“Disallow:/help/”则允许robot访问/help.html/helpabc.html,不能访问/help/index.html“Disallow:”说明允许robot访问该网站的所有url,在“/robots.txt”文件中,至少要有一条Disallow记录。如果“/robots.txt”不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如“Allow:/hibaidu”允许robot访问/hibaidu.htm/hibaiducom.html/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用“*”and”$”Baiduspider支持使用通配符“*”“$”来模糊匹配url
        “*” 匹配0或多个任意字符
         “$” 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1622

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年3月15日 下午3:46
下一篇 2022年3月15日 下午3:50

相关推荐

  • 网站不收录原因分析——百度spider抓取篇

    目前百度spider抓取新链接的途径有两个,一是主动出击发现抓取,二就是从搜索资源平台的链接提交工具中获取数据,其中通过主动推送功能“收”上来的数据最受百度spider的欢迎。对于…

    2022年12月30日
  • 网站title优化原则?如何优化网站标题?

    Title是一个页面的核心,对页面进行优化时首先就是从Title开始的。在SEO中,Title的权重非常高,有没有描写好Title,有没有抓住关键词进行合理的描写,这都是需要不断研…

    2022年3月15日
  • 腾讯股价跌破300港元,单日暴跌10%

    3月15日下午消息,腾讯控股跌破300港元,日内重挫近10%。除了腾讯之外,中概股也再度迎来集体暴跌,从2021年初以来,中概股总体累计跌幅巨大,不少个股累计跌幅已超过90%,粗略…

    2022年3月16日
  • 移动网页兼容性问题

    近期针对移动页面兼容性问题,百度内部做了专项数据评估和分析,发现一些网站的移动端页面在操作系统的不同版本下,页面浏览效果有较大差异,有些版本下存在排版异常、页面功能失效、页面不美观…

    2022年1月28日
  • 细雨算法1.0详情及算法解读

    算法名称:细雨算法1.0算法内容:促进供求黄页类B2B站点生态健康发展发布时间:2018-06-28原文详情: 为保证搜索用户体验,促进供求黄页类B2B站点生态健康发展,百度搜索将…

    2021年11月5日
  • 百度搜索优质内容指南

    1、导言 一直以来,百度搜索从用户角度出发,不断分析和研究用户需求,努力提升搜索结果的优质体验,期望将最优质的搜索结果返回给搜索用户。 什么样的内容才算优质?什么样的内容才能更好的…

    2021年11月5日
  • 网站被镜像,如何向百度反馈?

    最近收到不少站长反馈被镜像的问题,网站被镜像后,站点流量、关键词都会受到影响,是很多网站深恶痛绝的现象,站长通过禁止正文被粘贴、禁止镜像站IP都无法彻底杜绝被镜像现象。被镜像该如何…

    2022年2月5日
  • 搜索引擎排名处理过程,SEO优化过程中怎么排名?

    百度上为什么会有网站呢?它是怎么抓取的呢?为什么网站又是以那样的形式存在于搜索结果之中呢?那个百度快照是个什么东西?(什么是百度快照)下面笔者就对百度排名的过程简单介绍一下。 1、…

    2022年3月15日
  • 如何正确识别Baiduspider移动ua

    百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider UA,那么该如何正确识别移动UA呢?我们百度站长平台技术专家孙权老师给出了答…

    2022年2月4日
  • 百度站长工具流量查询工具能帮助解决哪些问题?

    问题:百度站长工具流量查询工具能帮助解决哪些问题? 答案:【流量与关键词】工具,主要是为了全面帮助站长了解网站在百度搜索引擎中的表现,决策页面及网站的优化方向,为网站运营决策提供分…

    2022年7月6日