什么是robots文件?robots文件有必要设置吗

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。

robots.txt文件有什么必要?

从SEO的角度,robots.txt文件是一定要设置的,原因:

1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3、一些没有关键词的页面,屏蔽掉更好。

4、一般情况下,站内的搜索结果页面屏蔽掉更好。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1620

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年3月15日 下午3:44
下一篇 2022年3月15日 下午3:49

相关推荐

  • robots文件格式

     robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:“<fi…

    2022年3月15日
  • 谷歌SEO:如何给网站挖掘关键词?

    您可能有一种描述您所做工作的方式,但您的受众如何搜索您提供的产品、服务或信息?回答这个问题是关键字研究过程中至关重要的第一步。 发现关键字 您可能会考虑一些要为其排名的关键字。这些…

    2022年2月19日
  • 网站Description优化原则?如何设置网站描述?

    Description是Head和整个网页SEO的第二个重要的部分,虽然搜索引擎没有把它定为排名的因素,但它可以引导搜索引擎寻找需要的内容,如果你在SEO的过程中把Descript…

    2022年3月15日
  • 网站CSS代码如何优化

    对于网站排名优化来说,css的几乎没有任何影响,但往大的方向如网站优化来说,样式表css的优化就至关重要了,其主要作用即是提高网页的响应速度。 外链CSS css的使用有多种方式,…

    2022年3月15日
  • 伪原创文章优化技巧

    网站优化一定离不开文章,如果没有专门的文案人员或者足够的时间,那么只能去做伪原创,而伪原创有很多要注意的事项和规则。 文章是网站最核心的内容,因此网站里文章的内容直接决定了网站的质…

    2022年3月15日
  • 网站导航优化注意事项?如何优化网站导航?

    网站导航的本职作用是引导用户和Spider更好地浏览网站内容。常见的网站导航有主导航、多级导航、底部导航和面包屑导航等。这些导航链接在SEO中,不仅可以引导用户和Spider测览全…

    2022年3月7日
  • 惊雷算法1.0详情

    原文标题:百度搜索推出惊雷算法 严厉打击刷点击作弊行为发布日期:2017-11-20 百度搜索将于11月底推出惊雷算法,严厉打击通过刷点击,提升网站搜索排序的作弊行为;以此保证搜索…

    2021年11月5日
  • 谷歌seo入门指南第三章:关键词研究

    seo的出发点是了解目标客户要搜索的内容

    2022年1月10日
  • 当心DNS服务器不稳导致站点被屏

    近期百度站长平台收到多个反馈,称网站从百度网页搜索消失,site查询发现连通率为0。 经追查发现这些网站都使用godaddy的DNS服务器 *.DOMAINCONTROL.COM,…

    2022年1月26日
  • 网站页面性能优化指南

    为了更好地提升用户的浏览体验,《移动落地页体验白皮书5.0》中规定:页面的首屏内容应在1秒内加载完成。 百度搜索对用户行为的研究表明,页面首屏的加载时间在1秒以内的页面,会带给用户…

    2021年11月5日