什么是robots文件?robots文件有必要设置吗

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。

robots.txt文件有什么必要?

从SEO的角度,robots.txt文件是一定要设置的,原因:

1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3、一些没有关键词的页面,屏蔽掉更好。

4、一般情况下,站内的搜索结果页面屏蔽掉更好。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1620

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年3月15日 下午3:44
下一篇 2022年3月15日 下午3:49

相关推荐

  • robots文件格式

     robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:“<fi…

    2022年3月15日
  • 什么是长尾关键词?长尾关键词的特征是什么?

    分析网站的搜索流量和关键词,我们发现: 1、对于一般小型网站,目标关键词带来的流量占网站总搜索流量的绝大部分。 2、存在于网站目录页、内容页的关键词也会带来流量,但为数不多。 3、…

    2022年3月15日
  • 谷歌seo入门指南第二章:seo基础知识

    了解如何为seo成功建立网站,并掌握seo的四个主要方面

    2022年1月6日
  • 静态url和动态url哪个好?

    很多SEO从业人员在做优化的时候,会考虑到url到底是使用静态还是动态,其实这也是一个不大不小的问题,笔者有时候在做站的时候也会考虑一下,下面笔者就来跟大家分享一下自己的经验。 W…

    2022年3月15日
  • SEO常见网站流量数据统计指标及名词介绍

    流量统计中会有各种数据来反映网站当前的流量状况,功能越强大的流量统计工具就拥有越丰富的数据,比如GA有儿十个流量报表,母个报表都有着特定的作用。由于SE的工作就是尽力把搜索引擎上的…

    2022年3月10日
  • 内链优化注意事项,如何优化网站内链?

    有不少网站根本不做外链,只在内容上发力,配合优秀的内链设计就把网站的SEO做得很好,在搜索引擎上获得极高的权重和流量。内链的优化也是一个很大的话题,不同类型的网站不同类型的内容都会…

    2022年3月9日
  • SEO的优势,SEO和SEM优势对比

    1、性价比高 无地域限制,全国搜索均有效;无时间限制,24小时排名在线,且长期有效 2、多平台 主要搜索引擎算法大同小异,优化1个平台多个平台都会有效果 3、流量精准 通过优化目标…

    2022年3月15日
  • 遇Baiduspider抓取,反馈时间多久合适

    进入移动时代,同学们肯定会发现,百度官方和各知名SEO大拿们都在不断强调一个词:速度!最重要的莫过于,从用户点击搜索结果到页面完全加载完毕,不可超过3秒,否则有可能被限制展现(因为…

    2022年2月7日
  • 如何建设网站外链?增加网站外链的方法?

    首先教大家认识一下什么是高质量外链,依据笔者多年的经验来看,高质量外链是指外链网站权重高,站点相关性好,导出链接少……俗话说内容为王,外链为皇,皇又比王重要,可见外链的重要性。而高…

    2022年3月15日
  • 百度搜索将严格控制搜索中的权限问题

    原文标题:百度搜索将严格控制搜索中的权限问题发布日期:2019-04-18 近期,百度搜索发现在搜索中部分站点存在内容获取权限、功能使用权限等问题,影响搜索用户的体验。百度搜索一直…

    2021年11月5日