什么是robots文件?robots文件有必要设置吗

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。

robots.txt文件有什么必要?

从SEO的角度,robots.txt文件是一定要设置的,原因:

1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3、一些没有关键词的页面,屏蔽掉更好。

4、一般情况下,站内的搜索结果页面屏蔽掉更好。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1620

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长删除。站长邮箱:1245911050@qq.com

(0)
上一篇 2022年3月15日 下午3:44
下一篇 2022年3月15日 下午3:49

相关推荐

  • 代码优化简介,什么是网站代码优化?

    所谓代码优化是指对程序代码进行等价(指不改变程序的运行结果)变换。程序代码可以是中间代码(如四元式代码),也可以是目标代码。等价的含义是使得变换后的代码运行结果与变换前代码运行结果…

    2022年3月15日
  • 百度搜索算法规范详解【总纲版】

    原文标题:百度搜索算法规范详解最新更新章节:2020-06-18 引言 一直以来,百度搜索都致力于与广大开发者共同努力,为亿万搜索用户提供优质可信的内容、安全便捷的搜索体验。搜索算…

    2022年1月7日
  • 百度统计被刷恶意广告怎么办

    此方法并不能彻底杜绝刷百度统计广告,只能避免被刷,毕竟小站沧海一粟,流量寥寥无几,被刷是在太影响统计数据了,大流量网站倒是无所谓。接下来说说方法: 1、删除原有百度统计(或其他统计…

    2022年12月29日
  • 网站导航优化注意事项?如何优化网站导航?

    网站导航的本职作用是引导用户和Spider更好地浏览网站内容。常见的网站导航有主导航、多级导航、底部导航和面包屑导航等。这些导航链接在SEO中,不仅可以引导用户和Spider测览全…

    2022年3月7日
  • 白皮书5.0解读—什么样的顶部嵌入广告符合体验标准?

    《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明,受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落…

    2022年12月30日
  • 长尾关键词的形式

    网站的定位 一是与企业产品或者网站定位精确度高的词语,此类关键词针对一些有明确目标需求的搜索引擎引入的用户,这类人群是对你所经营的网站产品有着明确认知程度的人群,但是这部分人群是网…

    2022年3月15日
  • 百度搜索将严格控制搜索中的权限问题

    原文标题:百度搜索将严格控制搜索中的权限问题发布日期:2019-04-18 近期,百度搜索发现在搜索中部分站点存在内容获取权限、功能使用权限等问题,影响搜索用户的体验。百度搜索一直…

    2021年11月5日
  • 什么是网页去重原理?搜索引擎是如何去重的?

    本篇文章站长博客为大家介绍什么是网页去重原理?搜索引擎是如何去重的? 在互联网如此发达的今天,同一资料会在多个网站发布,同一新闻会被大部分媒体网站报道,再加上小站长和EO人员孜孜不…

    2022年2月23日
  • 百度搜索下载站质量规范

    百度搜索一直致力于为用户提供安全、便捷、高效的搜索体验,资源下载作为搜索用户的重要需求之一,更是我们关注的重点。下载站,是指以提供用户软件(PC 端软件、移动端app)下载服务为主…

    2021年11月5日
  • 白皮书5.0解读—如何合理设置展开全文功能

    导读:2020年3月,百度发布了《百度APP移动搜索落地页体验白皮书5.0》。白皮书5.0发布后,收到许多开发者关于体验规范的反馈建议,针对开发者集中关心的规范问题,百度搜索将推出…

    2022年12月30日