Robots文件应放在哪里?

robots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://zhanzhangpai.com/robots.txt 是有效的。

https://zhanzhangpai.com/a/robots.txt 是无效的。

以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。

文章为作者独立观点,不代表站长派立场,本文链接:https://zhanzhangpai.com/?p=1618

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年3月15日 下午3:42
下一篇 2022年3月15日 下午3:46

相关推荐

  • 百度站长工具流量查询工具能帮助解决哪些问题?

    问题:百度站长工具流量查询工具能帮助解决哪些问题? 答案:【流量与关键词】工具,主要是为了全面帮助站长了解网站在百度搜索引擎中的表现,决策页面及网站的优化方向,为网站运营决策提供分…

    2022年7月6日
  • 【SEO问答】网站首页集权排名可实施操作有哪些?

    举例现象:大多数排名都是内页排上的,首页很少。几乎日更,收录也不错,但是首页排名不是很理想。 现象描述:大部分站长都会进行日常资讯更新。有些资讯拥有良好指数词排名和流量,此类页面已…

    2022年3月21日
  • 友情链接交换的标准?友情链接交换注意事项?

    一般在寻找交换对象的过程中,就需要查看对方网站的各项指标是否符合自己的交换条件。一般都需要查看对方网站的权重、内容和所交换的页面是否符合自己的要求。针对这几方面,有如下一些指标是站…

    2022年3月17日
  • 如何部署关键词?网站关键词部署原则是什么?

    一般合理的整站关键词部署类似金字塔形状。核心关键词部署在首页、每个页面最多不超过3个关键词、关键词避免页面相互竞争。 在这里分享一下网站关键词部署金字塔定律: 1、核心关键词的部署…

    2022年3月15日
  • 有效索引什么意思?

    本篇文章站长博客介绍有效索引什么意思? 面对如此巨大数量的网页,任何一个常规关键词都可能匹配出几万、几十万甚至上亿的网页。但是大部分用户一般都只浏览搜索结果的前三页,这样搜索引擎就…

    2022年2月25日
  • 常见的网站结构

    网站结构是指网站中页面之间的层次关系 对搜索引擎优化而言,优秀的网站结构优化应该包括网站物理结构优化和逻辑结构优化两个方面,一种是网站的物理结构,一种是网站的逻辑结构。下面我们来分…

    2022年3月15日
  • 烽火算法4.0详情

    算法名称:烽火算法4.0算法内容:控制回退按钮失效问题发布时间:2021-08-19原文详情: 近期,百度搜索接到用户关于部分站点存在回退按钮失效情况的投诉。为了保障用户的搜索体验…

    2021年11月11日
  • 说说劫持的那些事

    网络安全日益严峻,站长朋友们多多少少都遇到过被黑被劫持的经历,对于老老实实做人,认认真真做站的朋友来说,好不容易做出了一点成绩,一劫持就又回到解放前了,本期我们一起来探讨常见的网站…

    2022年1月29日
  • 谷歌SEO:网站没有被搜索引擎收录的原因有哪些

    正如您刚刚了解到的,确保您的网站被抓取并编入索引是出现在 SERP 中的先决条件。如果您已经有一个网站,最好先查看索引中有多少页面。这将对 Google 是否正在抓取并找到您想要的…

    2022年2月18日
  • SEO的工作原理,网站排名优化的原理是什么

    一、网站优化排名的对象是什么 1、一个网站是由众多的网页组成的,网站是一个或者多个网页组成的。(搜索引擎排名过程简介) 2、seo优化的对象是网页而不是网站,就像奥运会上的运动员得…

    2022年3月15日