Robots文件应放在哪里?

robots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://zhanzhangpai.com/robots.txt 是有效的。

https://zhanzhangpai.com/a/robots.txt 是无效的。

以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。

本文作者:站长派,如若转载,请注明出处:https://zhanzhangpai.com/?p=1618

免责声明:本站部分内容来源互联网整理,如有侵权请联系站长留言处理。

(0)
上一篇 2022年3月15日 下午3:42
下一篇 2022年3月15日 下午3:46

相关推荐