robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://zhanzhangpai.com/robots.txt 是有效的。
https://zhanzhangpai.com/a/robots.txt 是无效的。
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=1618
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
最近收到不少站长反馈被镜像的问题，网站被镜像后，站点流量、关键词都会受到影响，是很多网站深恶痛绝的现象，站长通过禁止正文被粘贴、禁止镜像站IP都无法彻底杜绝被镜像现象。被镜像该如何…
算法名称：细雨算法2.0算法内容：打击B2B领域低质内容发布时间：2019-11-07原文详情： 对于近期B2B领域出现的伤害搜索用户体验的违规低质内容，百度搜索将升级细雨算法，上…
如何给Wordpress添加时间因子，Wordpress时间因子正确添加方法？ 之前的文章中给大家介绍过《百度搜索落地页时间因子规范》相关内容，那么为什么要给网站增加时间因子呢？如…
之前的文章中介绍了如何优化网站首页以及如何优化网站列表页，接下来介绍如何优化网站专题页。 专题页面可以当成带有明显文本介绍的网站首页来优化，页面Title、Keywords、Des…
百度指数一般被站长和EO人员拿来当做关键词搜索量使用，有时也会用来分析某个关键词的搜索趋势和衡量一个品牌的网络推广效果。在2013年底百度指数进行了一次大的升级改版，改版后的百度指…
什么是robots.txt文件? 搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots…
网站外链的多少和外链质量的高低，在比较大的程度上决定了这个网站权重的高低，也决定了这个网站能够从搜索引擎中获得排名和流量能力的大小。在本书前文也简单讨论过搜索引擎链接分析的内容。站…
之前的文章介绍了seo常见的site指令和domain指令，本文介绍除了这两个指令外其他SEO常见的名词和指令。对于其他的名词和指令，其实笔者已经没有多少可讨论的内容了，只是名词介…
此方法并不能彻底杜绝刷百度统计广告，只能避免被刷，毕竟小站沧海一粟，流量寥寥无几，被刷是在太影响统计数据了，大流量网站倒是无所谓。接下来说说方法： 1、删除原有百度统计(或其他统计…
2021年余额已经不足8%， 今年，你的“战果”如何？ 攒出百度礼品套装了吗？ 各种权益领到手软了吗？ 最后一个月，福利再加码！ 12月第一发福利，来咯~ 只要申请，即可额外获得「…
