robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://zhanzhangpai.com/robots.txt 是有效的。
https://zhanzhangpai.com/a/robots.txt 是无效的。
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=1618
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
SEO写作是研究、概括、创作和优化内容的过程，它的目的是为了目标关键词能在Google和其他搜索引擎上获得排名。 Google的成功取决于提供能以最相关的方式来回答人们的搜索问题的…
最近收到不少站长反馈被镜像的问题，网站被镜像后，站点流量、关键词都会受到影响，是很多网站深恶痛绝的现象，站长通过禁止正文被粘贴、禁止镜像站IP都无法彻底杜绝被镜像现象。被镜像该如何…
百度站长平台发布公告宣布新版Baiduspider移动ua上线，同时公布了PC版Baiduspider UA，那么该如何正确识别移动UA呢？我们百度站长平台技术专家孙权老师给出了答…
之前的文章中介绍了如何优化网站首页以及如何优化网站列表页，接下来介绍如何优化网站专题页。 专题页面可以当成带有明显文本介绍的网站首页来优化，页面Title、Keywords、Des…
经常会碰到这样的情况，其他网站链接你的站点时，会用下面的链接： www.example.com example.com/ www.example.com/index.html ex…
上周的百度搜索线上直播课《开发者避雷指南》之搜索算法全解析，你看了吗？直播中，百度搜索产品经理结合理论与案例详细解读了百度搜索网站质量规范和搜索算法中的常见违规行为，供广大开发者参…
原文标题：百度搜索将严厉打击色情低俗广告内容发布日期：2019-01-23 为了维护健康积极的搜索生态环境、保障用户的搜索体验，百度搜索技术团队将在近期对存在色情低俗广告的违规站点…
谁在影响小程序页面的加载速度 在智能小程序开发的过程中，经常需要引入图片资源，如果图片使用不当(图片数量过多、体积过大的图片)，在加载时会消耗更多的系统资源，从而影响整个页面的加载…
【SEO问答】网站不收录就该这么办？ 站长1： 1.新站一周了，首页不收录的情况分析和解决办法？答：新站正常情况下一周左右的时间就可以收录首页，如果未收录可以排查一下，是不是因为网…
你是否知道外链建设的基本知识，但却为顺利开展外链建设而苦苦挣扎?这份高级指南将教你如何快速地开展外链建设。 外链建设中的outreach工作可以拆分为三个任务: 寻找outreac…
