robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://zhanzhangpai.com/robots.txt 是有效的。
https://zhanzhangpai.com/a/robots.txt 是无效的。
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=1618
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
原文标题：百度APP移动搜索落地页体验白皮书5.0最新更新章节：2020-03-19 1.导言 2.面向对象 3.名词解释 4.落地页体验规范 4.1. 信息获取规范 4.1….
一、什么是SEO算法 SEO算法就是搜索引擎优化排名算法，目的是为了规范自然搜索排名，让用户看到更真实的搜索结果。百度SEO算法主要围绕着内容建设，外链建设，内链建设的质量与数量关…
有一些站长和SEO人员为了获得单向指回的接，会采用一些欺骗的手段，在进行链接分换工作时，一定要进行细心甄别。常见的小把戏如下。 (1)加上链接一段时间后恶意删除。 这种情况一般是利…
网站首页一般是网站中最重要的一个页面，也是整个网站中权重最高的页面。所以一定要深入地挖掘网站首页的可利用之处，为网站作出最大的贡献。SEO常规观念中的一些数据限制，在网站首页中都可…
任何一个行业的名称就可看作核心关键词或者主关键词，一般来说这样的关键词都是很热门，优化 难度比较大的。我们就转而对这些词进行有效合理的修饰，这些修饰之后的词一般可称为长尾关键词，需…
本篇文章站长博客介绍搜索引擎是如何分析链接的？链接分析算法的目的是什么？ 整个互联网上的网页因为有了链接，才被织成了一张网。网页之间的链接关系在一定程度上反映了每个网页各自的重要程…
1、导言 一直以来，百度搜索从用户角度出发，不断分析和研究用户需求，努力提升搜索结果的优质体验，期望将最优质的搜索结果返回给搜索用户。 什么样的内容才算优质？什么样的内容才能更好的…
Title是一个页面的核心，对页面进行优化时首先就是从Title开始的。在SEO中，Title的权重非常高，有没有描写好Title，有没有抓住关键词进行合理的描写，这都是需要不断研…
URL如何来优化?这是许多SEOER们一直在讨论的问题，因为优化好我们的Url将会有利于给我们网站的优化，而如何优化URL更符合我们的SEO策略呢，对于SEO而言，URL的好坏将直…
网站优化不外乎两点，站外优化和站内优化，而站内优化中，以内链优化最为重要，那么内链优化中有什么是需要引起我们的注意呢? 1、相关性的内页之间需要进行链接 相关性不管在外链亦或是内链…
