robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://zhanzhangpai.com/robots.txt 是有效的。
https://zhanzhangpai.com/a/robots.txt 是无效的。
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=1618
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
URL中出现关键词(英文) 网页标题中出现关键词(1-3个) 关键词标签中出现关键词(1-3个) 描述标签中出现关键词(主关键词重复2次) 内容中自然出现关键词 内容第一段和最后一…
买卖链接已经成为SEO行业内的常态，大量买卖链接平台的出现，使得买卖链接的行为更加优惠和便捷。不得不说买卖链接对网站的权重和排名提升作用很明显，在过去的一段时间内有不少网站依靠买链…
在反作弊过程中，也很有可能会伴随着人工干预自然搜索排名，但是搜索引擎中的人工干预肯定不会是大众想象的那样频繁，也不是浅层次上的干预，否则搜索引擎自然排名的算法就可以丢弃了，搜索引擎…
在SEO中关键词研究是必要的，所以本文就介绍一下什么是导航类关键词？导航类关键词有哪些分类？ 导航类关键词是指用户想去特定的网站，但是记不起该网站的网址或者懒得在地址栏输入网址时所…
今日问题： 网站动态URL需要伪静态处理吗？ 正确答案： 网站url是静态或者动态对搜索引擎没有影响，但是建议尽量减少动态URL中的参数和URL的长度，同时不能让同一网页对应多个动…
一般情况下，目标关键词具有这些特征: 1、目标关键词一般作为网站首页的标题。 2、目标关键词一般是2-4个字构成的一个词或词组，名词居多。 3、目标关键词在搜索引擎每日都有一定数目…
1、如果没有 XML Sitemap，对收录会有影响吗? XML Sitemap 是为了让站点更好地被收录。 特别是当站点内容层次比较深，或者包含许多通过js或提交表单才能获得 U…
seo的出发点是了解目标客户要搜索的内容
有不少朋友都发现了不同的搜索词或搜索方式，得到同一个网页的百度快照时间可能是不同的。 搜索引擎更新索引的过程，并不是一个新索引替换老索引的过程，对于一个重要的网页，百度可能会同时保…
请问百度对新站点有流量加持政策吗 问题：我是做淘宝 阿里的，所以关注 对新产品 新站点的一些流量加持政策，不知道搜索引擎有对新站点的流量加持政策么? 答案：有扶持，备案的新站有扶持…
