robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://zhanzhangpai.com/robots.txt 是有效的。
https://zhanzhangpai.com/a/robots.txt 是无效的。
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。
文章为作者独立观点，不代表站长派立场，本文链接：https://zhanzhangpai.com/?p=1618
免责声明：本站部分内容来源互联网整理，如有侵权请联系站长删除。站长邮箱：1245911050@qq.com
由于近期黑产、作弊行为肆虐，大量抢占平台资源，严重影响用户体验，搜索资源平台针对非实名账户内站点、低质站点关停sitemap提交能力并调整API每日推送额度。请各站点做好日常维护和…
对于网站排名优化来说，css的几乎没有任何影响，但往大的方向如网站优化来说，样式表css的优化就至关重要了，其主要作用即是提高网页的响应速度。 外链CSS css的使用有多种方式，…
很多网站会突然找院长反馈，说网站突然出现了很多奇怪的页面，虽然域名是自己网站的，但是内容都不是网站发布的，而且一般都是赌博等内容；或者还有站长反馈，百度抓了自己网站的好多内容，而且…
当大家意识到链接的重要性之后，就都在想方设法地给自己的网站增加链接。由于大部分网站自己资源有限，可以交换到的链接就有限，去别的网站发布链接就成了大部分网站EO工作的重心或者全部。至…
除图片垂直搜索引黎外，其实在普通的网页搜索中也会有大量包含“图”的搜索词，如果网站有丰富的优质图片，大可以设计专门的网页优化“水*图”“*图片”“*照片”之类的关键词。这是针对网页…
3月15日下午消息，腾讯控股跌破300港元，日内重挫近10%。除了腾讯之外，中概股也再度迎来集体暴跌，从2021年初以来，中概股总体累计跌幅巨大，不少个股累计跌幅已超过90%，粗略…
如果你是一个博主或者站长，又或者是从事互联网相关的任何工作，你必须知道一些关于SEO的知识。因此学习SEO最常用的术语是非常必要的，下面将会列出若干常见的SEO术语： 【SEO】 …
举例现象：大多数排名都是内页排上的，首页很少。几乎日更，收录也不错，但是首页排名不是很理想。 现象描述：大部分站长都会进行日常资讯更新。有些资讯拥有良好指数词排名和流量，此类页面已…
如何定义权威性？ 如何判断一个结果的权威性？官方寻址和权威性的关系是什么？…… 关于权威性那些事儿，百度搜索产品经理李彤从权威性在百度搜索中的作用、如何定义权威性、如何判断权威性和…
javascript代码对于网站排名优化同样没有多大影响，但从网站优化的角度来看却是至关重要的一步优化操作，优良的javascript代码可以大幅度提升网页的响应速度！ 外链js代…
