obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
前几天站长社区有站长朋友谈了一下对Canonical标签的看法，认为这是一个与301类似、解决网站内重复页面的好办法。那么我们来谈谈这两者有什么区别，使用Canonical标签时又该注意些什么。【Canonical标签与301的区别】1，在几个网页内容完全相同（或高度相似）的时候，如果希望两个网页都可以被用户正常访问到，就使用Canonical标签；如果仅让用户访问其中的一个，直接使用301跳转更
从SEO的角度来看，子目录比子域名更有优势。以下是一些原因： 1. 子目录可以利用主域名的域名权威度和链接流量，增加页面的搜索引擎排名。 2. 利用子目录可以为网站维护一个整体一致的品牌形象。 3. 相对于子域名，子目录更容易建立目录级别的结构，这对于网站的整体性和分类有很大的帮助。 4. 子目录可以防止重复内容问题，因为有可能会发生子域名和主域名相同的情况。 总的来说，从SEO角度来看
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。搜索引擎通过一
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
