obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
要在网站URL中显示品牌名称，可以采用以下方法： 1. 建立一个包含品牌名称的域名，例如www.yourbrandname.com。 2. 将品牌名称包含在网站URL的子目录中，例如www.yourwebsite.com/yourbrandname。 3. 使用品牌名称作为网站URL的一部分，例如www.yourbrandname.yourwebsite.com。 4. 在网站的META标
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
什么是robots文件Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网
