obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
如果网站中有不同的url能访问到同一个页面，那么从网站seo优化的角度来看，是有问题的。不同的网址都可以访问同样内容的页面，会给有可能引起搜索引擎的误判。Canonical标签的出现，就是来解决这一问题的。什么是canonical标签canonical标签是在html网页中head头部标签中link标签的一种属性;最早由谷歌搜索引擎提出，目的是为了解决网址规范性问题。简单来说就是当网页中有多个网址
建议将 Sitemap 放在 HTML 服务器的根目录中，即 http://www.example.com/sitemap.xml。某些情况下，例如您公司网站允许对应不同的目录划分写入权限，这时您或许希望在网站上针对不同的路径创建不同的 Sitemap。如果您有上传到 “http://www.example.com/路径/sitemap.xml” 的权限，那么您可以针对 “http://www.e
robots.txt文件通常放在网站的根目录下，即与主页文件（如index.html）同一级目录下。例如，如果网站的域名是www.example.com，那么robots.txt文件的完整路径可能是www.example.com/robots.txt。
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
