obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
1. 使用301跳转，将301跳转设置为静态资源； 2. 使用通用引擎脚本，如PHP、ASP或Perl脚本，实现编写代码实现301跳转； 3. 如果需要对不同参数进行重定向，则可以对每个参数创建一个重定向规则； 4. 如果需要重定向大量的网页，则创建.htaccess文件，并使用表达式及RewriteRule TIPS的语法编写大量的重定向规则； 5. 使用CDN数据中心，如Cloud
| 网站结构的种类：F型结构：网站的大部分页面内容展示方式如字母F一样。树状结构：指的是页面的归属关系。例如：首页->一级分类->二级分类->内容页面。| 为什么要用优化网站结构？符合用户使用习惯对SEO更友好| 案例展示：工业产品/服务类：williamlong.info教程/文章：seowhy.com/faq博客/资讯：gaosan.com（搜外网）
robots.txt 是一个文件，它位于网站的根目录下，用于告诉搜索引擎和机器人哪些页面可以被访问或哪些不应该被访问。以下是 robots.txt 语法教程。 1. User-agent User-agent 表示搜索引擎或机器人的名称。当网站管理员想要禁止某个搜索引擎或机器人访问网站时，可以使用 User-agent 指定名称。 例如： User-agent: Googlebot Dis
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
