我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
用几个最常见的情况，直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
