我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
很多的网站由于不懂SEO的优化，乱定义URL链接，或者更改URL链接，最终造成了‘一个页面多条URL的情况是非常常见的。最常见的是：伪静态链接、动态链接这样的。如果搜索引擎收录了非常多的‘混合’类型的链接，这样网站的评分就会被大幅度的降低了，这个时候最正确的方式：查看排名，如果排名中两个类型的链接都存在，那么就使用canonical标签来做权威链接的定义。如果只存在某一种类型的链接，那么就把另外一
URL是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。我们看到的互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。URL优化也需要讲究一些准则，按照以下方法优化下去，搜索引擎会更加喜爱你的网站哦。URL优化方法1、文件和目录的描述性名称一致对英文网站来说，目录名称以及文件名应该具备一定的描述性，以便于
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用 现在写这篇文章在补充一点点知识!什么是robots.txt文件搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等)，自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件r
