我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
经常有站长跑来问小so姐关于死链的问题，比如，我的网站有一些死链，会不会影响网站正常页面的收录；比如，除了404页面或者明显不能正常访问的页面，还有哪些属于死链范畴。今天，小so姐就来和大家叨叨死链这回事儿。【简要介绍】死链其实可以分为三种：协议死链，内容死链，跳转死链。协议死链，是指通过HTTP协议状态码明确表示网页已经无法访问，即页面打不开、服务器错误等。常见的如404、403、503状态等。
几个小时前，Google官方博客发了个帖子：Evolving “nofollow” – new ways to identify the nature of links (演变中的nofollow – 判断链接性质的新方法)，公布从今天开始，nofollow标签的作用和Google处理nofollow的方法有了重大变化。nofollow标签的历史nofollow标签(准确说是属性，不过约定俗成，还
1. 下面是一个拒绝所有机器人访问的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎访问整个站点： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎访问以private开头的任何URL： ```
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
