用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
什么是302跳转？302跳转是用户浏览器或搜索引擎蜘蛛向网站务器发出访问网址A的请求时，服务器返回的头信息中状态码的一种，也称为302重定向，302跳转。301重定向与302跳转有什么区别?1、使用效果不同301重定向是永久的重定向，比较常用于场景是使用域名跳转。搜索引擎在抓取新内容的同时也将旧的网址替换为重定向之后的网址。例如：我们访问 http://www.baidu.com 会跳转到 htt
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
