用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
如某博客上有垃圾评论：<a href="URL">顶顶</a>以下操作，即进行了 nofollow：<a href="URL" rel="nofollow" >灌水</a>在网页的 <HEAD> 部分添加适当的 <META> 标签。拦截所有搜索引擎把网页收录：<
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
