用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
1.首先要对网站进行分类：例如把所有的网站按分类，可以按照新闻、购物、娱乐、学习等来划分； 2.根据每个分类的特点，分别挑选几个最受大家欢迎的网站，如新闻方面可选择新浪、凤凰等，购物方面可选择淘宝、京东等； 3.确定好标题，根据每一类的网站的特点确定最简单的和一个看到就能理解的标题，如新闻类可以确定为“新闻播报”，购物类可以确定为“精品购物”等； 4.确定好网站链接和图标，把各个网站图标
| 网站结构的种类：F型结构：网站的大部分页面内容展示方式如字母F一样。树状结构：指的是页面的归属关系。例如：首页->一级分类->二级分类->内容页面。| 为什么要用优化网站结构？符合用户使用习惯对SEO更友好| 案例展示：工业产品/服务类：williamlong.info教程/文章：seowhy.com/faq博客/资讯：gaosan.com（搜外网）
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
