用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
Windows Server自带的互联网信息服务器（Internet Information Server，IIS）是架设网站服务器的常用工具，它是一个既简单而又麻烦的东西，新手都可以使用IIS架设一个像模像样的Web站点来，但配置、优化IIS的性能，使得网站访问性能达到最优状态却不是一件简单的事情，这里我就介绍一下如何一步一步的优化你的IIS服务器。服务器端环境，我们以Windows Serve
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分:<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记:<meta name="Baiduspider" content="noa
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
