用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
优化？ 1、精简URL：URL尽量精简，易读易懂，例如使用简短的关键字说明页面内容； 2、不使用动态参数：尽量避免使用动态参数或者复杂的URL参数； 3、去除多余的词汇：尽量删除不必要的词，保证URL精简，易读； 4、尽量使用短语汇：URL尽量采用短而且表明词汇类别，如名词、动词等； 5、构建层次：当有一系列相关的页面时，尽量将相关的页面构建成层次关系，这样势必对SEO搜索排名优化有一定
Apache制作404页面： 1. 在网站根目录下创建一个名为“errors”的文件夹。 2. 在“errors”文件夹中创建一个名为“404.html”的文件，这将是你的404错误页面。 3. 在“404.html”文件中添加自定义内容，例如：您所寻找的页面不存在或已被删除。 4. 在httpd.conf文件中添加下面的代码： ``` ErrorDocument 404 /errors
robots.txt 是一个文件，它位于网站的根目录下，用于告诉搜索引擎和机器人哪些页面可以被访问或哪些不应该被访问。以下是 robots.txt 语法教程。 1. User-agent User-agent 表示搜索引擎或机器人的名称。当网站管理员想要禁止某个搜索引擎或机器人访问网站时，可以使用 User-agent 指定名称。 例如： User-agent: Googlebot Dis
禁止搜索引擎收录的方法什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
