Categories


Tags


robots.txt使用教程

用几个最常见的情况,直接举例说明:

1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站:

User-agent: *

Disallow: /

5. 加入sitemap.xml路径


Public @ 2013-01-15 16:09:31

搜索引擎收录机制是什么?

百度更喜欢独特的原创内容,如果你的站点内容只是从各处采集复制而成,很可能不会被百度收录。关于Google的各种SEO方法在网上随处可见,其中当然有真有假。比如早在4月份,我们从Matt Cutts那里已经知道一个流传得很广的SEO方法--在网站上投放AdSense广告有利于网站内容被Google收录--已经被证实,尽管这并不能提高网站排名。除了投放广告外,另外一个传闻就是只要你给你的浏览器安装了G

Public @ 2021-10-21 15:55:41

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以

Public @ 2010-05-21 16:09:23

更多您感兴趣的搜索

0.474859s