Categories


Tags


关于Sitemap

百度一直致力于将优质内容索引并呈现给搜索用户,因此百度站长平台推出了Sitemap工具,网站可通过该工具将优质资源主动反馈提交给百度站长平台,加强百度对优质资源的收录,优化收录效果。Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页,包括百度通过传统抓取方式可能找不到的网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次

Public @ 2011-06-13 16:11:59

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以

Public @ 2010-05-21 16:09:23

更多您感兴趣的搜索

0.577866s