1、在网站地图的文本和超级链接里提及最主要的关键词短语，帮助搜索引擎来识别所链接的页面主题是什么。2、为每一个链接提供一个简短的介绍，以提示访问者这部分内容是关于哪方面的。3、提供文本链接到你站点上最主要的页面上；根据您的网站大小，网页数目的多少，甚至可以链接到所有的页面。4、为搜索引擎提供一条绿色通道，使搜索引擎程序把主要网页迅速收录进去。5、当用户查寻网站上原来看过的相关信息时，告诉他们如何去
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
Robots are machines that are capable of carrying out complex tasks automatically, often in a manner similar to human beings. They can be programmed to perform a wide range of actions, from simple acti
什么是robots文件Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网
