Categories

Tags

什么是robots文件

什么是robots文件

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-09-19 16:02:20

百度搜索资源平台-给您一张邀请函：倾听您的声音系列活动正在开展

就在近日，Robin一封内部邮件，让无数百度人动容，其中他反复强调“用户至上”的原则，提出“要完善我们的用户反馈机制，倾听用户的声音，让用户的意见能快速反映到产品的设计和更新中。”于是，百度站长平台，作为百度搜索唯一与网站连接的沟通桥梁，迅速做出反应，一系列相关活动正在陆续开展中。（一）  难题反馈直达攻城狮，指日可待共期盼平台反馈中心优化正在紧锣密鼓开展。日后，您反馈的问题不仅有更好的

 Public @ 2016-09-19 16:06:33

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以

 Public @ 2010-05-21 16:09:23

更多您感兴趣的搜索

0.401635s