Categories

Tags

什么是robots文件

什么是robots文件

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-09-19 16:02:20

百度智能小程序-真实性

什么是真实性认证主体真实性认证是为确保智能小程序帐号信息的真实性、安全性，对企业/机构/媒体等主体进行的认证服务。该环节主要用于验证主体真实性，为不影响到开发进展，可暂时跳过此步骤直接创建小程序，并在小程序的开发过程中任意时间完成真实性认证即可，真实性认证状态将影响提交代码及发布上线。真实性认证入口：登录智能小程序平台，单击顶部导航『管理中心』进入小程序管理界面，如下图所示：图片来源：百度智能小程

 Public @ 2016-12-01 16:05:14

robots.txt使用教程

用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录

 Public @ 2013-01-15 16:09:31

更多您感兴趣的搜索

0.432903s