什么是robots文件
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
## 一、安装使用 1.将智能小程序页面校验工具下载下来，以好路网的demo为例，登录[baidu.com](https://www.baidu.com/)注册页面，输入安装命令，下载小程序页面校验工具 ``` $ cd /usr/local/bin $ wget https://github.com/cqr666/check_pages ``` 2.然后进入check_pages文件夹
目录一、为什么资源平台是你的得力助手二、使用平台前的重要准备工作三、平台能帮你解决哪些问题（1）向百度搜索提交资源（2）在搜索结果中展现站点的logo、子链等内容（3）查看站点数据（4）告诉百度哪些内容不需要收录（5）变更站点的目录、域名等信息（6）获取搜索的权威动态（7）反馈搜索相关的问题四、VIP权益和服务五、重要tips一、为什么资源平台是你的得力助手？百度搜索资源平台是百度搜索面向B端开发
【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
