什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
智能学堂第一期快闪营邀请了具有12年网络营销及运营经验的企鹅先生，为营内开发者围绕“搜索单卡核心页面关键词”进行经验分享。他，熟练掌握网站运营到搜索引擎推广的各个流程环节，目前专注于百度智能小程序的数据优化分析，自然搜索流量关键词排名、搜索词内容布局、小程序新资源提交等。对百度小程序有丰富的运营经验。没有来得及参加的开发者也不用太遗憾，小编把企鹅先生的分享内容进行了整理，希望可以帮助到大家。另外，
使用说明落地页视频转存工具可以将您的视频资源转存到百度域下，降低站点带宽压力和不稳定性，提升搜索用户浏览视频的体验。注意事项您的站点暂无视频转存权限，目前视频转存服务仅向专业问答资源方开放。视频转存地址仅用于生产专业问答，不可用于其他场景或渠道。功能示例来源：百度搜索资源平台
以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁I
1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访
