robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
1、网站验证2、普通收录3、快速收录4、死链提交5、网站改版6、索引量7、流量与关键词8、抓取异常9、抓取诊断10、抓取频次11、robots12、反馈中心13、站点子链14、移动适配15、分润中心16、站点属性什么是反馈中心反馈中心是百度搜索资源平台开放给站长的沟通反馈渠道，站长管理的站点在百度网页搜索、移动搜索、新闻搜索中遇到问题，或是在使用百度搜索资源平台工具时遇到问题，可以通过反馈中心提交
尊敬的用户： 为了改进我们的搜索体验，百度搜索资源平台决定升级死链提交工具。此次升级将提供更加高效、方便的死链提交方式，使用户能够更快速地反馈死链问题。 升级后的死链提交工具将提供以下新功能： 1. 快速提交：用户只需简单填写死链的相关信息，即可快速提交死链问题，无需填写复杂的表单。 2. 智能识别：升级后的工具将使用人工智能技术，自动识别并分析死链问题，提供更准确的反馈。 3. 实时更新：
在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用 现在写这篇文章在补充一点点知识!什么是robots.txt文件搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等)，自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件r
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
