robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
尊敬的用户： 为了优化搜索服务，提高索引效率，百度搜索资源平台-索引量工具将在2015年11月进行升级，升级内容如下： 1. 接口升级，更加稳定可靠，提高数据传输效率和速度； 2. 新增增量索引功能，可提高更新速度和准确性； 3. 界面优化，提供更加清晰易懂的操作指引，方便用户使用。 注意事项： 1. 使用原有接口的用户无需更改，只需按照原有流程进行操作即可； 2. 新增增量索引功能
步骤一：依据Discuz 平台环境类型，选择适合的版本下载插件。下载后，解压缩文件至Discuz平台目录/home/work/discuz/source/plugin步骤二：用管理员账号登陆Discuz平台环境，进入管理中心。如下图：管理中心页面最终.png步骤三：进入管理中心“应用”页面，点击“安装新插件”选项，选择“baidusubmit”插件并安装。如下图：安装新插件最终.png友情提示：b
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
