360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
当站长们都在讨论外链的时候，很少有人注意到内链的作用，内链就是网站的内部的相互链接，我认为内链的最主要的作用在于提高搜索引擎索引效率和用户体验，增加PV，除此之外，由于是自己的网站，内链容易控制，有助于PR的传递推动网站排名。博友Fgyb_网民聚焦：对于知名站点的seo而言主要精力应该放在内链的合理布局上，改善搜索引擎的抓取效率，让搜索引擎明白什么内容才是网站的重要的内容。既然内链与外链有着同样重
尊敬的用户： 为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验，百度搜索于2020年10月27日发布了新版robots协议，主要特性包括： 1. 支持抓取控制与数据保护视角的并存 新增规定了两个特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便网站主在控制抓取行为的同时，保护网站内容的安全
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
