360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
面包屑导航来源很久很久以前，在大森林的边上住着一个贫穷的樵夫，他与妻子和两个孩子相依为命。他的儿子名叫汉赛尔，女儿名叫格莱特。后来樵夫的妻子去世了，他又给孩子们娶了一个后母。后母计划把两个孩子带到森林的深处，然后趁他们睡着的时候跑掉。汉赛尔无意中知道了后母的计划，于是偷偷地把一块面包藏在了口袋里。在去森林的路上，汉赛尔悄悄地捏碎了他的面包，并不时地停下脚步，把碎面包屑撒在路上。后母顺利地趁孩子们睡
静态URL是指URL中完全由字符和字母组成的静态地址，不包含任何动态参数。 静态URL的优点： 1.优化搜索引擎结果：静态URL对搜索引擎更友好，搜索引擎更容易通过静态URL来了解页面内容并进行排名。 2.篡改困难：静态URL一般不包含动态参数，因此不容易被篡改和操纵。 3.可读性强：静态URL直观易懂，很容易让人了解其中的内容。 静态URL的缺点： 1.不利于动态内容更新：如果内容
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
