360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
1：引导用户不要关闭网站，增强用户体验。2：防止网站出现死链接。
URL是什么URL是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它URL结构由两部分组成，第一部分是协议，就是大家在网址前边看到的一串字母，最常见的就是HTTP和HTTps，一般在下图所示的位置。第二部分就是大家最常见的服务器名称或者IP地址，通俗点来说
许多年前，让网站被搜索引擎选中包括填写表格，注册该网站，并手动编辑希望该网站被搜索的关键词，这个过程随着搜索引擎网络爬虫或网络蜘蛛的出现而改变。本文就robots相关内容，做详细的介绍。什么是搜索引擎蜘蛛？搜索引擎蜘蛛是一种自动程序，它沿着从一个网页到另一个网页的链接在互联网上爬行，为内容编制索引并将其添加到数据库中。这意味着，只要网站有一个来自其他网站且搜索引擎已经知道的链接，然后它会找到随着时
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
