360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
SEO优化中合理分配站内定向锚文本，最常见的方式是在页面正文中，人工或者自动添加其他页面的内部链接。站内定向锚文本起到哪些重要作用？1、提高关键词排名锚文本中出现的关键词链接到另外一个页面，告诉搜索引擎对方页面要优化的关键词，有效的提高网站关键词排名。2、降低用户跳出率用户进入到网站，如果用户打开网站发现并没有他想要的内容，会选择直接退出网站。通过锚文本有效的提高用户点击链接进去浏览相关页面。3、
Sitemap是一个XML文件，它列出了您网站上所有页面的URL，以帮助搜索引擎更好地了解您的网站结构并进行索引。它包含了您网站上所有可供搜索引擎抓取的页面、图片、视频等的元数据。Sitemap可以帮助搜索引擎更快更准确地索引您网站的内容。
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
