搜索引擎收录机制就是搜索引擎系统执行网页抓取、URL分析、文本链接分析、内容分析及网页排序等一系列操作而形成的一种机制。这个机制由爬虫、索引和查询构成，爬虫存储所有网络上数据、分析搜索引擎索引，而搜索引擎索引就像物理上的索引一样，能让搜索引擎定位到目标页面；最后查询的时候则是让搜索引擎根据索引定位相应的页面，最终完成数据的展示。
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
有些时候，站长并不希望某些页面被抓取和收录，如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接，或者使用JavaScript、Flash链接，使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。要确保页面不被收录，需要使用robots文件或Meta Robots标签。来源：搜外网
