搜狗严格遵循搜索引擎Robots协议，详细内容，参见http://www.robotstxt.org/
您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被搜狗收录。
如果您的网站在被搜狗收录之后才设置robots文件禁止抓取，那么新的robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots.txt禁止收录以前搜狗已收录的内容，从搜索结果中去除可能需要数月。需要马上删除您可以通过删除快照提交您所需要从搜狗中删除的内容。
（1）索引量： 索引量指可以被搜索用户搜索到的网站数据库。（2）索引量工具· 索引量工具可以支持查看总索引量，同时支持站点自定义想要关注的目录，查看某一目录规则下的索引量。· 更新频率：百度索引数据最快每天更新一次，最迟一周更新一次，不同站点的更新日期可能不同。· 开发者们可以在”索引量“工具中查看“最近30天”与自定义日期的索引情况。· 您可以查询到近一年中每天的索引量数据，一年前的
答：页面是否被收录，与页面是否具有价值有关，原则上内容越贴近用户的搜索需要，网页就会越快地被搜索引擎收录。但通常情况下页面从产生到收录需要一定周期，时间从几分钟到几天不等，这取决于网页的搜索价值和重要性的高低。长时间不收录的原因可能包括：1） 页面被惩罚整站或目录没有进行收录，2） 网页没有被搜索引擎发现，因为网页没有放置外部链接，本身是个孤岛页面。针对第一种情况，首先请查看网站是否出现过无法打开
百度只收录首页不收录内页是怎么回事？回答：如果是新站的话，这是正常的，保持正常更新，百度会收录的，如果是老站的话：说明网站本身存在严重的SEO问题，导致搜索引擎不收录网站其他页面！来源：A5营销
搜索引擎收录机制就是搜索引擎系统执行网页抓取、URL分析、文本链接分析、内容分析及网页排序等一系列操作而形成的一种机制。这个机制由爬虫、索引和查询构成，爬虫存储所有网络上数据、分析搜索引擎索引，而搜索引擎索引就像物理上的索引一样，能让搜索引擎定位到目标页面；最后查询的时候则是让搜索引擎根据索引定位相应的页面，最终完成数据的展示。
