内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。
链接层次较浅的页面。过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。
如果是动态网页，请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被 sogou spider 丢弃。
来源：搜狗资源平台
”近期，小编经常收到开发者关于“哪些蜘蛛是百度搜索的”、“如何才能正确识别百度蜘蛛”的提问。今日干货带你简单两步即可识别百度蜘蛛一、查看UA信息如果UA信息不对，可以直接判断该蜘蛛为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景，分别如下：【移动UA】1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KH
360搜索的蜘蛛在访问网站时，都会带上带有360Spider签名信息的UA，其形态为： Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面。
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页，但搜狗搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过删除快照反馈请求处理。
