Categories

Tags

轻松两步，正确识别百度蜘蛛（User-Agent）

经常听到开发者问，百度蜘蛛是什么？最近百度蜘蛛来的太频繁服务器抓爆了！最近百度蜘蛛都不来了怎么办？还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP地址范围动态变化不固定，我们无法对外公布。那么如何才能识别正确的百度蜘蛛呢？今日干货带你轻松两步正确识别百度蜘蛛：一、查看UA信息如果UA信息不对，可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景，这三个渠道UA

 Public @ 2015-12-30 15:38:39

sogou spider 会封锁那些网站？

作为一款搜索引擎，sogou spider通常不会封锁任何网站。它的任务是遍历互联网并收集网站信息，然后将其添加到sogou搜索结果中。然而，如果一个网站包含有害的内容或违反了法律法规，sogou和其他搜索引擎可能会将其从搜索结果中删除，但这不属于sogou spider的工作范畴。

 Public @ 2023-04-26 11:00:09

我希望我的网站内容被搜狗索引但不被保存快照，我该怎么做？

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置，使搜狗显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照，但搜狗搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

 Public @ 2019-12-28 15:38:55

更多您感兴趣的搜索

0.400694s