360Spider的ip,我们已经公开在这里辣~:
http://www.so.com/help/spider_ip.html
360Spider的UA(UA是蜘蛛访问的时候,在服务器中留下的访问签名信息,凡是下面这个UA,就代表是360Spider来过了):
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
360robots协议支持FAQ:
http://www.haosou.com/help/help_3_2.html
关于蜘蛛被拦截:
蜘蛛被拦截一般是网站服务器或防火墙在做设置时,不小心将搜索引擎的蜘蛛做了拦截,导致蜘蛛无法访问,获取不到网站信息。这种问题会导致网站不收录或收录出现异常的问题
蜘蛛被拦截的常见现象有:
1、360Spider 无访问记录
2、360Spider 有访问页面的记录,但是访问的http状态为非200的状态,主要状态码有:404、403、0、503、504、521等
3、部分优质内容不收录或者收录出现异常(如优质内容的收录数量剧烈下降等,注意:关于内容收录的维度,也请参考我们之前发布的各类算法和白皮书,不清楚的小伙伴可以看这里)
如下面这个站点,就是典型的蜘蛛被拦截,我们没有办法收录到,其表现为http抓取状态为0
如何解决?
1、将我们的蜘蛛ip、UA加入到可访问的白名单
2、加白之后,尽快通过网站收录提交入口,提交网站的收录,并通过站长平台,提交网站的sitemap,观察一段时间(一般建议观察15-30天)看是否开始有收录
3、向您的空间服务商进行反馈,告知其加白我们的蜘蛛ip以及ua
以上就是我们解决蜘蛛被拦截的一个基本思路,各位小伙伴清楚了波~
如果仍然有疑问或者需要我们协助,可以向我们发邮件进行反馈,我们的反馈邮箱是:service-so@360.cn
感谢大家对360搜索的支持
来源:360站长平台
seozixuewang
手机扫码阅读
专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。
威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局