Categories


Tags


360搜索蜘蛛IP段及蜘蛛ip被拦截的问题解决方法

360Spider的ip,我们已经公开在这里辣~:

http://www.so.com/help/spider_ip.html

360Spider的UA(UA是蜘蛛访问的时候,在服务器中留下的访问签名信息,凡是下面这个UA,就代表是360Spider来过了):

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

360robots协议支持FAQ:

http://www.haosou.com/help/help_3_2.html

关于蜘蛛被拦截:

蜘蛛被拦截一般是网站服务器或防火墙在做设置时,不小心将搜索引擎的蜘蛛做了拦截,导致蜘蛛无法访问,获取不到网站信息。这种问题会导致网站不收录或收录出现异常的问题

蜘蛛被拦截的常见现象有:

1、360Spider 无访问记录

2、360Spider 有访问页面的记录,但是访问的http状态为非200的状态,主要状态码有:404、403、0、503、504、521等

3、部分优质内容不收录或者收录出现异常(如优质内容的收录数量剧烈下降等,注意:关于内容收录的维度,也请参考我们之前发布的各类算法和白皮书,不清楚的小伙伴可以看这里)

如下面这个站点,就是典型的蜘蛛被拦截,我们没有办法收录到,其表现为http抓取状态为0

如何解决?

1、将我们的蜘蛛ip、UA加入到可访问的白名单

2、加白之后,尽快通过网站收录提交入口,提交网站的收录,并通过站长平台,提交网站的sitemap,观察一段时间(一般建议观察15-30天)看是否开始有收录

3、向您的空间服务商进行反馈,告知其加白我们的蜘蛛ip以及ua

以上就是我们解决蜘蛛被拦截的一个基本思路,各位小伙伴清楚了波~

如果仍然有疑问或者需要我们协助,可以向我们发邮件进行反馈,我们的反馈邮箱是:service-so@360.cn

感谢大家对360搜索的支持

来源:360站长平台


Public @ 2015-12-02 15:38:48

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍:robots.txt写

Public @ 2017-02-03 15:38:41

通过HTTP状态代码看搜索引擎怎么Crawl你的站

点 HTTP状态代码是指网站服务器对用户请求的响应结果。根据不同的HTTP状态代码,搜索引擎可以了解网页更新的频率,以及网页存在的情况,从而判断是否应该继续Crawl你的站点: HTTP 200:这是最常见的状态码,表示请求成功。搜索引擎会解析服务器返回的网页内容,并继续向您的站点爬取其他页面。 HTTP 301/302:这些状态码表示链接已经更改,搜索引擎会更新当前网页的链接,并继续爬取新

Public @ 2023-03-01 15:00:25

360搜索蜘蛛IP段及蜘蛛ip被拦截的问题解决方法

1. 360搜索蜘蛛的IP段可以通过搜索引擎或者防火墙等工具查询获得,一般包括以下几个IP段: 101.226.68.0/24 101.227.0.0/16 39.156.66.0/24 111.30.132.0/24 2. 如果发现360搜索蜘蛛的IP被拦截了,可以考虑以下几个解决方法: - 在防火墙或者网站安全设置中将360搜索蜘蛛的IP加入白名单; - 通过robots.txt文件进行

Public @ 2023-03-28 17:00:26

更多您感兴趣的搜索

0.413175s