Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

百度推出全新阿拉丁开放平台 已开放十余个行业近千家站点

近日，百度推出了全新的阿拉丁开放平台，并已开放了十余个行业近千家站点。该平台可以为企业提供一站式的智能化解决方案，包括语音识别、自然语言处理、语音合成等技术，帮助企业实现智能化转型。 阿拉丁开放平台的推出，将为企业提供更加便捷的智能化解决方案。企业可以在平台上进行自主开发、测试和发布，可以选择不同的API接口，根据自己的需求和行业特点进行个性化设置和定制。 同时，阿拉丁开放平台还支持多种开发语

 Public @ 2023-04-05 17:50:22

人性化工具导航全新升级

我们很高兴宣布人性化工具导航的全新升级！这次升级带来了许多令人兴奋的新功能和改进，使其更加方便和易于使用。 首先，我们通过重新设计界面和优化布局来改进用户体验。现在，导航界面更加直观和易于导航，用户可以轻松找到所需的工具和功能。 其次，我们增加了更多的工具和功能，以满足不同用户的需求。无论是学生、职场人士、创业者还是爱好者，都能在我们的导航中找到合适的工具。例如，我们增加了在线学习工具、职业发

 Public @ 2023-06-28 12:00:27

【重要公告】奥运会将近，新闻源站点注意安全防护

近期，全球范围内的网络攻击事件持续频繁，而奥运会作为全世界最大的体育盛会，可能会成为网络黑客的目标。因此，新闻源站点需要注意安全防护，加强对系统和数据的保护。 以下是一些建议： 1. 加强密码管理：强化员工密码管理意识，采用强密码、定期更换密码，并定期进行身份认证和访问控制。 2. 定期备份数据：定期备份重要数据，确保数据在遭遇攻击时能够及时恢复。 3. 更新安全补丁：及时更新操作系统、应

 Public @ 2023-06-04 15:00:23

更多您感兴趣的搜索

0.467611s