Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

百度APP移动搜索落地页体验白皮书5.0上线公告

过去的一年，百度搜索的技术和产品团队努力持续提升搜索用户体验。经过用户调研、竞品分析、小流量测试等手段，百度搜索对落地页体验4.0标准进行了全新升级，重磅推出《百度APP移动搜索落地页体验白皮书5.0》。与《百度移动搜索落地页体验白皮书4.0》相比，白皮书5.0不仅在页面加载、广告位置、功能交互等方面有了更明确、细致的规范要求，还增加了服务闭环的考量纬度。预详细了解白皮书5.0规范，请点击《百度A

 Public @ 2011-01-31 16:05:23

百度搜索资源平台-平台升级亮点多！业内大佬送祝福！

近日，百度搜索资源平台迎来重大升级，旨在提升用户体验、优化技术架构、扩展合作伙伴等方面，成为更加强大的数字营销工具。 首先，平台升级后将提供更全面、直观、透明的数据分析报表，助力企业精细化管理。同时增加了推广方案维度分析、竞品分析、趋势预测等多项功能，可帮助用户挖掘更多营销价值。 其次，为了缩短推广效果的反馈周期，平台升级后将实现加速推广策略的审核速度，同时进一步优化推广算法，提高推广效率和广

 Public @ 2023-04-17 15:50:39

压力反馈工具更名加临时闭站功能

改过来的压力反馈工具可以包含一个临时闭站功能，该功能可以帮助管理员暂时关闭一个站点，以防止暴力访问或恶意攻击，同时又能够在第二天恢复站点的工作。对于这种临时闭站功能，需要实现以下功能： 1、首先，可以让管理员设定站点的闭站时间，这样就可以控制站点关闭的时间。 2、其次，可以将站点闭站信息及时发送给用户，使他们能够提早做好准备，尽量减少站点闭站时对相关用户造成的影响。 3、此外，工具还需

 Public @ 2023-03-04 11:00:22

更多您感兴趣的搜索

0.574291s