Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

百度搜索资源平台-什么是抓取异常？

对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排名上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。抓取异常的主要原因请点击查看详情来源：百度搜索资源平台

 Public @ 2014-05-06 16:08:13

百度索引量工具升级版正式开放

发布日期：2013-11-26作者：百度站长平台            发布时间：2013年11月26日各位网站管理员，很高兴的通知大家，百度站长工具—索引量工具升级版在经过内测之后，正式面向全部网站开放使用。索引量工具升级版新增定制查询功能，帮助网站更便捷的定制及查询网站索引量数据。所有网站在百度站长平台上完成验证之后，都可以快捷的使用

 Public @ 2015-02-18 16:07:41

抓取诊断工具升级—增加详细错误说明

更新内容: 针对抓取诊断工具在捕获数据时出现的错误，增加了更详细的错误说明，方便用户更快速地定位问题并解决问题。 更新说明: 抓取诊断工具是一款用于捕获网络数据包的工具，它能够帮助用户分析网络问题并定位问题的根本原因。在使用抓取诊断工具时，由于各种原因，可能会出现捕获数据时无法正常工作的情况。为了方便用户定位这种问题并解决问题，我们增加了更详细的错误说明，帮助用户更快速地获取必要信息并采取正

 Public @ 2023-05-26 14:50:14

更多您感兴趣的搜索

0.528043s