Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

站长反馈中心4月15日-4月21日问题反馈

作者：百度站长平台   发布时间：2013年4月26日为了更好处理用户提交反馈的问题，百度站长平台站长反馈中心全新改版，包含网页搜索、百度站长平台及百度分享三类产品的问题的反馈地址，并在这三类产品问题反馈页面增加了问题的分类和说明，辅助您更好的判断问题，快速方便的完成反馈。4月15日-4月21日一周共收到3213例站长投诉，其中网页搜索相关问题占比92.8%，百度站长平台相关问

 Public @ 2011-08-06 16:08:06

百度搜索资源平台-普通收录

使用说明1、普通收录工具可以向百度搜索主动推送资源，缩短爬虫发现网站链接的时间，不保证收录和展现效果。2、API提交和手动提交共享配额，每日至多提交10万条有价值的内容，sitemap提交配额不与其他方式共享，具体配额以站点页面显示数据为准 。配额不可累计，当日有效。3、若链接存在跳转关系，请直接提交跳转后链接。如网站换域名，需提交新域名资源；进行HTTPS改造页面，请提交HTTPS资源。来源：百

 Public @ 2016-05-27 16:03:20

百度搜索资源平台sitemap提交后状态总为等待该怎么办？

如果您在百度搜索资源平台提交了Sitemap后，状态总是显示为等待，您可以按照以下步骤进行排查和解决： 1. 确认Sitemap的格式和内容是否符合规范，是否存在错误或重复等问题； 2. 检查Sitemap的URL是否可以被访问，是否存在网络或服务器问题； 3. 确认Sitemap的更新频率和页面变化情况是否适当，不要频繁变更或提交Sitemap； 4. 等待一段时间后重新提交Sitemap，或

 Public @ 2023-04-06 08:50:10

百度《移动互联网发展趋势报告2015贺岁版》同步首发

2月10日，兄弟部门百度移动服务事业群组&百度商业分析部对外发布《移动互联网发展趋势报告2015贺岁版》，报告详细盘点了2014年Q4及全年的国内移动互联网市场，同时首次对00后的移动互联网行为进行了分析和洞察。报告显示，截止2014年Q4的数据表明BAT在移动互联网时代拥有了更强的生态控制力，以手机百度、淘宝、微信为代表的BAT超级APP已经开始在“连接人与服务”领域展开正面交锋；与此同

 Public @ 2009-03-20 16:03:12

更多您感兴趣的搜索

0.656252s