专注数字产品开发
将创新和需求转化为专业的数字化解决方案

帮助企业在不断变化的数字环境中脱颖而出
©2023 Copyright reserverd

威海佰年网络技术有限公司 首页知识库

  • 如何解决Google网站管理员工具的抓取错误

    发布:2019-11-01 seozixuewang.com
  • “抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接,不仅仅是URL链接,还包行DNS解析失败、服务器链接、robots.txt 文件等问题,几乎所有网站都会出现抓取错误。

    网站站长工具将错误分为两类:网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误,那么你的网站信任度会下降,甚至会影响到排名,当然这工具对于百度优化同样有效。那么应当如何解决Google网站管理员工具的抓取错误呢。

    如何解决Google网站管理员工具的抓取错误 Google SEO优化 SEO推广 第1张

    通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。

    一、HTTP的错误

    当一个网站上的网页(例如,当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求,服务器返回HTTP状态码响应请求。

    如果出现403状态,可以不用理睬,这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件,可以参考Google HTTP状态码帮助页面。

    二、Sitemap中的错误

    Sitemap错误往往会造成404错误页面,或在当前地图返回一个404错误页面,如果出现404错误页面请检查Sitemap中所有的链接,

    Google会不断抓取你已经删除的Sitemap,这点很郁闷,但也有办法解决:确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取,确保旧Sitemap出现404或者重新定向到新的Sitemap。

    来自Google员工Susan Moskwa解释道:

    阻止Googlebot的爬行,最好的办法是使这些网址(例如旧的sitemaps)出现404,当我们看到一个URL多次出现404后,Googlebot会停止爬行。

    三、重定向错误

    有些错误是因为301从定向引起的,执行重定向后要注意什么:

    1:确保他们返回到正确的HTTP状态码。

    2:确保没有任何循环重定向。

    3:确保重定向指向有效的网页,而不是404页,或其他错误页,如503(服务器错误)或403(禁止抓取)

    4:确保重定向不是指向一个空页面。

    四、404错误

    404错误可能会出现在以下几个方面:

    1:删除了网站上的网页;

    2:改变了网页的名称;

    4:链接到了一个不存在的页面;

    5:其他网站链接到你网站上一个不存在的页面;

    6:网站迁移到一个新的域名不完全匹配的网站。

    五、受robots.txt限制

    还有一个原因是robots.txt文件阻止了Googlebot的抓取,如果出现大量抓取错误,第一步应该检查robots.txt

    六、软404错误

    通常情况下,当有人请求的页面不存在,服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码,服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息,或旨在提供更多信息的用户,它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。

    如何解决Google网站管理员工具的抓取错误 Google SEO优化 SEO推广 第2张

    七、超时

    网站超时也是出现抓取错误的原因之一,如果出现超时现象,Googlebot会停止抓取。超时的错误类型有:

    1:DNS超时,可以使用Nslookup 命令检测DNS,出现DNS超时最大的因素是域名服务商的DNS服务器不稳定。

    2:网址超时,在某一个特定页面,而不是整个域的错误。

    3:robots.txt超时,如果你网站有robots.txt,但服务器超时,Googlebot会假定该文件不存在。

    4:动态网页的响应时间过长而造成网页载入时间过长。

    来源:卢松松博客


    seozixuewang




    手机扫码阅读

    更多资讯

    专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。

    威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局

    合作企业 COOPERATOR

    沐兮知识产权代理有限公司

    商标查询, 商标注册, 软件著作权申请, 商标续展, 知识产权代理
    撤三业务, 商标类法律文书咨询业务, 商标业务咨询

    阿里云

    域名注册, 企业邮局/邮箱注册, ECS, 香港主机, 海外主机

    联系我们 CONTACT

    山东 . 威海 青岛中路87 阿里巴巴四十大道 A1512号
    SERVICE@BRILINE.NET
    设计、建站、邮箱、主机、改版、维护
    开发、数据维护、私有云、服务器
    商标注册、变更、复审、答辩、续展、备案
      周一 - 周五 13385420936
    0.046900s