专注数字产品开发
将创新和需求转化为专业的数字化解决方案

帮助企业在不断变化的数字环境中脱颖而出
©2023 Copyright reserverd

威海佰年网络技术有限公司 首页知识库

  • 搜狗搜索蜘蛛爬虫抓取

    发布:2010-02-28 seozixuewang.com
  • sogou spider User-Agent字段是什么?

    PC端UA为

    Sogou web spider

    Sogou inst spider

    Sogou spider

    无线端UA为

    Sogou wap spider

    请注意,根据标准,ua区分大小写。

    搜狗spider的IP有哪些?

    搜狗暂不对外提供搜狗spider IP列表,但您可以通过DNS反查IP的方式判断某只spider是否来自搜狗搜索引擎。根据不同平台有不同的验证方法。

    linux平台:

    命令为host ip,如下图。搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

    在windows平台或者IBM OS/2平台:

    命令为nslookup ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

    mac os平台:

    命令为dig ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

    sogou spider 如何反应我网站上页面的更新?

    sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面。

    搜狗spider的抓取频次是怎样的?

    sogou spider 对于同一个 IP 地址的服务器主机,只建立一个连接,抓取间隔速度控制在几秒一次。一个网页被收录后,最快也要过几天以后才会去更新。如果持续不断地抓取您的网站,请注意您的网站上的网页是否每次访问都产生新的链接。

    如果您认为 sogou spider 对于您的网站抓取过快,请与我们联系,并最好能提供访问日志中sogou spider 访问的部分,而不要直接将搜狗spider的ua封禁。

    sogou spider 喜欢收录什么样的页面

    内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。

    链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。

    如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。

    来源:搜狗资源平台


    seozixuewang




    手机扫码阅读

    更多资讯

    专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。

    威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局

    合作企业 COOPERATOR

    沐兮知识产权代理有限公司

    商标查询, 商标注册, 软件著作权申请, 商标续展, 知识产权代理
    撤三业务, 商标类法律文书咨询业务, 商标业务咨询

    阿里云

    域名注册, 企业邮局/邮箱注册, ECS, 香港主机, 海外主机

    联系我们 CONTACT

    山东 . 威海 青岛中路87 阿里巴巴四十大道 A1512号
    SERVICE@BRILINE.NET
    设计、建站、邮箱、主机、改版、维护
    开发、数据维护、私有云、服务器
    商标注册、变更、复审、答辩、续展、备案
      周一 - 周五 13385420936
    0.244864s