专注数字产品开发
将创新和需求转化为专业的数字化解决方案

帮助企业在不断变化的数字环境中脱颖而出
©2023 Copyright reserverd

威海佰年网络技术有限公司 首页知识库

  • 搜索问答剧场【七】“robots文件”常见问题解析

    发布:2015-05-15 seozixuewang.com
  • 哈喽大家好!

    【搜索问答剧场】最新一集如期而至,平小雕又带着满满的知识干货回来啦!准备好迎接知识的洗礼了嘛?

    第五集【搜索问答剧场】中,跟大家提到了【Robots】工具。

    本期就来详细教大家如何灵活地使用【Robots】工具,以及如何正确设置网站整体的抓取范围。

    一、了解robots文件

    1、Q:什么是robots文件?

    A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源。

    2、Q:robots.txt文件怎么写?

    文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

    ":"

    在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

    User-agent:该项的值用于描述搜索引擎robot的名字。

    Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

    Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

    如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

    说明:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

    robots.txt文件举例:

    3、Q:robots.txt文件放在哪里?

    A:robots.txt文件应该放置在网站根目录下。网站对应robots文件的URL:

    详情可参考《什么是robots文件》

    二、如何使用【Robots】工具

    1、Q:【Robots】工具的作用?

    A:站长可以通过搜索资源平台【Robots】工具来创建、校验、更新robots.txt文件,或查看网站robots.txt文件是否成功生效的情况。

    2、Q:使用【Robots】工具的注意事项?

    A:【Robots】工具目前支持48k的文件内容检测。同时请保证网站的robots.txt文件不要过大,目录最长不超过250个字符。

    robots文件更新和提交后,百度蜘蛛不是立即调整停止/开放抓取的,搜索引擎需要逐渐完成robots.txt的更新。

    3、Q:robots.txt中设置了禁止百度收录网站的内容,为何还出现在百度搜索结果中?

    A:可能存在以下问题:

    (1)robots文件不能够有效访问。站长可以在资源平台-【Robots】工具查看robots文件的访问情况。

    (2)文件暂未生效。robots文件在结果中生效一般需要1-2周,可以关注。

    4、【Robots】工具校验提示解读?

    A:可能出现以下情况:

    显示错误码404,robots文件可能无法被访问。

    显示错误码301,robots文件可能存在跳转。

    显示错误码500,robots页面访问失败。

    以上情况时,建议自查robots文件情况针对性优化后,重新提交校验。

    5、Q:robots文件误封禁,如何处理?

    A:(1)修改robots文件,封禁改为允许。

    (2)在搜索资源平台检测并更新robots文件,若显示抓取失败,可以多尝试点击几次,触发蜘蛛抓取站点。

    (3)关注【抓取频次】数据情况,可以适当调整抓取频次。

    (4)可以使用【链接提交】,主动提交相关资源链接。

    来源:百度搜索资源平台


    seozixuewang




    手机扫码阅读

    更多资讯

    专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。

    威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局

    合作企业 COOPERATOR

    沐兮知识产权代理有限公司

    商标查询, 商标注册, 软件著作权申请, 商标续展, 知识产权代理
    撤三业务, 商标类法律文书咨询业务, 商标业务咨询

    阿里云

    域名注册, 企业邮局/邮箱注册, ECS, 香港主机, 海外主机

    联系我们 CONTACT

    山东 . 威海 青岛中路87 阿里巴巴四十大道 A1512号
    SERVICE@BRILINE.NET
    设计、建站、邮箱、主机、改版、维护
    开发、数据维护、私有云、服务器
    商标注册、变更、复审、答辩、续展、备案
      周一 - 周五 13385420936
    0.051646s