Categories

Tags

RobotsMETA标签的写法

Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

来源：360站长平台


 Public @ 2019-11-07 16:09:03

叨叨死链这回事儿

叨叨死链是指在互联网上的一种现象，即某个链接已经失效，无法正常访问或跳转到目标网页或资源。叨叨死链可能是由于目标网页删除、网页重构导致链接改变或输入错误等原因造成的。 叨叨死链在互联网上比较常见，特别是在一些较老的或不经常维护的网站上。这些死链会给用户带来不便，尤其当用户点击一个链接时，期望能够直接访问相关内容，却发现链接已经失效，无法打开目标页面。 对于网站所有者来说，及时修复死链是保持网站

 Public @ 2023-07-21 00:50:23

关于Sitemap

百度一直致力于将优质内容索引并呈现给搜索用户，因此百度站长平台推出了Sitemap工具，网站可通过该工具将优质资源主动反馈提交给百度站长平台，加强百度对优质资源的收录，优化收录效果。Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页，包括百度通过传统抓取方式可能找不到的网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次

 Public @ 2011-06-13 16:11:59

robots文件中屏蔽的为什么还可以收录？

我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收

 Public @ 2021-04-26 16:09:29

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo

 Public @ 2015-07-18 16:09:24

更多您感兴趣的搜索

0.463697s