Categories

Tags

Robots META标签的写法

Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合：

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

其中

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”ALL”>；

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”NONE”>

绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：

<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。


 Public @ 2019-08-04 16:09:30

大型网站如何做301重定向的策略

最近笔者在SEO总监群看到有朋友的网站遇到这样一个问题：网站更换新域名并做了301重定向，但是一段时间后老域名的排名转移到了新域名，而新域名的排名逐渐下降（越来越严重），时隔半年排名也没有恢复。我所经历的301这样让我想起了曾经做过的301，当时笔者担任华图的SEO负责人，为了品牌升级需要把老域名切换成新双拼域名。为此，我做了大量的准备工作。没想到结构依然非常悲剧，301重定向之后chinaz的预

 Public @ 2022-09-11 16:09:11

网站URL中使用#号对于SEO的影响，你知道吗？

一般来说，url当中的#号是一个锚点的标志位，这样的url打开之后会将访问者的视线定位在指定位置上，令访问者直接看到网页中间的一段内容。自从推特流行开始，#号被附予了新的意义——话题。很多站长直接在#号后面加参数且参数是有效的，即#号去掉与不去掉，打开的网页完全不同。目前百度对带#号URL的收录策略是：去掉#号后面的内容，仅对#号前面的url进行建库。这样就导致一些站长认为有意义有价值的页面，百度

 Public @ 2013-10-14 16:12:03

什么是robots文件

什么是robots文件Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网

 Public @ 2017-09-19 16:02:20

Robots META标签的写法

Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me

 Public @ 2019-08-04 16:09:30

更多您感兴趣的搜索

0.638899s