Categories

Tags

RobotsMETA标签的写法

Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

来源：360站长平台


 Public @ 2019-11-07 16:09:03

百度Sitemap协议

百度Sitemap协议是百度支持的网页收录标准，站长可以将网站中的网页url制作成标准的Sitemap文件，用于指引百度搜索引擎快速、全面的抓取或更新网站上内容及处理错误信息。百度Sitemap支持标准的XML格式Sitemap文件以及文本格式的Sitemap文件，如果您有多个Sitemap文件，还可以使用Sitemap索引文件提交。每个Sitemap文件最多可包含50,000个网址，并且应小于&

 Public @ 2021-10-21 16:11:58

网址规范化问题

网站出现多个不规范网址会给搜索引擎收录和排名带来很多麻烦。网址规范化造成的几个问题：?CMS系统在不同地方链接到不同的URL，分散了页面权重，不利于排名。?复制内容过多，搜索引擎可能认为有作弊嫌疑。?外部链接也可能指向不同URL，分散权重。?搜索引擎把资源花在收录不规范的网址上，留下给独特内容的资源就减少了。?搜索引擎判断的规范化网址不是站长想要的那个网址。来源：搜外网

 Public @ 2013-03-06 16:11:22

robot.txt在SEO中的作用

鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文

 Public @ 2023-01-27 16:09:31

哪些网站的目录需求运用robots.txt文件制止抓取

1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如

 Public @ 2015-08-28 16:09:28

更多您感兴趣的搜索

0.531319s