Categories

Tags

RobotsMETA标签的写法

Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

来源：360站长平台


 Public @ 2019-11-07 16:09:03

站内定向锚文本的重要作用

SEO优化中合理分配站内定向锚文本，最常见的方式是在页面正文中，人工或者自动添加其他页面的内部链接。站内定向锚文本起到哪些重要作用？1、提高关键词排名锚文本中出现的关键词链接到另外一个页面，告诉搜索引擎对方页面要优化的关键词，有效的提高网站关键词排名。2、降低用户跳出率用户进入到网站，如果用户打开网站发现并没有他想要的内容，会选择直接退出网站。通过锚文本有效的提高用户点击链接进去浏览相关页面。3、

 Public @ 2012-03-30 16:11:32

网站导航怎么设计？网站导航设计注意事项

清晰的导航系统是网站设计的重要部分之一。网站导航的作用就是引导用户快速找到主要信息，指引用户到达目标页面，合理的导航设计大大提升用户的体验感，提高搜索引擎对网站的友好性。站在SEO角度上，网站导航怎么设计？1、文字导航使用HTML文字导航，文字链接对搜索引擎阻力最小的抓取通道，因此不要在导航上给搜索引擎设置任何的障碍。2、锚文本包含关键词为了提升关键词的排名，可以针对某些关键词做锚文本，记住避免过

 Public @ 2020-07-11 16:11:45

360搜索对Robots协议的扩展

360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：

 Public @ 2019-02-15 16:09:33

关于robots.txt的二三事

1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访

 Public @ 2023-04-11 13:00:34

更多您感兴趣的搜索

0.410324s