要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
为什么网页的标题标签太长反而不好？网页的标题标签不要太长原因是：1、搜索引擎网页标题的索引(index)里面只保存标题的前64个字节。多出来的部分用三点表示。试试百度和谷歌，是不是这样？2、关键词在一个页面的重要性由多方面决定，其中有一个很重要的决定因素是：这个关键词或关键字词组在标题中所占的比重。比如：在其他条件都一样的情况下，一个标题是“我爱百度，搜索女朋友很酷很爽”，另一个标题是“我爱百度，
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬
