要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
一、网站收录数量减少 网站被降权后，网站将会受到谷歌搜索引擎的打击，在谷歌搜索引擎中，网站收录数会明显减少，排名低。 二、搜索点击量大幅度降低 搜索点击量大幅度降低，表明谷歌搜索引擎对网站信誉不再信任，网站不会被靠前曝光。 三、BR和SR指标大幅下降 BR和SR指标是谷歌搜索引擎评估网站权重的关键指标，BR是网站主页的凤凰指数，SR是其他页面的凤凰指数，因此，要想获得谷歌搜索引擎的信
1、详细了解浏览器及用户群 设计一个满足用户访问和需求的网站，首先要深入了解浏览器和用户的行为特征，做到内容易懂易读，考虑运营商的流量和速度，以及用户的偏好。 2、易读的文本， 清晰的排版 文本是网页的核心，应注重文字的选择、连贯性和逻辑性。为了使内容易于阅读，应该选择字体、段落、文章排版等，以及明确、简洁的模式进行作用和组织。 3、快速的页面载入速度 速度是所有网站设计者必不可少的
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以
