要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
1. 了解人们正在搜索哪些关键词2. 创建搜索者希望看到的内容3. 引人注目的标题获得点击4. 保持网址简短和描述性5. 图片优化6. 确保内容易于阅读7. 建立高质量的外部链接目录搜索引擎优化应该如何开始?我记得我当初学习搜索引擎优化的时候，我几乎被爬虫、反向链接、锚文本、nofollow、noindex、白帽与黑帽等之类的术语所吓倒。不知道您是不是和我一样?如果是，建议您认真阅读本篇文章 -
Google排名算法非常复杂，它涉及到多个不同的指标，而且不断地在变化和进步。Google的算法非常神秘，在公开的范围内并没有“完全解密”的可能性，因为Google定期更新算法，使其更加“安全”。 在最常用的指标中，Google考虑了以下指标： * 内容和结构：主题内容，标题标签，URL结构，内容排版，图像质量等等; * 编码：使用安全的编码技术，如HMTL5,CSS3; * 链接：外链
以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁I
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
