要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
质量指南 - 基本原则设计网页时该考虑的是用户，而不是搜索引擎。 不要欺骗用户，或提交给搜索引擎一种内容，而显示给用户另一种，这种做法通常称为"隐藏".请不要为了提高搜索引擎排名而弄虚作假。 一个简单分辨是非的方法是：您是否可以坦然地跟竞争对手网站解释您对网站所做的事情。 另一个有用的测试手段即扪心自问："这能否给我的用户带来帮助？ 如果不存在搜索引擎，我是否还会这样
网站的SEO优化过程中不免会分析网站日志，网站日志的分析和诊断就像给网站看病一样，我们通过网站日志的分析，可以更加清楚的知道网站的健康状况，使用这些数据更有利于开展网站SEO优化。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。对于专业从事搜索引擎优化工作者而言，网站日志可以记录各搜索引擎蜘蛛机器人爬行网
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
