要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
前几天在搜索引擎优化是自然和平衡的艺术这个帖子里提到，如果你的网站外部链接突然大量增加，有可能会伤害你的网站排名。一个读者liushui提出保留意见，认为外部链接不会降低排名，否则对付竞争对手就太简单了。当然他的说法是很有道理的，如果真的仅仅靠给竞争对手制造大量垃圾链接就能把竞争对手的网站排名降低，那也太不公平了。这种情况到目前为止并没有大量发生，但竞争对手有没有可能破坏你网站的排名呢？我一直认为
在这些年的SEO诊断中，我这里发现不低于20%的网站都存在着一个严重的抓取问题，但是奇怪的是，却始终得不到大多数人的重视。而研究透彻并分享这个问题的人，更是没有发现。今天这篇文章，我们就来看一下这个问题。什么问题呢?百度的致命抓取异常？你重视过吗？ 站长 SEO 网站 建站教程 第1张连接超时，或者抓取超时，如果你的网站出现过这个问题，至今没有处理到位的，就把这篇文章转载一下吧。很多人说，不就是几
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容：1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内
