Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
使用黑帽SEO的人，心里或多或少都存在一个假设，那就是搜索引擎没自己聪明。在前几天的搜索引擎怎样判断垃圾留言这个帖子里，就有读者认为我把搜索引擎快说成神了。我想很多人都会抱有这种想法，理由也很简单，搜索结果中含有大把大把的作弊网站，垃圾网站。如果搜索引擎真的那么聪明的话，这些网站怎么还会排名不错呢？对搜索引擎到底有多聪明，今天谈谈自己的想法。首先从常理上来说，主要搜索引擎内部的工程师，大多都是博士
搜索引擎搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。以下是登录几个重要搜索引擎的网站登录入口地址:百度：http://zhanzhang.baidu.com/
步骤一：查看User-Agent字段，百度蜘蛛的User-Agent为：Baiduspider 步骤二：查看IP来源，如果IP来源为baidu.com，则为百度蜘蛛。
Baiduspider抓取造成的带宽堵塞？Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至反馈中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。如果大家对百度spider还有别的疑问，大家可以到[学堂同学汇
