百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
本文更新了百度官方提供的301问题汇总，参见文章结尾。这篇文章可看可不看，以前讲301重定向都是回复别人的评论，而没在自己博客上发布过一篇详细关于301重定向的文章，在我印象中，已经有好几位朋友让我发布一篇关于301重定向的文章。索性今天我就详细写一下吧，也许此文对你有用，也许此文对大多数人已经是再常见不过的问题了，你说是吧weiking。301永久重定向对SEO无任何不好的影响，而且网页A的关键
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
