百度各个产品使用不同的user-agent:
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
来源：360站长平台
我以前曾经提到过，网站的图片是非常耗费流量的，去年我就曾经统计过，两天的时间博客有20多G的访问流量，图片所在的目录upload占用了18.6G，而文章所在目录只用了1.3G流量，可见图片占用流量资源之巨大，这也就是很多人都喜欢将图片文件放在第三方免费网络相册的原因。然而，如果条件允许的话（比如有独立的服务器，充足的流量），那么将图片存储在自己的网站空间，反而可以利用搜索引擎的图片搜索给自己带来不
网站301重定向是指将旧的URL地址重定向到新的URL地址上，主要是为了避免搜索引擎和用户访问失效的页面，同时还可以保留原有的页面权重和排名。 以下是了解网站301重定向的一些基础知识： 1. 什么是301重定向？ 301重定向是一种HTTP状态码，它平稳地将原始URL指向一个新的URL地址，使搜索引擎和用户自动跳转到新的页面。 2. 为什么需要301重定向？ 301重定向可以帮助用户访
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt
