百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
| 概念解释动态链接：即指在URL中出现“?” 这样的参数符号，并以aspx、asp、jsp、php、perl、cgi为后缀的url。静态链接：是指网页地址或者网页链接中，不带有任何参数的URL。伪静态是指展示出来的是以html一类的静态页面形式，但其实是用ASP一类的动态脚本来处理的。通过浏览器访问地址和真的静态页面没区别。目录形式连接：https://tech.ifeng.com/c/8Ap2
| 什么是网站301？● 不带www的域名301到带www的域名● 老的链接301给新的链接| 为什么做网站301？● 权重集中● 权重传递| 如何做网站301？● 服务器上，宝塔面板● 服务器技术操作● IDC服务器面板上实现● 网站程序后台实现注：index不用301给主域名；动态URL不用301给伪静态链接。（搜外网）
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
