1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-content：WordPress的插件文件和上传的文件，很多需要用户登录才能访问，不允许百度收录，增加wordpress网站的优化效果。 User-agent: * Disallow: /wp-content/
一般来说，url当中的#号是一个锚点的标志位，这样的url打开之后会将访问者的视线定位在指定位置上，令访问者直接看到网页中间的一段内容。自从推特流行开始，#号被附予了新的意义——话题。很多站长直接在#号后面加参数且参数是有效的，即#号去掉与不去掉，打开的网页完全不同。目前百度对带#号URL的收录策略是：去掉#号后面的内容，仅对#号前面的url进行建库。这样就导致一些站长认为有意义有价值的页面，百度
不能。Canonical标签的作用是帮助搜索引擎正确识别源代码当中只有部分网页上相同内容的页面，它不能用于欺诈或破坏搜索引擎算法。Canonical标签可以帮助提高搜索排名，但它不能损害竞争对手或陷害竞争对手。
1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-c
笔者在百度站长平台检测自己的博客时，出于优化的惯性，对博客的Rbots进行了检测，进而在百度搜索了WordPress博客robots的写法设置问题，看了很多wordpress高手对robots优化设置后，终于有所领悟，在此也分享给一些wordpress新手看看如何去善用robots.txt对wordpress博客进行优化。一、先来普及下robots.txt的概念：robots.txt(统一小写)是
