尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt 文件的格式，使其更加易读易懂，方便网站所有者进行设置。 为保障您的权益，请您在更新协议前，仔细阅读协议内容，并根据自身需要进行设置。如果您有任何疑问或建议，欢迎联系百度搜索客户服务，我们将竭诚为您服务。 感谢您一直以来对百度搜索的支持和信任！ 百度搜索团队 2022年5月1日
1. 编写.htaccess文件 打开文本编辑器，输入以下代码： ``` RewriteEngine On RewriteCond %{HTTP_HOST} ^旧网址.com [NC,OR] RewriteCond %{HTTP_HOST} ^www.旧网址.com [NC] RewriteRule ^(.*)$ http://新网址.com/$1 [L,R=301,NC] ``` 将上面的
Nofollow属性推出以后，Matt Cutts多次说过，nofollow既可以用在论坛，博客等的留言中，代表这些链接不是站长能控制和背书的，也可以用在某些内部链接，以达到控制内部链接权重和PR流动及分布的目的。最常见的应用是在网站联系我们，隐私权政策，用户条款等链接上。这些网页往往都是整站有链接，如果没有使用nofollow，整站的链接权重都会平等的流动到这些网页上。而像隐私权政策这些网页一般
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
