Categories

Tags

robots封禁后，为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取？

您好，网站在设置robots封禁，您可以使用搜索资源平台的robots工具进行更新，更新后可以尝试使用抓取诊断工具进行检测。 百度在robots封禁后，百度可以保证不再对robots封禁的网站和目录进行抓取，但无法保证线上结果会立即消除，线上更新需要一定周期。如您站想快速删除索引，您可以将域名设置404状态，使用死链工具进行提交。如问题依旧存在，请进行人工反馈。

 Public @ 2011-09-19 16:08:16

新版闭站保护工具上线公告

亲爱的用户们， 我们很高兴向大家宣布，新版闭站保护工具已经上线啦！这个工具是为了保护我们的网站免受各种网络攻击和故障影响而设计的。 新版闭站保护工具具有以下特点和功能： 1. 强大的防火墙：工具内置了一套先进的防火墙系统，能够实时监测和阻止网络攻击，保护网站免受各种恶意行为的侵害。 2. 自动备份和恢复：工具会定期自动备份网站的数据和文件，在发生意外情况时能够迅速恢复网站的正常运行。 3

 Public @ 2023-07-27 14:50:31

robots封禁问题

robots封禁问题】在抓取诊断工具中如果返回的抓取失败结论是robots封禁，请确认您是否对该网址设置了robots，阻止百度spider抓取网站的某些内容，如果您未使用robots文件屏蔽百度，请点击旁边的报错链接，百度会立即更新您站点的robots信息；如果是您的误操作导致了封禁，请及时修改robots文件，避免造成您的网站在百度收录量和流量的下降。来源：百度搜索资源平台 百度搜索学堂

 Public @ 2015-12-11 16:02:22

站点referer限制应增加豁免百度https

百度全站https后，发现有站点无法通过部分浏览器下的百度搜索引擎进行访问，如在ie浏览器中可以正常访问（百度referer的协议是http://www.baidu.com)，而在chrome浏览器中无法正常访问（百度referer的协议是https://www.baidu.com)。原因是这些站点针对百度https协议头的referer做了限制处理。referer限制：网站为了避免攻击或者防止盗

 Public @ 2011-02-24 16:07:11

更多您感兴趣的搜索

0.454030s