Categories


Tags


robots封禁后,为什么线上结果没有立刻消除或百度爬虫依旧对封禁目录进行抓取?

您好,网站在设置robots封禁,您可以使用搜索资源平台的robots工具进行更新,更新后可以尝试使用抓取诊断工具进行检测。 百度在robots封禁后,百度可以保证不再对robots封禁的网站和目录进行抓取,但无法保证线上结果会立即消除,线上更新需要一定周期。如您站想快速删除索引,您可以将域名设置404状态,使用死链工具进行提交。如问题依旧存在,请进行人工反馈。

Public @ 2011-09-19 16:08:16

移动sitemap协议mobile type升级公告

各位亲爱的管理员:为了更好地顺应时代潮流,完善对移动站点的处理,使百度与站长之间的沟通更加顺畅,百度技术部门对PC移动化方式进行了概念上的规范,分别将目前主流的三种PC站移动化方式总结为:跳转适配、代码适配和自适应。相应的,百度站长平台对移动sitemap协议里的mobile type标注进行更新升级,修改了对自适应页面的标注方式,增加了对代码适配页面的标注方式。现在移动sitemap协议mobi

Public @ 2018-06-16 16:07:01

百度搜索资源平台-平台工具使用手册-普通收录

1、网站验证2、普通收录3、快速收录4、死链提交5、网站改版6、索引量7、流量与关键词8、抓取异常9、抓取诊断10、抓取频次11、robots12、反馈中心13、站点子链14、移动适配15、分润中心16、站点属性如何选择普通收录方式API推送:最为快速的提交方式,建议您将站点当天新产出链接立即通过此方式推送给百度,以保证新链接可以及时被百度收录。sitemap:您可以定期将网站链接放到Sitema

Public @ 2018-04-29 16:02:44

百度搜索资源平台-死链提交工具升级公告

尊敬的用户: 您好!感谢您一直以来对百度搜索资源平台的支持和信任。为了提高我们的服务质量,我们将于近期升级百度搜索资源平台的死链提交工具。具体升级内容如下: 1. 升级后的死链提交工具将支持多个链接的提交,帮助用户更快速、更便捷地提交死链信息。 2. 升级后的死链提交工具将支持PC端和移动端的链接提交,满足用户的不同需求。 3. 升级后的死链提交工具将支持一键识别死链功能,用户无需手动检查

Public @ 2023-04-25 22:00:18

百度搜索资源平台-Robots

使用说明1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。4. 如需检测未验证站点的robots设置,请

Public @ 2020-03-13 16:06:47

更多您感兴趣的搜索

0.580125s