Categories


Tags


使用链接提交工具,却推送了不存在的url?

院长最近又收到工程师反馈,工程师查看反馈中心站点问题,发现有站长通过普通收录推送的数据,是含中文url,对搜索并不友好,需要站长自查推送问题;结果站长却反馈,网站并不存在这些url,那么,站长在普通收录工具中推送的这些不存在的中文url,是怎么出现的呢?

网站自查反馈:

站长是用WordPress建站系统搭建的站点,并使用平台的普通收录工具,向百度提交数据。为了推送数据,站长使用了一款名为Baidu Submit URLs的插件(插件来自第三方,非百度出品),而且,使用此款插件的站点并不在少数。

经排查发现:这个插件拼接的url格式是站点url+post_name

这一列内容在数据库中的格式是以下效果:

推送后会出现,给百度的地址是:http://www.XXX.com/2017百度AI开发者大会

而站点真实地址却是:http://www.XXX.com/archives/63

最终定位问题:插件采用了域名+标题这种形式在进行推送,而推送的URL会301到真实的URL上面,就会出现,推送给百度的数据,实际上是一条不存在的含中文url,这是推送插件的错误导致,站长们需要把程序修补一下。

院长建议:

普通收录工具可以快速帮助站点实现内容抓取,部分站长会使用线上第三方的推送插件,这里,希望站长们先检查下插件数据逻辑,否则推送错误数据,站长们自己都不知道呢!

来源:百度搜索资源平台 百度搜索学堂


Public @ 2019-04-18 16:02:17

为什么抓取频次突然减少?

有几种可能导致抓取频次突然减少: 1. 目标网站更新频率降低:如果目标网站上新内容的频率降低,爬虫抓取的频率也会相应减少。 2. 网站防护机制升级:目标网站可能会升级其防护机制,包括对于爬虫的限制,例如设置IP限制、频率限制等,这些限制可能导致爬虫的抓取频次减少。 3. 抓取程序故障:抓取程序可能出现故障,例如程序崩溃、运行异常等,导致抓取频次下降。 4. 数据分析需要减少抓取频次:如果数

Public @ 2023-06-01 11:50:20

为什么抓取频次突然减少?

抓取频次突然减少可能是由以下原因造成的: 1. 网站更新或改版:当网站进行更新或改版时,可能会暂停服务或改变页面结构,导致爬虫无法访问或抓取数据。 2. IP被封禁:如果爬虫使用同一个IP地址多次访问某个网站,网站可能会将该IP地址封禁,导致无法访问或抓取数据。 3. 爬虫程序出现问题:如果爬虫程序出现错误或崩溃,可能会导致无法正常抓取数据。 4. 网络连接问题:当网络连接不稳定或遭受干扰

Public @ 2023-06-26 14:00:21

更多您感兴趣的搜索

0.425879s