Categories


Tags


我希望我的网站内容被搜狗索引但不被保存快照,我该怎么做?

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。

和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。


Public @ 2019-12-28 15:38:55

什么是搜索引擎蜘蛛

搜索引擎蜘蛛可以简单的理解为页面信息采集工具,不需要人工去采集,它会自动根据URL链接一个一个爬行过去,然后再抓取页面的信息,然后再存到服务器的列队中,为用户提供目标主题所需要的数据资源,搜索引擎蜘蛛不是所有的页面都会抓取的,主要有三个原因:一是技术上的原因。二是服务器存储方面的原因。三是提供用户搜索数据量太大,会影响效率。所以说,搜索引擎蜘蛛一般只是抓取那些重要的网页,而在抓取的时候评价重要性主

Public @ 2017-10-04 16:22:29

为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

虽然您在网站上加了robots.txt文件,但搜狗搜索引擎仍然可以在搜索结果中显示您的网站。这是因为robots.txt文件只是一个标准化的协议,它主要用于指导搜索引擎爬虫(蜘蛛)如何访问和索引网站的内容。 尽管大多数搜索引擎都会遵循robots.txt文件中的规则,但有些搜索引擎可能会选择忽略它或解释不同的方式。这可能是因为搜狗搜索引擎没有完全遵循robots.txt文件的指示,或者由于其他原

Public @ 2023-07-31 04:00:31

为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。

Public @ 2018-01-11 15:38:56

更多您感兴趣的搜索

0.476405s