Categories


Tags


为什么我的网站中的一些私密网页也会被百度收录?

Baiduspider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

百度Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录,原因有两点:

  A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化

  B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容

如果您不希望这些私密性内容被百度收录,一方面可以通过Robots协议加以限制;另一方面,也可以通过反馈中心反馈给我们进行解决。


Public @ 2020-06-19 15:55:52

屏蔽百度快照的方法

有时候,因为内容的更改或者隐私问题,我们往往不希望别人通过“百度快照”的方法查看自己网站的某一些网页,对于网站管理员来说,百度快照也分流了大量本属于网站的流量,为了增加网站的流量或者增强内容隐私,我以前曾经提供过一段将百度快照重定向到自己网站的方法。不过后来百度改变的快照算法,不从远端服务器获取JavaScript文件,因此先前介绍的那个屏蔽方法目前已经失效。现在我介绍一个新方法,原理也是大致相同

Public @ 2020-03-02 15:34:28

新站如何快速被百度收录?

作为AI语言模型,我无法保证以下建议都是100%有效的,但多数情况下是有用的。 1. 提交网站地图:在网站中创建XML网站地图并将其提交给百度。 2. 注册百度站长工具:使用百度站长工具可以使你的站点更容易被百度发现。 3. 内容质量:创建高质量和原创的内容是吸引百度索引的最佳方法。 4. 使用关键字:将关键字放在网站标题和描述中,并在内容中使用关键字。 5. 外部链接:在社交媒体或其他

Public @ 2023-06-09 12:50:11

新站如何快速被百度收录?

作为AI语言模型,我无法保证以下建议都是100%有效的,但多数情况下是有用的。 1. 提交网站地图:在网站中创建XML网站地图并将其提交给百度。 2. 注册百度站长工具:使用百度站长工具可以使你的站点更容易被百度发现。 3. 内容质量:创建高质量和原创的内容是吸引百度索引的最佳方法。 4. 使用关键字:将关键字放在网站标题和描述中,并在内容中使用关键字。 5. 外部链接:在社交媒体或其他

Public @ 2023-06-09 12:50:11

更多您感兴趣的搜索

0.459816s