Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

搜索引擎是什么

所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等,同时可添加其他一系列辅助模块,以为用户创造更好的网络使用环境。

Public @ 2011-11-23 16:22:57

360搜索的网站收录标准是什么?

360搜索并不承诺会收录所有网页,我们会优先收录高质量、符合用户搜索体验的网站、网页。360搜索不欢迎以下类型的网站:网站内容不符合相关法律法规和政策;网站使用了不正当的手段获取用户信息或存在恶意欺骗、钓鱼、挂马等行为;网站存在多次跳转、广告与弹窗过多等问题;网站是采用复制方式镜像其他网站内容;网站做了很多针对搜索引擎而非用户的处理,以获得在搜索结果中的不恰当排名;其他不被欢迎的网站类型;建议网站

Public @ 2011-09-10 15:55:47

我的网页为什么会从搜狗搜索结果中消失?

搜狗并不允诺所有网页都可从搜狗搜索到。如果您的网页长时间无法从搜狗搜索到,或者突然从搜狗的搜索结果中消失,可能的原因有:A. 您的网页不符合用户的搜索体验B. 您的网站所在服务器不稳定,被搜狗暂时性去除,稳定之后,问题会得到解决C. 您的网页内容有不符合国家法律和法规规定的地方D. 其他技术性问题以下的说法是错误的和毫无根据的:A. 参与了搜狗推广但未续费,会从搜狗搜索结果中消失B. 参与了其他搜

Public @ 2015-08-29 15:55:43

新网站怎么让百度快一点收录?

本文大纲:1、百度网站收录是什么?为什么不收录?2、百度收录网站的途径是什么?3、百度快速收录是什么?提交收录是什么?4、百度加快网站收录的三种方式(快速收录权限、蜘蛛池、老域名)百度网站收录是什么?为什么不收录?百度网站收录是什么,就如字面意思,就是网站被百度收录了。收录又可分为网站首页收录和内页收录。网站首页收录,即这个网站首页主域名被收录了。举例白杨SEO博客(baiyangseo.com)

Public @ 2015-02-22 15:34:43

更多您感兴趣的搜索

0.578285s