Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

百度搜索结果右侧模块修改小技巧

“百度搜索结果右侧的小图标是错误的,如何修改?”也就是上图中所标示的位置。出现这样的情况网站管理员比较头疼,上周在VIP大讲堂学员微信群里,蘑菇街SEO人赵伟急火火地问:搜“美丽说”,右侧我们蘑菇街的图标是错的,怎么改?急急急!为此,院长走访了专门负责此类投诉的同事,协助赵伟走了一遍流程,发现搜索结果右侧图标还是很好改的嘛。下面就让我们看看蘑菇街SEO人赵伟做的经验分享。背景是这样滴:某日Boss

Public @ 2012-03-16 15:22:29

网站收录释疑:当遇到收录问题,我们该怎么处理

做SEO的童鞋们都清楚,网站收录是一个网站能够获得排名的基础,网站内容被搜索引擎收录,它才有可能在这个搜索引擎里获得排名,这是先决条件。网站收录是什么?打个比方,一个高中生要在全国高考获得名次,不是ta成绩多好就行,而是首先要报名,报名之后信息录入高考生档案,ta才有了参与高考排名的机会。至于ta能考多少名,这才取决于ta的成绩。网站收录是搜索引擎蜘蛛对一个网页进行爬取后,将页面内容数据放入搜索引

Public @ 2014-11-14 15:55:18

网站不收录怎么办,这几个自测是否没做过?

如果您的网站没有被搜索引擎收录,可以尝试以下方法进行处理: 1. 检查 robots.txt 文件:确保您的网站没有被该文件禁止收录。您可以在网站根目录的robots.txt文件中查看并编辑。确保没有设置了类似"Disallow: /"的指令,这会禁止搜索引擎收录您的整个网站。 2. 提交网站站点地图:创建一个XML网站地图,并通过Google Search Console或其他搜索引擎的We

Public @ 2023-07-30 22:50:35

更多您感兴趣的搜索

0.384679s