sogou spider 喜欢收录什么样的页面
- 威海Spider 威海sogou spider
- 1233
内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。
链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。
如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。
来源:搜狗资源平台
内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。
链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。
如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。
来源:搜狗资源平台
亲爱的网站管理员:近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。移动ua和pc ua详情如下:新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/
您可以在网站的 robots.txt 文件中添加以下内容,以阻止 Baiduspider 访问您的网站: User-agent: Baiduspider Disallow: / 这会告诉 Baiduspider 不要访问您的整个网站。请注意,这也可能会阻止其他搜索引擎的访问。如果您只想阻止 Baiduspider 的访问,可以使用以下代码: User-agent: Baiduspider D
sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。
在您的网站的问题改正之后,点此提交申请解封