如何让 sogou spider 解除对我网站的封锁?
- 威海Spider 威海sogou spider
- 1236
在您的网站的问题改正之后,点此提交申请解封
Public @ 2021-08-22 15:38:54
在您的网站的问题改正之后,点此提交申请解封
我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?11-29.123.如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。User-agent: *Disallow: /*?*更详细的robots设置方法,可以看下面链接课程https://ke.seowhy.com/play/94
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面
Sogou web spider 和 Sogou inst spider请注意,根据标准,ua区分大小写。
内容优良而独特的页面,如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面,过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。