song 提问于 3年 之前
网站上线三个多月了,上线前就做了伪静态,目前被收录近万的页面都是伪静态地址,线上没有动态地址的入口,为什么网站日志里抓取的全部都是动态地址呢?
网兼吧 回复于 3年 之前
用robots.txt禁止抓取呢
3 个回答
Zac 管理员 回答于 3年 之前
如果搜索引擎蜘蛛没有在什么地方看到动态网址,蜘蛛不会把静态URL改写成动态的,搜索引擎无法知道页面是动态的还是静态的,即使猜测是动态改写成静态的,它也不知道对应的动态URL是什么样的。所以蜘蛛一定是在什么地方读到了动态网址。
可能是网站上你没注意的什么地方出现了动态URL,或者服务器由于某种原因,静态URL会被自动改写、转向为动态URL,或者服务器日志自动匹配为动态URL?
stevezhou 回答于 3年 之前
这个要具体看,宽泛的有很多原因可能会造成这种情况。
在js调用动态地址,是可能会被蜘蛛识别到的。
或者非SEO人员做了动态地址的外链。
或者些其它原因,比如你伪静态地址的实现方式。
…
黄小泉 回答于 3年 之前
一般很多大型的网站会出现这类问题,特别是上几十万页面的网站,这说明你的动态URL没有处理完成,不够全面! 列举几个:
1、网站地图动态地址更换成伪静态地址,是否做了?(包括txt+xml+html格式的sitemap都检查下)
2、产品列表页面动态地址是否完善了?
3、搜索结果页是否做了? 如果都做了,恭喜您没有了哈哈。。
来源:SEO每天一贴 Zac 昝辉
seozixuewang
手机扫码阅读
专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。
威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局