Categories

Tags

网站抓取了一些不存在的目录跟页面?

网站管理者可以使用301重定向来解决这个问题，该技术会将搜索结果重定向到有效的页面，从而避免访问不存在的页面，提高网站的加载速度。此外，网站管理者可以使用网络爬虫进行定期的审查，以发现不存在的目录和页面，以及确保符合标准的内容。

 Public @ 2023-02-24 11:00:15

企业网站是否要对移动端单独解析一个二级域名m.xxx.com

米粉 提问于 3年 之前设定pc域名为www.xxx.com。目前移动端已经解析到m.xxx.com，但是在pc端访问该链接时候m.xxx.com页面效果和www.xxx.com 完全一致（网站自动识别设备属性显示相应效果）。我想 在pc访问m.xxx.com 时候能否显示为移动端访问时候的实际效果，这样避免和wap和pc完全重复，这样的问题如何处理会比较好。网站是否有必要对移动端单独解析一个二级

 Public @ 2018-09-02 16:04:08

做了伪静态，为什么网站日志里抓取的还是动态地址？

song 提问于 3年 之前网站上线三个多月了，上线前就做了伪静态，目前被收录近万的页面都是伪静态地址，线上没有动态地址的入口，为什么网站日志里抓取的全部都是动态地址呢？网兼吧 回复于 3年 之前用robots.txt禁止抓取呢3 个回答Zac 管理员 回答于 3年 之前如果搜索引擎蜘蛛没有在什么地方看到动态网址，蜘蛛不会把静态URL改写成动态的，搜索引擎无法知道页面是动态的还是静态的，即使猜测是

 Public @ 2014-10-02 15:52:46

Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马（百度/360/搜狗等），Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页，如果是针对搜索引擎挂马的就会显示。下载蜘蛛模拟软件，模拟蜘蛛访问查看非法信息。准备工作已经安装Google Chrome浏览器安装扩展访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展按照下图打开Chrom

 Public @ 2019-10-16 16:22:26

网站抓取了一些不存在的目录跟页面?

网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？微信 悬赏网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！来源：A5

 Public @ 2010-05-17 16:05:02

更多您感兴趣的搜索

0.541430s