专注数字产品开发
将创新和需求转化为专业的数字化解决方案

帮助企业在不断变化的数字环境中脱颖而出
©2023 Copyright reserverd

威海佰年网络技术有限公司 首页知识库

  • 网站流量超标排查

    发布:2015-01-11 seozixuewang.com
  • 网站出现流量超标时分析及解决思路为:

    查看网站访问统计---->结合访问统计分析网站访问日志---->确定原因采取相应措施。

    一.查看网站访问统计

    1. 登录到虚拟主机管理面板,点击“访问统计”

    图片.png

    2.首先查看访问统计中浏览器与非浏览器流量确定流量类型。

    图片.png

    3.根据流量类型详细查看访问统计数据:

    3.1如是浏览器流量占用高,可查看

    图片.png

    图片.png

    图片.png

    图片.png

    等统计数据,以确定网站中是哪类文件,哪些url地址被大量访问,以及是哪些IP,哪些蜘蛛等访问量大。

    3.2如是非浏览器流量占用高,可查看

    图片.png

    确定是什么状态情况下产生的非浏览器流量。

    二.分析网站访问日志

    根据网站访问统计中按“按日期统计”数据找一天流量较大的日志下载至本地使用记事本编辑器打开对日志具体分析核实。

    图片.png

    通常只需找最近三天左右的日志即可,

    windows主机可以点击“www日志”下载访问日志到wwwroot目录下,再通过ftp方式连接下载 至本地使用编辑器打开查看。

    Linux主机通过ftp连接主机打开logs目录下即可下载最近的日志。

    如要下载历史日志,可以点击 “www日志”--“获取历史日志”。

    三.处理措施

    3.1 正常访问情况主机流量配置低导致超标。如占用流量的文件类别、url网址、搜索蜘蛛、访问IP等数据都较均衡,无明显差异等。请升级主机至流量配额更大的型号。

    3.2 网站页面数据过大导致流量超标。如首页中加载的图片过大,同时图片设计过大等,可联系网站程序方人员减少页面的图片数,减小图片大小等方式处理或者升级主机至流量更大的型号。

    3.3 某类文件被大量请求下载等导致超标。如网站的mp4文件被外部盗链/下载等,可考虑将文件存放至其他第三方网站进行引用,或升级主机至不限流量的云服务器。

    3.4 其他某搜索引擎蜘蛛、IP、useragent等导致流量超标异常的。可通过web.config或.htaccess进行拦截屏蔽。

    屏蔽拦截搜索引擎蜘蛛、useragent的访问抓取等:http://faq.myhostadmin.net/faq/list.asp?unid=662

    屏蔽限制ip访问:http://faq.myhostadmin.net/faq/list.asp?unid=681

    四.相关案例

    4.1 正常访问情况主机流量配置低

    图片.png

    图片.png

    图片.png

    从访问统计可见占用流量的文件类别主要为php、js、png、css。访问最多的网址为首页。而访问IP,搜索蜘蛛等占量无异常。

    通过下载网站日志核实,日志中也均正常的访问记录无明显异常请求。

    此情况则为正常访问而主机流量不足导致超标,应升级主机。

    4.2 网站页面数据过大

    图片.png

    图片.png

    图片.png

    图片.png

    从统计可见占用流量最多的是图片类文件,访问网址最多的是首页。

    从访问日志中可见,请求的图片量较大,通过浏览器可见图片也相对偏大。

    此情况可考虑优化减小图片大小(通常图片大小不应超过300KB),或升级主机。

    4.3 非浏览器流量大某文件被下载

    图片.png

    图片.png

    图片.png

    从访问统计可见非浏览器206状态占用大量流量,文件类别为mp4且文件较大。 206是断点续传下载,由此可判断mp4文件被下载导致。

    此情况可考虑将文件存放至其他第三方网站进行引用,或升级主机至不限流量的云服务器。

    4.3 搜索引擎蜘蛛/机器人等占用流量

    图片.png

    图片.png

    从访问统计可见Googlebot(google蜘蛛)占用大量流量。

    从访问日志可见Googlebot对网站某个地址进行大量的访问抓取,通过反查IP是真实的google蜘蛛。

    此情况如不考虑seo优化影响情况下,可以通过规则对googlebot进行屏蔽。 类似情况还可能有Baiduspider(百度蜘蛛)对网站的大量访问抓取。可通过来源IP核查是否为真实的百度蜘蛛等。屏蔽蜘蛛的抓取会对网站的seo优化产生影响,所以并不推荐将google,baidu的蜘蛛进行屏蔽。建议用户可考虑升级主机解决。

    五.验证屏蔽规则是否生效

    5.1 屏蔽IP验证:

    5.1.1访问http://ip.tool.chinaz.com/获取到本地公网IP。

    5.1.2将.htaccess(linux主机)或web.cofnig (windows主机) 中规则拦截IP换成本地公网IP:

    图片.png

    5.1.3再次访问网站,如提示Forbidden访问受限则规则正确生效,然后将IP对应更换为需要屏蔽的IP即可。

    5.2 屏蔽蜘蛛或useragent验证(以百度蜘蛛为例):

    5.2.1 访问http://faq.myhostadmin.net/faq/listagent.asp?Unid=2289 安装浏览器插件。

    5.2.1 将.htaccess(linux主机)或web.cofnig (windows主机) 中规则中增加对Baiduspider的拦截

    图片.png

    图片.png

    5.2.3再次访问网站,如提示Forbidden访问受限则规则正确生效,然后在规则文件中取消对Baiduspider的屏蔽,改为其他蜘蛛或useragent即可。

    来源:西部数码


    seozixuewang




    手机扫码阅读

    更多资讯

    专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。

    威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局

    合作企业 COOPERATOR

    沐兮知识产权代理有限公司

    商标查询, 商标注册, 软件著作权申请, 商标续展, 知识产权代理
    撤三业务, 商标类法律文书咨询业务, 商标业务咨询

    阿里云

    域名注册, 企业邮局/邮箱注册, ECS, 香港主机, 海外主机

    联系我们 CONTACT

    山东 . 威海 青岛中路87 阿里巴巴四十大道 A1512号
    SERVICE@BRILINE.NET
    设计、建站、邮箱、主机、改版、维护
    开发、数据维护、私有云、服务器
    商标注册、变更、复审、答辩、续展、备案
      周一 - 周五 13385420936
    0.266102s