DMS应用性能管理案例分析（二）

背景

某汽车总部部署的DMS经销商在线系统，最近一段时间运维人员经常接到反馈，DMS使用出现大量访问慢的情况,针对此情况进行监测分析。

汽车总部已部署NetInside流量分析系统，使用流量分析系统提供实时和历史原始流量，重点针对DMS系统性能进行分析，以供安全取证、性能分析、网络质量监测以及深层网络分析。

识别

根据分析内容整理出功能表格与现场技术老师的支持配合，完成应用具体功能的定义（共定义名称80个），如下图：

系统分析归类为：登陆、库存、合格证、调车、财务、订单、实销、验收、数据传递、联合预测、新功能等，每个归类下面又分为小类。

具体可登陆系统查看：配置管理-系统配置-应用定义。

分析时间

报告分析时间范围为：2022-11-15 00:00到2022-11-15 17:00。

分析结论

1、综合监控，多个应用功能出现问题：

按访问快慢排序，最慢模块分别是：库存-经销商库存查询、调车-调车-车辆信息查询、实销-车厂实销信息查询、新功能-车辆发票查询等模块；

按400报错排序，报错模块分别是：登录-登录界面、登录-登陆后的初始界面；

按500报错排序，报错模块分别是：实销-关联客户-查询经销商客户、登录-登陆后的初始界面。

2、按DMS模块分析，慢访问和HTTP 500报错数量如下：

 3、发现工作时段出现大量备份流量，可能会影响正常业务运行。

综合性能监控分析

将按3个维度进行分析：慢访问百分比、HTTP 400报错、HTTP 500报错。

应用慢访问情况

应用存在大量慢访问情况，按慢访问数量排序，可以看到多个应用出现大量慢访问。

 说明：访问响应时间超过5秒则定义为一次慢访问。

HTTP 400报错情况

两个应用出现大量HTTP 400报错。

HTTP 500报错情况

应用中存在一些HTTP 500报错，去除其他Web应用，存在两个应用500报错。

单模块性能分析

通过分类对每一个类别进行模块定义，分析每一个模块的性能。

登录

对登录模块功能监控：登陆界面出现慢访问20个，登陆后的初始界面出现HTTP 500报错18个，登陆后的数据验证出现慢访问26个。

财务

对财务模块功能监控：经销商余额查询出现慢访问6个，返利明细查询出现慢访问23个。

订单

对订单模块功能监控：销售订单查询出现慢访问16个，日志上传出现慢访问15个，销售订单查询-下载出现慢访问18个，市场部审核出现慢访问34个，审核-批量出现慢访问11个，添加订单到购物车出现慢访问30个，车场端订单查询出现慢访问15个，购物车数据查询出现慢访问72个。

 其他模块图表展示这里省略。

慢访问分析方法

慢访问分析是最常见的问题分析之一。

下面以“新功能-车辆发票查询”举例，介绍一下慢访问的具体分析方法和流程。 

登录系统，业务监控-综合性能，列表显示应用信息，点击慢访问比排序，发现“新功能-车辆发票查询”应用出现高比例慢访问。

 上图应用名称右键，选择“性能问题根本原因定位”，显示出多个URL慢的列表，找到第一个慢访问详细URL名称，看到慢访问百分比在97.727%。

 双击上图URL名称，会打开详细访问慢的时间情况，XXX.XXX.XXX.48的客户端访问DMS系统，页面响应时间31.5375秒，服务器响应时间为31.5356秒。

 为了进一步证明NetInside系统分析的精确性。下面进行辅助验证，在上图页面列的URL右键鼠标选择“应用数据包分析”，下载相应的数据包到本地，wireshark打开看到服务器响应时间在31.5356秒。

 其它所有慢访问业务，都可以采用上述方法分析。

异常发现

DMS数据备份

流量分析发现，上午9:05开始有一个流量高峰，分析发现是数据备份产生了大量流量（大约78 GB），时间在9:06-10:42之间，上班时间有可能会造成业务影响。

 选中高峰时间段可以看到详细流量情况：

 说明：两个IP地址互相备份数据信息；

采用的备份协议为tcp-1556。

DMS节点异常分析

分析发现部分主机发出大量连接且均失败情况。如下图，左侧列出发生失败请求的主机和对应个数。

 以XXX.XXX.XXX.42为例进行分析。

可以看到XXX.XXX.XXX.31访问了XXX.XXX.XXX.42，但均被拒绝访问。

建议

为了更好的监控和分析DMS性能，建议如下。

1、为了更清晰的分析DMS系统，需要进一步对新发现的URL分类定义。这样可以更全面的监测和分析到DMS系统中业务单元的性能和报错情况；

2、文件备份操作，建议调整到非上班时间。