智维数据运维时效数据消费场景分析

1

时序数据的挑战

‍‍‍‍‍‍‍

在数据中心IT运维管理中，流量数据的分析价值越来越受到用户的重视，目前用户通过对数据中心进行全流量采集，可实现网络、业务及安全的实时监控分析，实时刷新精度可达到秒级，并快速发现数据中心产生的异常数据。监控数据采用时序数据处理，可实时绘制不同维度上百个指标的趋势变化。数据中心每天会产生上百亿的数据条目，达到PB级的流量数据。

运维人员在进行长时间的数据检索时，会面临效率较低的问题，并且数据存储时长难以保障。所以面对一些数据消费场景时，时序数据的处理很难满足运维需求。在用户数据中心内，业务调用关系复杂，当业务系统要做迁移操作时，迁移后要保证该业务系统对外提供的所有服务与原有保持一致，而运维人员往往很难掌握业务系统之间的调用关系。所以要通过流量数据提供一份准确的访问关系表，这张关系表不关注是在哪个时间进行调用以及过多的性能指标，只需要知道有谁跟本系统发生了访问关系。另外，当某个服务要做变更操作时，也需要历史数据的支撑来判断该服务的影响范围。为解决上述问题，客户往往提出如下需求：

1、数据存储时间要长，有些业务调用可能周期性一周、一个月才来调用一次，或者更长周期，只有长的时间的跟踪才能保证数据的准确性。

2、数据要完整，由于时序数据数据量巨大，往往会采取抽样、或者TOP的方式来提供服务，不能保障数据的完整性。

3、查询性能，在海量的数据中进行查询，会导致消耗大量系统资源，给数据承载的系统带来巨大的压力。

2

运维时效数据解决方案

为了满足更长时间精准统计数据需求，智维数据推出时效数据解决方案。将时序数据转化为时效数据，提供长时间、高效、灵活的查询统计服务。

该解决方案的特点有：

1、数据保留期限长

时序数据数据量巨大，存储存满后系统会自动删除最早的数据，因此保存期限较短。时效数据将时序数据进行有效的聚合、去重以及压缩，经测试平均每天可处理50万条数据，90天可处理的数据量大概在4500万条，经过聚合、去重，数据的存储量大概在200万左右，极大程度的压缩了数据存储量。

2、全量数据统计

智维数据nCompass网络流量分析平台从数据采集到数据处理，没有经过抽样、TOP的处理方式，可以保证数据的完整性以及准确性。

3、纬度、指标可灵活组合

时序数据提供众多纬度和指标，用户可根据需求自定义生成时效数据，通过纬度及指标过滤精准输出。

选择时效数据纬度及指标

过滤时效数据纬度及指标

4、提供灵活的数据服务接口

时效数据除了在智维数据nCompass网络流量分析平台上进行本地数据消费外，还提供了标准的API接口，供外部应用调用。

3

时效数据消费场景

1、业务系统交互查询

应用运维中业务交互关系数据可为很多场景中提供数据支撑，例如：系统变更、迁移、上下线、故障排查等。通过流量和CMDB数据缝合，提供时序数据以及时效数据无缝查询。

【上图为demo数据演示】

2、防火墙策略优化

智维数据nCompass防火墙策略可视化平台通过防火墙策略及防火墙前后的流量匹配关联，帮助用户优化防火墙策略，如无命中的策略、大策略收敛等场景都需要长时间的时效数据进行校准，才能够精准的对策略进行优化，避免由于策略删除、收敛产生的问题。

【上图为demo数据演示】

3、业务访问安全防护栏杆

内网业务系统交互关系变化相对较小，通过时效数据自动生成业务交互访问白名单，对业务交互关系变化实时监控，如有新增访问，平台将通过告警或报表的形式进行输出，运维人员可及时排查新增访问是否合规或者是否存在安全隐患。

4、出访记录安全回溯

基于安全合规要求，运维人员需要在平台上对所有出访记录进行保存半年或一年以上时间，智维数据灵珑应用交付优化平台能够采集负载均衡、防火墙、路由器等设备的地址转换关系表，并可与流量数据进行缝合。并且可以提供内网IP至目的IP，SANTIP至目的IP长时间的历史回溯。

面对运维中多样的数据统计需求，时效数据的运用提升了长时间数据的统计检索能力，帮助用户从海量数据中精准提取，同时大大节省了存储成本。通过对时序数据再加工生成时效数据，充分发挥了流量数据在运维工作中的使用价值。

---