曲线分类-特征提取(一)

最新推荐文章于 2022-11-01 00:11:20 发布

原创

最新推荐文章于 2022-11-01 00:11:20 发布 · 2.9w 阅读

116 ·

CC 4.0 BY-SA版权

文章标签：

#智能告警

通过对曲线进行数据去噪、标准化、统计特征提取，如3-σ去噪、移动中位数去噪、max-min标准化、z-score标准化、偏度和峰度计算，提升智能告警的准确度。数据描述涉及每分钟点的监测数据，去噪方法包括3-σ和移动中位数，数据标准化用于消除数值大小影响，统计特征关注中心位置、发散程度和波动率，为曲线分类提供依据。

一种异常检测算法很难满足所有的业务类型曲线。若想提高智能告警的准确度，有必要对不同曲线进行分类，以便于针对不同曲线，应用不同的异常检测算法。那么一条曲线，到底包含了哪些信息，可以帮助我们进行特征提取呢？

数据描述

数据每分钟一个点，一天1440个数据点，每天为一个周期，共7天数据。
测试数据为monitor数据，视图4180,属性231960.
原始数据

数据去噪

常用的去噪方法有：3-σ去噪、移动中位数去噪。

3-σ去噪

数据点与均值相差超过3个标准差，则认为为噪点
噪点数据

移动中位数去噪

用中位数代替均值，用中位数偏差代替标准差，避免极端异常值的影响。通过移动分段中位数，增强局部异常点的探测。

import numpy as np
import pandas as pd
def median_noise_filter(df_data, threshold=15,rolling_median_window=50):
    exceptions = pd.Series()
    df_data['median'] = df_data['value'].rolling(window=rolling_median_window, center=True).median().fillna(method='bfill').fillna(
        method='ffill')
    difference = np.abs(df_data['value'] - df_data['median'])
    median_difference = np.median(difference)
    if median_difference != 0:
        s = difference / float(median_difference)
        exceptions = s[s > threshold]
    return exceptions