python代码编写去除奇异值

本文深入探讨了基于3sigma原则的异常值检测算法,详细解释了如何通过计算平均值和标准差来识别数据集中的异常点。代码示例展示了如何在Python中实现这一算法,特别指出该方法对于处理不明显异常值和小差距波峰波谷的局限性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

对于这个代码,对于异常值不是很明显的是无法处理的,
对于相对应的波峰波谷(如果很小的差距是不可以检测出来的)
利用的原理是3sigam

# -*- coding:utf-8 -*-
# sed 1d excel_file.xlsx > new_excel_file.xlsx
# 上面这条命令的方式是为了删除带有第一行的文件的标题头
import numpy as np
data = np.loadtxt("result_fusion1.csv", delimiter=",", usecols=(2))
print(data)
orders = data
order2 = []
# print(orders)
i = 0
ma = 20
while i+20 < 400:
    order1 = orders[i:i+20]
    mean = (np.mean(order1))
    # print(mean)
    std = (np.std(order1))
    # print(std)
    for e in order1:
        if (e-mean) <= -2*std or (e-mean) >= 2*std:
            order2.append(e)
    # print("hh")
    i = i + ma
    # j = j + ma
    order1 = []
print(len(order2))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值