异常检测学习笔记 一、异常检测及基本统计

已于 2023-12-31 18:19:06 修改
阅读量651 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 统计学 文章标签： python 异常检测 机器学习 概率统计 累积分布函数
于 2023-06-04 22:23:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/131037851
本文深入探讨异常检测，从异常的定义、类型到应用案例，讲解了概率统计和基本统计概念，如CDF、Z-Score及其与修改后的Z-Score的区别。文章通过示例展示了如何使用Z-Score识别异常值，并强调了数据建模和验证的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、什么是异常？

1、异常的定义

        异常是指与其他数据有很大不同的数据。异常现象是“一种与其他观测结果大相径庭的观测结果，以至于人们怀疑它是由不同的机制产生的。”，也被称为“异常”或“离经叛道”。

        所有观测值 = 正常数据 + 异常值

        异常值 = 噪声 + 异常

        噪声 = 人们不感兴趣的异常值

        异常 = 人们关心的的异常值

离群点

2、两个基本问题

        1、要将一个点归类为异常，偏差必须有多大？没有明确的答案。在一定程度上取决于主观判断。

 

了解本专栏 订阅专栏 解锁全文
异常检测学习笔记 二、基于角度和深度的极值分析技术
学以致用 知行合一
06-09 1085
为您的数据选择合适的模型，选择一个概率阈值，低于该阈值将数据标记为异常，计算观察数据中每个实例的概率，低于阈值的情况属于异常情况。研究表明，世界杯比赛的进球数可以很好地近似于泊松分布。在一场比赛中进n球的概率由下式给出：，其中λ是每场比赛的平均进球数。对于现代世界杯赛事，λ=2.5，使用下面的概率表，我们看到有7或8个进球的比赛将被标记为异常[P（n）
机器学习笔记：时间序列异常检测
qq_40206371的博客
01-07 2827
给定输入时间序列，异常值是时间戳值其中观测值与该时间序列的期望值不同。
异常检测系列：基于经验累积分布的异常检测（ECOD）
数智笔记
01-25 3372
如果一个观测值在几乎所有变量方面都是异常值，那么该观测值很可能是异常值。HBOS根据变量的直方图定义每个变量的异常值得分。所有变量的异常值得分可以相加得到一个观测值的多元异常值得分。由于直方图易于构建，HBOS是一种有效的无监督方法来检测异常值。
异常状态及发生率计算
另一个伊甸 超越时空的猫
05-09 1万+
异常状态的效果，叠加机制，以及实际发生率计算方法。
异常检测（四）之基于相似度的方法
weiphm的博客
01-22 1786
相似度两个维度：距离和密度 异常值和噪声： 噪声往往是没有规律的，特性较弱，没有分析的必要性。 异常值通常具有更高的离群程度，同时解释性更强。 因此在处理噪声时，区别出异常值与噪声、正常值的区别在异常检测中比较重要。 基于距离的异常值处理办法 基于最近邻距离来定义异常值 适应范围：多维数据，单维数据 前提：异常点的 kkk 近邻距离要远大于正常点 方法：遍历或者一些改进的方法增加距离计算的速度 2.基于密度的异常值处理办法 基于距离的计算值，定义k-距离、k领域、可达距离以及局部可达密度，最后得到局部异常
【期末划重点】数据挖掘
m0_51290571的博客
06-10 3175
题型： 1、区分分类还是聚类： 聚类：以图搜图 分类：垃圾邮件检测；扑克牌按花色、大小分组；判断核心关键：数据集有没有标签，有是分类，没有是聚类。2、什么是数据挖掘： 数据挖掘可以从技术和商业两个层面上来定义，从技术层面上看，数据挖掘是从大量应用数据中挖取潜在有用的信息；从商业层面上看，数据挖掘是一种商业信息处理技术，用于提取辅助商业决策的关键性数据3、数据挖掘所得到的信息具有的3个特点： 事先未知、有效和实用4、距离公式： 欧氏距离公式： （最熟悉的就是两点之间的距离公式） 本质：分量差的平方和曼哈顿距
离群点检测和新奇检测之离群点检测
zz2230633069的博客
07-29 5518
一、噪音和离群点（异常值）的区别： 离群点是一个数据对象，它显著不同于其他数据对象，好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”，离群点为“异常数据”。 离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的。如在信用卡欺诈检测，顾客的购买行为可以用一个随机变量建模。一位顾客可能会产生某些看上去像“随机误差”或“方差”的噪声交易，如买一份较丰盛的午餐，或比通常多要了一杯咖啡。这种交易不应该视为离群点，否则信用卡公司将因验证太
机器学习笔记三-检测异常值
08-20 1070
不同的方法适用于不同类型的数据和异常值检测场景。在实际应用中，通常结合多种方法进行异常值检测，并根据业务需求和数据特点采取适当的处理策略。
3D异常检测最新论文《Complementary Pseudo Multimodal Feature for Point Cloud Anomaly Detection》阅读笔记
最新发布
gaooolianggg的专栏
09-12 1450
在BTF这篇文章中指出，点云的特征提取至关重要，但因为预训练点云特征网络的训练与使用的域差异，导致这些网络的性能甚至不如手工制作的特征提取方法。因此，作者产生了将二者结合起来的思路。之后，根据投影过程的对应关系，可以将每个像素的2D特征赋给对应的3D点，并使用平均值池化进行聚合，也就是一个3D点的特征是它对应的不同视角下所得到的这些2D特征的平均。另外对于在MVTec 3D-AD上进行3D异常检测的算法，其评判标准有失偏颇，因为一些缺陷是仅能通过RGB判断的，这对统计3D异常检测算法的性能是不充分的。
【异常检测】task4 基于相似度的方法
一一xi的博客
05-19 459
目录1. 概述2. 基于距离的度量2.1 基于单元的方法2.2 基于索引的方法基于密度的度量3.1 k距离（k-distance（p））3.2 k邻域3.3 可达距离（reachability distance）3.4 局部可达密度（local reachability density）3.5 局部异常因子 1. 概述   关于“异常”的定义需要结合具体的义务背景和环境来具体分析确定 数据中包含正常数据、噪声和异常，噪声可以被认为特性较弱的异常值，没有被分析的价值。异常值通常具有更高的离群程度分数值，同
数据分析（二十五）
weixin_42194337的博客
11-23 925
24. 数据清洗（二） 24.1 数据分布 右偏：平均数>中位数>众数（价格，X轴的大小） 左偏：众数>中位数>平均数 正态分布：三者相等 24.2 缺失值处理 连续变量 分类变量 缺失值少于20% 均值或者中位数 不需要填补，单算一类或者用众数补充 缺失值在20%~80% 均值或者中位数，(指示哑变量) 不需要填补，单算一类或者用众数补充 ...
解析缺失值、异常值、离群值与噪音的奥秘
j20163402921的博客
12-19 1070
这种情况下，我们可以使用描述统计方法，如计算平均值、中位数等，来了解缺失值的分布情况。考虑一个学生成绩的数据集，通过绘制成绩的直方图，我们发现一个学生的成绩明显低于其他同学。这个极端低的成绩可能是由于考试作弊、答卷时误操作等原因引起的离群值。通过应用数据平滑技术，如移动平均，我们可以剔除这个时间点的异常高温值，从而降低噪音的影响，使数据更为平滑。处理异常值的方法包括删除、截断（将超过一定阈值的值设定为阈值）、转换数据以减缓异常值的影响等。这些数据的“幕后演员”可能影响我们对信息的理解，甚至左右我们的决策。
线性模型的鲁棒性分析：处理异常值与数据噪声
AI天才研究院
01-08 2304
1.背景介绍 线性模型在机器学习和数据科学领域具有广泛的应用，例如线性回归、支持向量机、逻辑回归等。然而，实际数据集通常包含异常值和噪声，这些可能导致模型性能下降。为了提高模型的鲁棒性，我们需要对线性模型进行鲁棒性分析，以处理异常值和数据噪声。 在本文中，我们将讨论线性模型的鲁棒性分析的核心概念、算法原理、具体操作步骤以及数学模型公式。此外，我们还将通过具体的代码实例来展示如何应用这些方法。 ...
异常检测task4基于邻近度的方法
Helloguyss的博客
05-20 439
学习目标： 主要内容包括： 基于距离的度量 基于密度的度量 学习内容： 1、概述 “异常”通常是一个主观的判断，什么样的数据被认为是“异常”的，需要结合业务背景和环境来具体分析确定。实际上，数据通常嵌入在大量的噪声中，而我们所说的“异常值”通常指具有特定业务意义的那一类特殊的异常值。噪声可以视作特性较弱的异常值，没有被分析的价值。噪声和异常之间、正常数据和噪声之间的边界都是模糊的。异常值通常具有更高的离群程度分数值，同时也更具有可解释性。   在普通的数据处理中，我们常常需要保留正常数据，而对噪声和异
数据挖掘知识点整理（期末复习版）
一只可爱的小猴子的博客
06-23 1万+
DRIP（Data Rich，Information Poor） 3v : volume、velocity、Varity 数据量由TB级发展到ZB级 数据多样性从结构化转变为非结构化和结构化数据 数据传输的速度非常快 大数据导致难以应对的存储和计算量 数据挖掘就是从数据中发现知识。 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的、和可能有用的模式或知识。 数据挖掘并非全自动的过程，在各个环节都可能需要人为参与。 公共安全：挖掘犯罪的规律，预防犯罪或者是减少犯罪的发生 个性化医疗：对DN
异常值（outlier）的判别与剔除
热门推荐
wenyiming1991的博客
09-12 7万+
转载点击打开链接 在处理实验数据的时候，我们常常会遇到个别数据值偏离预期或大量统计数据值结果的情况，如果我们把这些数据值和正常数据值放在一起进行统计，可能会影响实验结果的正确性，如果把这些数据值简单地剔除，又可能忽略了重要的实验信息。这里重要的问题是如何判断异常值，然后将其剔除。判断和剔除异常值是数据处理中的一项重要任务，目前的一些方法还不是十分完善，有待进一步研究和探索。   异常
离群值与噪声的区别
weixin_44832149的博客
08-15 6124
通常来说我们会定义 观测量(Measurement) = 真实数据(True Data) + 噪声 (Noise); 噪声 (Noise)是一个测量变量中的随机错误或偏差，包括错误的值，偏离期望的孤立点; 离群点(Outlier)属于观测量，既有可能是真实数据产生的，也有可能是噪声带来的，但是总的来说是和大部分观测量之间有明显不同的观测值。 ...
离群分析系列——1、离群分析引言
我的博客
09-03 1276
什么是异常值？ 异常值是一种和其他观察数据有显著差异，让人怀疑它是由不同的机制产生的数据 异常检测应用举例： 入侵检测系统：在许多计算机系统中，收集关于操作系统调用，网络流量或其他用户动作的不同类型的数据。 由于恶意活动，此数据可能会显示异常行为。 对此类活动的识别称为入侵检测。 信用卡欺诈：未授权使用的信用卡消费(如盗刷信用卡)会存在很多异常行为(如非常用地消费、大额消费) 传感网络 ...
吴恩达机器学习笔记：异常检测解析
"这篇文档是吴恩达机器学习课程的中文版笔记，专注于异常检测（Anomaly Detection）这一主题。异常检测是机器学习中的一个重要应用，主要在非监督学习场景下使用，但也与监督学习有某些相似之处。文档可能包含了问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值