机器学习----无监督学习算法之异常检测

最新推荐文章于 2025-07-07 22:33:10 发布
原创 最新推荐文章于 2025-07-07 22:33:10 发布 · 1.2w 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #无监督学习 #异常检测

本文探讨了异常检测中的无监督学习方法，特别是基于高斯分布的策略。介绍了如何评估异常检测系统，强调了异常检测与监督学习的区别，并详细讨论了异常检测的参数选取，包括如何处理非高斯分布属性和选择有用特征。同时，解释了多元高斯分布的概念及其在异常检测中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（一）异常检测---基于高斯（正态）分布

m个训练样本，每个样本有n个features

即m个样本的每个属性集都呈现高斯分布，因此有以下计算：
例子如下：

（二）评价异常检测系统

将所有数据按照60%,20%,20%的比例分成三部分，分别为training set、cross validation set和test set
最低0.47元/天 解锁文章

200万优质内容无限畅学
无监督学习：异常检测与剔除（局部异常因子法 & SVM异常检测器）
沈春旭的博客
06-14 7577
1.前言 前面介绍的都是有监督学习的回归和分类算法。有监督学习是指对输入和输出都有成对出现的训练样本{（xi,yi）}。在这里，主要介绍在没有输出信息时，只利用输入样本{xi}的信息进行无监督学习的方法。本篇博客重点讨论删除样本{xi}中包含异常值的方法。 异常值检测，是指找出给定的输入样本{xi}中包含的异常值的问题。虽然再有监督回归和有监督分类里面我们也研究了对异常值具有较高鲁棒性的学
【机器学习】利用Autoencoder进行无监督异常检测（含代码）
wzk4869的博客
04-08 5075
【机器学习】利用Autoencoder进行无监督异常检测（含代码）
【机器学习笔记 Ⅲ】3 异常检测算法
最新发布
weixin_44077623的博客
07-07 617
的样本（离群点）的技术，广泛应用于欺诈检测、故障诊断、网络安全等领域。异常检测是识别数据中。
【Scikit-Learn 中文文档】新异类和异常值检测 - 无监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-23 2950
许多应用需要能够判断新观测是否属于与现有观测相同的分布（它是一个非线性的），或者应该被认为是不同的（这是一个异常值）。 通常，这种能力用于清理实际的数据集。 必须做出两个重要的区别： 新奇检测: 训练数据不被异常值污染，我们有兴趣检测新观察中的异常情况。 离群点检测: 训练数据包含异常值，我们需要适应训练数据的中心模式，忽略偏差观测值。 scikit-learn项目提供了一套可用于新奇和离群点检测的机器学习工具。 该策略是通过数据从无监督的方式学习的对象来实现的: estimator.fit(X_train
C3-1.3.1 无监督学习——异常检测
weixin_46228946的博客
01-10 1265
这里只拿出来两个特征值（X1 , X2）来举例，为了可视化让我们了解的更加方便，实际应用中 特征的数量可能达到上百 / 上千：说明的大概率的，是正常的：是小概率发生的事件，要进行进一步的检查**P（X）：**这里通过训练集建立完成 模型 P(X)后，用训练集数据 X-test 来判断结果 P（X-test）：是否是状态异常的发动机**ε的值：**即最外圈蓝色框的概率的值。
【机器学习】无监督学习中的异常检测算法及其原理
m0_51816252的博客
08-03 1万+
本文主要讲解了一个比较常用的无监督学习算法 异常检测算法 。首先介绍了什么是异常检测；使用高斯分布去处理误差；然后讲解了异常检测的算法以及如何去评估我们建立的异常检测模型的好坏。后面将异常检测和监督学习进行对比，说明了何时使用监督学习何时使用异常检测。最后说了一下异常检测应该使用什么样的特征，以及如何去改变特征等。...
无监督学习：异常检测算法
m0_53881899的博客
07-15 1065
异常检测算法
从0开始机器学习--Day30--异常检测算法
Chef_Chen的博客
11-19 928
这里说的特征选取实际上是在第一次算法运行之后进行选择，当我们运行算法后，发现异常样本的特征值落在了正常样本的范围里，此时就需要我们返回训练集，通过观察其特征，试图加入一个新的特征（例如，可以通过构造一个数，其值通过正常数据特征除以异常数据特征计算得出的新特征，这样其比值变化便能帮助我们筛选出异常样本）来让算法在保证其他结果不变的情况下，筛选出这个异常样本，使其在后续拟合的函数中落在边界之外。在之前，我们有提到过可以通过在算法应用的结果里加入一个返回值来评估算法优化的好坏，在这里我们用来评估异常检测系统。
机器学习-kNN算法
12-15
kNN，全称为K最近邻（K-Nearest Neighbors），是机器学习领域中最基础且直观的算法之一。它属于监督学习方法，主要用于分类和回归问题。kNN算法基于一个简单的思想：未知类别的样本可以被分类为其最近的k个已知类别...
无监督机器学习异常检测技术在智能监控领域的应用展望.pdf
09-24
文章然后介绍了基于孤立森林和深度神经网络的无监督机器学习异常检测方法，并对其进行了离线算法工程实践，以验证异常检测特征提取方法、机器学习离线算法模型，并结合农业银行正在建设的智能运维平台流处理智能告警...
基于监督学习+无监督学习实现的阶梯网络深度学习算法-附项目源码.zip
05-30
无监督学习的目标是从数据中发现隐藏的结构或模式，通常用于聚类、降维和异常检测等任务。常见的无监督学习算法有K-means、主成分分析（PCA）和自编码器（Autoencoder）。 阶梯网络（Staircase Network）是一种特殊...
论文研究-一种基于聚类的无监督异常检测方法.pdf
09-11
论文主要考虑多用户的MIMO-OFDM问题，以使得各个用户更公平有效地分配网络资源。文章首先给出MIMO-OFDM模型，然后引入反映用户满意程度的效益函数，并给出在MIMO-OFDM模型下的效益函数具体形式。其次，进行资源分配，重点考虑OFDM的各个子载波该分配给哪个用户，以及总功率该如何分配给各个子载波，从而实现系统的最优化。最后，文章给出了仿真结果，并着重对仿真结果进行了详细的性能分析。
向毕业妥协系列之机器学习笔记:无监督学习-异常检测
长夜漫漫，无心睡眠
11-16 1192
另外，对于很多技术公司可能会遇到的一些问题，通常来说，正样本的数量很少，甚至有时候是0，也就是说，出现了太多没见过的不同的异常类型，那么对于这些问题，通常应该使用的算法就是异常检测算法。下图的例子是飞机发动机的制造，有很多特征，我们为了方便讲解取其中的两个特征：发动机产生的热量和震动强度，然后数据集是m个（发动机，每个发动机有两个特征），我们这个异常检测的问题就是测试新的数据和原来的数据是否相似，可以看到下图的坐标轴图像的示例 ，有一个合格的示例，也有一个异常的示例。的值来告诉我们数据是否真的是异常的。
【无监督学习】异常检测算法
2301_82023330的博客
03-05 1227
异常检测指的是识别数据集中不符合正常模式的样本。监督学习：需要正常样本和异常样本的标注，适用于已知异常类型的情况。半监督学习：仅使用正常样本进行训练，异常样本在训练阶段不可见。无监督学习：不需要任何数据标注，直接从数据分布中推测异常样本。无监督异常检测的核心思想是利用数据的统计特性或结构化模式，识别那些与多数数据不同的样本。在很多实际应用中，我们并不总是能事先获得异常数据的样本，因此无监督方法特别适用于未知异常类型的检测任务。无监督异常检测算法在各种实际场景中具有重要作用。
异常检测 and 无监督学习（1）
weixin_42105848的博客
07-05 1410
异常检测顾名思义就是检测异常。当产生的数据或者现象偏离正常集群时，我们认为其异常。其中，做好异常检测的预测与判断可以帮助很多行业减少损失。在这小节，先来学习一下异常检测与无监督学习。............
无监督学习算法概览：聚类、降维、异常检测等
qq_33578950的博客
04-09 2748
无监督学习是机器学习中重要的一部分，其目标是通过从数据中学习隐藏的模式和结构，为数据提供更深刻的洞察力。聚类、降维和异常检测是无监督学习中最常用的技术之一。聚类是将数据点分组到不同的簇中的过程，从而找到数据中的相似性和差异性。K-Means是聚类算法中最常用的算法之一，它是一种迭代算法，可以将数据点分为预定的簇数，该算法通常用于挖掘大规模数据集的内在结构，例如在市场细分、图像分割和生物信息学中。降维是减少数据维度的过程，同时保留数据的最大信息。
无监督算法与异常检测
热门推荐
BUPT-WT的博客
03-30 1万+
一、整体概览 反欺诈往往看做是二分类问题，但是仔细想想是多分类问题，因为每种不同类型的欺诈都当做是一种单独的类型。欺诈除了多样并且不断变化，欺诈检测还面临一下问题: 1). 由于大部分情况数据是没有标签的，各种成熟的监督学习是没有办法应用 2). 区分噪音和异常点时难度比较大，甚至需要一点点经验 3). 当多种不同的欺诈结合在一起时，区分欺...
[吴恩达机器学习笔记]15非监督学习异常检测7-8使用多元高斯分布进行异常检测
泛用演化计算、通用人工智能优化模型
09-11 1030
15.异常检测 Anomaly detection 觉得有用的话,欢迎一起讨论相互学习~Follow Me 15.7-8 多变量高斯分布/使用多元高斯分布进行异常检测 -Multivariate Gaussian distribution/ Anomaly Detection using the Multivariate Gaussian Distribution 示例 假设...
[吴恩达机器学习笔记]15.1-3非监督学习异常检测算法/高斯回回归模型
泛用演化计算、通用人工智能优化模型
09-11 1803
15.异常检测 Anomaly detection 觉得有用的话,欢迎一起讨论相互学习~Follow Me 15.1问题动机 Problem motivation 飞机引擎异常检测 假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行 QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值