机器学习之异常检测--孤立森林(Isolation Forests)

孤立森林(Isolation Forests) 经典的异常检测算法孤立森林的研究整理 阅读详情

机器学习之异常检测–孤立森林(Isolation Forests, iForests)

异常检测在机器学习领域内的应用场景广泛。比如帮助银行参与检测是否洗钱,识别金融欺诈,帮助保险领域识别是否可能骗保以及监测网络入侵等等。

iForests是异常检测中的一种离群检测方法,可以明确地分离异常样本。与随机森林由大量决策树组成一样,iForests也由大量的树组成。iForest算法是一种基于相似度的模型,属于无监督的方法,该算法主要通过从训练数据集中随机选取一个特征,在该特征的最大值最小值之间随机选取一个分裂点,小于分裂点的进入左侧分支,大于或等于分裂点的进入右侧分支;不断重复上述过程直到只剩一个样本或相同样本或达到树的深度限制,然后通过路径长度来表示一个样本点被“孤立”的程度。

路径长度h(x)指样本点二从根节点到外部节点所经过的二叉树的边数,通常路径长度较小的样本被“孤立”的程度高。路径长度h(x)的计算公式为:
在这里插入图片描述其中,h(x)表示数据二从子树(iTree)的根节点到叶节点过程中经过的边的数目,C(T.size)表示在一棵用T.size条样本数据构建的二叉树的平均路径长度。C(n)的计算公式为:
在这里插入图片描述其中,n为样本个数,H(n-1)可用ln(i)+0.577 215 664 9(欧拉常数)估算,以同样的方式构建包含多棵iTree ,则样本的“孤立”程度即可基于路径长度被检测出来,可以通过S(x,n)分值判断。定义如下:
在这里插入图片描述

其中,E (h(x))是样本点二在iForest中所有孤立树的路径长度的平均值,n表示单棵iTree的训练样本数。

参考文献:
周志华.《机器学习》.北京:清华大学出版社

孤立森林 Isolation Forest 论文翻译(上) README 自己翻译的+参考有道,基本是手打的可能会有很多小问题。 括号里的斜体单词是我觉得没翻译出那种味道的或有点拿不准的或翻译出来比较奇怪的地方,尤其是profile、swamping和masking这三个词不知道怎样更准确。 欢迎指正和讨论,需要Word版可以留言。 孤立森林 摘要 大多数现有的基于模型的异常检测算法构建了一个正常实例的特征轮廓(profile),然后将不符合正常轮廓的实例识别为异常。本文提出了一种完全不同的基于模型的方法,显示地隔离异常而不是构建正常 阅读详情

相关推荐

异常检测(五)--- 高维数据的异常检测

五、高维数据的异常检测 1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。 维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中),这使得一些基于距离的方法失效。在高维场景下,一个常用的方法是子空间方法。 集成是子空间思想中常用的方法之一,可以有效提高数据挖掘算法精度。集成方法将多个算法或

weixin_43760925的博客 1472

孤立森林(isolation):一个最频繁使用的异常检测算法

孤立森林(isolation Forest)算法,2008年由刘飞、周志华等提出,算法不借助类似距离、密度等指标去描述样本与其他样本的差异,而是直接去刻画所谓的疏离程度(isolation),因此该算法简单、高效,在工业界应用较多。 Isolation Forest 算法的逻辑很直观,算法采用二叉树对数据进行分裂,样本选取、特征选取、分裂点选取都采用随机化的方式。喜欢本文记得收藏、关注、点赞。 【注】完整代码、数据、技术交流,文末提供 一、理解孤立森林 用一个例子来说明孤立森林的思想:假设现在有一组一维数

Python数据挖掘 4万+

异常检测——高维数据异常检测

主要内容包括: Feature Bagging 孤立森林 文章目录1、引言2、Feature Bagging3、Isolation Forests4、总结5、练习6、参考文献 1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中

huochuangchuang的专栏 325

Isolation Forest 简介

wedc

MusicDancing的博客 2868

【异常检测】5 高维异常

1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中),这使得一些基于距离的方法失效。在高维场景下,一个常用的方法是子空间方法。 集成是子空间思想中常用的方法之一,可以有效提高数据挖掘算法精度。集成方法将多个算法或多个基检测器的输出结合起来

weixin_41545602的博客 353

异常检测Task05:高维异常

Task05:高维异常 主要内容: Feature Bagging 孤立森林 1、高维数据异常检测特异性介绍 高维数据异常检测是指在现实生活中,一些数据集往往具有较多的维度,数据维度的增加一方面使得数据的大小飞快增加,另一方面可能会出现数据稀疏性,这种状况被称为维度诅咒。维度诅咒会使得距离的计算出现问题,进而对聚类方法也造成了困难。 特别在对距离的计算上,因为是高维的数据,所有点的距离几乎都是相等的,基于距离进行异常点判断可能会失效 2、高维数据异常检测思路 1、通过主成分法,进行降维,选取低特征值的降

qq_43720646的博客 423

基于孤立森林的流量异常检测

孤立森林采用传统的二分法思想,具体来说,在孤立森林中,采用二叉树对数据进行分裂,并且样本选取、特征选取、分裂点选取都使用随机化的方式。 从字面简单理解,孤立森林对异常点的判定遵循孤立原则,即异常点不属于某些样本点的簇,或者距离聚集的样本点的距离较大。 理论上,由异常分数的计算公式,孤立森林的异常得分 $s(x,n)$是一个介于0和1之间的值。 但是实际上在sklearn中,为了简化异常点的判断,decision_function()方法对异常分数进行了归一化处理,并通过以下公式计算: decision_s

Proking的博客 1042

异常检测系列:孤立森林(Isolation Forest)模型介绍

大多数现有的基于模型的异常检测方法会构建一个正常实例的概要,然后将不符合正常概要的实例标识为异常值。但是,Isolation Forest直接且明确地隔离异常值。IForest采用树结构来隔离每个单独的数据点。异常值是首先被单独分离出来的单个数据点;而正常点往往在树中聚集在一起。由于Isolation Forest不使用任何距离度量来检测异常值,因此它对于大数据量和高维问题是快速且适用的。

数智笔记 6183

异常检测Anomaly Detection(五)集成方法

文章目录1、引言2、Feature Bagging1.选择基检测器2.分数标准化和组合方法3、Isolation Forests4、总结5、feature bagging为什么可以降低方差?feature bagging存在哪些缺陷,有什么可以优化的idea? 1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函

pure95214的博客 580

机器学习算法(二十):孤立森林 iForest (Isolation Forest)

1背景 现有的异常检测方法主要是通过对正常样本的描述,给出一个正常样本在特征空间中的区域,对于不在这个区域中的样本,视为异常。这些方法的主要缺点是,异常检测器只会对正常样本的描述做优化,而不会对异常样本的描述做优化,这样就有可能造成大量的误报,或者只检测到少量的异常。 异常的两个特点:异常数据只占很少量、异常数据特征值和正常数据差别很大。 孤立森林,不再是描述正常的样本点,而是要孤立异常点,由周志华教授等人于2008年在第八届IEEE数据挖掘国际会议上...

weixin_39910711的博客 1万+

【FPGA】安路FPGA下载器驱动安装教程

#来自学渣的问候 最近正在参加19年的FPGA创新设计大赛,然后我们选择了安路(全名:上海安路信息科技有限公司)的 FPGA 开发板。安路算是国产FPGA中还不错的一家,和紫光一样,除了自主生产的FPGA,也开始拥有了自己的编译环境。 好了。言归正传,写这篇博客的原因是,前几天在安装 安路 的编译环境和下载器驱动的时候,出了点问题,弄得心烦意乱。所以打算解决之后写篇博客,避开这个神奇的问题。 首先...

Ninquelote的博客 2万+

寒假组队学习之——数据挖掘实战(异常检测)Task05:高维异常

#异常检测——高维数据异常检测 主要内容包括: Feature Bagging 孤立森林 文章目录 1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中),这使得一些基于距离的方法失效。在高维场景下,一个常用的方法是子空间方法。 集成是子空

upon120的博客 251

浅谈一下小波变换和EEG信号处理

浅谈小波变换,总结不是很到位,请大家指正。

qq_45045249的博客 2862

Anomaly Detection——High Dimensional Data Anomaly Detection

异常检测——高维数据异常检测1、引言2、Feature Bagging3、Isolation Forests4、总结5、参考文献 1、引言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中),这使得一些基于距离的方法失效。在高维场景下,一个常用的

weixin_42032907的博客 365

深入了解AES_GCM算法

常见的对称加密算法,在解密过程中无法确认密钥是否正确的。这就意味着,密文可以用任何密钥执行解密运算,得到一组疑似密文;由于不知道密钥是否正确,故也不能确定解密出来的明文数据是否正确。因此,需要在对称加密算法上增加一层验证机制,常见思路为使用加密算法进行加密保证机密性,使用摘要算法计算MAC保证完整性和真实性,这就涉及到摘要计算和加密计算的前后顺序和参与计算的数据、密钥等,使用起来略微麻烦。

huaqianzkh的专栏 4187

Win11如何更改用户文件夹名(完整流程- 已验证可行)

把C盘所有文件备份,如果不想备份,则选择创建一个C盘的系统还原点(能在后续把C盘玩崩之后恢复原状)

Y_Aryan的博客 5万+

2021-01-24高维异常

异常检测feature baggingisolation forests TASK05高维异常 feature bagging isolation forests

weixin_46870583的博客 246

YOLOv11【第六章:模型压缩与极致优化篇·第4节】Lamp 剪枝算法:无需超参的自动化剪枝策略!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 1210

【机器学习 | 异常检测】孤立森林(isolation Forest)iForest 算法理论讲解及 Python 实战

【机器学习 | 异常检测】孤立森林(isolation Forest)iForest 算法理论讲解及 Python 实战

wzk4869的博客 1万+

【android bluetooth 案例分析 01】【HiCar 详解 3】【hicar时如何交换Wifi参数的】

如果直接使用 L2CAP(不经过 RFCOMM),会需要额外的协议来保证可靠性,而 RFCOMM 天然支持。BLE 广播的数据长度受限(31 字节 / 255 字节扩展),不适合传输复杂的 Wi-Fi 连接参数。使用 RFCOMM 传输参数,可以兼容不同厂商的车机和手机,而无需依赖特殊的蓝牙功能。手机解析这些参数,并使用 Wi-Fi Direct 连接到车机。,然后才能让 Wi-Fi Direct 进行真正的数据传输。,适合传输 Wi-Fi 连接参数等关键数据。,可以安全地交换 Wi-Fi 连接信息。

奔跑吧 android 的博客 1740

基于深度学习的图像识别技术在农业领域中的应用

是识别"病害种类"还是"病害严重度分级"?前者是分类,后者常需分割或分级回归。是叶片级(离体叶片图像)、植株级(田间单株)、地块级(无人机俯拍)?视角不同,模型差异巨大。实时无人机巡检可能要求 < 50 ms/帧(Jetson Orin),而离线测报可接受秒级推理。类别标签、结构化 JSON、GIS 图斑、报警事件?

AI天才研究院 2165

孤立森林算法的应用场景有哪些?

例如,通过分析网络数据包的特征,如源 IP 地址、目的 IP 地址、端口号、协议类型、数据包大小等,可以检测出异常的流量模式,如突然增加的流量、来自未知来源的流量或与正常模式不同的流量分布。例如,通过分析交易金额、交易时间、交易地点、交易对象等特征,可以检测出异常的交易模式,如突然出现的大额交易、频繁的小额交易、来自陌生账户的交易等。例如,通过分析设备的传感器数据,如温度、压力、振动、电流等,可以检测出异常的设备运行模式,如温度突然升高、压力异常波动、振动加剧等。

alankuo的专栏 633

大华 DSS 数字监控系统 itcBulletin SQL 注入漏洞复现

大华 DSs 数字监控系统是大华开发的一款安防视频监控系统,拥有实时监视、云台操作、录像回放、报警处理、设备管理等功能。大华 DSS存在SQL注入漏洞,攻击者 pota/services/itcBuletin 路由发送特殊构造的数据包,利用报错注入获取数据库敏感信息。攻击者除了可以利用 SQL注入漏词获取数据库中的信息例如,管理员后台密码、站点的用户人人信息)之外,甚至在高权限的情况可向服务器中写入木马,进一步获取服务器系统权限poc验证是否存在漏洞如果你想查询用户名和密码。

holyxp的博客 4002

【异常检测】孤立森林(isolation Forest)iForest算法理论讲解及python实战

一、原理孤立森林(Isolation Forest,简称 iForest)是一种无监督学习算法,用于识别异常值。其基本原理可以概括为一句话:异常数据由于数量较少且与正常数据差异较大,因此在被隔离时需要较少的步骤。有两个假设:异常的值是非常少的(如果异常值很多,可能被识别为正常的)异常值与其他值的差异较大(这点也可以引出主要是全局上都为异常的异常,局部小异常可能发现不了,因为差异并不大)二、具体流程...

AI蜗牛车 3634

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 机器学习之人脸识别(Face Recognition)
下一篇: R语言实战之如何绘制线性回归图表(附详细代码解释,小白也可看懂~)
Math_is_hard.
博客等级 码龄6年 10粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值