异常检测之HBOS统计学方法（基于pyod实现示例）

最新推荐文章于 2024-05-08 15:59:09 发布
最新推荐文章于 2024-05-08 15:59:09 发布
阅读量2k 收藏 4
点赞数 1
分类专栏： python 异常检测 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mario12315/article/details/112690088
版权
本文介绍了在异常检测中，HBOS（Histogram-based Outlier Score）算法的应用。这是一种无监督的统计学方法，依赖于数据集的分布假设。通过pyod库，文章展示了环境准备、代码示例以及模型参数调优的过程，强调了调整n_bins、alpha、tol和contamination参数的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

感谢datawhale大部队！

异常检测中，统计学方法的优缺点
优点：
1、如果统计假定成立，这种方法会非常有效 ；
2、统计方法的置信区间可以作为额外的信息帮助决策
缺点：
这类方法严重依赖数据集的分布假定

**HBOS（Histogram-based Outlier Score）**是一种原理简单，且通常很有效的无监督算法。

一、环境准备

pyod库安装：

# 直接命令行pip安装
pip install pyod

启动jupyter notebook：

# 以前已安装jupyter，命令行直接启动即可
jupyter notebook

二、代码

# 导入相关依赖模块
from pyod.utils.data import evaluate_print
最低0.47元/天 解锁文章
【AI】高光谱图像分类 — HybridSN模型
火火的博客
01-05 1万+
文章目录前言实验目的论文地址1、这篇论文讲了个啥？论文细节2、2D卷积和3D卷积的区别2D卷积：3D卷积： 前言 实验目的 阅读论文《HybridSN: Exploring 3-D–2-DCNN Feature Hierarchy for Hyperspectral Image Classification》，并思考3D卷积和2D卷积的区别； 同时，阅读代码：https://gaopursuit.oss-cn-beijing.aliyuncs.com/202010/AIexp/10%20-%20Hybri
matlab cnn高光谱图像分类
05-12
matlab cnn高光谱图像分类
基于卷积神经网络的高光谱分类 CNN+高光谱+印度松数据集
热门推荐
weixin_50890461的博客
11-18 3万+
基于卷积神经网络的高光谱分类 一、研究现状 只考虑到高光谱图像的光谱特征，即：1、提取特征(小波变换、Gabor纹理分析、形态学剖面) ​ 2、利用分类方法分类(支持向量机、决策树、随机森林、神经网络) ​ 缺点：这些特征提取方法需要依据先验知识手动设置，且通过设定参数提取的特征信息通常只能 ​ 用于区分特定的对象，缺乏灵活性，并且分类性能无法进一步提升。 本文提出：卷积神经网络的高光谱分类 ​ 优点：能同时提取图
基于卷积神经网络的高光谱图像分类
m0_63260018的博客
06-23 8852
近年来深度学习的技术在计算机视觉领域中大放异彩，使得对多光谱数据分类的研究迅速发展，结合2D-CNN，3D-CNN，注意力机制，PCA降维等方法均可使得对多光谱图像的分类精度得以提升。目前CNN网络大量用于传统的CV领域，而对于高光谱图像的分类仍比较缺乏，本文章基于CNN网络在高光谱图像中的分类做一个综述。根据CNN网络对高光谱图像特征提取方式的不同，分为基于谱特征，空间特征，和空谱特征的分类方法。
基于卷积神经网络的高光谱分类（1D、2D、3D-CNN）
qq_45047246的博客
01-01 1万+
基于卷积神经网络的高光谱分类（1D、2D、3D-CNN） 含代码
基于卷积神经网络的高光谱图像分类研究
04-26
基于卷积神经网络的高光谱图像分类研究，基于卷积神经网络的高光谱图像分类研究
处理异常数据：Python数据清洗中的异常值处理策略
异常值处理的重要性 在数据分析中，异常值是指与大多数样本明显不同的数值，可能是由于测量错误、数据录入问题或者真实变化所致。异常值对数据分析造成了严重影响，可能导致模型不稳定、结果不准确甚至是错误的...
基于卷积神经网络的高光谱分类 CNN（上）
最新发布
JennyXi2001的博客
05-08 1693
下载Indian Pines数据集的纠正版本和地面真实值数据集!!# 安装Python库spectral，用于处理和分析遥感数据!
Indian pines高光谱数据集
01-11
Indian pines印第安农场高光谱数据集，波段数200，数据大小145*145*200。
基于深度卷积神经网络的高光谱遥感图像分类.pdf
06-19
结合高光谱数据和深度学习的特点，提出一种同时考虑像素光谱信息和空间信息的深度卷积神经网络框架。 该框架主要步骤如下：首先利用主成分分析法对高光谱遥感图像进行光谱特征提取，消除特征之间的相关性，并降低特征维数，获得清晰的空间结构；然后利用深度卷积神经网络对输入的样本进行空间特征提取；最后通过学 习到的高级特征进行 回归训练
通过svm cnn knn对高光谱数据集PaviaU进行分类（matlab）
08-12
本资源主要通过matlab对Paviau高光谱数据集进行分类，使用了pca、kpca、lda三种数据降维方法以及svm、knn、cnn三种数据分类算法。
【高光谱图像数据集】Indian Pines
04-07
This scene was gathered by AVIRIS sensor over the Indian Pines test site in North-western Indiana and consists of 145\times145 pixels and 224 spectral reflectance bands in the wavelength range 0.4–2.5 10^(-6) meters. This scene is a subset of a larger one. The Indian Pines scene contains two-thirds agriculture, and one-third forest or other natural perennial vegetation. There are two major dual lane highways, a rail line, as well as some low density housing, other built structures, and smaller roads. Since the scene is taken in June some of the crops present, corn, soybeans, are in early stages of growth with less than 5% coverage. The ground truth available is designated into sixteen classes and is not all mutually exclusive. We have also reduced the number of bands to 200 by removing bands covering the region of water absorption: [104-108], [150-163], 220. Indian Pines data are available through Pursue's univeristy MultiSpec site.
五种高光谱数据集.rar
11-23
包含常用的几种高光谱数据，可以用于遥感图像分类。Washington DC Mal,Indian Pine等。ndian Pines 是最早的用于高光谱图像分类的测试数据，由机载可视红外成像光谱仪（AVIRIS）于 1992 年对美国印第安纳州一块印度松树进行成像，然后截取尺寸为 145×145 的大小进行标注作为高光谱图像分类测试用途。Pavia  University 数据是由德国的机载反射光学光谱成像仪（Reflective  Optics Spectrographic Imaging System，ROSIS-03）在 2003 年对意大利的帕维亚城所成的像的一部分高光谱数据。该光谱成像仪对 0.43-0.86μm 波长范围内的 115 个波段连续成像，所成图像的空间分辨率为 1.3m。其中 12 个波段由于受噪声影响被剔除，因此一般使用的是剩下 103 个光谱波段所成的图像。该数据的尺寸为 610×340，因此共包含2207400 个像素，但是其中包含大量的背景像素，包含地物的像素总共只有 42776 个，这些像素中共包含 9 类地物，包括树、沥青道路（Asphalt）、砖
高光谱遥感影像分类数据集.rar
01-26
高光谱遥感影像分类数据集，可用于高光谱遥感影像分类研究，尤其在深度学习中十分常用，包括Botswana、Indian Pines、Pavia University等。
高光谱图像分类
weixin_41576068的博客
01-02 1215
高光谱图像分类 本次作业在阅读完《HybridSN: Exploring 3-D–2-DCNN Feature Hierarchy for Hyperspectral Image Classification》论文后完成。 二维卷积和三维卷积的区别是：二维CNN只能处理高光谱图像的空间信息，并不能处理频谱信息。然而，三维CNN可以同时提取高光谱图像的频谱信息和空间信息，但是三维CNN的代价是大大增加了计算的复杂度。因此，本论文在分析了单独二维CNN和单独三维CNN的特点后，提出了混合式的频谱卷积神经网络（H
高光谱图像分类与深度模型
weixin_43819870的博客
06-10 4720
1.高光谱图像与多光谱图像的异同 相同点： 多光谱和高光bai谱都属于光谱成像du技术的一种，在图像处理领域zhi都有广泛的应用。 不同点： 1、分辨率不同 多光谱成像——光谱分辨率在 delta_lambda/lambda=0.1数量级，这样的传感器在可见光和近红外区域一般只有几个波段。 高光谱成像—— 光谱分辨率在 delta_lambda/lambda=0.01数量级，这样的传感器在可见光和近红外区域有几卜到数百个波段，光谱分辨率可达nm级。 2、波段不同 多光谱图像通常指3到10个波段。每个波段都是
基于深度卷积神经网络的高光谱遥感图像分类---PCA+2D-CNN(伪空谱特征)
liguandong
02-14 2万+
论文地址基于深度卷积神经网络的高光谱遥感图像分类西华大学学报同时利用高光谱图像的光谱信息和空间信息的深度卷积神经网路分类模型。基于深度学习到的深度特征，用逻辑回归分类器进行分类训练。高光谱图像面临的挑战：Hughes现象：在高光谱遥影像中，当训练样本数目有限时，分类精度随着图像波段数目的增加先增加，在达到一定极值后，分类精度随着波段数目的增加而下降。同物异谱异物同谱现有方法：随机森林、决策树、神...
【HSI】高光谱的数据集分类深度学习实战及代码理解
川川自溢的博客
08-11 1万+
高光谱的数据集分类深度学习实战及代码理解，基于最简单的2D卷积来对整个高光谱深度学习特征分类进行讲述，模型可以进行相应的替换
PyOD: Python异常值检测工具包深度解析
1. **多种算法实现**：PyOD集成了多种异常检测算法，包括基于邻近性的方法、基于聚类的方法、基于概率模型的方法和基于机器学习的方法。这些算法包括但不限于LOF（局部异常因子）、CBLOF（基于聚类的局部异常因子）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值