筛选数据离群值（下）：统计方法&马氏距离&概率密度估计&机器学习算法（Python-sklearn代码+精美科研绘图）

于 2025-10-10 14:18:54 发布
阅读量623 收藏 21
点赞数 18
CC 4.0 BY-SA版权
分类专栏： 机器学习算法 【全家桶】各专栏汇总 文章标签： 机器学习 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51658186/article/details/140280265

注：承接上期博客，注意上期导入数据和相关库，不然只用本期代码无法运行。代码参考鸢尾花丛书开源代码，链接如下：

参考书籍及源代码链接 https://github.com/Visualize-ML

自己使用时根据理解添加了注释！！

一、马氏距离法（高斯分布前提假设）

在这之前你是否认为Z分数只能用于一维数据，对于二维乃至多维的情况，也可以使用Z分数——即马氏距离。若样本数据分布近似服从多元高斯分布（基本假设），</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
筛选数据离群值（上）：统计方法&马氏距离&概率密度估计&机器学习算法（Python-sklearn代码+精美科研绘图）
weixin_51658186的博客
10-10 885
离群值，即明显与其他数据差异较大的值（明显偏大&偏小），会对最大值、最小值、取值范围、平均值、方差等数据特征带来巨大偏差。确定离群值最简单的方法是根据常识或专家知识，确定后将其删除或设为NaN然后进行填充。但只靠专家知识显然不行，需要一些定量方法。# %%
【机器学习sklearn】两个例子轻松搞懂核密度估计KernelDensity
向往有那么一天梦幻的步态识别落地，开花❀！
10-19 8116
作业中遇到了需要使用KernelDensity的情况，但是网上的资料参差不齐，找了不短的时间却失望而归，最后还是靠着自己的理解才弄懂sklearn这个函数的使用，特此纪念。
【机器学习-近邻算法-02】 | Scikit-Learn工具包进阶指南：机器学习sklearn.neighbors模块之核密度估计、缓存最近邻、邻域成分分析以及局部离群因子算法
一伦明悦的博客
05-22 1563
sklearn.neighbors是scikit-learn库中用于实现K近邻算法的模块。它提供了用于分类、回归、密度估计等任务的K近邻算法的实现。该模块包含了多种K近邻算法的实现，如基本的KNN分类器、回归器、最近邻图等。你可以使用该模块来构建K近邻模型，并对数据进行分类、回归等任务。
核密度估计及其Python实践
袁易学的博客(Yuan Yixue's Blog)
03-24 1万+
一、参数估计简介 很多情况下，我们只有有限的样本集，而类条件概率密度函数p(x|ωi)和先验概率P(ωi)是未知的，需要根据已有样本进行参数估计，然后将估计值当作真实值来使用。 由给定样本集求解随机变量的分布密度函数问题是统计机器学习和概率统计学的基本问题之一。解决该问题的方法包括参数估计和非参数估计两大类： 1.参数估计方法 已知概率密度函数的形式而函数的有关参数未知，通过估计参数来估计概率密度函数的方法。有两种主要参数估计法：确定性参数估计方法是把参数看作确定而未知的, 典型方法为最大似然估计。随机参数
scikit-learn学习笔记：Simple 1D Kernel Density Estimation
tianliangjay的专栏
04-22 3059
This example uses the sklearn.neighbors.KernelDensity class to demonstrate the principles of Kernel Density Estimation in one dimension. The first plot shows one of the problems with using histograms
基于密度的聚类（Density-based clustering）-- 核密度估计（kernel density estimation）
weixin_44746091的博客
06-29 3806
In density-based clustering, clusters are defined as areas of higher density than the remainder of the data set. Objects in sparse areas - that are required to separate clusters-are usually considered to be noise and border points. --wiki 在基于密度的聚类中，聚类定义为密度
基于python与马氏距离的异常检测算法设计与实现
04-29
在Python中，可以使用NumPy和SciPy库来计算矩阵操作，Pandas库进行数据处理，Scikit-learn库则提供了各种机器学习算法，包括预处理工具和评估指标，可用于异常检测任务。 这个项目的源代码很可能包含了以上所有步骤...
MATLAB算法实战应用案例精讲-【数据分析】基于sklearn的异常检测（附matlab、R语言和python代码实现）
qq_36130719的博客
01-05 2177
和在数据集上表现相当不错。而对离群值很敏感，因此在离群值检测方面表现不佳。但仍可用于异常值检测，但需要微调其超参数nu以处理异常值并防止过度拟合。提供了复杂度更低的实现。而假设数据是高斯分布的并学习一个椭圆。
2024-12-26-sklearn学习（22）无监督学习-协方差估计 宝马雕车香满路。凤箫声动，玉壶光转。一夜鱼龙舞。
最新发布
weixin_42269028的博客
12-26 1225
sklearn学习（22）无监督学习-协方差估计 宝马雕车香满路。凤箫声动，玉壶光转。一夜鱼龙舞。
python核密度估计(KernelDensity)
法相的博客
06-29 4万+
在获得数据之后，我们需要对数据进行分析，以便了解数据的基本性质，为后续的模型选择和模型训练提供依据。了解特征的分布，是机器学习的第一步，同时也是相当关键的一步。我们引入了核密度估计来帮助我们了解数据的基本分布。
Scikit-Learn 1.4使用指南：无监督学习 密度估计 Density Estimation.
数智笔记
02-06 1157
scikit-learn 中异常值检测算法的比较。Local Outlier Factor (LOF) 由于没有预测方法可用于异常值检测，因此没有显示黑色的决策边界。和在考虑的数据集上表现得相当好。对异常值敏感，因此在异常值检测方面表现不佳。尽管如此，在高维度或没有对内部数据分布做任何假设的情况下进行异常值检测非常具有挑战性。仍然可以用于异常值检测，但需要对其超参数 nu 进行精细调整，以处理异常值并防止过拟合。提供了一个线性 One-Class SVM 的实现，其样本数量的复杂度为线性。
【sklearn第二十四讲】密度估计
wong2016的博客
07-31 7918
机器学习训练营——机器学习爱好者的自由交流空间（qq 群号：696721295） 密度估计普遍用于无监督学习、特征工程和数据建模。最流行和使用的密度估计技术是混合模型，例如高斯混合模型，基于邻居的方法，例如核密度估计。密度估计的概念很简单，大多数人已经熟悉了一种常见的密度估计技术：直方图。 密度估计：直方图 一个直方图是一个简单的数据可视化方法，它定义了间隔(bins), 落入每...
密度图的密度估计_scikitlearn — 密度估计
weixin_39710041的博客
11-22 1117
密度估计在无监督学习、特征工程和数据建模之中都有应用。一些最流行和最有用的密度估计技术是混合模型，如高斯混合(sklearn.mixture.GaussianMixture)，和基于近邻(neighbor-based)的方法，如核密度估计(sklearn.neighbors.KernelDensity)。在 聚类 这一小节，充分地讨论了高斯混合方法，因为该技术作为一种无监督的聚类方案是很...
核密度估计Kernel Density Estimation(KDE)-代码详细解释
微电子学与固体电子学-俞驰
07-06 3万+
在介绍核密度评估Kernel Density Estimation(KDE)之前，先介绍下密度估计的问题。由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。（对于估计概率密度，如果确定数据服从的分布类型，可以使用参数拟合，否则只能使用非参数拟合） 参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布...
核密度估计-KDE
Rnan_prince的博客
09-23 5163
核密度估计（Kernel Density Estimation） 密度评估器是一种利用D维数据集生成D维概率分布估计的算法，GMM使用不同的高斯分布的加权汇总来表示概率分布估计。 核密度估计算法将高斯混合理念扩展到了逻辑极限，它通过对每一个点生成高斯分布的混合成分，获得本实质上是无参数的密度评估器。 核密度估计的自由参数是核类型和核带宽，前者指定每个点核密度分布的形状，后者指定每个点核的大小。 一维数据的密度估计——直方图，是一个简单的密度评估器，直方图将数据分成若干区间，统计落入每个区间内的点的数量
K近邻（KNN）算法原理与实践
leonliu1995的博客
12-14 2081
这次我来介绍一下k近邻法（k-nearest neighbor, KNN）的基本原理以及在scikit-learn中的应用。这是一种看起来结构和原理都挺简单的机器学习算法，主要的数据结构就是kd树的构造和搜索，在scikit-learn中的例子也比较少。K近邻算法的原理k近邻的原理很简单，给定一个数据集，对于新来的数据，我们首先定义一个数k，然后找到离这个新加入的数据点最近的k个点，然后找出这k个点
【Scikit-Learn 中文文档】密度估计 - 无监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-27 788
密度估计在无监督学习，特征工程和数据建模之间划分了界线。一些最流行和最有用的密度估计方法是混合模型，如高斯混合( sklearn.mixture.GaussianMixture ), 和基于邻近的方法( sklearn.neighbors.KernelDensity )，如核密度估计。 clustering 一节中更充分地讨论了高斯混合，因为此方法也用作为一种无监督聚类方案。 密度估计是一个非常简单的概念，大多数人已经熟悉了其中一种常用的密度估计技术：直方图。
非参数估计：核密度估计KDE
热门推荐
皮皮blog
12-14 12万+
http://blog.csdn.net/pipisorry/article/details/53635895核密度估计Kernel Density Estimation(KDE)概述密度估计的问题由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布
异常检测算法详解：从统计到高维数据的探测方法
&ldquo;异常探测方法的分类主要涵盖基于统计、距离、偏差、密度和高维数据的异常检测算法。异常检测在数据挖掘中扮演着重要角色，用于发现数据集中的异常或离群值，这些异常可能是由于非随机因素导致的。异常检测应用广泛...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二象性Libo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值