筛选数据离群值（上）：统计方法&马氏距离&概率密度估计&机器学习算法（Python-sklearn代码+精美科研绘图）

最新推荐文章于 2025-11-23 20:20:10 发布
最新推荐文章于 2025-11-23 20:20:10 发布
阅读量885 收藏 15
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 机器学习算法 【全家桶】各专栏汇总 文章标签： 机器学习 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51658186/article/details/140275709

代码参考鸢尾花丛书开源代码，链接如下：

参考书籍及源代码链接 https://github.com/Visualize-ML

写在前面

离群值，即明显与其他数据差异较大的值（明显偏大&偏小），会对最大值、最小值、取值范围、平均值、方差等数据特征带来巨大偏差。

确定离群值最简单的方法是根据常识或专家知识，确定后将其删除或设为NaN然后进行填充。但只靠专家知识显然不行，需要一些定量方法。

导入必要的库和数据集：


                

        

    

  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
筛选数据离群值（下）：统计方法&马氏距离&概率密度估计&机器学习算法（Python-sklearn代码+精美科研绘图）

				
			

			

				

					weixin_51658186的博客
				

				

					10-10
					
					623
					
				

			

		

		

			
				
统计方法&马氏距离&概率密度估计&机器学习算法（Python-sklearn代码+精美科研绘图）。承接上期博客，注意上期导入数据和相关库，不然只用本期代码无法运行。代码参考鸢尾花丛书开源代码。

			
		

	



                

            
              



	

		

			

				
					
MATLAB算法实战应用案例精讲-【数据分析】基于sklearn的异常检测（附matlab、R语言和python代码实现）

				
			

			

				

					qq_36130719的博客
				

				

					01-05
					
					2177
					
				

			

		

		

			
				
和在数据集上表现相当不错。而对离群值很敏感，因此在离群值检测方面表现不佳。但仍可用于异常值检测，但需要微调其超参数nu以处理异常值并防止过度拟合。提供了复杂度更低的实现。而假设数据是高斯分布的并学习一个椭圆。

			
		

	



              


  
              

                


	

		

			

				
					
sklearn 马氏距离_使用python+sklearn实现鲁棒协方差估计和马氏距离相关性

				
			

			

				

					weixin_39858132的博客
				

				

					12-18
					
					1656
					
				

			

		

		

			
				
本示例显示高斯分布数据上的马氏距离与协方差估计。对于高斯分布数据，观测值与分布模式的距离可以使用其 Mahalanobis 距离来计算：其中和是高斯分布的位置和协方差。实际上，和可以使用一些估计值代替。通常的协方差最大似然估计对数据集中离群值非常敏感，因此对应的Mahalanobis 距离对数据集中离群值也是非常敏感的，所以最好使用鲁棒协方差估计器来确保估计值可以抵抗数据集中的“错误”...

			
		

	





	

		

			

				
					
马氏距离数学原理以及python代码实现

				
			

			

				

					guoqingru0311的博客
				

				

					02-20
					
					2040
					
				

			

		

		

			
				
马氏距离数学原理以及python代码实现

			
		

	



		

			
		



	

		

			

				
					
零基础入门Python数据分析与机器学习--椭圆模型拟合及案例

				
			

			

				

					王国平的博客
				

				

					10-05
					
					1384
					
				

			

		

		

			
				
9.5.2椭圆模型拟合及案例
多元数据集存在偏离正常范围的“离群点”。一般在预处理数据环节，需检测出离群点，再进行处理。
离群点产生的原因可能是由数据中存在某些点来自于与总体分布不同的其它分布。具体而言，假设多元数据集大多数样本服从分布F，少量样本服从分布G；则将少量样本定义为离群点。

一般采用马氏距离来检验某个样本是否为离群点。在计算距离过程中需要提供均值估计量和协方差估计量，这两个参数容易被离群值影响而发生偏离，导致马氏距离计算不准确，最终影响离散点的判断。

实现离群点检测的一种常见...

			
		

	





	

		

			

				
					
2024-12-26-sklearn学习（22）无监督学习-协方差估计 宝马雕车香满路。凤箫声动，玉壶光转。一夜鱼龙舞。

				
			

			

				

					weixin_42269028的博客
				

				

					12-26
					
					1225
					
				

			

		

		

			
				
sklearn学习（22）无监督学习-协方差估计 宝马雕车香满路。凤箫声动，玉壶光转。一夜鱼龙舞。

			
		

	





	

		

			

				
					
机器学习入门基础（万字总结）（建议收藏！！！）

					
热门推荐

				
			

			

				

					subsistent的博客
				

				

					12-04
					
					17万+
					
				

			

		

		

			
				
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。

			
		

	





	

		

			

				
					
机器学习算法（二十二）：局部离群因子检测方法 (Local Outlier Factor, LOF)

				
			

			

				

					weixin_39910711的博客
				

				

					08-30
					
					1万+
					
				

			

		

		

			
				
1 离群点挖掘方法



2LOF 算法背景

    基于密度的离群点检测方法的关键步骤在于给每个数据点都分配一个离散度，其主要思想是：针对给定的数据集，对其中的任意一个数据点，如果在其局部邻域内的点都很密集，那么认为此数据点为正常数据点；而离群点则是距离正常数据点最近邻的点都比较远的数据点。通常有阈值进行界定距离的远近。在基于密度的离群点检测方法中，最具有代表性的方法是局部离群因子检测方法 (Local Outlier Factor, LOF)。

3LOF算法简介

    在众多...

			
		

	





	

		

			

				
					
非监督学习-聚类算法概述与代码实现（*K-means, k-modes, k-prototypes, DMSCAN密度聚类, GMM, 层次聚类）

				
			

			

				

					Monkeyhou1992的博客
				

				

					02-07
					
					3911
					
				

			

		

		

			
				
非监督学习-聚类算法概述与代码实现（K-means, k-modes, k-prototypes, DMSCAN密度聚类, GMM, 层次聚类）聚类算法是什么监督学习、非监督学习、半监督学习与强化学习的概念距离计算方法（相似性）K-means算法逻辑如何评价k-means聚类算法k-means聚类算法如何选出最佳k值K-means的优缺点及应用场景改进和其他常用聚类算法与K-means算法类似的k-modes和k-prototypesDensity-based methods基于密度的聚类算法 DBSCAN

			
		

	





	

		

			

				
					
基于python与马氏距离的异常检测算法设计与实现

				
			

			

				

					04-29
				

			

		

		

			
				
在Python中，可以使用NumPy和SciPy库来计算矩阵操作，Pandas库进行数据处理，Scikit-learn库则提供了各种机器学习算法，包括预处理工具和评估指标，可用于异常检测任务。  这个项目的源代码很可能包含了以上所有步骤...

			
		

	





	

		

			

				
					
【机器学习基础】Attention in Transformers：注意力机制

				
			

			

				

					安如衫的刷怪之路
				

				

					11-23
					
					608
					
				

			

		

		

			
				
原始 Transformer 结构采用 Encoder-Decoder，Encoder 负责上下文建模，Decoder 通过自回归生成输出，二者通过 Cross-Attention 相连。文章重点拆解 Self-Attention 的 Q、K、V 机制：用点积计算相关性并经缩放与 Softmax 得到权重，再对 V 加权求和得到上下文化表示；解释了为何需要独立的 Q/K/V 投影以打破对称、解耦语义并做信息过滤。

			
		

	





	

		

			

				
					
人工智能与机器学习：未来技术的颠覆性力量

				
			

			

				

					2501_94058529的博客
				

				

					11-19
					
					896
					
				

			

		

		

			
				
摘要： 人工智能（AI）与机器学习（ML）已深度融入各行业，从自动驾驶、医疗诊断到金融风控和智能制造，展现出广泛的应用潜力。AI通过模拟人类智能执行复杂任务，ML则依赖数据自主优化算法，而深度学习（DL）进一步推动了图像、语音等非结构化数据的处理。尽管面临数据隐私、算法透明性和偏见等挑战，AI/ML的未来仍充满可能，量子计算等技术将加速其发展。随着技术进步，AI将成为推动社会变革的核心力量，重塑生活与工作方式。

			
		

	





	

		

			

				
					
Python在机器学习中的数据处理

				
			

			

				

					2509_93946355的博客
				

				

					11-22
					
					459
					
				

			

		

		

			
				
后来学会用Pandas的isnull().sum()先摸清底细，发现不同字段得区别对待：数值型用fillna(mean())，分类变量干脆单独标成“未知”类别。特征工程才是真正拉开差距的地方。最近用featuretools库自动生成特征，通过对客户交易表进行深度特征合成，半小时就构造出“最近三个月退款率”这类业务特征，比手工效率提升十倍不止。后来坚持用Python这套工具链认真做完数据清洗、特征工程、数据标准化三板斧，哪怕用最简单的随机森林，效果都比在脏数据上跑XGBoost强得多。

			
		

	





	

		

			

				
					
2025-11-17 学习记录--Python-机器学习作业：项目1 - PM2.5预测

				
			

			

				

					weixin_48850734的博客
				

				

					11-20
					
					664
					
				

			

		

		

			
				
Python-机器学习作业：项目1 - PM2.5预测

			
		

	





	

		

			

				
					
【机器学习】1-4 机器学习介绍 & 概述 &单变量线性回归 & 线性回归训练

					
最新发布

				
			

			

				

					weixin_54010404的博客
				

				

					11-23
					
					636
					
				

			

		

		

			
				
机器学习是人工智能的核心子领域，主要分为监督学习、无监督学习和强化学习三大类。监督学习通过带标签数据训练模型进行预测（回归和分类），无监督学习则从无标签数据中发现隐藏模式（聚类和异常检测）。线性回归作为监督学习的基础方法，使用均方误差成本函数评估模型性能，并通过梯度下降算法优化参数。梯度下降通过迭代调整参数使成本函数最小化，学习率的选择对收敛至关重要。本文系统介绍了机器学习的基本概念、分类方法以及线性回归的实现原理和优化过程。

			
		

	





	

		

			

				
					
平衡二叉树：机器学习中高效数据组织的基石

				
			

			

				

					拒绝AI玄学，只聊真技术▲
				

				

					11-20
					
					1050
					
				

			

		

		

			
				
平衡二叉树是一种特殊的二叉搜索树，其中任何节点的左右子树高度差的绝对值不超过1，并且左右子树也都是平衡二叉树。这种平衡性质确保了树的高度始终保持在对数级别，使得查找、插入和删除操作的时间复杂度都为O(log n)。与普通二叉搜索树相比，平衡二叉树的关键优势在于它能够避免树退化为链表的情况，从而保证最坏情况下的性能。这对于机器学习应用尤为重要，因为数据分布往往是不均匀的，而平衡二叉树能够适应各种数据分布情况。平衡二叉树作为基础而强大的数据结构，在机器学习和其他计算机科学领域继续发挥着重要作用。

			
		

	





	

		

			

				
					
更换适配python版本直接进行机器学习深度学习等相关环境配置(非仿真环境)

				
			

			

				

					qq_42217078的博客
				

				

					11-23
					
					207
					
				

			

		

		

			
				
​
上一篇 最新的python3.14版本下仿真环境配置深度学习机器学习相关 在仿真环境下配置的 ，但是运行效率没有直接合适版本的快，故而重新配置

​至此环境已完全配置就绪，可直接用于机器学习、深度学习、数据可视化等各类开发场景！

整理不易，诚望各位看官点赞 收藏 评论 予以支持，这将成为我持续更新的动力源泉。若您在阅览时存有异议或建议，敬请留言指正批评，让我们携手共同学习，共同进取，吾辈自当相互勉励！

			
		

	





	

		

			

				
					
机器学习周报二十三

				
			

			

				

					weixin_60864619的博客
				

				

					11-23
					
					547
					
				

			

		

		

			
				
本周学习了扩散模型，重温之前的扩散模型的知识和流程，并且对其中一些疑惑的点进行学习，通过代码生成了几张手写数字识别的数据集；也进行了对rcnn的代码学习，但是还没有攻克这个难题。This week, I studied diffusion models, revisited previous knowledge and processes of diffusion models, and studied some points that I was confused about. I generated s

			
		

	





	

		

			

				
					
多峰差分进化算法的理论进展：从生态位到机器学习融合

				
			

			

				

					nmdbbzcl的博客
				

				

					11-20
					
					73
					
				

			

		

		

			
				
Chauhan 等人的工作为多峰差分进化提供了一幅相对完整的研究全景：一方面回顾了 DE 在参数自适应与结构利用上的主流演化路线；另一方面，从生态位、聚类、变异与混合、机器学习、多层与多目标等多个主题对近年的 MMDE 文献进行了系统归类；最后在应用与实验分析的基础上，提出了一系列开放问题。对于希望在 优快云 或科研工作中进一步深入这一方向的读者，可以考虑按如下方式使用这篇综述——这里不再罗列式给出“做法清单”，而是尝试描述一种“阅读节奏”。

			
		

	





	

		

			

				
					
异常检测算法详解：从统计到高维数据的探测方法

				
			

			

				

					
				

			

		

		

			
				
“异常探测方法的分类主要涵盖基于统计、距离、偏差、密度和高维数据的异常检测算法。异常检测在数据挖掘中扮演着重要角色，用于发现数据集中的异常或离群值，这些异常可能是由于非随机因素导致的。异常检测应用广泛...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
二象性Libo

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值