基于sklearn进行判别分析和聚类的一些常用算法和异常处理（持续更新）

最新推荐文章于 2025-06-20 19:59:23 发布
原创 最新推荐文章于 2025-06-20 19:59:23 发布 · 397 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sklearn #判别分析 #聚类 #pandas

本文探讨了在模型拟合过程中遇到的TypeError问题，当数据包含类别型变量时，需使用laberencoding或one-hotencoding进行预处理。通过pandas的get_dummies()函数实现one-hot编码，并介绍了如何利用sklearn.metrics进行模型评估，包括准确度和混淆矩阵的计算。

对包含类别型变量的dataframe直接进行模型拟合，在fit()时会报错TypeError:could not convert string to float,这是由于classifier.fit()只适用于数值型变量需要对原始数据中的类别型变量作laber encoding或one-hot encoding

pandas中提供了get_dummies()对数据作one_hot编码，效果类似于虚拟变量化，但每一类别都会被保留（ex. sex会被分解成新的两列，sex.male sex.famale）

拟合完成后，对错误率、敏感性等进行相关分析，sklearn.metrics中提供了相关方法———accuracy_score（testset,predset）可得到精确度,confusion_matrix（testset,predset）可以得到混淆矩阵，根据相关计算公式可以得到其他指标

一些算法更详尽的解释可以参照晓东邪的博客：https://blog.youkuaiyun.com/xiaodongxiexie/article/details/71915259

midflash
关注
模式识别与机器学习（Python实现）：基于sklearn朴素贝叶斯模型实现男女分类
安静到无声
03-04 1751
欢迎大家来到安静到无声的《模式识别与人工智能（程序与算法）》，如果对所写内容感兴趣请看模式识别与人工智能（程序与算法）系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，优惠价只需9.9元，请多多支持！
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 2万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
使用sklearn解决机器学习问题
aa_JamesJones的博客
11-21 642
1.读入数据 import pandas as pd housing = pd.read_csv("/Users/ff/PycharmProjects/prac_skl/datasets/housing/housing.csv") 2.观察数据 # housing.head() 输出前5行数据及表头 # housing.info() 输出每个特征的元素总个数及类型信息 # housing...
基于python中的sklearn.cluster库做k-means聚类
09-11
本程序是在python中完成，基于sklearn.cluster中的k-means聚类包来实现数据的聚类，对于里面使用的数据格式如下：（注意更改程序中的相关参数） 138 0 124 1 127 2 129 3 119 4 127 5 124 6 120 7 123 8 147 9 188 10 212 11 229 12 240 13 240 14 241 15 240 16 242 17 174 18 130 19 132 20 119 21 48 22 37 23 49 0 42 1 34 2 26 3 20 4 21 5 23 6 13 7 19 8 18 9 36 10 25 11 20 12 19 13 19 14 5 15 29 16 22 17 13 18 46 19 15 20 8 21 33 22 41 23 69 0 56 1 49 2 40 3 52 4 62 5 54 6 32 7 38 8 44 9 55 10 70 11 74 12 105 13 107 14 56 15 55 16 65 17 100 18 195 19 136 20 87 21 64 22 77 23 61 0 53 1 47 2 33 3 34 4 28 5 41 6 40 7 38 8 33 9 26 10 31 11 31 12 13 13 17 14 17 15 25 16 17 17 17 18 14 19 16 20 17 21 29 22 44 23 37 0 32 1 34 2 26 3 23 4 25 5 25 6 27 7 30 8 25 9 17 10 12 11 12 12 12 13 7 14 6 15 6 16 12 17 12 18 39 19 34 20 32 21 34 22 35 23 33 0 57 1 81 2 77 3 68 4 61 5 60 6 56 7 67 8 102 9 89 10 62 11 57 12 57 13 64 14 62 15 69 16 81 17 77 18 64 19 62 20 79 21 75 22 57 23 73 0 88 1 75 2 70 3 77 4 73 5 72 6 76 7 76 8 74 9 98 10 90 11 90 12 85 13 79 14 79 15 88 16 88 17 81 18 84 19 89 20 79 21 68 22 55 23 63 0 62 1 58 2 58 3 56 4 60 5 56 6 56 7 58 8 56 9 65 10 61 11 60 12 60 13 61 14 65 15 55 16 56 17 61 18 64 19 69 20 83 21 87 22 84 23 41 0 35 1 38 2 45 3 44 4 49 5 55 6 47 7 47 8 29 9 14 10 12 11 4 12 10 13 9 14 7 15 7 16 11 17 12 18 14 19 22 20 29 21 23 22 33 23 34 0 38 1 38 2 37 3 37 4 34 5 24 6 47 7 70 8 41 9 6 10 23 11 4 12 15 13 3 14 28 15 17 16 31 17 39 18 42 19 54 20 47 21 68 22
用Sklearn做判别分析(分类)
fennvde007的专栏
07-11 4596
来自： 加载数据集 这里我使用pandas来加载数据集，数据集采用kaggle的titanic的数据集，下载train.csv。 import pandas as pd df = pd.read_csv('train.csv') df = df.fillna(0) #将缺失值都替换为0 df.head()   PassengerId Survived P
sklearn聚类方法详解
ustbbsy的博客
07-08 8万+
1 KMeans 1.1 算法描述 随机选择k个中心 遍历所有样本，把样本划分到距离最近的一个中心 划分之后就有K个簇，计算每个簇的平均值作为新的质心 重复步骤2，直到达到停止条件 停止条件： 聚类中心不再发生变化；所有的距离最小；迭代次数达到设定值， 代价函数：误差平方和（SSE） 1.2 算法优缺点 优点： 算法容易理解，聚类效果不错 具有出色的速度 当簇近似高斯分...
sklearn机器学习：基于密度的聚类算法DBSCAN
The Zen of Data Analysis
10-15 5511
DBSCAN K-Means是最常见的聚类方法，能够实现快速聚类，但局限于其算法构架， K-Means对非球形边界的数据很难达到一个较好的分类效果，因此我们需要借助另外的数学理理论工具对其进行进一步的完善。 这里介绍一种利用密度进行聚类的方法：DBSCAN。一方面作为聚类算法的补充内容，一方面需要掌握面一个新算法如何利用scikit-learn快速上手应用实践的方法，当然最重要的一点，是要树立关于...
3.sklearn—聚类分析详解（聚类分析的分类；常用算法；各种距离：欧氏距离、马氏距离、闵式距离、曼哈顿距离、卡方距离、二值变量距离、余弦相似度、皮尔森相关系数、最远（近）距离、重心距离）
菜鸟打怪升级副本
01-25 1万+
聚类分析的分类；常用算法；各种距离：欧氏距离、马氏距离、闵式距离、曼哈顿距离、切比雪夫距离、卡方距离、二值变量距离、Jaccard距离、余弦相似度、汉明距离、皮尔森相关系数、最远（近）距离、重心距离、ward方法（离差平方和距离）、组间平均链锁距离、组内平均链锁距离；
MATLAB算法实战应用案例精讲-【数据分析】基于sklearn的异常检测（附matlab、R语言和python代码实现）
qq_36130719的博客
01-05 2191
和在数据集上表现相当不错。而对离群值很敏感，因此在离群值检测方面表现不佳。但仍可用于异常值检测，但需要微调其超参数nu以处理异常值并防止过度拟合。提供了复杂度更低的实现。而假设数据是高斯分布的并学习一个椭圆。
AI聚类算法常见问题解答：处理异常值和高维数据
最新发布
AI云原生与云计算技术学院
06-20 329
在AI的世界里，聚类算法就像是一个神奇的分类小能手，它能把一堆数据按照相似性分成不同的组。但是在实际操作中，我们会遇到很多麻烦，比如数据里有一些“捣乱分子”（异常值），还有数据的维度特别高（高维数据）。这篇文章的目的就是要帮大家搞清楚怎么处理这些问题，让聚类算法能更好地工作。我们会从基础概念讲起，到具体的处理方法，再到实际应用，全方位地探讨这个话题。接下来，我们会先介绍聚类算法的核心概念，就像给你一把打开宝藏的钥匙。然后会详细说说异常值和高维数据对聚类算法的影响，以及怎么解决这些问题。
基于sklearn的聚类算法的聚类效果指标
MIss-Y的博客
07-02 5万+
前言：度量聚类算法的性能不是简单的统计错误的数量或计算监督分类算法中的 precision （准确率）和 recall （召回率）。聚类算法的评价指标有很多，本文主要是基于sklearn机器学习库，里面提供了一系列的度量函数，在这些度量函数里面，有的需要知道真实的样本类别，然后有的聚类本来就没有真实的样本类别，甚至像DBSCAN这样的聚类方法，连到底有几个类别都不确定，那怎么去评价聚类的好...
判别分析 （ distinguish analysis）(一)：距离判别
冷月无声的博客
04-27 2万+
判别分析（distinguish analysis）是根据所研究的个体的观测指标来推断该个体所属 类型的一种统计方法，在自然科学和社会科学的研究中经常会碰到这种统计问题。例如 在地质找矿中我们要根据某异常点的地质结构、化探和物探的各项指标来判断该异常点 属于哪一种矿化类型； 医生要根据某人的各项化验指标的结果来判断该人属于什么病 症； 调查了某地区的土地生产率、劳动生产率...
sklearn 下距离的度量 —— sklearn.metrics
weixin_30527423的博客
10-26 1015
1. pairwise from sklearm.metrics.pairwise import pairwise_distance 计算一个样本集内部样本之间的距离： D = np.array([np.linalg.norm(r1-r2) for r1 in X] for r2 in X) 当然，不要重复制造轮子，sklearn 已为我们提供了实...
【机器学习笔记37】模糊聚类分析（基于最大生成树）
Fred's Note
12-23 5224
【参考资料】 【1】《模式识别与智能计算的MATLAB技术实现》 【2】《模糊数学方法及其应用》 【3】https://baike.baidu.com/item/Kruskal/10242089?fr=aladdin 1. 模糊关系的矩阵定义 模糊集定义及基础信息，参考之前笔记《模糊数学笔记-模糊集》 1.1 模糊关系 定义: 设论域U,V，称U×VU \times VU×V的一个模糊子集R...
Fuzzy C-Means（模糊C均值聚类）算法原理详解与python实现
热门推荐
Yancy的博客
04-02 10万+
目录 模糊理论 Fuzzy C-Means算法原理 算法步骤 python实现 参考资料 本文采用数据集为iris,将iris.txt放在程序的同一文件夹下。请先自行下载好。 模糊理论 模糊控制是自动化控制领域的一项经典方法。其原理则是模糊数学、模糊逻辑。1965，L. A. Zadeh发表模糊集合“Fuzzy Sets”的论文， 首次引入隶属度函数的概念，打破了经典数学“非0即 ...
sklearn解决回归问题
Code Wang的博客
04-29 1220
这里只是大致统计一下利用sklearn做回归的方法选择， 后续进行案例分析。 方法： # 线性回归 from sklearn.linear_model import LinearRegression linear_regression = LinearRegression() # 决策树回归 from sklearn import tree decision_tree_regression...
毕设教程系列 - FCM模糊聚类算法
HUXINY的博客
09-09 2万+
如何理解模糊 事物间的界线，有些是明确的，有些则是模糊的。当聚类涉及到事物之间的模糊界线时，需要运用模糊聚类分析方法。 模糊聚类分析有两种基本方法：系统聚类法和逐步聚类法。 逐步聚类法是一种基于模糊划分的模糊聚类分析法。它是预先确定好待分类的样本应分成几类，然后按照最优原则进行在分类，经多次迭代直到分类比较合理为止。在分类过程中可认为某个样本以某一隶属度隶属某一类，又以某一隶属度隶属于另一类。这样......
聚类算法 距离矩阵_模糊聚类算法
weixin_39980893的博客
12-07 886
模糊聚类算法1.如何理解模糊聚类事物间的界线，有些是明确的，有些则是模糊的。当聚类涉及到事物之间的模糊界线时，需要运用模糊聚类分析方法。如何理解模糊聚类的“模糊”呢：假设有两个集合分别是A、B，有一成员a，传统的分类概念a要么属于A要么属于B，在模糊聚类的概念中a可以0.3属于A，0.7属于B，这就是其中的“模糊”概念。模糊聚类分析有两种基本方法：系统聚类法和逐步聚类法。系统聚类法个人理解类似于密...
基于scikit-learn(sklearn)做分类--2.分类
u013083549的博客
04-27 4891
上一步对文本进行了切词，下一步就是进行了分类： //这里有个问题是，假如用predict_proba（）这个函数的时候，可以得到一篇文章属于一个类并得到属于这个类的概率，返回一个列表，而predict（）这个函数只能得到文本最应该属于的那个类，只能返回一个类。同时，对于给予中文类别，那么返回的可能是数字类别，现在没有找到中文类别和数字类进行对应的函数，于是直接自己把类别和数字进行对应，返回的类别
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值