机器学习库 Scikit-learn 版本更新了,10个新玩法!

【Scikit-learn学习】第一课:Scikit-learn 简介和安装 欢迎来到 Scikit-learn 的入门课程!在这一课中,我们将介绍 Scikit-learn 的基础知识,包括它的历史、主要功能、以及如何在你的环境中安装它。这将为我们深入探索 Scikit-learn 的强大功能打下坚实的基础。Scikit-learn 是一个开源的 Python 机器学习库,它提供了大量的简单和高效的工具,适用于数据挖掘和数据分析。它建立在 Python 的 NumPy、SciPy 和 Matplotlib 库之上,使其成为科学和工程领域中数据分析和机器学习的首选库之一。 阅读详情

作者:Jeff Hale 转自:机器之心

Scikit-learn 更新了,新特性主要包括选择超参数更快的方法、ICE 图、直方图 boosting 改进、OneHotEncoder 支持缺失值等。

自 2007 年发布以来,Scikit-learn 已经成为 Python 领域非常重要的机器学习库,支持分类、回归、降维和聚类四大机器学习算法,还包括了特征提取、数据处理和模型评估三大模块。

总的来说,Scikit-learn 有以下优点:

  1. 完善的文档,上手容易;

  2. 丰富的 API,在学术界颇受欢迎;

  3. 封装了大量的机器学习算法,包括 LIBSVM 和 LIBINEAR 等;

  4. 内置了大量数据集,节省了获取和整理数据集的时间。

和其他众多的开源项目一样,Scikit-learn 目前主要由社区成员自发进行维护。可能是由于维护成本的限制,Scikit-learn 相比其他项目要显得更为保守。但在刚刚到来的 2021 年,Scikit-learn 0.24.0 版本更新了,让我们看看新版本有哪些值得关注的新特性。

1. 选择超参数更快的方法

HalvingGridSearchCV 和 HalvingRandomSearchCV 将 GridSearchCV 和 RandomizedSearchCV 合并为超参数调优家族中资源密集度较低的成员。

新类使用锦标赛方法(tournament approach)选择最佳超参数。它们在观测数据的子集上训练超参数组合,得分最高的超参数组合会进入下一轮。在下一轮中,它们会在大量观测中获得分数。比赛一直持续到最后一轮。

确定传递给 HalvingGridSearchCV 或 halvingAndomSearchCV 的超参数需要进行一些计算,你也可以使用合理的默认值。

HalvingGridSearchCV 使用所有超参数组合。RandomGridSearchCV 使用随机子集,就如 RandomizedSearchCV 一样。

一些建议:

  • 如果没有太多的超参数需要调优,并且 pipeline 运行时间不长,请使用 GridSearchCV;

  • 对于较大的搜索空间和训练缓慢的模型,请使用 HalvingGridSearchCV;

  • 对于非常大的搜索空间和训练缓慢的模型,请使用 HalvingRandomSearchCV。

在使用之前,这些类需要从 experimental 模块导入:

  • from sklearn.experimental import enable_halving_search_cv

  • from sklearn.model_selection import HalvingRandomSearchCV 

  • from sklearn.model_selection import HalvingGridSearchCV

2. ICE 图

Scikit-learn 0.23 版本引入了部分依赖图(PDP),PDP 对显示平均特征非常重要。而 Scikit-learn 0.24 版本则提供了显示个体条件期望(ICE)图的选项。

与 PDP 一样,ICE 图显示了目标和输入特征之间的依赖关系。不同之处在于, ICE 图显示了对每个样本特征的预测依赖性——每个样本一行。特征的平均 ICE 为 PDP。

通过将关键字参数 kind='individual'传递给 plot_partial_dependency 函数可以查看 ICE 图。而 PDP 和 ICE 则可以通过关键字参数 kind='both'进行查看。

来自 scikit-learn gapminder 数据集的 PDP 和 ICE 图。

3. 直方图 boosting 改进

受 LightGBM 启发, HistGradientBoostingRegressor 和 HistGradientBoostingClassifier 现在有一个 categorical_features 参数,可用来提供分类特征支持。因为基于直方图的 booster 支持连续特征,这是一个不错的选择。与 one-hot 编码相比,它节省了训练时间,并且性能优于其他编码选项。

但是,模型的输入特征需要是数值型的。如果分类特征不是数值型的,可以使用 OrdinalEncoder 进行数字编码。然后通过传递一个布尔掩码或一个整数数组来告诉 booster 哪些特征是用来分类的。例如:

model = HistGradientBoostingRegressor(


 categorical_features=[True, False]


)

在 scikit-learn 0.24 版本中,直方图 boosting 算法在速度和内存使用方面得到了改进。在 2020 年末,HistGradientBoostingClassifier 的基准拟合速度(benchmark fit speed)下降了近 75%。

此外,请注意,基于直方图的估计器支持缺失值,因此,如果你不需要填充缺失值,则无需进行插补。这些估计器还处于试验阶段,因此启用估计器需要从 sklearn.experimental 导入。

4. 前向选择用于特征选择

选择特征子集时,SequentialFeatureSelector 从无特征开始,通过前向选择,逐渐添加特征,首先添加第一个最有价值的特征,然后添加第二个最有价值的特征,依此类推,直到到达选择的停止点。

不同于特征选择转换器 RFE 和 SelectFromModel,SequentialFeatureSelector 不需要底层模型来公开 coef_或 feature_importances_属性。但是,SequentialFeatureSelector 可能比 RFE 和 SelectFromModel 这两个选项慢,因为它使用交叉验证来评估模型。

5. 多项式特征展开的快速逼近

PolynomialFeatures 转换器创建交互项和特征的高阶多项式。然而,这会让模型训练变得非常缓慢。来自 kernel_approximation 命名空间的 PolynomialCountSketch 核近似函数提供了一种更快的方法来训练具有预测优势的线性模型,该模型可以使用 PolynomialFeatures 进行近似。

或者,你可以将 PolynomialCountSketch 视为具有径向基函数核的支持向量机的更快版本,只是在预测方面,性能差一点。

PolynomialFeatures 返回平方特征和交互项(如果需要,还可以返回高阶多项式)。相反,PolynomialCountSketch 返回在 n_components 参数中指定的特征数。默认值为 100,建议文档字符串(docstring)中包含的特征数量是原始特征数量的 10 倍。这些特征表示多项式特征展开近似,但不能直接解释。

6. 用于半监督学习的 SelfTrainingClassifier

SelfTrainingClassifier 是一个新的用于半监督学习的元分类器。它允许所有可以预测属于目标类的样本概率的监督分类器作为半监督分类器,从未标记的观测结果中学习。

请注意,y_train 中未标记值必须为 - 1,不能设置为 null。

7. 平均绝对百分比误差 (MAPE)

mean_absolute_percentage_error 函数现已被添加为回归问题评分指标。和 R-squared 一样,MAPE 在不同的回归问题中提供了一些比较值。

你可以使用 np.mean(np.abs((y_test — preds)/y_test)) 手动计算 MAPE,但总体来说,这个函数还是非常有用的。

8. OneHotEncoder 支持缺失值

scikit-learn 0.24 版本的 OneHotEncoder 可以处理缺失值。如果在 X_train 中有一个 null 值,那么在转换后的列中将有一个列来表示缺失值。

9. OrdinalEncoder 可以处理测试集中的新值

你是否有存在于测试集中、但在训练集中没有的类别?如果有这种情况的话,将 handle_unknown='use_encoded_value' 关键字参数和新的 unknown_value 参数一起使用。你可以将 unknown_value 参数设置为未出现在序数编码值中的整数或 np.nan。这使得 OrdinalEncoder 更易于使用。

10. 递归式特征消除(RFE)接受一定比例的特征保留

向 n_features_to_select 传递一个 0 到 1 之间的浮点数,以控制要选择特性的百分比。这种添加使得以编程方式消除部分特征变得更容易。

原文链接:https://towardsdatascience.com/the-10-best-new-features-in-scikit-learn-0-24-f45e49b6741b

Scikit-Learn机器学习基础教程与代码实例 根据模型的评估结果,我们可以选择表现最好的模型,并根据实际需求(如准确率、解释性、计算效率等)来决定最终的模型。同时,根据模型的性能,可能需要进一步优化特征工程或尝试其他模型。最后,将模型部署到生产环境中,以便在实际应用中使用。# 选择最佳模型else:# 保存模型在这个项目实战案例中,我们通过数据探索、特征工程、模型训练与优化、模型评估与验证,最终选择了一个适合实际应用的机器学习模型。这个过程展示了Scikit-Learn在实际项目中的应用,以及如何利用其功能来提高模型性能。 阅读详情

相关推荐

【机器学习】安装python的机器学习库scikit-learn、tensorflow

一、关于IDE开发软件的选择WinPython下载地址: https://winpython.github.io/WinPython与其他IDE软件比较:https://www.zhihu.com/question/27615938二、scikit-learn、numpy、scipy、matplotlib 的安装下面安装所需要的scikit-learn等4个包:          如果以前安装过,...

断桥残雪D的博客 5444

【版本安装】最新版本|还在开发的版本sklearn安装方式

对于有些还处在开发版本的库,我们是无法通过简单的pip调用的,比如sklearn的所有版本(2022.10.30)如下:

向往有那么一天梦幻的步态识别落地,开花❀! 9526

【Python机器学习】零基础掌握SelfTrainingClassifier半监督学习

自训练分类器提供了一种强有力的工具,用于在数据标签不完全的情况下构建预测模型。通过在能源需求预测案例中的应用,展现了其在实际问题中的潜力,同时也揭示了需要进一步研究和解决的挑战。优点总结,半监督学习算法,尤其是自训练分类器,通过结合有标签和无标签的数据,可以显著提升模型的预测能力。在数据标签稀缺的情况下,这种方法能有效利用可获得的所有数据,从而节约标注成本。适用于那些难以获取完整标签信息的实际场景,如预测市场趋势、用户行为分析等。优点描述提高数据利用率。

Mr数据杨 532

python scikit-learn SelfTrainingClassifier实践

最近用scikit-learn试了一下半监督学习,我这里分享一下我写的代码: 我的数据集的地址展示: ['./FeatureLearningRotNet/feat/train/disgust/Training_73540712.jpg.npy', './FeatureLearningRotNet/feat/train/disgust/Training_82025016.jpg.npy', './FeatureLearningRotNet/feat/train/disgust/Training_9817359

Learning from the mistakes 1386

sklearn:尝试在C ++中实现Python的Scikit Learn(单头且无依赖项)

斯克莱恩 尝试在C ++中为Python实现Scikit Learn 预处理: 回归: 分类: 标准化 所需来源: preprocessing.h,proecessing.cpp和statx.h StandardScaler将通过去除均值并缩放到单位方差来标准化要素。 参考: // SWAMI KARUPPASWAMI THUNNAI # include < iostream> # include " preprocessing.h " int main () { StandardScaler scaler ({ 0 , 0 , 1 , 1 }); std::vector< double> scaled = scaler. scale (); // Scaled value and inverse scaling for ( double i : scaled) {

麒麟桌面操作系统QT开发环境搭建

麒麟操作系统安装Qt

因为热爱,所以坚持,记录工作中的乐趣 9275

安装 scikit-learn (Python 3)

安装 scikit-learn (Python 3)

程永强 2168

WPS制作甘特图实操(带图超详细)

一、数据准备 图1 二、添加公式 在表格的E3处添加公式:=IF(C3>=G3,0,IF(C3+D3>=G3,G3-C3,D3)),点击该单元格的右下角。使鼠标箭头变“+”后下拉拖拽,复制该公式。F3处的公式为:=D3-E3,使用相同的拖拽方式复制公式应用,操作完毕如下图3. 图2 图3 三、插入图表 1、选中方框1内容,按住ctrl按键,继续选择2、3列的内容,点击插入全部图表中的条形图,选择2对应的图标样式,生成图6的样式。 点击图6中的3标尺,右击选择数据弹出图8,点击+号选择表格中

m0_49047167的博客 3万+

scikit-learn全解:掌握Python最强大的机器学习库

本篇博客详细介绍了Python机器学习库Scikit-learn的使用方法和主要特性。内容涵盖了如何安装和配置Scikit-learn,Scikit-learn的主要特性,如何进行数据预处理,如何使用监督学习和无监督学习算法,以及如何评估模型和进行参数调优。本文旨在帮助读者深入理解Scikit-learn,并有效地应用在实际的机器学习任务中。

TechLead 1714

VSAN数据救援实战:当26个虚拟机突然不可访问时我们做了什么?

本文深度复盘了一次由运维操作失误引发的VMware vSAN存储危机,导致26个虚拟机数据不可访问的实战救援过程。文章详细剖析了vSAN脑裂状态的诊断方法,分享了在官方支持受限时,如何结合社区智慧与自主分析,通过精准的底层命令干预和状态推理,最终成功恢复全部数据的破局思路与操作细节,为vSAN数据救援提供了宝贵经验。

weixin_35749786的博客 239

四自由度SCARA机器人的运动学和动力学MATLAB建模与仿真

本文介绍了四自由度SCARA机器人的运动学和动力学建模,使用MATLAB进行了相应的建模与仿真。通过正运动学和动力学分析,可以了解机器人在不同状态下的运动特性和力学特性。这为后续的控制算法设计和性能优化打下了基础。希望本教程对学习SCARA机器人有帮助。

小蜗牛的珍贵百宝箱 3644

机器学习(十一):Scikit-learn库的基础与使用

详细解释了Scikit-learn的一些基础用法,包括它的定义、安装、核心对象类型(评估器)和关键特性(如数据预处理,数据集切分,数据标准化和归一化),并学习了如何实现线性回归模型,包括了解超参数的概念,以及如何保存和加载模型,希望通过本文,能帮助大家对Scikit-learn有一个更深入的认识。

无敌小怪兽_Zz的博客 1万+

2025 华为OD机试真题e卷 C语言 实现【竖直四子棋】

竖直四子棋的棋盘是竖立起来的,双方轮流选择棋盘的一列下子,棋子因重力落到棋盘底部或者其他棋子之上,当一列的棋子放满时,无法再在这列上下子。

MISAYAONE的博客 1418

Anaconda scikit-learn版本更新

Anaconda——sklearn版本更新 1.首先打开Anaconda Prompt 2.查看安装的版本 3.找到scikit-learn的版本 4.打开C:/users/管理员 删除.condarc文件 5.浏览器搜索----conda 中科大 找到anacond镜像 添加ustc仓库镜像 conda config --add channels https://mirrors.ustc...

rantele的博客 3003

利用插件扩展 Qt 应用程序

不仅 Qt 本身可以通过插件进行扩展,而且 Qt 应用程序也可以通过插件来扩展,这需要应用程序使用 `QPluginLoader` 检测和加载插件。

青春不老,奋斗不止! 1万+

Linux 4.19、Linux 5.10、Linux 6.1 三个版本详细分析

Linux 4.19发布日期:2018年10月22日LTS 状态:是长期支持版本,官方支持到2024年12月。Linux 5.10发布日期:2020年12月13日LTS 状态:LTS 版本,官方支持到2026年12月。Linux 6.1发布日期:2022年12月11日LTS 状态:不是官方的LTS版本,但通常社区会为新的版本提供一定时间的支持。定位:稳定性和长期支持,广泛应用于多种平台,尤其是嵌入式系统和服务器。主要优势:稳定性高,广泛的硬件支持,核心功能可靠。

小灰灰的博客 5961

使用Scikit-learn开启机器学习之旅

机器学习是令计算机根据可用数据执行相应策略而无需以明确的编程方式执行策略的一门学科。 在过去几十年间,由于可用数据的数量和质量呈指数级增长,同时高性能的计算设备也得到了快速发展。Scikit-Learn 是机器学习的常用库,它包含很多实用工具和算法用于构建机器学习模型,本文通过实例讲解使用 Scikit-learn 构建机器学习模型,包括常见监督学习和无监督学习算法模型。

盼小辉丶的博客 4697

2xmax96717+max96724+agx orin驱动代码

说明:这里主要解决max96717的设备地址和sensor地址映射,vc0->vc1多颗max96717+max96724使用配置思路如下: 1、改变max96717的pipez stream id,然后max96724的pipe绑定使用相应的stream id 2、max96717默认是vc0,把vc0改写成vc1\vc2\vc3,然后max96724再重新映射vc输出

mantouyouyou的博客 117

Scikit-learn库的基础与使用

Scikit-learn的发展始于2007年,由David Cournapeau在Google Summer of Code项目中启动。项目后续得到了许多开发者的贡献,包括INRIA(法国国家信息与自动化研究所),Waikato大学和其他机构。项目之所以取名为Scikit-Learn,也是因为该算法库是基于SciPy来进行的构建,而Scikit则是SciPy Kit(SciPy衍生的工具套件)的简称Scikit-learn是目前机器学习领域最完整、同时也是最具影响力的算法库。

hellozhxy的博客 5248

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

如何安装 scikit-learn Python 库

scikit-learn 是一个基于 Python 的开源机器学习库,它建立在 NumPy、SciPy 和 Matplotlib 之上,提供了丰富的机器学习算法和工具,适用于数据挖掘、分类、回归等任务。以下是安装 scikit-learn 的详细步骤,分为前提条件、安装方法和验证安装三部分。如果 pip 安装报错(常见于 Windows,提示缺少 NumPy 或 SciPy),请手动安装依赖库。scikit-learn 的安装过程简单高效,一旦完成,您就可以开始探索机器学习算法,如线性回归(模型为。

Yn312的博客 2226

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

大数据机器学习深入Scikit-learn:掌握Python最强大的机器学习库

Scikit-learn是一个强大且易用的Python库,它为我们提供了一整套的机器学习工具,可以用于解决从数据预处理,到模型训练,再到模型评估和参数调优的全流程任务。Scikit-learn的广泛应用,不仅仅因为它的功能强大,更因为它的设计理念——统一的API,使得我们可以快速地切换不同的模型和算法,而不需要对代码进行大的修改。这种灵活性和易用性,使得Scikit-learn成为了Python机器学习库的首选。

专注 AI、大数据、Python、爬虫、数据分析可视化、机器学习、推荐算法、知识图谱、大模型应用与全栈系统开发,长期沉淀真实项目案例、源码解析、系统设计、部署经验与工程化实践,分享可运行、可复用、可落地的技术方案。 2404

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Lesson 6.1 Scikit-Learn 快速入门

Scikit-Learn 的前世今生,Scikit-Learn 官网使用指南与核心功能介绍

每天进步一点点! 2199

机器学习系列4 使用Python创建Scikit-Learn回归模型

机器学习系列4 使用Python和Scikit-Learn回归模型 在本文中,我们将学习机器学习本地环境的配置过程,利用Scikit-learn库走完机器学习模型的基本流程,最终创建一个线性回归模型。

极限突破者的博客 5400

scikit-learn_Scikit Learn-快速指南

Scikit Learn-快速指南 (Scikit Learn - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Scikit Learn-简介 (Scikit Learn - Introduction) In this chapter, we will understand wh...

cunzai1985的博客 2218

10个最佳机器学习Python库:从TensorFlow到scikit-learn的完整指南

在当今数据驱动的世界中,机器学习Python库已成为开发者和数据科学家必备的工具。best-of-ml-python项目是一个精心策划的资源库,收集了920个顶级的开源项目,涵盖34个不同类别,总星标数超过510万。这个项目每周更新,为机器学习爱好者提供了一个全面的学习参考平台。 ## 🏆 核心机器学习框架 **TensorFlow**和**PyTorch**无疑是当前最受欢迎的两个深度学习

gitblog_00421的博客 712

Scikit-learn使用指南

【代码】Scikit-learn使用指南。

ya3288426755的博客 1986
上一篇: PyTorch 源码解读之 cpp_extension:揭秘 C++/CUDA 算子实现和调用全流程
下一篇: 机器学习核心概念完全解析(建议收藏)
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值