PyCaret:几行代码轻松搞定从数据处理到模型部署

pycaret的具体使用流程 PyCaret的具体使用流程 PyCaret是Python中的一个开源、低代码机器学习库,旨在减少从数据处理到模型部署的周期时间。PyCaret库只需几行代码就可以完成从准备数据到部署模型,其中包括有数据处理,模型训练,参数搜索,模型可解释性,模型选择,实验日志查询。 一、PyCaret安装 在使用pycaret库进行机器学习处理时,pycaret2.3要求scikit-learn在是0.22版,然而,在python3.7下没有找到相应匹配的版本。为避免安装不兼容,我首先尝试了将pycaret降级为2.0版 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料、代码以及交流解答点击即可加入


学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个新的想法想要快速尝试下效果的时候,效率很低。

最近发现一个开源的Python机器学习库,名字叫PyCaret,这个轮子正好可以为了解决我刚才所描述的困扰,它的特点是以low-code低代码量来快速解决从数据预处理到模型部署的整个流程。

PyCaret是什么?

PyCaret是一个将我们常用到的机器学习库进行封装了的轮子。

常用的都有啥呢?

比如pandas,numpy做数据处理的,matplotlib,seaborn数据可视化的,sklearn,xgboost,catboost,lightgbm等各种模型的,总共有30个。在安装PyCaret的时候会附带着一起都安装上。

封装这么多库干什么用?

PyCaret依赖了这么多的神库肯定是要搞事情啊。没错,机器学习中的一些操作步骤都可在PyCaret自动开发的pipeline中进行复现。在 Pycaret 中所执行的所有操作均按顺序存储在 Pipeline 中,该 Pipeline 针对模型部署进行了完全配置。

PyCaret就像是把所有都安排好了一样,我们按照它定义的函数使用就可以了。不管是填充缺失值、转换类别数据、执行特征工程设计,还是调参,Pycaret 都能够自动执行。所以才可以实现用几行代码搞定从预处理到模型部署的整个流程。

而且pipeline可以保存为二进制文件格式,支持在不同环境中进行迁移。

PyCaret支持的模型算法

PyCaret支持6个模块,有监督和无监督模型的训练和部署,分别有分类、回归、聚类、异常检测、自然语言处理和关联规则挖掘。

 

PyCaret安装

pip install pycaret

老样子,命令行pip install皆可安装。

为了防止安装的这些依赖可能与之前你已安装过的发生冲突,建议可以创建个Python的虚拟环境安装PyCaret以减少不必要的麻烦,比如用python3 virtualenv或者conda。就拿conda为例吧。

#创建一个新的虚拟环境
conda create --name yourenvname python=3.7
#激活
conda activate yourenvname
#安装
pip install pycaret

如果不好使也可以尝试从源安装。

pip install C:/path_to_download/pycaret-version.tar.gz

PyCaret如何使用?

像这种数据建模类的工作会涉及很多交互式的操作,所以东哥首推在Jupyter notebook中运行代码。

PyCaret库的函数有五个大类,初始化、模型训练、模型集成、模型分析与模型部署,基本上覆盖了我们正常建模的顺序,只不过预处理都在初始化中完成了。具体使用方法见后面实例。

一、初始化

PyCaret初始化包括了两部分内容,一、获取数据;二、建立环境。

1. 获取数据

PyCaret自带了很多数据集,样本几万条的,特征几百个的,对于我们练习绝对是够用了。比如这样:

from pycaret.datasets import get_data
data = get_data('juice') 

2. 建立环境

这一步是必须的。首先,我们要选择使用哪个模块,分类、回归、聚类 还是其他的。比如我们要用classification分类模型。

from pycaret.datasets import get_data
diabetes = get_data('diabetes')
# 初始化
from pycaret.classification import *
clf1 = setup(data = diabetes, target = 'Class variable')

上面setup函数就建立了基础环境,其中参数约束了数据集和目标变量。

 

 

setup参数除了上面这两个以外,还有N多个参数可以控制。所有预处理的步骤都会应用至setup()中,PyCaret 拥有 20 余项功能可运用于 ML 相关的数据准备,比如样本的划分、数据预处理,缺失值处理、独热编码、归一化、特征工程、特征选择等等。

 


比如要用归一化,那么令normalize为Ture就好了,其它的同理。

clf1 = setup(data = pokemon, target = 'Legendary', normalize = True)

如果还要用其他的,在setup里面加就好了,至于处理的顺序不用我们管,pipeline已经自动搞定了。

另外,PyCaret 的一大优点是:Pipeline 可保存成二进制,轻松地在各环境之间相互迁移,比如大规模运行或是轻松部署到生产环境中。

模型训练

模型训练包括三个部分,模型比较,模型创建,模型调优。

1. 模型比较

这是模型训练的第一步。compare_models函数会训练模型库中的所有模型,并使用 k 折交叉验证(默认 k=10)来比较常见的评估指标。所使用的评估指标如下所示:

  • 分类模块:Accuracy,AUC,Recall,Precision,F1,Kappa
  • 回归模块:MAE,MSE,RMSE,R2,RMSLE,MAPE

下面是模型比较函数的使用,只需要这么一行代码!

# 比较所有模型
compare_models()

来看一下结果,直接给出所有模型跑出的结果,直观地对比。

 

2. 模型创建

当我们比较了各模型的结果后,知道了哪个模型最适合,这时只要在创建函数create_model中传入一个模型参数就行,同样一行代码搞定。

# 创建逻辑回归模型
lr = create_model('lr')

 

PyCaret 有 60 多个开源即用型算法,每个模型都有对应的缩写(可以查表),比如上面逻辑回归直接写上lr就可以完成。

变量lr存储一个由create_model函数返回的训练模型对象,可以通过在变量后使用标点.来访问训练对象的原始属性。

3. 模型调优

同样的,在模型调优tune_model函数中传入模型lr参数,PyCaret将自动调优。

# 调节 LR 模型
tuned_lr = tune_model('lr')

模型集成

1. 集成模型

模型集成函数ensemble_model可以直接调用生成的模型对象,然后做集成处理。默认使用Bagging方法用于模型集成,用户也可函数中的method参数将其转换为Boosting。

# 创建一个决策树模型
dt = create_model('dt')
dt_bagged = ensemble_model(dt)

 

除此外,PyCaret还提供了blend_models和stack_models功能,来集成多个训练好的模型。

2. blend模型

# blend_models 混合特殊的模型
blender = blend_models(estimator_list = [dt, catboost, lightgbm])

3. stack模型

# 创建单个模型,用于stacking
ridge = create_model('ridge')
lda = create_model('lda')
gbc = create_model('gbc')
xgboost = create_model('xgboost')
# stacking 模型
stacker = stack_models(estimator_list = [ridge,lda,gbc], meta_model = xgboost)

模型分析

模型分析主要可以做两个事情:一、模型绘制;二、模型解释。

1. 模型绘制

我们需要分析什么模型指标,只要传入函数中即可,比如对adaboost模型分析AUC指标。

# 创建逻辑回归模型
adaboost = create_model('adaboost') 
plot_model(adaboost, plot = 'auc') # AUC plot
plot_model(adaboost, plot = 'boundary') # Decision Boundary
plot_model(adaboost, plot = 'pr') # Precision Recall Curve
plot_model(adaboost, plot = 'vc') # Validation Curve

 

如果你不想单独绘制所有这些可视化,那么PyCaret库有另一个惊人的功能evaluate_model。在此功能中,只需要传递模型对象,PyCaret将创建一个交互式窗口,供你·以所有可能的方式查看和分析模型:

 

2. 模型解释

在大多数机器学习项目中,解释复杂模型非常重要。通过分析模型认为重要的内容,有助于模型调优。在PyCaret中,此步骤非常简单,只需编写interpret_model即可获取Shapley值。

# 创建一个模型
xgboost = create_model('xgboost')
interpret_model(xgboost) # summary plot
interpret_model(xgboost, plot = 'correlation') # correlation plot

 

测试数据集上特定数据点的解释可以通过reason图来评估。如下图所示:在测试数据集上检查首个实例。

interpret_model(xgboost, plot = 'reason', observation = 0)

模型部署

模型调优后要将模型在测试集上进行测试,使用predict_model函数。

1. 模型预测

# 创建模型
rf = create_model('rf') # 预测测试集
rf_holdout_pred = predict_model(rf)

以上是对模型测试集进行的预测,如果对于未见过的新数据预测,PyCaret提供一个迭代的预测结果,在predict_model函数指定data,像下面这样。

 

2. 模型完成

最后确认模型finalize_model才能进行部署。

# finalize a model
final_rf = finalize_model(rf)

3. 模型部署

该功能将pipeline和经过训练的模型保存为最终用户应用程序可以作为二进制pickle文件使用。或者,可以使用PyCaret将模型部署在云上。在云上部署模型就像编写deploy_model一样简单。

比如对于AWS用户来说,在将模型部署到AWS S3('aws')之前,必须使用命令行界面配置环境变量。要配置AWS环境变量,请在python命令行中输入aws configure。需要以下信息,可以使用亚马逊控制台帐户的身份和访问管理(IAM)门户生成。

  • AWS访问密钥ID
  • AWS访问密钥
  • 默认区域名称(可以在您的AWS控制台的“全局设置”下看到)
  • 默认输出格式(必须留空)
# 创建模型
lr = create_model('lr')
# 最终确定模型
final_lr = finalize_model(lr)
# 部署模型
deploy_model(final_lr, model_name = 'lr_aws', platform = 'aws', authentication = { 'bucket'  : 'pycaret-test' })

用户也能够以二进制文件的格式保存整个实验,包括所有中间输出。

# 创建模型
adaboost = create_model('ada') 
# 二进制保存模型
save_model(adaboost, model_name = 'ada_for_deployment') 

以上就是PyCaret的介绍和使用方法

低代码机器学习库--Pycaret 目录 PyCaret2.3简介 PyCaret安装 PyCaret功能模块 一、数据初始化 1.设置数据集、标注目标值 2.训练集/测试集划分 3.数据预处理 4.类别型特征值处理 5.编码转换 6.数据标准化 7.数据转换 8.特征衍生 9.特征选择 10.样本平衡处理 二、模型训练 1.比较模型 2.创建模型 3.模型调参 4.模型融合 三、模型可视化分析 1.性能分析(plot_model) 2.解释性分析(interpret_model) 3.模型校准. 阅读详情

相关推荐

10个真实项目验证的数据科学工程化工具链

数据科学工程化是将算法能力转化为稳定业务价值的关键跃迁。其核心在于解决教科书不讲、但项目高频出现的脏活难题:数据获取不可靠、样本稀缺且敏感、实验过程难以复现、模型交付卡在本地与生产之间。Scrapy提供可维护的爬虫管道设计,YData Synthetic以生成式AI合成合规高保真数据,ydata-profiling实现自动化深度EDA洞察,PyCaret封装标准化建模流程提升迭代效率,spaCy与OpenCV分别夯实NLP与CV的生产级基础能力,Streamlit与Flask分阶段支撑从POC到产品的应用化

weixin_33946020的博客 400

阿里Wan2.1-FLF2V开源:消费级GPU实现720P首尾帧视频生成革命

## 导语 阿里云通义万相团队开源的Wan2.1-FLF2V-14B-720P模型,通过首尾帧控制技术实现专业级视频生成,仅需消费级GPU即可部署,重新定义AI视频创作的成本与效率边界。 ## 行业现状:视频生成技术的"普惠化"浪潮 2025年AI视频生成领域正经历从"专业工具"到"普惠技术"的关键转型。据市场分析显示,全球视频生成市场规模已达7.17亿美元,年增长率维持20%,但传统

gitblog_00215的博客 630

PyCaret初学者指南

PyCaret初学者指南

python收藏家的博客 1375

PyCaret-低代码ML库使用指南

在本文中,我将演示如何使用PyCaret快速轻松地构建机器学习项目并为部署准备最终模型。 当我们研究监督的机器学习问题时,如果我们对结果感到满意,那么很容易看到随机森林或梯度提升模型如何执行并停止实验。如果您仅用一行代码就可以比较许多不同的模型,该怎么办?如果您可以将数据科学过程的每个步骤(从功能工程到模型部署)减少到仅几行代码,该怎么办? 这正是PyCaret发挥作用的地方。PyCaret是一个高级,低代码的Python库,它使仅需几行代码即可轻松比较,训练,评估,调整和部署机器学习模型。从本质上

Free雅轩的博客 906

Anomaly-Detection-PyCaret:使用PyCaret异常检测卫生保健数据集

使用PyCaret进行医疗保健异常检测 mybinder回购链接: ://mybinder.org/v2/gh/alihussainia/Anomaly-Detection-PyCaret/ad700a6d8b73c469d2b35b61805d8e09b32dd088

K8S证书过期解决办法之替换证书

k8s证书过期解决方案之替换证书

q_hsolucky的博客 1万+

太赞了!分享一个数据科学利器 PyCaret,几行代码搞定从数据处理到模型部署

作者:xiaoyu,数据爱好者 Python数据科学出品 学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个新的想法想要快速尝试下效果的时候,效率很低。 东哥最近发现一个开源的Python机器学习库,名字叫PyCaret,这个轮子正好可以为了解决我刚才所描述的困扰,它的特点是以low-code低代码量来快速解决从数据预处理到模型部署的整个流程。 用了一下感觉确实有点香,因此也和大家分享一下。 PyCaret是什么? PyCaret是一个.

Python数据科学 3216

Zenoh:统一数据平面协议,重塑物联网与边缘计算架构

在分布式系统与物联网领域,数据通信与处理常面临协议割裂的挑战。传统方案如MQTT、Kafka、gRPC等,分别针对发布/订阅、流处理和RPC等不同场景,导致架构复杂、集成成本高。其核心问题在于未能统一处理“运动中数据”(Data in Motion)与“静止中数据”(Data at Rest)。Zenoh协议通过创新的“Key-Value”寻址与“Selector”查询语言,将发布/订阅、存储、查询和计算四种核心操作融合进单一协议,构建了统一的抽象层。这种设计实现了极低的协议开销(仅5字节头部)和地理分布式

weixin_29597551的博客 291

数据科学利器 PyCaret,几行代码搞定从数据处理到模型部署

Python数据挖掘与文本分析&Stata应用能力提升与实证前沿云特训学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个...

大邓和他的Python 1146

【深度解析】信息素养提升实践活动(附:历年获奖作品分析)

全国师生信息素养提升实践活动是由教育部教育技术与资源发展中心(中央电化教育馆)主办,面向全国师生的一项信息化交流展示活动。

m0_74417957的博客 2631

企业微信自建应用全流程部署指南:从HTTPS到API调试

本文提供了一份详尽的企业微信自建应用部署指南,涵盖从HTTPS域名配置、Nginx反向代理到企业微信后台应用创建与API调试的全流程。核心在于构建一个符合企业微信安全要求的“可信”服务环境,并利用JupyterLab等工具进行高效调试,帮助企业快速完成内部系统与企业微信的集成。

weixin_29247219的博客 426

大赞!分享一个数据科学利器 PyCaret,几行代码搞定从数据处理到模型部署

作者:东哥起飞来源:Python数据科学学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个新的想法想要快速尝试下效果的时...

python爬虫人工智能大数据 1040

Sublime Text4代码配色自定义方案

关于Sublime Text对于我的使用体验,只能说内置的代码主题真的都太low了,一点都不好看。所以接下来我分享一下我自定义代码配色。当然,大家也可以通过我给的中文翻译注释来自定义自己喜欢的颜色。废话不多说,直接上代码直接将代码复制粘贴到:Preferences > Customize Color Scheme 即可。},"globals":"foreground": "var(white)", // 前景色。

追求细节,成就完美 6028

大赞!一个数据科学利器 PyCaret,几行代码搞定从数据处理到模型部署

作者:东哥起飞来源:Python数据科学学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个新的想法想要快速尝试下效果的时...

Oner.wv的专栏 496

SIwave学习记录:电热耦合仿真

SIwave电热耦合仿真

m0_68174736的博客 2337

Plant Simulation与ABB机器人虚实结合

Plant Simulation与ABB机器人虚实结合

santayana的专栏 1870

python model如何获取分类错误的数据_太赞了!分享一个数据科学利器 PyCaret,几行代码搞定从数据处理到模型部署

作者:东哥起飞微信公众号:Python数据科学学习数据科学很久了,从数据探索、数据预处理、数据模型搭建和部署这些过程一直有些重复性的工作比较浪费时间,尤其当你有个新的想法想要快速尝试下效果的时候,效率很低。东哥最近发现一个开源的Python机器学习库,名字叫PyCaret,这个轮子正好可以为了解决我刚才所描述的困扰,它的特点是以low-code低代码量来快速解决从数据预处理到模型部署的整个流程。用...

weixin_39761573的博客 707

深入浅出AXI协议(2)——通道及信号

本文我们继续AXI协议的学习,我们将讨论5个通道的具体内容和相对应的信号。这一部分的内容现在对于大家来说可能很难理解,但是没有关系,随着学习的深入,我们会逐步讲解这里面的所有现在,现在只需要把它们当作一个可以查阅的手册,快速阅读有一个基本的印象即可。

apple_53311083的博客 1801

pycaret快速上手

在前段时间里面,我觉得使用sklearn进行机器学习以及足够方便了.方便的离谱的那种,时常会觉得自己用sklearn有点水,直到我今天尝试了pycaret,我才明白啥叫懒惰推进人类发展.pycaret更是方便的离谱. 安装方式 pip install pycaret (由于要装挺多依赖的,所以可能有点慢,如果安装的时候报错了,多安几次就好) 官方的教程,jupyter notebook形式的 from pycaret.classification import * from pycaret.dataset

rglkt的博客 3544

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

pycaret在钻石数据集上的使用 - 回归问题

默认情况下,compare_models根据默认排序顺序返回性能最佳的模型,但可用于通过使用n_select参数返回前N个模型的列表。注意一些必须执行建模的任务是如何自动处理的,例如缺失值插补(在这种情况下,训练数据中没有缺失值,但我们仍然需要对看不见的数据进行插补)、分类编码等。setup()中的参数是可选的,用于自定义预处理管道。请注意,对于变换后的训练集,(5400,8)的原始形状已转换为(3779,28)。对于本教程的剩余部分,我们将使用以下模型作为我们的候选模型。...

具身机器人和通用AI 979

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Pycaret使用教程

文档链接:https://pycaret.org/setup/ 模块介绍: 1.数据导入 #Importing data using pandas import pandas as pd data = pd.read_csv('c:/path_to_data/file.csv’) #Loading data from pycaret from pycaret.datasets import get_data data = get_data('juice’) 2.导入模型模块 #

xudonglovedandan的博客 9604

Pycaret详细介绍该库用法及案例(分类方法案例胎儿状态分类指南)

Pycaret 基本流程一般包含:读取数据->建模/对比模型->模型预测->绘图分析->模型导出 安装pycaret见此篇博文——>安装pycaret遇到的问题 使用此命令:——pip --default-timeout=100 install pycaret -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 另附官方源码——>https://github.com/pycaret/pycare

sjjsaaaa的博客 3651

工具系列:PyCaret介绍_数据预处理

由于各种原因,数据集可能具有缺失值或空记录,通常编码为空白或NaN。大多数机器学习算法无法处理缺失或空白的值。删除具有缺失值的样本是有时使用的基本策略,但它的代价是丢失可能的有价值数据以及相关信息或模式。更好的策略是插补缺失值。要使用的插补类型。它可以是iterative。如果为 None,则不执行缺失值的插补。数值列的插补策略。当时忽略。分类列的插补策略。当时忽略。当时忽略。Regressor,用于对数值特征中的缺失值进行迭代插补。如果为 None,则使用 LGBClassifier。当时忽略。

数智笔记 2630

几行代码搞定ML模型,低代码机器学习Python库正式开源

PyCaret 库支持在「低代码」环境中训练和部署有监督以及无监督的机器学习模型,提升机器学习实验的效率。 想提高机器学习实验的效率,把更多精力放在解决业务问题而不是写代码上?低代码平台或许是个不错的选择。 最近,机器之心发现了一个开源低代码机器学习 Python 库 PyCaret,它支持在「低代码」环境中训练和部署有监督以及无监督的机器学习模型。 GitHub 地址:https://...

喜欢打酱油的老鸟 1126

机器学习建模神器PyCaret已开源!提升效率,几行代码轻松搞定模型

Datawhale干货编译:张峰,Datawhale成员寄语:PyCaret,是一款 Python中的开源低代码(low-code)机器学习库,支持在「低代码」环境中训练和部署有监督...

Datawhale 8236

Interpretable Models - Decision Rules

可以说是最简单的model了,IF-THEN的结构 一、The usefulness of a decision rule is usually summarized in two numbers: Support and accuracy。 Support(coverage of a rule):走进该rule的实例占比,The percentage of instances to whic...

Gin077的专栏 882
上一篇: Python重构(五)
下一篇: Python 协程的本质?原来也不过如此
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值