【机器学习】微软出品!FLAML:一款可以自动化机器学习过程的神器!

FLAML框架学习干货整理 FLAML (Fast and Lightweight AutoML) 是一个用于自动机器学习(AutoML)的 Python 库,旨在快速且资源效率高地找到机器学习任务的最优模型和其超参数。它由微软研究院开发,适用于广泛的机器学习任务,如分类、回归和时间序列预测。 阅读详情

机器学习是我们使用一组算法解决来解决生活中问题的过程。创建机器学习模型很容易,但选择在泛化和性能方面都最适合的模型是一项艰巨的任务。

有多种机器学习算法可用于回归和分类,可根据我们要解决的问题来选择,但选择合适的模型是一个需要高计算成本、时间和精力的过程。

为解决上述问题,今天我给大家分享一款非常棒的工具包:FLAML,它是一个由微软开源的轻量级 Python 库,有助于自动、高效地找出最佳机器学习模型,不仅速度快,节省时间,而且设计轻巧。

让我们详细的介绍一下它吧…

安装所需的库

我们将首先使用 pip 安装来安装 FLAML。下面给出的命令将使用 pip 安装。

pip install flaml
导入所需的库

在这一步中,我们将导入创建机器学习模型和下载数据集所需的所有库。

from flaml import AutoML
解决分类问题

现在我们将从解决分类问题开始。我们将在这里使用的数据是著名的 Iris 数据集,可以从 Seaborn 库轻松加载。让我们开始创建模型。

#Loading the Dataset
from sklearn.datasets import load_iris

为 Automl 创建实例很重要,同时也定义 Automl 设置,因此在这一步中,我们还将创建 Automl 实例并定义设置。

automl = AutoML()
automl_settings = {
    "time_budget": 10,  # in seconds
    "metric": 'accuracy',
    "task": 'classification'
}

接下来,我们将拆分数据并将其拟合到模型中。最后,我们还将使用模型进行预测并找到最佳模型。

X_train, y_train = load_iris(return_X_y=True)
# Train with labeled input data
automl.fit(X_train=X_train, y_train=y_train,
           **automl_settings)
print(automl.predict_proba(X_train).shape)
# Export the best model
print(automl.model)
cf91d0abb82ef7af74746533d6f08f56.png

在这里,我们可以清楚地看到 ExtraTreeEstimator 是此数据的最佳模型。现在让我们打印模型的最佳超参数和准确性。

print('Best ML leaner:', automl.best_estimator)
print('Best hyperparmeter config:', automl.best_config)
print('Best accuracy on validation data: {0:.4g}'.format(1-automl.best_loss))
print('Training duration of best run: {0:.4g} s'.format(automl.best_config_train_time))

dcaf98cc6f17efffb849115ddf3cc0d2.png同样,对于回归问题,我们也将遵循相同的过程。

解决回归问题

现在将解决一个回归问题。我们将在这里使用的数据是著名的波士顿数据集,可以从 Seaborn 库轻松加载。我们可以遵循与分类问题完全相同的过程。

from sklearn.datasets import load_boston

automl = AutoML()

automl_settings = {
    "time_budget": 10,  # in seconds
    "metric": 'r2',
    "task": 'regression'
}
X_train, y_train = load_boston(return_X_y=True)
# Train with labeled input data
automl.fit(X_train=X_train, y_train=y_train,
           **automl_settings)
# Predict
print(automl.predict(X_train).shape)
# Export the best model
print(automl.model)
16bc94d07a1c812b65d666cf816e035a.png
print('Best ML leaner:', automl.best_estimator)
print('Best hyperparmeter config:', automl.best_config)
print('Best accuracy on validation data: {0:.4g}'.format(1-automl.best_loss))
print('Training duration of best run: {0:.4g} s'.format(automl.best_config_train_time))
8a6aaa85e35af96bd920edefc8688931.png

在这里,我们也可以清楚地看到回归问题的最佳模型和超参数。同样,你可以对你关注的数据集执行此过程,并找到最佳模型和超参数。


 

推荐阅读:

入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径

量化: 定投基金到底能赚多少钱?  | 我用Python对去年800只基金的数据分析

干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析|   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记灯谜答题王 |用Python做个海量小姐姐素描图碟中谍这么火,我用机器学习做个迷你推荐系统电影

趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!

AI: 会做诗的机器人给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影

小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案


 

 

 

 

 

 


 

 

 
点阅读原文,看Python全套!
机器学习笔记 - AutoML框架FLAML初体验 AutoML在近年来的各类机器学习和Kaggle比赛中层出不穷,明显是机器学习的一个趋势,自动化机器学习提供了方法和流程,使机器学习可供非机器学习专家使用,以提高机器学习的效率并加速机器学习的研究。 FLAML是今年由微软主推的一个全新的高效轻量级自动化机器学习框架。 FLAML 是一个轻量级的 Python 库,可自动、高效且经济地找到准确的机器学习模型。它使用户不必为每个学习者选择学习者和超参数。 阅读详情

相关推荐

微软 AutoML 框架之 FLAML | 论文解读

微软 AutoML 框架之 FLAML | 论文解读 FLAML(A Fast and Lightweight AutoML Library),是由微软主推的一个全新的高效轻量级自动化机器学习框架。

叶庭云 成为自己的光 1476

【机器学习】盘点常见的自动机器学习(AutoML)工具库

本文总结了常见的AutoML库,可供大家选择。LightAutoML项目链接:https://github.com/sberbank-ai-lab/LightAutoML推荐指数:⭐⭐⭐LightAutoML是基于Python环境下的结构化自动机器学习库,现在支持的任务有:二分类多分类回归任务LightAutoML现在只支持单表单记录的形式,即每一行由样本的特征和标签组成。importpanda...

fengdu78的博客 1310

AutoML之FLAML:FLAML的简介、安装、案例应用之详细攻略

​ AutoML之FLAML:FLAML的简介、安装、案例应用之详细攻略 目录 FLAML的简介 FLAML的安装 FLAML的案例应用 FLAML的简介 2021年2月份,FLAML(A Fast and Lightweight AutoML Library),高效轻量级自动化机器学习框架,它是由微软研究院在2021年5月份发表的一篇论文解释了这个AutoML框架,这是一种新的、具有成本效益的超参数优化和模型选择方法以及许多后续研究提供支持。 F

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

微软出品!FLAML:一款可以自动化机器学习过程的神器!

机器学习是我们使用一组算法解决来解决生活中问题的过程。创建机器学习模型很容易,但选择在泛化和性能方面都最适合的模型是一项艰巨的任务。 有多种机器学习算法可用于回归和分类,可根据我们要解决的问题来选择,但选择合适的模型是一个需要高计算成本、时间和精力的过程。 为解决上述问题,今天我给大家分享一款非常棒的工具包:FLAML,它是一个轻量级的开源 Python 库,有助于自动、高效地找出最佳机器学习模型,不仅速度快,节省时间,而且设计轻巧。 让我们详细的介绍一下它吧… 安装所需的库 我们将首先使用 pip 安装来

Python学习与数据挖掘 891

FLAML:快速轻量的AutoML库

FLAML-快速和轻量级AutoML FLAML是一个轻量级的Python库,可自动,高效且经济地找到准确的机器学习模型。 它使用户不必为每个学习者选择学习者和超参数。 它既快速又经济。 简单轻巧的设计使其易于扩展,例如添加自定义的学习器或指标。 FLAML由Microsoft Research发明的一种新的,具有和学习者选择方法提供支持。 FLAML利用搜索空间的结构来选择针对成本和错误进行优化的搜索顺序。 例如,系统倾向于在搜索的开始阶段提出便宜的配置,但是当在搜索的后面阶段需要时,系统会Swift转移到模型复杂度高和样本量大的配置。 再举一个例子,它一开始就偏爱廉价学习者,但如果错误改善缓慢,则会在以后惩罚他们。 在预算约束下,有成本限制的搜索和基于成本的优先级在搜索效率上有很大的不同。 FLAML易于使用: 通过三行代码,您可以开始使用这种经济,快速的AutoML引擎作为sc

Python库 | FLAML-1.0.1-py3-none-any.whl

资源分类:Python库 所属语言:Python 资源全名:FLAML-1.0.1-py3-none-any.whl 资源来源:官方 安装方法:https://lanzao.blog.youkuaiyun.com/article/details/101784059

微软太良心,这次对数据科学下手了

大家好,我们知道微软开源了很多课程,比如:Python、机器学习、Web开发、物联网等,受到了很多初学者的喜爱,同时它也开源了很多神器工具,比如代码编辑器VScode、机器学习工具包FLAML等。 这次微软将开源方向指向数据科学,开源了一个非常棒的课程:面向初学者的数据科学。短短一天内,收到了3.6K个Stars,可见微软对数据科学初学者的号召力!文末我将提供微软历次开源课程的获取方式,喜欢本文点赞支持,欢迎收藏学习。 简介 Data Science for Beginners 提供 10 周、20 节课

Python学习与数据挖掘 4507

AutoML之自动化特征工程

个人以为,机器学习是朝着更高的易用性、更低的技术门槛、更敏捷的开发成本的方向去发展,且AutoML或者AutoDL的发展无疑是最好的证明。因此花费一些时间学习了解了AutoML领域的一些知识,并对AutoML中的技术方案进行归纳整理。众所周知,一个完整的机器学习项目可概括为如下四个步骤。其中,特征工程(提取)往往是决定模型性能的最关键一步。而往往机器学习中最耗时的部分也正是特性工程和超参数调优。因此,许多模型由于时间限制而过早地从实验阶段转移到生产阶段从而导致并不是最优的。自动化机器学习(AutoML)框架旨在减少算法工程师们的负担,

AutoML之flaml:基于OpenML数据集利用flaml框架自动寻找最优算法及其对应最佳参数(对比lightgbm和xgboost算法)实现预测航班是否延误二分类任务案例之详细攻略

​ AutoML之flaml:基于OpenML数据集利用flaml框架自动寻找最优算法及其对应最佳参数(对比lightgbm和xgboost算法)实现预测航班是否延误二分类任务案例之详细攻略 目录 # 1、定义数据集 # 3、模型训练与评估 # 4、模型推理 # 5、分析automl训练 # 6、对比默认XGBoost/LightGBM实验结果 # 1、定义数据集 Airline Flight AirportFrom AirportTo DayOfWeek Time Le

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 9372

手把手实战:快速构建合同智能审查Agent

配置“模型供应商”,选择 “OpenAI-API-compatible”,输入申请到的 “API Key” 和 “URL” 后点击“保存”,如下图示例完成 “AlayaNew/DeepSeek-R1。至此,我们完成了合同智能审核Agent的构建,我们也可以在Dify中把这个智能体发布为API服务,这样企业其它应用如OA就可以通过API集成,在原合同流程中实现智能审核工作。该节点“输入变量”中,配置从“开始”节点中获取上传的文件,输出变量就是合同的内容,配置如下图。接下来我们开始创建智能体。

weixin_46880696的博客 4403

检索生成(RAG) vs 长文本大模型:实际应用中如何选择?

大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术:长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势?在实际应用中,我们又该如何权衡选择?文章不仅详细阐述了这两种技术的工作原理,还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Caching 优化长上下文的优势,然而,缓存策略的效果很大程度上取决于提示词的可预测性。

2401_85782938的博客 1256

KNN自动化参数调优基于FLAML库

前言碎碎念:KNN做多分类实验结果不行,不太乐意花时间手动调参。了解了flaml库可以手动调参,但是求助chat并没有能帮我很好的解决问题,还是要回归官方github给出的例子,在其基础上进行改进,成功!此外,它还可以用于自动化调整XGBoost,lightGBM,Catboost等模型的参数,多个模型选择效果最好的模型,并输出参数等,先记录一下,后期要用到再探索。目标:通过优化KNN参数,提高模型的实验结果。结果:左边未参数优化,右边参数优化。

qq_39778394的博客 458

inferCNVpy实战指南:从安装到肿瘤细胞识别

本文提供inferCNVpy实战指南,详细介绍了从环境安装、数据准备到核心CNV推断分析的完整流程。重点讲解了如何利用该工具从单细胞转录组数据中识别肿瘤细胞,包括参考细胞选择、参数调优、结果可视化与解读,并分享了关键的避坑技巧,帮助用户高效完成肿瘤细胞识别。

weixin_29079643的博客 428

面向数据科学家的懒惰Python 库

数据科学既鼓舞人心,又具有挑战性。通过绘制各种图表以及微调模型以获得最佳结果来执行数据预处理和清理并从数据中生成见解是相当费力的。在这篇博客中,我将向您介绍五个 Python 库,它们为您自动化这些过程,从而节省您的时间并提高您的工作效率。

gongdiwudu的专栏 4094

分位数映射数据后处理-Quantile Mapping后处理 (R语言)

统计后处理器基本上是统计模型,将观察到的关注变量与从气象或水文模型的直接模型输出(DMO)导出的适当预测变量相关联。统计后处理的重要性早已在气象预报中得到认可。早期的工作包括完善的预测(perfect prognosis),模型输出统计(MOS)和模拟方法(analog method)等模型。 近年来,已经提出了许多其他后处理方法,包括秩直方图校准(rank histogram calibrati...

水滴石穿,绳锯木断 1万+

ABA分析方法 — 软硬件开发必备的一种分析问题绝佳套路

可能你从很多地方听过这个名词,无论是在软件开发还是硬件领域(比较典型的领域:汽车、消费电子、医疗等行业),ABA验证都是一种快速分析故障的一个方法,第一次听到这个词,当时是不是一脸懵逼,本文就深度带你了解下ABA的分析方法。简要概述就是:怀疑A模块导致系统故障,将B模块替换A模块,故障消失,再将A模块替换回来,故障复现,则说明A模块是导致系统故障的原因其实,ABA分析问题,可能很多人在工作中都或多或少用过这个方法,只是没有这个概念,说明白了就是控制变量和对比验证,没什么高大上的东西。

Eureka1024的博客 7349

【机器学习】盘点Kaggle中常见的AutoML工具库及用法

在日常的Kaggle比赛和工作中,经常会遇到AutoML工具。本文总结了常见的AutoML库,可供大家选择。LightAutoML项目链接:https://github.com/sberb...

fengdu78的博客 1632

RK3588零拷贝视频流水线实战:用GStreamer+Mpp实现8K硬解与DRM显示

本文深入探讨了在RK3588平台上构建零拷贝视频流水线的工程实践。通过结合GStreamer与MPP,实现了从8K视频硬解到DRM显示的全流程硬件加速,有效解决了高分辨率视频处理中的DDR带宽瓶颈问题。文章详细解析了dma-buf数据流机制、管道构建与性能优化策略,为多路视频并发处理提供了高效的系统架构解决方案。

github5actions的博客 1169

FLAML入门

FLAML(Fast and Lightweight AutoML)是一个快速且轻量级的自动机器学习框架。它的目标是通过自动搜索和优化,为数据科学家和机器学习从业人员提供简单易用、高效快速的机器学习解决方案。本文将介绍FLAML的基本用法,帮助你快速入门。在本文中,我们简要介绍了FLAML的基本用法和一些高级功能。FLAML是一个快速且轻量级的自动机器学习框架,可以帮助你快速构建和训练机器学习模型。通过使用FLAML,你可以节省大量的时间和精力,并获得更好的预测性能。

牛肉胡辣汤 959

YOLOv13改进策略【小目标改进】| Shape-NWD:融合改进,结合Shape-IoU和NWD 更好地适应小目标特性

Bw−wgt2h−hgt2weight2Bweight2w−wgt​2h−hgt​2​其中weight2weight = 2weight2。

Limiiiing的博客 588

【python基础】一文掌握 Jupyter Notebook 的使用(超级详细!)

是一个非营利组织,致力于为多种编程语言的交互式计算开发开源软件、开放标准和服务。Jupyter 于 2014 年由 Fernando Pérez 从IPython衍生出来,支持几十种编程语言的执行环境。Jupyter 项目主要开发并支持(.ipynb 文件格式)、JupyterHub和JupyterLab等交互式计算产品。

数据知道的博客 1万+

机器学习实战 | AutoML自动化机器学习建模 # 1.AutoML与自动化机器学习

对于分类和回归等常见的机器学习任务,FLAML可以在消耗尽量少的资源前提下,快速找到高质量模型。它支持经典机器学习模型和深度神经网络。它很容易定制或扩展。用户可以有很灵活的调整与定制模式:最小定制(设定计算资源限制)中等定制(例如设定scikit-learn学习器、搜索空间和度量标准)完全定制(自定义训练和评估代码)。它支持快速且低消耗的自动调优,能够处理大型搜索空间。FLAML 由 Microsoft Research 发明的新的高效益超参数优化和学习器选择方法支撑。

weixin_42907150的博客 2615

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

自动机器学习框架介绍与使用(flaml、h2o)

目录 一、介绍 二、数据介绍 三、flaml框架 3.1、flaml简介 3.2、使用flaml 3.2.1、下载flaml库 3.2.2、导入相关库 3.2.3、数据处理 3.2.4、调用flaml 四、h2o框架 4.1、h2o简介 4.2、h2o使用 ...

zkkkkkkkkkkkkk的博客 5485

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

FLAML:快速轻量级自动机器学习框架

FLAML是微软开发的高效自动机器学习框架,核心优势在于采用CFO算法实现经济高效的超参数优化,支持多种主流算法(LightGBM、XGBoost等)和灵活配置。安装简便(pip install flaml),提供分类/回归任务快速示例代码,支持自定义评估指标、特征工程和早停策略等高级功能。FLAML特别注重资源优化,可设置时间预算和内存限制,并允许定制搜索空间。其自动化流程涵盖模型选择、超参数调优等环节,显著降低机器学习应用门槛,适合在有限资源条件下快速构建高质量模型。

hello! 1094

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

FLAML自动化机器学习库入门指南

FLAML(Fast Library for Automated Machine Learning)是微软研究院推出的一款轻量级Python库,专注于高效自动化机器学习和AI操作流程。该库通过智能算法自动优化机器学习模型和大型语言模型的工作流程,帮助开发者以最小的计算资源获得最佳性能表现。 ## 核心功能特性 1. **多智能体对话系统**:基于最新的GPT-X模型构建智能应用,通过多代理对话...

gitblog_00779的博客 591
上一篇: 网友:这才是高质量人类女性!32岁清华女博士获奖百万
下一篇: 华为201万年薪招这类专家,看到要求我傻眼了……
菜鸟学Python
博客等级 码龄9年 8086粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值