2022年Python自动化特征工程框架

史上最强,Python自动化测试框架整理,搭建框架看这篇就够了... 什么是测试框架呢?框架是一组准则,一个体系结构,遵循这些准则可以产生有益的结果。测试框架就是为自动化测试脚本提供执行环境而搭建的支架,它是一套准则,例如编码标准,测试数据处理,对象库处理等。在自动化脚本编写过程中遵循这些准则可产生有益的结果,例如增加代码重用,更高的可移植性,降低的脚本维护成本等。准则而非规则;它们不是强制性的,你仍然可以在不遵循准则的情况下编写脚本。但是你会错过拥有框架的优势。使用测试框架的好处主要有:1、提高测试效率2、降低维护成本3、最少的人工干预。 阅读详情

💡 作者:韩信子@ShowMeAI
📘 机器学习实战系列:https://www.showmeai.tech/tutorials/41
📘 本文地址:https://www.showmeai.tech/article-detail/328
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

特征工程(feature engineering)指的是:利用领域知识和现有数据,创造出新的特征,用于机器学习算法。

  • 特征:数据中抽取出来的对结果预测有用的信息。
  • 特征工程:使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。

在业界有一个很流行的说法:数据与特征工程决定了模型的上限,改进算法只不过是逼近这个上限而已。

特征工程的目的是提高机器学习模型的整体性能,以及生成最适合用于机器学习的算法的输入数据集。

关于特征工程的各种方法详解,欢迎大家阅读 ShowMeAI 整理的特征工程解读教程。

💡 自动化特征工程

在很多生产项目中,特征工程都是手动完成的,而且它依赖于先验领域知识、直观判断和数据操作。整个过程是非常耗时的,并且场景或数据变换后又需要重新完成整个过程。而『自动化特征工程』希望对数据集处理自动生成大量候选特征来帮助数据科学家和工程师们,可以选择这些特征中最有用的进行进一步加工和训练。

自动化特征工程是很有意义的一项技术,它能使数据科学家将更多时间花在机器学习的其他环节上,从而提高工作效率和效果。

在本篇内容中,ShowMeAI将总结数据科学家在 2022 年必须了解的 Python 中最流行的自动化特征工程框架。

  • Feature Tools
  • TSFresh
  • Featurewiz
  • PyCaret

💡 Feature Tools

📌 简介

📘Featuretools是一个用于执行自动化特征工程的开源库。 ShowMeAI在文章 机器学习实战 | 自动化特征工程工具Featuretools应用 中也对它做了介绍。

要了解 Featuretools,我们需要了解以下三个主要部分:

  • Entities
  • Deep Feature Synthesis (DFS)
  • Feature primitives

在 Featuretools 中,我们用 Entity 来囊括原本 Pandas DataFrame 的内容,而 EntitySet 由不同的 Entity 组合而成。

Featuretools 的核心是 Deep Feature Synthesis(DFS) ,它实际上是一种特征工程方法,它能从单个或多个 DataFrame中构建新的特征。

DFS 通过 EntitySet 上指定的 Feature primitives 创建特征。例如,primitives中的mean函数将对变量在聚合时进行均值计算。

📌 使用示例

💦 ① 数据与预处理

以下示例转载自 📘官方快速入门。

# 安装
# pip install featuretools

import featuretools as ft
data = ft.demo.load_mock_customer()

# 载入数据集
customers_df = data["customers"]
customers_df
sessions_df = data["sessions"]
sessions_df.sample(5)
transactions_df = data["transactions"]
transactions_df.sample(5)

下面我们指定一个包含数据集中每个 DataFrame 的字典,如果数据集有索引index列,我们会和 DataFrames 一起传递,如下图所示。

dataframes = {
    "customers": (customers_df, "customer_id"),
    "sessions": (sessions_df, "session_id", "session_start"),
    "transactions": (transactions_df, "transaction_id", "transaction_time"),
}

接下来我们定义 DataFrame 之间的连接。在这个例子中,我们有两个关系:

relationships = [
    ("sessions", "session_id", "transactions", "session_id"),
    ("customers", "customer_id", "sessions", "customer_id"),
]

💦 ② 深度特征合成

接下来我们可以通过DFS生成特征了,它需要『DataFrame 的字典』、『Dataframe关系列表』和『目标 DataFrame 名称』3个基本输入。

feature_matrix_customers, features_defs = ft.dfs(
    dataframes=dataframes,
    relationships=relationships,
    target_dataframe_name="customers",
)

feature_matrix_customers

比如我们也可以以sessions为目标dataframe构建新特征。

feature_matrix_sessions, features_defs = ft.dfs( dataframes=dataframes, relationships=relationships, target_dataframe_name="sessions"
)
feature_matrix_sessions.head(5)

💦 ③ 特征输出

Featuretools不仅可以完成自动化特征生成,它还可以对生成的特征可视化,并说明Featuretools 生成它的方法。

feature = features_defs[18]
feature

💡 TSFresh

📌 简介

📘TSFresh 是一个开源 Python 工具库,有着强大的时间序列数据特征抽取功能,它应用统计学、时间序列分析、信号处理和非线性动力学的典型算法与可靠的特征选择方法,完成时间序列特征提取。

TSFresh 自动从时间序列中提取 100 个特征。 这些特征描述了时间序列的基本特征,例如峰值数量、平均值或最大值或更复杂的特征,例如时间反转对称统计量。

📌 使用示例

# 安装
# pip install tsfresh

# 数据下载
from tsfresh.examples.robot_execution_failures import download_robot_execution_failures, load_robot_execution_failures

download_robot_execution_failures()
timeseries, y = load_robot_execution_failures()

# 特征抽取
from tsfresh import extract_features
extracted_features = extract_features(timeseries, column_id="id", column_sort="time")

💡 Featurewiz

📌 简介

Featurewiz 是另外一个非常强大的自动化特征工程工具库,它结合两种不同的技术,共同帮助找出最佳特性:

💦 ① SULOV

Searching for the uncorrelated list of variables:这个方法会搜索不相关的变量列表来识别有效的变量对,它考虑具有最低相关性和最大 MIS(互信息分数)评级的变量对并进一步处理。

💦 ② 递归 XGBoost

上一步SULOV中识别的变量递归地传递给 XGBoost,通过xgboost选择和目标列最相关的特征,并组合它们,作为新的特征加入,不断迭代这个过程,直到生成所有有效特征。

📌 使用示例

简单的使用方法示例代码如下:

from featurewiz import FeatureWiz
features = FeatureWiz(corr_limit=0.70, feature_engg='', category_encoders='', dask_xgboost_flag=False, nrows=None, verbose=2)
X_train_selected = features.fit_transform(X_train, y_train)
X_test_selected = features.transform(X_test)
features.features  # 选出的特征列表 #

# 自动化特征工程构建特征
import featurewiz as FW
outputs = FW.featurewiz(dataname=train, target=target, corr_limit=0.70, verbose=2, sep=',', 
                header=0, test_data='',feature_engg='', category_encoders='',
                dask_xgboost_flag=False, nrows=None)

💡 PyCaret

📌 简介

📘PyCaret是 Python 中的一个开源、低代码机器学习库,可自动执行机器学习工作流。它是一个端到端的机器学习和模型管理工具,可加快实验周期并提高工作效率。

与本文中的其他框架不同,PyCaret 不是一个专用的自动化特征工程库,但它包含自动生成特征的功能。

📌 使用示例

# 安装
# pip install pycaret

# 加载数据
from pycaret.datasets import get_data
insurance = get_data('insurance')

# 初始化设置
from pycaret.regression import *
reg1 = setup(data = insurance, target = 'charges', feature_interaction = True, feature_ratio = True)

参考资料

  • 📘 机器学习实战 | 机器学习特征工程全面解读:https://www.showmeai.tech/article-detail/208
  • 📘 Featuretools:https://featuretools.alteryx.com/en/stable/
  • 📘 机器学习实战 | 自动化特征工程工具Featuretools应用:https://www.showmeai.tech/article-detail/209
  • 📘 官方快速入门:https://featuretools.alteryx.com/en/stable/
  • 📘 TSFresh:https://github.com/blue-yonder/tsfresh
  • 📘 Featurewiz:https://github.com/AutoViML/featurewiz
  • 📘 PyCaret:http://pycaret.org

使用Python中的Featuretools实现自动化特征工程的实用指南 任何参与机器学习黑客马拉松和竞赛的人都知道特征工程的重要性。自从我意识到它具有巨大的潜力以来,我一直是特征工程的巨大倡导者。但手动完成时,这可能是一个缓慢而艰巨的过程。我必须花时间集思广益,讨论哪些功能,并从不同的角度分析它们的可用性。现在,整个FE(Feature Engineering,特征工程)流程都可以实现自动化,我将在本文中向您展示。 资料来源:VentureBeat 我们将使用名... 阅读详情

相关推荐

更加优雅的因子挖掘技术之自动化特征工程

一、为什么要自动化特征工程 对机器学习有一些了解的小伙伴一定听过 “Garbage in Garbage out”,也就是说模型的表现很大程度上依赖于喂给算法的数据质量。 通常,我们直接将获得的原始数据喂给算法(比如,随机森林、Lasso、SVM)跑出来的效果往往是不好的,所以需要花费大量时间对原始数据进行某种数学变换、组合,然后选择有效因子、剔除无关因子,这个过程就是特征工程和特征选择。 下面我们来看看国外网站做的统计,图中绿色部分就包含了特征工程的工作内容,占用了数据科学家的大部分时间,也..

weixin_44571672的博客 4279

自动化特征工程(featuretools)

一、特征是什么? 在机器学习中,特征可以描述为解释现象发生的一组特点。当这些特点转换为一些可测量的形式时,它们就称作特征。 二、特征工程 特征工程可以简单定义为从数据集的已有特征创建新特征的过程。 三、特征工程必要性 一个预测模型的性能很大程度上取决于训练该模型的数据集的特征质量。 如果能创建新特征来帮助向模型提供有关目标变量的更多信息,那么它的性能将会提升。 因此,当数据集中没有足够有用特...

weixin_39916734的博客 5312

Python特征工程

一、目的 将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能 二、内容 缺失:加入先验知识 异常:清除噪声 集中:数据集中(归一化、标准化)、变量集中(特征筛选、降维) 有价值:数据有价值(数据分桶)、变量有价值(特征构造) ...

weixin_45366750的博客 2992

用Python实现特征工程之自动特征工程(Automated Feature Engineering)详解

自动特征工程是使用自动化工具或算法从原始数据中生成特征的过程。这些工具能够自动识别数据中的模式,生成大量有潜在意义的特征,而不需要大量的人工干预。这不仅加快了特征工程的速度,还能生成一些人类可能未曾想到的复杂特征。多表关联数据:如数据库中的多张表之间的关系。高维数据:如时间序列、文本、图像等。复杂的交互特征:如跨越多层关系的嵌套特征。FeatureTools允许用户定义自定义的特征生成函数,满足特定的业务需求。# 自定义函数:计算方差# 使用自定义特征生成函数解释自定义的Variance。

qq_41698317的博客 2307

特征工程自动化(FeatureTools实战)

本项目模拟生成的医疗、金融和电商等领域的原始数据,适用于自动化特征工程的场景。主数据表(Entity Table):例如用户数据、交易数据、患者数据等。字段可能包括用户ID、年龄、性别、注册日期、消费金额、行为记录等。关联数据表(Related Tables):例如订单数据、点击记录、诊疗记录等。多个表之间通过外键建立关联。patient_id:患者IDage:年龄gender:性别:入院日期:出院日期diagnosis:诊断结果。

闲人编程的博客 1361

featurewiz:使用高级功能工程策略,只需一行代码即可从数据集中快速选择最佳功能

Featurewiz Featurewiz是一个新的python库,可用于快速创建和选择数据集中的最佳功能! featurewiz分两步完成: 第一步是可选的,它与创建新功能有关。 1.执行功能工程:开源AutoML工具(尤其是Auto_ViML)中的空白之一是缺少功能工程功能,而像Kaggle这样的高水平竞争者则需要这些功能。创建“交互”变量或添加“分组依据”功能或“目标编码”类别变量的能力非常困难,而筛选这数百个新功能是艰苦的工作,只留给“专家”使用。现在有一些好消息。现在,借助featurewiz,您只需单击代码即可添加数百个此类功能。将“ feature_engg”标志设置为“ interactions”,“ groupby”或“ target”,featurewiz将为每个选项选择最佳编码器,并一次性创建数百个(也许数千个)特征。不仅如此,它还将使用SULOV方法和递归XGB

机器学习实战 | 自动化特征工程工具Featuretools应用

本篇讲解使用自动化特征工程工具Featuretools,对数据进行自动化特征工程的方法,并借助于BigMart Sales数据集来演示自动化特征工程的相关应用。

ShowMeAI研究中心 1万+

AutoML之自动化特征工程

个人以为,机器学习是朝着更高的易用性、更低的技术门槛、更敏捷的开发成本的方向去发展,且AutoML或者AutoDL的发展无疑是最好的证明。因此花费一些时间学习了解了AutoML领域的一些知识,并对AutoML中的技术方案进行归纳整理。众所周知,一个完整的机器学习项目可概括为如下四个步骤。其中,特征工程(提取)往往是决定模型性能的最关键一步。而往往机器学习中最耗时的部分也正是特性工程和超参数调优。因此,许多模型由于时间限制而过早地从实验阶段转移到生产阶段从而导致并不是最优的。自动化机器学习(AutoML)框架旨在减少算法工程师们的负担,以便于他们可以在特征工程和超参数调优上花更少的时间,而在模型

【信贷风控技术十分钟精通8】自动化特征工程

TSFresh是一个对序列数据进行自动执行特征工程的Python开源库,通过预定义的算子,批量计算时间序列特征。TSFresh具有如下特点。1)减少特征工程提取时间,提高特征衍生效率。2)具有丰富的预定义时序特征,TSFresh预定义了超过100种特征。这些特征包含了描述时间序列的基本特征,例如峰值数量、超过平均值次数等,也包含了更复杂的特征,例如反转对称统计量、近似嫡、样本熵等。

kaggle expert,全球排名前1000,清华计算机研究生,兴趣算法工程 1621

vfsglobal预约系统登录问题全解析(by quqi99)

本文全面解析VFS Global预约系统登录常见问题,包括IP限制、验证码验证失败及账号自动删除等。提供详细的解决方案,如DNS配置、浏览器设置及邮箱选择建议,帮助用户顺利完成签证预约。特别针对中国用户遇到的IP限制问题,给出了实用技巧。

gamma的博客 1344

校园网改造实录:手把手教你用华为MA5800 OLT调试全光网(附常用排错命令)

本文详细记录了校园全光网改造中华为MA5800 OLT的部署与调试过程,涵盖设备选型、基础配置、ONU批量部署及高频故障排查。通过实战案例和排错命令,帮助网络工程师快速掌握全光网调试技巧,实现低延迟、高稳定的网络性能。

weixin_42552716的博客 578

feature tools:Python 中的自动化特征工程

特征工程基础特征工程意味着从现有数据中构建附加特征,这些数据通常分布在多个相关表中。特征工程需要从数据中提取相关信息并将其放入单个表中,然后可用于训练机器学习模型。构建特征的过程非常耗时,因为每个新特征通常需要几个步骤来构建,尤其是在使用来自多个表的信息时。我们可以将特征创建的操作分为两类:转换和聚合。让我们看几个例子,看看这些概念的实际应用。一个转化作用于单个表(思维在Python而言,表只是一个熊猫DataFrame通过创建新的功能出来的一个或多个现有列)。例如,如果我们有下面的客户表我们可以通过查找j

fulk6667g78o8的专栏 2138

2024年【MCM/ICM】美国大学生数学建模竞赛优秀论文(免费下载)

美国大学生数学建模竞赛(MCM/ICM)由美国数学及其应用联合会主办,是最高的国际性数学建模竞赛,也是世界范围内最具影响力的数学建模竞赛,一般也指数学建模竞赛。赛题内容涉及经济、管理、环境、资源、生态、医学、安全、等众多领域。竞赛要求三人(本科生和研究生均可参加)为一组,在四天时间内,就指定的问题完成从建立模型、求解、验证到论文撰写的全部工作,体现了参赛选手研究问题、解决方案的能力及团队合作精神。为现今各类数学建模竞赛之鼻祖。

weixin_43608857的博客 1848

独家 | 用Python Featuretools库实现自动化特征工程(附链接)

作者:Prateek Joshi翻译:张玲校对:李润嘉本文约4000字,建议阅读10分钟。本文简要介绍特征工程的基本组成部分,并用直观的示例理解它们,最后给出使用Pyth...

数据派THU 1882

应用软件——Altium Designer 19 Gerber/坐标文件

如何输出Gerber文件 步骤如下: 打开需要输出的PCB文件 2. 设置原点坐标 3. 打开Gerber Files 选项,File–>Fabrication Opuputs–>Gerber Files。 4. General参数设置。 用于指定输出Gerber文件中使用的单位(Units)和格式(Format)。单位可以是公制(Millimeters)和英制(Inches);格式栏中2:3,2:4,2:5代表文件中使用的不同数据精度,其中2:3表示数据含2位整数3位小数;相应的,另外两个分

染血黑兔的博客 7208

Linux下用SquareLine Studio开发LVGL界面:从安装到实战的完整避坑指南

本文提供了一份在Linux系统下使用SquareLine Studio开发LVGL图形界面的完整实战指南。内容涵盖从SDL库安装、SquareLine Studio环境配置、界面可视化设计,到工程导出、源码编译及常见错误排查的全流程。重点解析了如何将设计界面无缝集成到Linux开发流程中,并针对嵌入式设备移植提供了关键步骤,旨在帮助开发者高效避坑,快速上手LVGL界面开发。

egg99的博客 908

Featuretools:自动化特征工程的开源Python库

Featuretools是一个开源的Python库,专门用于自动化特征工程。它通过深度特征合成(Deep Feature Synthesis, DFS)技术,能够从多表数据集中自动生成复杂的特征,极大地简化了数据科学家的工作流程。Featuretools的主要编程语言是Python,它充分利用了Python的生态系统,与常见的数据科学工具如Pandas、Scikit-learn等无缝集成。 ##...

gitblog_00550的博客 972

Lumerical官方案例、FDTD时域有限差分法仿真学习(三)——环形谐振器(Ring resonator)之第二&第三部分

二、使用 MODE 的参数提取和蒙特卡罗 三、最终参数提取

weixin_45719141的博客 1万+

Python自动化特征工程实战:从原理到应用

特征工程是机器学习中提升模型性能的关键环节,其核心在于将原始数据转化为更具预测力的特征表示。通过自动化工具如featuretools和tsfresh,可以高效实现特征衍生与选择,显著提升建模效率。在工程实践中,合理运用pandas、sklearn等工具链,结合业务理解构建自动化流程,能够解决维度灾难、数据泄漏等典型问题。本文以Python技术栈为例,详解从数据探索、特征生成到选择优化的全流程实现,特别适用于时间序列分析、推荐系统等需要大量特征工程的场景。

weixin_30596023的博客 393

【MATLAB代码】UKF组合导航例程,15维状态量、3维观测量。附完整的代码,有中文注释、误差输出图像

摘要 本文提出了一种基于15维误差状态模型的UKF组合导航算法,实现了三维位置、速度和姿态的高精度估计。算法采用严格的误差状态模型,包含位置(3)、速度(3)、姿态(3)、陀螺偏差(3)和加速度计偏差(3)共15个状态量,通过3维GNSS位置观测进行校正。仿真结果表明,相比纯IMU积分,UKF算法能有效抑制误差积累,显著提高导航精度。文中提供了完整的MATLAB源代码,可直接运行并复现三维轨迹对比、位置/速度曲线及误差分析结果。

985工科博士毕业,专攻定位、导航和滤波等算法研究。从业10年,主要使用MATLAB 312

11、体内皮质功能的电压敏感染料成像技术

本文详细介绍了电压敏感染料成像(VSDI)技术在体内皮质功能研究中的应用。内容涵盖VSDI的技术起源、作用机制、信号特点与解读局限性,以及其在映射感觉皮质功能区方面的优势。文章对比了VSDI与电极记录和钙成像技术的差异,突出了其在高时空分辨率下监测神经元群体亚阈值活动的独特价值。同时,提供了完整的实验操作流程,包括手术步骤、染料应用、光学系统配置及数据分析方法,并总结了常见问题及其解决方案。随着基因靶向和多模态技术结合的发展,VSDI有望进一步提升信号特异性和空间精度,成为解析大脑网络动态的重要工具。

Apple的专栏 82

特征工程完全手册:2025 Python实战技巧

特征工程完全手册:2025 Python实战技巧

我是 二川兄,对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈!你可以在我的文章末尾找到我~ 3155

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Featuretools:自动化特征工程的革命性Python库

Featuretools是一个革命性的开源Python库,专门用于自动化特征工程。它通过创新的深度特征合成(Deep Feature Synthesis, DFS)算法,能够自动从原始数据中生成有意义的特征,极大地简化了机器学习工作流程中最为耗时和复杂的特征工程环节。该库基于三个核心概念构建:实体集(EntitySet)用于组织和表示多表数据,原语(Primitives)作为特征构建的原子操作,以...

gitblog_00125的博客 586

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Python 特征工程秘籍第三版(三)

原文:annas-archive.org/md5/86f7f4009ce12f06cb3f3594f063591b。

龙哥盟 1773

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

python 特征工程_使用Pyspark进行特征工程时的那些坑

以脚本spark_clean_online_action.py、数据集new_sxf_time_count_1781115582.csv为例: 集群节点包括212、216、217、218。需要注意的是:每台节点有且仅有Python 2.7.5 和Python 2.6.8 两个环境 完成相关依赖安装1、上传待处理文件到HDFS2、Pyspark默认调用的是Python 2.7.5 解释器,所以需更改...

weixin_39564151的博客 249

python之特征工程

迭代优化:特征工程是一个迭代过程,需要结合模型表现不断调整领域知识:结合业务理解构造有意义的特征避免数据泄露:确保预处理只在训练数据上拟合,然后应用到测试数据特征重要性:定期评估特征重要性,移除无用特征文档记录:详细记录每个特征的构造方式和含义通过系统化的特征工程,可以显著提升模型性能。建议从简单的特征开始,逐步尝试更复杂的构造方法,并通过交叉验证评估每种特征的效果。

Major_S的博客 496
上一篇: 真的?听声音就能识别新冠患者?DeepMind海龟面部识别AI实践;数据建模与数据库·最新课程;推荐系统快速实现框架;前沿论文 | ShowMeAI资讯日报
下一篇: Meta 从大脑活动中解码语音;『代码整洁之道』读书笔记;苏黎世理工『数理统计基础』;3D 物体可视化工具;前沿论文 | ShowMeAI资讯日报
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值