feature-engineering

最新推荐文章于 2025-07-07 18:39:56 发布
原创 最新推荐文章于 2025-07-07 18:39:56 发布 · 516 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文从H20.ai视频翻译总结，介绍了特征工程中利用领域知识、先验经验和模型反馈等手段进行特征创建的方法。文中详细解释了不同类型的特征编码方式，包括Label Encoding、One-Hot Encoding、频率编码和Target Mean Encoding，并探讨了它们各自适用的场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是从H20.ai的视频翻译之后总结而来。


特征工程主要在与模型训练的时候使用.



例如使用极坐标便可以将十分难转化的数据转化为非常好分割的数据。


在特征工程的Hypothesis set（假设集）的过程，使用领域知识、先验经验、EDA和模型的训练反馈得到特征。

在特征工程的validate hypothesis（验证假设）的过程可以使用交叉验证，metrics的检验，也一定要避免leak。


在变量呈现出一个非常奇怪的分布的时候，使用该方法效果不错。

下图为效果



关于特征的编码，有些特征可以用labeled Encoding，简单的把cat的特征变为整数，可以使用LabelEncoder.这个方法对树模型很有用。

独热编码则是把数据变为独立的0和1，包邮DictVectorizer和OneHotEncoder，对K-means,线性模型和神经网络效果很好。

如图


还有一种编码叫做频率编码，就是把频率表示出来。


还有一种编码叫做target mean encoding，私人理解算是一种先验吧


为了避免过拟合，也可以采用留一法，留一个不管，其他进行encoding，而这一个的encode为1



特征工程 (Feature Engineering)
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
10-15 210
特征工程 (Feature Engineering) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在机器学习
Feature Engineering
04-14
特征工程，特征选择，Feature Engineering for machine learning
【AI深究】特征工程（Feature Engineering）深度解析：原理、算法与工程实践|核心原理、主流方法、数学表达、未来趋势|归一化与标准化、降维、文本、时间、类别型、AutoFE|未来前沿
最新发布
AI人工智能爱酱～你的AI学习好帮手～
07-07 1156
大家好，我是爱酱。本篇延续将会系统梳理特征工程（Feature Engineering）的定义、核心流程、主流方法、数学表达、工程实践与未来趋势，结合数学公式，帮助你全面理解这一机器学习与AI落地的“灵魂工程”。 注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
学习笔记(四）： Representation:Feature Engineering/Qualities of Good Features/Cleaning Data/Feature Sets...
anyizhe7949的博客
08-24 919
目录 Representation Feature Engineering Mapping Raw Data to Features Mapping numeric values Mapping categorical values Sparse Representation Glossay Qualities of Good F...
特征工程（Feature Engineering)
teacoffeetea
03-28 857
特征工程（Feature Engineering) 一、特征工程的相关知识点 特征工程的定义 将数据转换为能更好地表示潜在问题的特征，从而提高机器学习性能。 特征工程包含以下几个部分 数据理解； 目的：探索数据，了解数据，主要在EDA阶段完成。 定性数据：描述性质 a) 定类： 按名称分类 —— 血型、城市 b) 定序： 有序分类 —— 成绩 定量数据：描述数量 a) 定距： ...
tal-feature-engineering
04-02
由于具体文件列表只提供了 "tal-feature-engineering-main" 这个名称，我们无法得知详细的内容。但可以推测，这个文件可能包含了整个项目的主代码文件或者是一个包含所有步骤的主目录。要深入了解这个项目，你需要...
Kaggle-Feature-Engineering
03-21
在"Kaggle-Feature-Engineering-main"这个项目中，我们可以期待看到作者如何运用这些技术解决实际问题，包括如何处理特定的数据集、选择和构造特征，以及如何优化模型性能。通过阅读和学习这个项目，我们可以深化对...
04-representing-data-feature-engineering.ipynb
05-18
04-representing-data-feature-engineering
Python-Feature-Engineering-Cookbook:Packt发行的《 Python Feature Engineering Cookbook》
05-26
Python功能工程手册 这是Packt发行的的代码存储库。 超过70种配方，用于创建，工程设计和转换功能以构建机器学习模型 这本书是关于什么的？ 特征工程对于开发和丰富您的机器学习模型非常有用。...
特征工程(Feature Engineering)
weixin_30576827的博客
06-06 179
一、什么是特征工程? "Feature engineering is the process of transforming raw data into features that better represent the underlying problem to the predictive models, resulting in improved model accuracy on un...
特征工程 Feature Engineering（一）
小麦粒的Python
08-30 8841
特征工程其本质上是一项工程活动，它的目的是最大限度地从原始数据中提取特征以供算法和模型使用。   数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。特征工程的最终目的就是提升模型的性能。   特征工程的重要性： 特征越好，灵活性越强 特征越好，模型越简单 特征越好，性能越出色
《大数据机器学习实践探索》---- 数据分析之特征工程（ Feature Engineering）
shiter编写程序的艺术
05-04 625
文章大纲特征工程概述参考文献 从商业数据分析和挖掘的角度详细地介绍了特征工程及其使用的响应方法，主要包括： 数据预处理 特征构造 特征抽取 特征选择 系统性地说明了用于构建分析用的结构化数据的过程。 特征工程概述 在商业数据的分析挖掘当中，最常用的数据是结构化数据，其呈现为二维表的结构，数据可以用装载到二维数组当中，其中的每个数可以使用行与列进行索引。结构化数据中的每一行称为记录，也可称为样本或实例（视不同的学科而定），每一列则被称为字段，也可称为变量或特征（同样视学科领域而定），其中"特征（Feat
机器学习之特征工程
weixin_30472035的博客
05-12 357
一、特征工程概述 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。特征工程能使得模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。特征工程在机器学习中占有非常重要的作用，一般认为括特征构建、...
Feature Engineering 特征工程 4. Feature Selection
Michael是个半路程序员
05-21 1597
文章目录1. Univariate Feature Selection 单变量特征选择2. L1 regularization L1正则 learn from https://www.kaggle.com/learn/feature-engineering 上一篇：Feature Engineering 特征工程 3. Feature Generation 经过各种编码和特征生成后，通常会拥有成百上千个特征。这可能导致两个问题： 首先，拥有的特征越多，就越有可能过拟合 其次，拥有的特征越多，训练模型和优
feature engineering python
03-28
Feature engineering is the process of creating new features or variables from existing data to improve the performance of a machine learning model. In Python, there are various libraries and tools available for feature engineering. Some of the popular ones are: 1. Pandas: Pandas is a library that provides data structures for efficient data analysis. It provides various functions to manipulate data, such as merging, filtering, and reshaping data. Pandas can be used for feature engineering by creating new features based on existing data, such as computing summary statistics, transforming categorical variables, and combining multiple features. 2. Scikit-learn: Scikit-learn is a popular machine learning library in Python that provides a wide range of machine learning algorithms and tools. It also provides various feature engineering functions, such as feature scaling, feature selection, and dimensionality reduction. 3. Numpy: Numpy is a library that provides numerical computing tools in Python. It provides various functions for mathematical operations on arrays, such as computing mean, standard deviation, and correlation. Numpy can be used for feature engineering by creating new features based on mathematical operations on existing data. 4. Featuretools: Featuretools is a library that provides automated feature engineering tools. It automatically creates new features based on existing data and domain knowledge. It can be used for large datasets with complex relationships between variables. 5. PySpark: PySpark is a Python library that provides tools for distributed computing using Apache Spark. It provides various functions for data manipulation and transformation, such as filtering, aggregation, and join. PySpark can be used for feature engineering on large datasets that cannot be processed on a single machine. Overall, feature engineering is an essential step in the machine learning pipeline, and Python provides a wide range of tools and libraries for this task.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值