特征工程（归一化、特征编码、特征组合、数据扩充）

最新推荐文章于 2022-10-15 15:43:42 发布

风谨_

最新推荐文章于 2022-10-15 15:43:42 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/TianxiaoV/article/details/88839451

特征工程对于机器学习至关重要，包括归一化以统一特征量级，加速梯度下降算法；特征编码将类别数据转换为数值；组合特征通过创建新的特征来丰富模型输入；数据扩充在数据不足时通过各种方式增强样本多样性，防止过拟合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

特征工程

归一化

为什么要归一化
直观操作是将各维特征转到同一个量级，平均对学习器的权重，同时还能加快基于梯度下降算法的收敛速度
归一化适用范围
归一化在基于梯度下降的算法（SVM, DNNs）中能起到以上作用，不适用于决策树模型，决策树学习基于信息增益
常见归一化方法

线性函数归一化 $f_{norm}=(f-f_{min})/(f_{max}-f_{min})$

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

风谨_

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

特征工程之One-Hot编码、label-encoding、自定义编码

迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！

01-26

5656

目录 One-Hot编码代码实现 One-Hot编码优缺点 One-Hot编码使用场景 归一化适用场景 label encoding 代码实现 One-Hot与label encoding对比自定义编码利用字典编码自定义函数每文一语 One-Hot编码到目前为止，表示分类变量最常用的方法就是使用 one-hot 编码（one-hot-encoding）或N 取一编码（one-out-of-N encoding），也叫虚拟变量（dummy variable）。虚拟变

Python 机器学习基础之数据表示与特征工程【分类变量】的简单说明

最新发布

仙魁XAN

05-23

892

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。

参与评论您还未登录，请先登录后发表或查看评论

特征工程—编码

m0_57210162的博客

12-11

930

sklearn中只能对数值进行处理，对于文字等其他数据需要进行编码与哑变量编码：将文字等格式转换为数字，如小学，中学，大学，转换为 0 ，1 ，2 对标签进行编码 sklearn中编码使用： import pandas as pd data = pd.read_excel("C:/Users/ASUS/Desktop/学生表.xlsx") 上述数据中，性别，省份可进行编码 sklearn中使用preprocessing中LabelEncoder模块对特征一列中的标签进行编码 im..

特征工程——编码

u011390757的博客

12-23

945

在机器学习中，大多数算法，譬如逻辑回归，支持向量机SVM，k近邻算法等都只能够处理数值型数据，不能处理文字，在sklearn当中，除了专用来处理文字的算法，其他算法在ﬁt的时候全部要求输入数组或矩阵，也不能够导入文字型数据（其实手写决策树和普斯贝叶斯可以处理文字，但是sklearn中规定必须导入数值型）。然而在.

特征工程之编码化

咔咔响

08-09

766

编码化1.编码化是把变量通过某种方式映射成更符合逻辑或更易入模的特征的一种方法2.特征工程主要有三种编码方法：标签编码、独热编码和woe编码3.标签编码是把定序文本类别变量转化成数值类别...

【机器学习】特征工程中常见的特征编码

m0_61796189的博客

10-15

4337

本文主要学习机器学习中的特征编码，类别型编码方式：独热编码、序列编码、标签编码、频数编码、均值编码；数值型编码方式：取整、缩放、分箱。

GBDT+LR算法进行特征扩增

TURING.DT

10-14

881

简介 CTR估计也就是广告点击率预估，计算广告训练与平滑思想说明了是用LR算法对于预测的有效性。LR（Logistic Regression）是广义线性模型，与传统线性模型相比，LR通过Logit变换将函数值映射到0~1区间，映射后的函数就是CTR的预估值。LR模型十分适合并行化，因此对于大数据的训练十分有效。但是对于线性模型而言，学习能力是有限的，因此需要大量的特征工程预先分析出有效的特征或者是...

数据预处理与特征工程—12.常见的数据预处理与特征工程手段总结

柳杰的博客

05-08

2649

文章目录引言1.数据预处理1.1 数据清洗1.1.1 异常值处理1.1.2 缺失值处理1.2 特征预处理1.2.1 数值型特征无量纲化1.2.1 连续数值型特征分箱1.2.1.1 无监督分箱法1.2.1.2 有监督分箱法引言数据预处理与特征工程包括Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和Feature construction（特征构造）等步骤 1.数据预处理数据预处理又包括数据清洗与

特征工程之特征缩放&特征编码

AI 算法笔记

02-18

2539

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第五篇！该系列的前四篇文章：机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法特征工程之数据预处理（上）特征工程之数据预处理（下）本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码，前者主要是归一化和正则化，用于消除量纲关系的影响，后者包括了序号编码、独热编码等，主要...

使用特征扩展网格

LYKymy的博客

10-15

424

设计的一个目标是高度可定制的数据结构。使用特征技术使其成为可能。我们再次选择更平滑的方式并展示另一种实现方式。注意顶点实体的定义。我们使用提供的定义VertexTraits（它解决了相当不方便的模板定义）。类似我们可以使用定义FaceTraits，EdgeTraits和HalfedgeTraits来扩展这些实体。现在我们使用附加成员变量cog_和get / set-method对来增...

机器学习特征扩展方式_可扩展/可重复使用的机器人

cusi77914的博客

06-29

626

我的第一个机器人是作为一个大类文件编写的。最初，这种方法效果很好，但是随着我在机器人中添加更多智能，它逐渐变得难以管理。我很快意识到，如果我想与顶级机器人作战，我将不得不想出一个更好的设计。我想出的解决方案是将机器人分解为可重复使用的模块化部件，每个部件管理着机器人行为的不同方面。我每个人都创建了一个班级来控制运动，雷达，枪支和瞄准。我创建了用于跟踪敌方机器人信息的类和用于存储所...

一种可扩展的同时进化实例和特征选择方法

John的博客

11-08

704

引用 Latex @article{GARCIAPEDRAJAS2013150, title = “A scalable approach to simultaneous evolutionary instance and feature selection”, journal = “Information Sciences”, volume = “228”, pages = “1...

特征工程-特征提取

myazi

09-15

683

特征工程 1、数据降维 2、特征提取 3、特征选择二、特征提取特征提取是一个特征空间上的变换（映射），可以是线性和非线性的。所以特征提取与特征选择的不同之处在于，特征提取之后的特征已经不是原始特征了，而特征选择则是在原始的特征中选择出有价值的特征。既然，特征提取是一个空间上的映射，那么特征提取的问题就变成了选择合适的投影方向。选择合适的投影的方向就是必然有一个...

GBDT是否需要进行归一化操作？

真心乖宝宝的博客

09-05

4790

概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、rf。而像adaboost、svm、lr、KNN、KMeans之类的最优化问题就需要归一化 为什么GBDT需要进行归一化操作因为GBDT的树是在上一颗树的基础上通过梯度下降求解最优解，归一化能收敛的更快，GBDT通过减少偏差来提高性能，而随机森林本来就是通过减少方差提高性能的，树之间建立关系是独立的，不需要归一化 对于线性模型，特征值差别很大时，比如说LR，我有两个特征，一个是(0,1)的，一个是(.

特征工程:类别变量编码_列表与类别：第1部分：问题简介

cunchi8090的博客

07-19

283

特征工程:类别变量编码 This article explores the difference between two entities: 本文探讨了两个实体之间的区别： List and 清单和Category. In part one, we'll look at the basic concepts, and set some ground...

特征工程一

鲨鱼儿的博客

04-16

1003

一、特征工程的基本知识 1、什么是特征工程特征工程理解：将一种数据转化另一种数据；使得模型效果更佳的所有操作都可以称作为特征工程。 2、常规特征工程 1、异常数据的处理方式 2、数据不平衡的处理方式 3、文本的处理方式：词袋法（TF）、TF-IDF（词频-逆向文件频率） 4、维度扩展（多项式扩展、树模型（GBDT等）扩展维度（树模型扩展的维度是离散值，可以用哑编码））、哑编码、标准化...

GBDT问题汇总

热门推荐

zhangbaoanhadoop的博客

08-30

1万+

GBDT几问本篇文章主要介绍GBDT基本原理以及一些细节性的东西，这些东西更多在面试使用，或者对于二次创新使用，主要内容有以下几个方面： GBDT几问 Boosting算法Bagging算法介绍 GBDT基本原理 GBDT如何正则化 GBDT分裂规则 GBDT的“梯度提升”体现在那个阶段 GBDT如何做特征选择 GBDT为什么使用cart回...

自然语言处理（NLP）： 01 基于词袋模型（BOW）特征抽取 + 贝叶斯算法新闻文本分类

艾文

07-17

3850

本章节研究内容：基于词袋模型（BOW）特征抽取 + 贝叶斯算法文本分类 CountVectorizer 使用基于词袋模型特征提取，即我们使用词频TF来抽取特征 from sklearn.feature_extraction.text import CountVectorizer texts=["dog cat fish","dog cat cat","fish bird", 'bird'] cv = CountVectorizer(analyzer='word',max_features=4000)

机器学习之离散特征自动化扩展与组合

kwame211的博客

09-27

5297

导语：总所周知，机器学习中特征工程处于十分重要的位置，整个学习中至少会花二分之一甚至更多的时间用于特征工程至少（对于统计学习）。但是如何能够有效地实现特征的自动化扩展、组合和量化，大家都会有各自的方法，但也是相对较繁杂且可控性不太好的方法。本文将结合我在特征自动化实现中的一些发现与大家分享，希望能够对大家的工作有所帮助。一、背景：机器学习是通过机器来处理大量的、有效的数据来获

分割数据集，并对数据集进行预处理

05-17

分割数据集是指将原始数据集划分为训练集、验证集和测试集等部分。一般来说，训练集用于模型的训练和调优，验证集用于模型的选择和调优，测试集用于评估模型的最终性能。通常的划分比例是训练集：验证集：测试集 = 7:2:1。对于数据集的预处理，可以包括以下步骤： 1. 数据清洗：去除无用的数据，处理缺失值、异常值、重复值等。 2. 数据标准化：将数据转换为均值为0，标准差为1的标准正态分布，以便于模型的训练和收敛。 3. 特征工程：对原始数据进行特征提取、降维、聚类等处理，以便于模型的训练和预测。 4. 数据增强：通过一定的变换方式，对原始数据进行扩充，以增加数据的多样性和数量，提高模型的泛化能力。 5. 数据编码：将数据转换为计算机可以处理的数字形式，如将文本转换为词向量、将图像转换为像素值矩阵等。 6. 数据归一化：将数据缩放到指定的范围内，如将像素值缩放到0-1之间。以上步骤可以根据具体的数据类型和任务需求进行适当调整和组合。