机器学习-特征工程

最新推荐文章于 2025-03-04 17:40:56 发布
原创 最新推荐文章于 2025-03-04 17:40:56 发布 · 176 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

《百面机器学习》读书笔记

对于一个机器学习问题，数据和特征决定结果的上限，模型和算法的选择和优化是逼近这个上限。

特征工程：去除原始数据中的杂质和冗余，设计更高效的特征来刻画求解的问题和模型之间的关系。

结构化数据 -- 数值类型、类别类型

数值类型归一化：线性函数归一化、零均值归一化（基于梯度下降优化的模型能够更快收敛）

类别特征编码：独热编码、序号编码、二进制编码。

组合特征：一般出现在类别特征编码的交叉组合，形成二阶及高阶特征（参数过多，使用矩阵分解求解）

非结构化数据 -- 文本、图像、序列等

文本表示模型：词袋模型、TF-IDF、主题模型、词嵌入模型

词袋模型+tfidf                每一维都是一个词或者N-Gram，该维的权重由TFIDF计算得到
主题模型        从文本库中计算每个主题上词的分布来发现有代表性的主题，并计算每篇文章的主题分布
词嵌入模型        将词映射为dense类型的向量（word2vec）

【机器学习-09】特征工程
qq_38614074的博客
03-24 2万+
特征工程是机器学习模型构建的初步工作，但它的重要性却贯穿整个模型生命周期。在进行特征工程时，我们需要充分利用数据科学的知识和技巧，结合具体的应用场景和业务需求，来制定出最合适的特征提取和转换策略。只有这样，我们才能为机器学习模型提供最有价值的输入，从而使其发挥出最大的潜力。总之，特征工程是机器学习中的一项关键任务，它需要我们用心去探索、去实践、去创新。只有不断地优化和完善特征工程的过程，我们才能构建出更加准确、更加可靠的机器学习模型，为实际应用带来更大的价值。
机器学习-特征工程中的特征选择
数据掘金
08-18 2649
我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变量过程是个比较复杂的过程，需要考虑的因素很多，比如：变量的预测能力，变量之间的相关性，变量的简单性（容易生成和使用），变量的强壮性（不容易被绕过），变量在业务上的可解释性（被挑战时可以解释的通）等等 首先“无关.
机器学习之特征工程
热门推荐
D.W 的专栏
10-25 3万+
本文是一篇关于特征工程的总结类文章，如有不足之处或理解有偏差的地方，还望大家多多指点。首先，给一张特征工程的思维导图： 【如果要浏览图片，建议将其下载到本地，使用图片浏览软件查看】 关于特征工程（Feature Engineering），已经是很古老很常见的话题了，坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位
【机器学习】特征工程概述
evillist的博客
06-14 4216
特征工程“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。”1.概念 [维基百科：特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。] 通俗的说，就是尽可能的从原始数据中获取更多信息，从而使得预测模型达到最佳。简而言之，特征工程是一个把原始数据变成特征的过程，这些特征可以很好的描述数据，并且利用它们建立的模型在未知数据上表现性能可以达到最优。2.
机器学习中的特征工程
小和
10-11 1172
1 特征工程是什么 Feature engineering is the process of using domain knowledge of the data to create features that make machine learning algorithms work. 特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。 特征工程就是一个把原始数据转变成特征的过程，这些特征可以很好的描述这些数据，并且利用它们建立的模型在未知数据上的表现性能可以达到最优（或
案例数据集《机器学习-特征工程-数据离散化-会员数据2》
08-01
《机器学习-特征工程-数据离散化-会员数据2》这个案例数据集主要关注的是在机器学习领域中，如何对原始数据进行预处理，特别是数据的离散化过程。特征工程是机器学习中至关重要的一环，它直接影响到模型的性能和准确...
案例数据集《机器学习-特征工程-数据离散化-会员数据》
07-31
案例数据集《机器学习-特征工程-数据离散化-会员数据》
机器学习-特征工程技巧
10-17
特征工程是机器学习中极为重要的一环，它涉及将数据转化为特征的过程，这一过程对机器学习模型的最终表现具有决定性影响。特征工程包括数据采集、数据清洗、特征选择等多个步骤，并且需要结合特定业务领域的知识，...
精选资源
温州大学黄海广教授机器学习特征工程PPT
06-07
温州大学黄海广教授机器学习特征工程PPT。 在原始数据集中的特征的形式不适合直接进行建模时，使用一个或多个原特征构造新的特征可能会比直接使用原有特征更为有效。特征构建：是指从原始数据中人工的找出一些具有...
机器学习之特征工程详解
weixin_46880696的博客
12-30 8701
本文以特征工程的基本概念为引，着重介绍了特征工程的主要工作流程和实现方法，供大家学习参考。
浅谈知识追踪（非结构化的神经网络含数据集）
maxiubin666的博客
05-19 2101
深度知识追踪（DKT）的发展到动态键值网络（DKVMN）。
非数值型特征如何进行编码？
luguanyou的博客
06-06 9279
1、如下图，“AGE”“EDUCATION”“MARRIAGE”“RISK”是非数值型特征，不可以直接训练模型，需要进行编码，把特征转换成数值型，然后进行训练。2、有很多种编码方式，比如one-hot编码（独热编码），3、...
如何区分大数据的属性
中琛魔方大数据
05-10 638
　　拥有大数据是件令人兴奋的事，但在实践中处理大数据存在一定的困难，如数据量过大事情就会变得更困难。为了处理大数据要采用高性能算法，这些算法也已展现出惊人的优越性。数据通常由一个矩阵表示，矩阵的行表示不同的条目或记录，列则表示这些条目的不同属性特征。 　　大数据的属性是什么? 　　一、结构化与非结构化数据 　　某些数据集具有很好的结构性，就像数据库中的数据表或电子表程序中一样。而其他的数据以更多样的形式记录着有关世界状况的信息。它们可能是像维基百科这样包含图像和超级链接的文本语料库，也可能是个人医疗记
机器学习3——特征工程
Nefelibatahhh的博客
02-23 1736
机器学习笔记3：特征工程部分，学习内容为黑马程序员的b站视频。
三 机器学习之特征工程
最新发布
没见过西瓜嘛的博客
03-04 1292
机器学习特征工程是将原始数据转化为更能代表预测目标的特征，以提高机器学习模型性能的一系列技术和方法。
【机器学习】数据预处理-特征工程与特征选择
m0_66584716的博客
08-27 3228
特征工程的处理流程为首先去掉无用特征，接着去除冗余的特征，如共线特征，并利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征，然后对特征进行转换（数值化、类别转换、归一化等)，最后对特征进行处理（异常值、最大值、最小值，缺失值等)， 以符合模型的使用。方差越大，特征所带的信息量越多。最近邻算法KNN，单棵决策树，支持向量机 SVM，神经网络，回归算法，都需要遍历特征或升维来进行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值