(二)数据的特征工程方法总结笔记

数据挖掘:特征工程——特征处理与特征生成 数据挖掘:特征工程——特征处理与特征构建 这里贴一张网上特征工程的流程,供大家学习。 一、什么是特征工程 特征工程:其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。。就是获取更好的训练数据。主要有两个方面: 获取更好的数据 使机器学习算法达到最优 二、特征工程处理的意义 有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而... 阅读详情

特征工程是为了对数据进行处理,特征是原始数据的数值表示。特征工程是在给定数据、模型和任务的情况下设计出最合适的特征的过程。

没有足够的特征,模型将不能完成最终的任务,特征过多,模型会很难训练且训练成本高昂。

特征工程中的方法有
数据清洗

  1. 特征变换:模型无法处理或不适合处理
    a) 定性变量编码:Label Encoder;Onehot Encoder;Distribution coding;
    b) 标准化和归一化:z分数标准化(标准正太分布)、min-max 归一化;
  2. 缺失值处理:增加不确定性,可能会导致不可靠输出
    a) 不处理:少量样本缺失;
    b) 删除:大量样本缺失;
    c) 补全:(同类)均值/中位数/众数补全;高维映射(One-hot);模型预测;最邻近补全;
    矩阵补全(R-SVD);
  3. 异常值处理:减少脏数据
    a) 简单统计:如 describe() 的统计描述;散点图等;
    b) 3∂ 法则(正态分布)/箱型图截断;
    c) 利用模型进行离群点检测:聚类、K近邻、One Class SVM、Isolation Forest;
  4. 其他:删除无效列/更改dtypes/删除列中的字符串/将时间戳从字符串转换为日期时间格式等

特征构造:

  1. 构造统计量特征,报告计数、求和、比例、标准差等;
  2. 时间特征,包括相对时间和绝对时间,节假日,双休日等;
  3. 地理信息,包括分箱,分布编码等方法;
  4. 非线性变换,包括 log/ 平方/ 根号等;
  5. 特征组合,特征交叉;

特征选择方法:

  1. 过滤式(Filter):先用特征选择方法对初识特征进行过滤然后再训练学习器,特征选择过程与后续学习器无关。
    a) Relief/方差选择/相关系数/卡方检验/互信息法
  2. 包裹式(Wrapper):直接把最终将要使用的学习器的性能作为衡量特征子集的评价准则,其目的在于为给定学习器选择最有利于其性能的特征子集。
    a) Las Vegas Wrapper(LVM)
  3. 嵌入式(Embedding):结合过滤式和包裹式方法,将特征选择与学习器训练过程融为一体,两者在同一优化过程中完成,即学习器训练过程中自动进行了特征选择。
    a) LR+L1或决策树

以二手车交易交易价格预测的赛题为例,展示特征工程的一些应用
赛题链接,可以在此下载数据
https://tianchi.aliyun.com/competition/entrance/231784/information

读入数据

import pandas as pd
Train_data = pd.read_csv('./data/used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv('./data/used_car_testA_20200313.csv', sep=' ')

特征工程的操作

#特征构造
# 训练集和测试集放在一起,方便构造特征
Train_data['train'] = 1
Test_data['train'] = 0
data = pd.concat([Train_data,Test_data],ignore_index=True)

# 使用时间:data['creatDate'] - data['regDate'],反应汽车使用时间,一般来说价格与使用时间成反比
data['used_time'] = (pd.to_datetime(data['creatDate'], format='%Y%m%d', errors='coerce') -
                            pd.to_datetime(data['regDate'], format='%Y%m%d', errors='coerce')).dt.days

# 从邮编中提取城市信息,相当于加入了先验知识
data['city'] = data['regionCode'].apply(lambda x : str(x)[:-3])
data = data

#以power做数据分桶
bin = [i*10 for i in range(31)]
data['power_bin'] = pd.cut(data['power'], bin, labels=False)

# 删除不需要的数据
data = data.drop(['creatDate', 'regDate', 'regionCode'], axis=1)

# 目前的数据其实已经可以给树模型使用了,所以保存一下
data.to_csv('data_for_tree.csv', index=0)
【特征工程】特征工程技术与方法 引言在之前学习机器学习技术中,很少关注特征工程(Feature Engineering),然而,单纯学习机器学习的算法流程,可能仍然不会使用这些算法,尤其是应用到实际问题的时候,常常不知道怎么提取特征来建模。 特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。特征工程的重要意义数据特征会直接影响你使用的预测模型和实现的预测结果。准备和选择的特征越好,则实现的结果越好。 影响预测结果好坏的 阅读详情

相关推荐

深度了解特征工程

什么是特征工程?特征工程解决了什么问题?为什么特征工程对机器学习很重要?怎么做特征工程?怎么做好特征工程?集众多博友智慧,一文全面了解并应用特征工程。特征工程(Feature Engineering)特征工程是将原始数据转化成更好的表达问题本质的特征的过程,使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。特征工程简单讲就是发现对因变量y有明显影响作用的特征,通常称自变量x为特征,特征工程的目的是发现重要特征。如何能够分解和聚合原始数据,以更好的表达问题的本质?这是做特征工程的目的。...

fishmai的专栏 3943

特征工程7种常用方法

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号:datayx一、特征工程简单说,特征工程是能够将数据像艺术一样展现的技术。因为好的特征工程很好的混合了专业领域知识、直觉和基本的数学能力;本质上说,呈现给算法的数据应该能拥有基本数据的相关结构或属性 。当你做特征工程时,其实是将数据属性转换为数据特征的过程,属性代表了数据的所有维度,在数据建模时,如果对原始数据的所有属性进行学...

datayx的文章 3847

【Python学习笔记】——特征工程

目 录 1  特征工程1.1  什么是特征工程1.2  为什么特征工程很重要1.2.1  增加了模型选择的灵活性1.2.2  使参数优化变得简单1.2.3  得到更好的结果1.3  特征工程在机器学习中的步骤1.4  怎样做特征工程1.5...

孙悟充的博客 4301

特征工程方法论梳理

文章目录概论引言特征工程特征工程概念特征工程相关资料搜索特征工程过程 概论 机器学习算法及应用场景不断更新变化,也意味着也必须跟得上学术及大牛的脚步,在这条路上迈着魔鬼的步伐不断前进,不敢停歇。 知识的更新需要随时记录,写的过程其实也是一种梳理的过程,并且加强一遍记忆。 第一次写,最近比较关注的是特征选择过程。 引言 其实在每一次做数据分析的过程中,这是不可缺少的一步。但是当面试官问你,阐述一下对特征工程的理解,你还是觉得心慌。为什么?因为你没有对它的概念、以及在机器学习中的角色及作用进行过系统的思考过。因

qq_33303905的博客 758

数据挖掘之特征工程(笔记)

特征工程 在介绍特征工程之前,我们先看两张图。 图一是基本的数据挖掘场景 图二是特征工程的常见方法和步骤 特征工程(Feature Engineering)是数据挖掘模型开发中最耗时、最重要的一步。这里简单介绍笔者在模型开发中所总结的一些方法。 特征也就是我们常常说的变量/自变量,一般分为三类: 连续型 无序类别(离散)型 有序类别(离散)型 特征工程(Feature E...

H2OSIR的博客 4909

特征工程的方法和步骤

目录0.示意图1.特征类别1.1.类别特征1.2.数值特征1.3.时间特征1.4.空间特征1.5.自然语言处理1.6.深度学习/神经网络1.7.图特征1.7.Leakage1.8.统计聚合1.9.自动化特征工程2.数据预处理2.1.无量纲化方法2.2.归一化2.3.定性特征One-hot/哑编码2.4.定量特征二值化2.5.缺失值填充2.6.数据变换3.特征选择3.1.Filter过滤法3.1.1.方差选择法3.1.2.相关系数法3.1.3.卡方检验3.1.4.互信息法3.2.Wrapper包装法3.2.1

褚骏逸的学习之路 4355

机器学习算法/模型——特征工程

特征工程特征工程数据 对于机器学习来说,数据的重要性毋庸置疑,好比炒菜时的原材料直接决定了菜品的好坏。 所谓的特征工程,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。 简单来说就是为机器学习算法准备合适的训练数据和特征的过程——先清洗原始数据,再提取特征出或者进一步构造和生成新的特征,所以分为获取、选择和处理特征三个过程: 特征获取:创造或者生成新特征 主要包括...

Robin_Pi的博客 2061

特征工程

特征工程 1 机器学习 机器学习简单来说就是选择一种学习算法,从数据中学习并建立成模型来对新的数据进行预测的计算机科学 。 机器学习是人工智能的一个分支。人工智能的研究是从以“推理”为重点—以“知识”为重点—再到以“学习”为重点,一条自然、清晰的脉络。机器学习是实现人工智能的一个途径,即以机器学习为手段解决人工智能中的问题。机器学习算法是一类从数据中自动分析获得规律(模型),并利用规律对未知数据进行预测的算法。 我们的数据量越来越多,硬件越来越强悍。急需要解放人的生产力,自动去寻找数据的规律。解决更多专业领

学习服务 4188

如何进行特征工程,以及特征工程的一些理论

正如一句业界经典的话所说,“Garbage in, garbage out”,对于一个机器学习问题,数据和特征决定了结果的上限,而模型、算法的选择和优化决定了模型的下限。 1、什么是特征工程以及其重要性 1.1 特征工程 特征工程,顾名思义,是对原始数据进行一系列工程输出力,将其提炼为特征,作为输入供算法和模型使用。 维基百科:Feature engineering is the process of using domain knowledge of the data to create feature.

vinojie的博客 1602

数据科学中的特征工程:大数据特征处理方法

在机器学习与数据科学领域,特征工程被称为"数据科学的灵魂",其重要性远超算法选择。据Kaggle调查显示,优秀的数据科学家将70%-80%的时间用于特征工程,而非模型调优。高维稀疏数据预处理方法自动化特征选择算法原理非线性特征转换技术领域知识驱动的特征生成策略分布式特征处理工程实践目标是帮助读者建立完整的特征工程知识体系,掌握应对10亿级数据规模的特征处理方法论。核心概念:构建特征工程技术图谱算法解析:数学原理与代码实现结合实战案例:完整复现房价预测特征处理流程。

项目管理的博客 717

Mac上安装虚拟机搭载window系统

用Mac的都知道,很多window用的软件是Mac版本没有的。平时有的还得要求去用那些软件,有几种方式可供大家选择: 1.再买个window本; 2.装双系统; 3.装虚拟机,搭载window系统。 我比较推荐第3条,这样可以在Mac本上做到双开,一边开着mac一边开着window,还能做到同时处理文件,不至于重新启动操作系统,下边是具体实现步骤,其中有几个需要下载的,建议在网速好的时候完...

Coder_Mumu的博客 1万+

特征工程以及特征工程的方法

参考文章 https://www.zhihu.com/question/29316149/answer/110159647 https://www.cnblogs.com/peizhe123/p/7412364.html 什么是特征工程 有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最...

泛酸的桂花酒 861

【CADARXC++】ObjectArx2023 C++ CAD二次开发环境配置笔记

从官网或第三方平台下载以下AUtoCAD2023、VisualStudio2019和ObjectArx2023安装时请注意安装顺序。

BIMCATIA的博客 1794

【特征工程】呕心之作——深度了解特征工程

善战者不争,善胜者不怒。君子不争,故天下无与之争

1万+

uniapp [全端兼容] - 最新详细实现拍摄视频录像并可播放预览视频,调起本机摄像头开启录像录制完毕后保存到本机临时存放,可对拍摄的视频进行压缩处理减少文件大小不损失画质,详解录制视频并读取播放!

uni-app,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,录视频,拍视频,拍摄录制视频后上传服务器,调起摄像头录视频并可预览,录视频上传,录像,uniapp录制视频并上传,录制视频并保存到本地设备,如何本地保存并播放预览,提供给用户观看MP4视频录像并上传到后端服务器完整功能源码,视频压缩,mp4文件,删除视频,录像后怎么预览,临时视频文件怎么减少压缩大小,视频压缩及上传,自己录视频并生成可播放的文件,录视频并能打开查看,视频压缩后上传,本机相册,录完怎么预

🏆 前端领域优质创作者 1万+

OpenClaw Windows 安装指南

好的,我来一步一步带你在 Windows 上安装 OpenClaw。

m0_60605453的博客 553

特征工程9大方法

特征工程是机器学习和数据分析中不可或缺的环节。它能够提高模型性能、降低过拟合风险、处理数据质量问题,同时改善数据表示和计算效率。正确应用特征工程可以使机器学习模型更加准确。以下是特征几个方面的重要性:提高模型性能:良好的特征工程可以显著提高机器学习模型的性能。通过选择、转换和创建适当的特征,可以使模型更好地捕捉数据中的模式和关系,从而提高预测准确性。降低过拟合风险:特征工程有助于减少过拟合的风险。

chunyang的博客 6522

【IoT】 产品设计之结构设计:如何设计产品按键

1、硅胶按键功能实现有两种接触方式 1)硅胶按键按压在DOME片(锅仔片)上 通常用在手机、儿童手表手机、防水手机等防水设备上。 2)硅胶按键增加导电基,一种黑色的导电碳粒,实现回路导电 通常用在遥控器、电脑键盘、特殊设备上。 两种方式结构设计原理是一样的,按键的固定与配合间隙与行程要确保好。 2、硅胶遥控器按键的结构方式(导电基) 按键帽为大颗粒实心的,触点为黑色导电基,通过压注成型融合为一体,那么这种按键结构设计时需要注意那些呢? 最主要的是按键按压回弹的手感,由于没有DOME片实现

产品线负责人 8674

特征工程笔记

特征工程

每天进步一点 1452

一文读懂OpenClaw:核心组件与工作原理深度解析

Agent核心:负责理解意图、规划任务、协调执行消息系统:统一的消息格式,实现组件间解耦工具注册表:可扩展的工具系统,支持自定义工具模型适配层:多模型支持,统一API接口安全机制:沙箱隔离、权限确认、操作审计性能优化:并行执行、智能缓存、增量更新理解这些核心组件和工作原理,将帮助你更好地使用OpenClaw,也为后续开发自定义扩展打下坚实基础。在下一篇文章中,我们将详细介绍OpenClaw的界面操作,包括命令行与交互模式的各种技巧。

gaoxiang_120的专栏 833

手把手教你学simulink实例--基于Simulink的轨道交通车辆悬挂系统仿真

轨道交通车辆悬挂系统是保证列车运行平稳性、舒适性和安全性的重要组成部分。通过悬挂系统的合理设计,可以有效减小车辆在运行过程中受到的轨道不平顺和振动影响。基于MATLAB/Simulink平台进行悬挂系统仿真,可以对悬挂系统的动力学行为、控制策略以及性能优化等环节进行建模与分析,从而验证系统的设计性能并优化参数。本项目旨在构建一个完整的轨道交通车辆悬挂系统仿真模型,包括悬挂系统动力学建模、控制策略模块以及性能评估模块,并通过仿真验证系统的稳定性和舒适性。

MHD0815的博客 1034

机器学习笔记——特征工程

本笔记介绍机器学习中常见的特征工程方法、正则化方法和简要介绍强化学习。

haopinglianlian的博客 1982

034、MLCA 多尺度局部上下文注意力的 YOLOv11 适配:轻量级金字塔式空间上下文聚合

本文介绍了一种将多尺度局部上下文注意力(MLCA)模块集成到YOLOv11模型中的方法,以解决小目标检测中空间信息丢失的问题。MLCA采用金字塔式局部上下文聚合策略,通过不重叠的网格划分实现轻量级空间注意力计算,相比全局注意力机制能更好地保留小目标特征。 作者详细记录了实现过程,包括模块定义、参数调优和训练技巧,特别指出避免使用BN而改用GroupNorm以提升训练稳定性。在VisDrone数据集上的实验表明,MLCA-YOLOv11在参数量和计算量基本不变的情况下,mAP提升2.5%,其中行人检测提升3.

sundong_81的博客 286

特征工程常用于特征提取方法——数值特征

1 基本数值特征 本文以bilibili上的学习视频为笔记,代码原图 1.1 离散值处理 np.unique()看一下有多少类别 1.2 标签编码 LabelEncoder 将离散值映射为计算机可以识别的数据。例子是采用的LabelEncoder来实现,数值是从0开始。也可以自己手动写 one-hot Encoding 什么是one-hot编码,简单的说就是,假如有5个类别,“鸡,鸭,鹅,猫,狗”,转换为one-hot编码就是: 鸡-----“1,0,0,0,0” 鸭-----“0,1,0,0,0”

weixin_44336181的博客 1999

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: (一)探索性数据分析EDA入门
下一篇: (三)模型和调参
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值