机器学习工程师心得:特征工程比超参数调优更重要

automl-超参数优化(HPO)-综述 超参数优化方法分类: 超参数优化方法分类 超参数优化的难题 当面对大模型、大数据集、复杂的机器学习时,功能函数的评估非常昂贵 配置空间非常复杂且是高维的 我们通常不能得到关于超参数的损失函数的梯度。此外,在经典优化中经常使用的目标函数的其他特性通常不适用,如凸性和平滑性。 ... 阅读详情

事实上,特征工程比超参数调优更重要,这是作为一个教训和一个重要的提醒而言的,这将彻底改变在构建任何机器学习模型之前处理问题和数据的方式。

当我开始作第一份全职工作时,作为一名研究机器学习的工程师,我非常兴奋,痴迷于建立奇特的机器学习模型,而没有真正关注我所拥有的数据。

其实我很不耐烦。我非常想要结果,所以我只关心从我的模型中挤出每一个性能百分比。不用说,我尝试了这么多次都失败了,我想找出原因。

一个团队成员告诉我,“你应该更多地关注获得好的特征(特征工程),而不是优化模型的超参数(超参数调优)。如果你没有可以学习好特征的模型,即使你有最佳的超参数,也不会改善模型的性能。”

从那一刻开始,我知道我必须做出须改变,方法必须改变,心态也必须改变。

一旦我试图理解我想要解决的实际业务问题和我拥有的数据,我添加了一些新特征以更好地表示问题,这样模型可以有效地学习基础模式。

结果如何呢?

我成功地改进了模型的AUC(这是一个分类问题),与使用超参数调优进行少量或没有改进相比,这是一个显著的改进。

鉴于我认识到了特征工程的重要性,在此,我希望分享特征工程和超参数调优的重要性。

到本文结束时,我希望你能理解为什么特征工程比超参数调优更重要,并且在进入调优部分之前使用特征工程来解决问题。

特征工程的重要性

我记得第一次开始学习数据科学时,特征工程并不总是包含在书籍和在线课程中。这给了我一个错觉:在应用机器学习来解决问题时,特征工程可能并不重要。

在讨论什么是特征工程及其重要性之前。让我们先来尝试了解机器学习模型的工作原理。

机器学习模型如何运作?从本质上讲,机器学习模型只是一种算法,通过对历史数据进行训练来学习模式,最终根据看不见的测试数据进行预测。

换句话说,如果数据的代表性不足以描述你尝试解决的问题,那么模型将无法学习基础模式。而这就是特征工程要发挥作用的地方。

特征工程是将原始数据转换为更能代表预测模型的基础问题的特征的过程,从而提高了模型对于不可见数据的准确性。特征工程是机器学习应用的基础,数据中的特征对于你使用的预测模型非常重要,并将影响你将要实现的结果。

特征的质量和数量对模型的好坏有很大的影响。你可以说特征越好,结果就越好。但这并不完全正确,因为获得的结果还取决于模型和数据,而不仅仅是选择的特征。不过选择正确的特征仍然非常重要。更好的特性可以产生更简单、更灵活的模型,并且通常会产生更好的结果。

虽然模型的性能取决于几个因素:准备的数据和特征,训练中使用的模型,问题陈述,衡量模型成功的指标等等,但特征仍然是确定模型成功的关键部分。

在我看来,虽然你可以汇总数据以生成其他功能(平均值和最大值等),但拥有强大的业务领域知识可以让你更多地了解拥有的数据,并根据其相关性和关系生成新特征。

凭借出色的特征,它在模型选择方面提供了更多空间。你可以选择更简单的模型,但仍然能够获得良好的结果,因为你的数据现在更具代表性,而不那么复杂的模型可以轻松地学习基础模式。

最终,特性工程归结为问题表示。如果你的数据具有能够很好地表示问题的优秀特征,那么模型很可能会因为很好地学习了模式而给出更好的结果。

超参数调优的重要性

什么是超参数调优?在机器学习中,超参数调优是为学习算法选择一组最优超参数的问题。

模型超参数是模型外部的配置,其值无法从数据估计。作为一名数据科学家(或机器学习从业者),模型超参数对我们来说是未知的。

我们只能通过搜索超参数的离散空间,根据给定的默认值,经验法则或反复试验找到最佳值。

例如,一些超参数是训练神经网络的学习率,支持向量机(SVM)的C和sigma值,或k近邻(KNN)的k值。

超参数是至关重要的,因为它们控制机器学习模型的整体行为。最终目标是找到超参数的最佳组合,最小化预定义的损失函数以提供更好的结果。

如果不这样做,由于模型不能收敛且无法最小化损失函数,将导致次优结果。

这就像探索各种可能性并尝试找到最佳组合,以提供最佳结果。用于调整超参数的一些常用技术包括网格搜索,随机搜索,贝叶斯优化等。

特征工程比超参数调优更重要

现在我们已经了解了特征工程和超参数调优的重要性,让我们深入挖掘,看看为什么前者比后者更重要。

这并不是说超参数调优并不重要,而是当我们谈论改进模型的性能和最终结果时,特征工程是一个优先事项,特别是在现实生活中的场景。

首先,我们必须了解大多数机器学习库中超参数的默认值足以满足大多数用例,通常很难显著提高性能。在Kaggle中,超参数调优非常重要。在现实生活中,这并不重要。

其次,面对现实吧。超参数调优耗费时间且计算成本高。迭代不同的超参数组合需要花费大量时间才能实现微小的改进。更糟糕的是,如果是大量数据和复杂模型,每次迭代都需要大量资源。在商业领域中,时间就是金钱。如果搜索最佳超参数所需的工作量和时间不能匹配最终的ROI,那么如果你的模型足够好,可以在给定一组具有强大功能的数据下部署,根本不需要超参数调优。

最后,在现实生活中,由于给定的时间限制,要同时获得最优特征和超参数是极其困难的。因此,为了在更短的时间内实现改进的巨大成果,更智能的选择是首先进行特征工程以足够好地表示问题,使模型可以准确地学习和预测。只有在拥有强大的功能之后,如果时间允许或业务环境需要,我们才能考虑超参数调优。这就是为什么特征工程最重要,而超参数调优应该排在后面。

教材推荐

通过分享我的错误和学习经验,希望你已经理解了这两者的重要性,以及为什么在提高模型性能时,特征工程应该是首要任务。

如果你想了解有关特征工程以及如何将其应用于机器学习问题的更多信息,那么我向你推荐一本书“ Feature Engineering for Machine Learning”。

在典型的机器学习课程中,特征工程并不是作为一个正式的主题,而这本书旨在通过贯穿全书的几个特征工程技术,供你应用和练习。

获取方式

1. 识别并关注公众号「程序员大湿兄」

2. 在下面公众号里回复关键字:特征工程




????长按上方二维码 2 秒
回复「特征工程」
机器学习——特征工程和数据处理 一、特征工程是什么 特征工程师将原始数据转换为更好的代表预测模型潜在问题的特征的过程,从而提高对未知数据的预测准确性 二、数据的特征抽取 ... 阅读详情

相关推荐

贝叶斯优化原理及应用[附XGBoost、LightGBM超参数调优代码][scikit-optimize]

近年来机器学习和深度学习算法被越来越广泛的应用于解决对未知数据的预测问题。由于超参数的选择对模型最终的效果可能有极大的影响,为了使模型达到更好的效果,通常会面临超参数调优问题。但如何选择合适的超参数并没有一个明确的指导,并且同一模型面对随时间变化的数据,其超参数的选择都可能需要随着数据变化进行调节,更何况是原本就分布不同的两份数据。因此,人工指定超参数通常是根据经验或随机的方法进行尝试,深度学习里...

wonner_的博客 1万+

听说算法工程师80%的时间都在做特征工程?

前言 想象一下,当今社会备受瞩目的人工智能和数据挖掘算法工程师每天大部分时间都在做什么呢?是花大量时间手推公式,还是思考各种trick对算法调参,还是一遍遍清洗数据和加工特征?实际上,大部分的数据挖掘/算法工程师在日常的工作流程中,80%以上的时间用于研究特征工程,而他们在算法设计和模型优化上分配的时间不到20%。特征工程为何如此重要,以至于数据挖掘/算法工程师甘愿把如此之多时间都花在这上面呢? 机器学习界普遍认为:“数据和特征决定了机器学习算法的上限,而模型和算法只是不断逼近这个上限而已。” 在这场以模型

JDDTechTalk的博客 6674

Spark机器学习流水线:特征工程与模型训练最佳实践

在当今数据驱动的时代,机器学习技术正以前所未有的速度渗透到各行各业,从金融风控、医疗诊断到智能推荐、自动驾驶,都离不开强大的机器学习模型作为支撑。Apache Spark作为一个开源的分布式计算框架,凭借其卓越的处理能力、容错性和易用性,已成为大规模数据处理和机器学习的事实标准。Spark MLlib(Machine Learning Library)作为Spark生态系统的核心组件之一,提供了丰富的机器学习算法和工具,旨在简化大规模机器学习任务的开发流程。

AI天才研究院 1217

AI入门学习-特征工程

testcase_risk_idx | v1.2 | 2023-08-01 | 张三 | 0.3*历史失败率 + 0.7*代码变更密度 |'critical_business_weight' # 业务权重(来自产品)'text_contrast_ratio', # 文字与背景对比度。'last_failure_time_diff', # 距上次失败时间。'button_color_histogram', # 按钮颜色分布。# 标签:test_case_failure (0/1)

sumdeveloper的博客 823

机器学习超参数调优:方法与最佳实践

超参数调优是机器学习模型优化中的关键环节,直接影响模型性能。与模型自动学习的参数不同,超参数如学习率、批量大小等需要开发者手动设置。理解网格搜索、随机搜索等基础方法,以及贝叶斯优化等高级技术,能有效提升调优效率。在实际应用中,结合交叉验证和分阶段策略,可以平衡计算成本与模型效果。对于深度学习等复杂模型,重点关注学习率、批量大小等核心参数的优化。掌握这些调优技巧,能够帮助开发者在图像识别、自然语言处理等场景中构建更高效的AI系统。

weixin_33749242的博客 363

AIGC多模态生成模型训练指南:数据准备与超参数调优

随着AIGC(人工智能生成内容)技术的爆发式发展,多模态生成模型(如DALL-E、Stable Diffusion、GPT-4V)已成为内容创作、智能交互的核心基础设施。然而,模型训练效果常受限于数据质量与超参数配置的不合理,导致生成内容出现语义偏差、模态错位等问题。本文聚焦数据准备的工程化方法论与超参数调优的科学框架,提供从数据清洗到动态训练的全流程解决方案,适用于图像-文本、视频-文本、音频-文本等主流多模态场景。数据准备篇。

AI天才研究院 1150

Task 3 特征工程

特征工程 1. 概述 特征工程是数据挖掘中至关重要的一环,其主要目的在于 将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能。 例如,异常值处理是为了去除噪声,填补缺失值可以加入先验知识等。 特征构造也属于特征工程的一部分,其目的是为了 增强数据的表达。 有些数据特征是匿名特征,这导致我们并不清楚特征相互直接的关联性,这时我们就只有单纯基于特征进行处理,比如装箱,groupby,agg...

qq_42281101的博客 194

机器学习特征工程:结合特征选择、AdaBoost和XGBoost算法深入分析肺癌CT分类的优化策略

特征工程中的特征选择是机器学习的关键环节,尤其在医学影像领域如肺癌CT分类中,因其高维性、噪声多、样本量有限等特点而尤为重要。本文深入探讨了特征选择的原理与方法(过滤法、包裹法、嵌入法),并结合AdaBoost和XGBoost算法,提出肺癌CT分类的优化策略。通过参数调优(网格搜索优化超参数)和深度学习结合(利用ResNet50提取特征并结合XGBoost分类),显著提升模型性能。

编程技术探索者,分享C/C++、C#、Java、数据库等开发经验,聚焦实战技巧与AI兴趣,助力编程爱好者成长。 1906

机器学习算法------1.7 特征工程-特征预处理(特征预处理定义、归一化、 标准化)

文章目录????[本文数据集dating.txt](https://download.youkuaiyun.com/download/qq_41855990/12623594)???? ????[本文代码](https://download.youkuaiyun.com/download/qq_41855990/12623590)???? 1.7 特征工程-特征预处理学习目标1 什么是特征预处理1.1 特征预处理定义1.2 包含内容(数值型数据的无量纲化)1.3 特征预处理API2 归一化2.1 定义2.2 公式2.3 API2.

程序猿-凡白的博客 1643

超参数调优实战:从网格搜索到贝叶斯优化的工程落地

超参数调优是机器学习建模中决定模型泛化能力与业务效果的关键环节,其本质是在高维、非凸、计算昂贵的参数空间中寻找最优解的过程。不同于黑箱调参,现代方法如随机搜索依托概率分布采样提升效率,贝叶斯优化则通过代理模型与采集函数实现智能探索与利用的平衡,显著降低评估次数并提高稳定性。该技术具有明确的数学原理(如高斯过程建模、期望改进准则)和可量化的工程价值——在金融风控、医疗影像、NLP生成等场景中,常带来F1提升6%+、AUC提升0.08+、推理延迟优化30%以上的实际收益。本文聚焦工业级落地细节,涵盖搜索策略选型

weixin_34292402的博客 1086

AutoML实战指南:从超参数调优到NAS落地的工程化路径

AutoML(自动机器学习)是一套将模型选择、超参数调优、特征工程与神经架构搜索(NAS)系统化集成的技术范式,其核心原理在于在计算资源、业务约束与评估代价构成的多维搜索空间中,高效寻优。它并非替代算法工程师,而是通过自动化释放人力,聚焦于领域知识建模、可解释性设计与生产级鲁棒性保障。技术价值体现在显著压缩模型迭代周期、提升跨团队复用效率,并支撑信贷风控、工业质检、端侧部署等强约束场景。本文深入剖析超参数调优中的贝叶斯优化实践、NAS三类主流方法(RL/EA/可微分)的选型逻辑,以及AutoML在数据漂移防

turnRound 470

CoPaw机器学习模型辅助:特征工程与超参数调优指南

本文介绍了如何在星图GPU平台上自动化部署CoPaw镜像,实现机器学习特征工程与超参数调优的智能辅助。该镜像能快速分析电商用户行为数据,自动推荐关键特征组合与最优参数范围,显著提升模型开发效率,特别适用于数据科学家快速构建高精度预测模型。

weixin_36197669的博客 141

提示工程架构师必备技能:机器学习模型调优

在人工智能与机器学习飞速发展的今天,提示工程架构师作为连接人类意图与机器智能的关键角色,必须掌握机器学习模型调优这一核心技能。本文系统构建了一套全面的模型调优方法论,从理论基础到工程实践,为提示工程架构师提供了从原理到实践的完整知识体系。我们深入探讨了超参数优化的数学原理、模型性能评估的科学方法、自动化调优框架的架构设计,以及在大规模生产环境中的实施策略。

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 1115

Interview之ML:机器学习算法工程师结构知识思维导图集合、求职九大必备技能之【数学基础、特征工程能力、模型评估和优化、机器学习基本概念/经典算法、深度学习算法、业务与应用】(持续更新)

​ Interview之ML:机器学习算法工程师结构知识思维导图集合、求职九大必备技能之【数学基础、特征工程能力、模型评估和优化、机器学习基本概念/经典算法、深度学习算法、业务与应用】(持续更新) 目录 机器学习算法工程师思维导图集合 一、数学基础 二、工程能力 三、特征工程 四、模型评估 五、优化算法 六、机器学习基本概念和分类 七、经典机器学习模型

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 5623

如何将TDengine集成到Thingsboard?

1 概述 ThingsBoard是用于数据收集、处理、可视化和设备管理的开源物联网平台。它通过行业标准的物联网协议MQTT、CoAP和HTTP实现设备连接,并支持云和本地部署。 ThingsBoard迄今没有导入专业的时序数据库应用,用户可选择的只有PostgreSQL和Cassandra。虽然针对PostgreSQL引入了TimeScale插件,但由于其不是按照宽表的方式组织数据记录,TimeScale的优势根本发挥不出来。总之,这两种数据库不具备高效的数据吞吐能力。 而且,Thingsboard在

Wearable_device的博客 4767

PTrade数据交互全流程详解:从本地文件上传到定时导出交易数据

本文详细解析了PTrade量化交易平台的数据交互全流程,涵盖从本地文件自动上传交易指令到定时导出成交数据的完整链路。通过文件媒介实现本地策略与云端实盘的安全、稳定对接,并提供了构建自动化、稳健数据流水线的实战配置方案与代码示例,助力量化工作流平滑过渡至实盘。

gg901的博客 885

Auto-ML之自动化特征工程

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号:datayx1. 引言机器学习是朝着更高的易用性、更低的技术门槛、更敏捷的开发成本的方向去发展,且...

datayx的文章 1305

Ollama部署本地大模型详细教程

创建ModelfilePARAMETER num_gpu 50 # GPU 层卸载比例(0~100)场景是否推荐本地开发/测试 Agent✅ 强烈推荐内部知识库问答(RAG)✅ 推荐(配合 Pgvector)生产环境高并发服务⚠️ 谨慎(建议评估 vLLM / Triton)需要 Function Calling 的 Agent❌ 不推荐(改用 DashScope API)🔑核心价值Ollama 是“本地大模型的 Docker”——让开源模型像容器一样 easy to run。

我们的征途是星辰大海 2640

AutoGluon职业发展:ML工程师成长路径

在人工智能快速发展的今天,机器学习工程师(Machine Learning Engineer)面临着前所未有的机遇与挑战。传统ML工作流程中,数据清洗、特征工程、模型选择、超参数调优等环节耗费了大量时间和精力。而AutoGluon的出现,正在重新定义ML工程师的工作方式和职业发展路径。 > "三行代码实现高性能机器学习" - 这不仅仅是技术革新,更是职业能力的重新定义。 ## AutoGluo...

gitblog_00366的博客 1091

立创开源便携式多生理参数监护仪:基于STM32H743与ADS1292R的心电血氧体温监测系统设计

本文详细解析了基于STM32H743与ADS1292R的便携式多生理参数监护仪开源设计。项目集成了心电、血氧和体温监测功能,采用模块化硬件架构,并重点介绍了利用FIR滤波和Pan-Tompkins算法进行心电信号处理的核心技术。文章提供了完整的复刻指南与避坑要点,是学习医疗电子设备设计的优秀实践案例。

weixin_30600615的博客 328

量化交易新手必看:如何用vnpy+Tushare轻松获取A股历史数据(附完整代码)

本文为量化交易新手提供了使用vnpy和Tushare构建A股历史数据获取系统的完整指南。通过详细的代码示例,手把手教你搭建环境、封装数据获取引擎,并实现日线等数据的格式转换与本地存储,为策略回测与分析奠定坚实的数据基础。

weixin_29098117的博客 380

【百面机器学习笔记】:第一章:特征工程+第二章:模型评估

0.序言 机器学习算法工程师的自我修养: 针对不同的实际应用,在不断地尝试新的方法,不断地实现新的算法。他们了解需求、收集数据、设计算法、反复实验并持续优化。 想要成为优秀的算法工程师,首先要拥有全面,有条理的知识储备,更重要的是一种j匠心精神,这种匠心精神可以概括为:发现问题的眼光、解决问题的探索精神、以及对问题究原竟委的执着追求。 第一章:特征工程 对于一个机器学习问题,数据和特征往往决定了结...

Jack_Kuo的博客 2836

电子凸轮追剪算法深度解析:2500字图解+代码实战

工艺需求:在物料连续运动过程中完成精准切割核心矛盾:切割瞬间刀具与物料必须绝对同步传统方案:机械凸轮(结构复杂,调整困难)现代方案:电子凸轮(柔性可调,精度更高)

QQ_778132974的博客 1115

Photon-ML 生产环境最佳实践:监控、调优与故障排查

Photon-ML 作为基于 Apache Spark 的可扩展机器学习库,在生产环境中需要合理的监控策略、性能调优和故障处理机制来确保稳定运行。本文将详细介绍 Photon-ML 在生产环境中的关键实践,帮助数据工程师和机器学习工程师构建可靠的 ML 系统。 ## 一、构建全面的监控体系 📊 ### 1.1 关键指标监控 Photon-ML 训练和推理过程中需要关注以下核心指标: -

gitblog_00387的博客 440

RH850从0搭建Autosar开发环境【7】- Davinci Configurator之CanTp模块配置详解(上)

RH850从0搭建Autosar开发环境【7】- Davinci Configurator之CanTp模块配置详解(上)

weixin_42412049的博客 2301

BF8815A

了解ADBMS1818芯片的人会发现,这款BF8815B和1818有着很多相似的东西,当你了解其中一款AFE之后,另一款你的上手也会特别快,下面文章是我针对1818梳理的一些重要知识点,此篇文章主要讲解BF8815B的一些差异点。

m0_61973119的博客 564
上一篇: 哈佛知名编程课 CS50 即将推出 4K 高清版!
下一篇: 太强了!这个 Jupyter notebook 离线工具可以用一辈子!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值