机器学习中的七宗罪

机器学习生产化:从模型部署到系统稳态的工程实战 机器学习模型上线不是终点,而是与现有业务系统、数据管道和组织流程深度耦合的起点。其核心挑战在于工程稳定性、端到端延迟控制、特征供给可靠性及可审计的决策闭环。当模型进入生产环境,真正决定成败的不再是AUC或F1值,而是Latency Budget分配、特征新鲜度(Freshness)保障、分级降级(Tiered Fallback)机制与漂移检测(Drift Detection)能力。这些能力共同构成ML系统可观测性、弹性与合规性的技术底座,在金融、支付、风控等高SLA场景中尤为关键。本文聚焦真实落地中的集成冲 阅读详情

作者:Andreas Maier

编译:ronghuaiyang

正文共:4184 字 11 图

预计阅读时间:12 分钟

导读

会导致机器学习的实验失败的7个常见问题。

机器学习是一个伟大的工具,它正在改变我们的世界。在许多伟大的应用中,机器学习,尤其是深度学习,已经证明比传统方法优越得多。从Alex-Net图像分类到U-Net图像分割,我们看到了在计算机视觉和医学图像处理上的巨大的成功。不过,我经常都会看到机器学习方法的失败。在出现这样的情况时,人们往往会犯下机器学习的七宗罪之一。

虽然所有这些问题都很严重,并会导致错误的结论,但有些问题比其他问题更严重,甚至机器学习专家在对自己的工作感到兴奋的时候,也会犯这样的错误。即使是其他专家,也很难发现其中的许多错误,因为你需要详细查看代码和实验设置,以便能够找出这些错误。特别是,如果你的结果好得让人难以置信的时候,错误往往会发生,你可能会想把这篇博文作为一个清单,以避免对你的工作得出错误的结论。只有当你完全确定自己没有落入这些错误中的任何一个的时候,你才应该继续前进,并向同事或公众报告你的结果。

Sin #1: 数据和模型的偏见

过拟合产生的模型能够完美地解释训练数据,但通常不能泛化到新的观察数据上

初学者在深度学习中经常犯这种错误。在最常见的情况下,实验设计是有缺陷的,例如使用训练数据作为测试数据。使用最近邻这样的简单分类器,可以在大多数问题上得到100%识别率。在更复杂和深入的模型中,它的准确率可能不是100%,而是98-99%。因此,如果你在第一次建模的时候就获得如此高的识别率,你应该仔细检查你的实验设置。然而,如果你使用新的数据,你的模型将会完全崩溃,你甚至可能产生比随机猜测更糟糕的结果,即比1/K更低的准确率,其中K是类的数量,例如在一个两类问题中少于50%。同时,你还可以通过增加参数的数量来轻松地过拟合你的模型,这样就可以完全记住训练数据集。另一种变体是使用太小的训练集,它不能代表你的实际应用情况。所有这些模型都有可能在新数据出现时失效,即在实际应用场景中使用的时hou。

Sin #2: 不公平的比较

不要做不公平的比较。你可能会得到想要的结果,但是它们可能无法在其他数据上复制。

即使是机器学习方面的专家也会犯这种错误。如果你想要证明你的新方法比SOTA的方法更好的时候,经常会犯这种错误。特别是研究论文时,往往会屈服于这一点,以说服评审者他们的方法的优越性。在最简单的情况下,你从某个公共仓库中下载一个模型,并使用这个模型,而不对模型进行微调或适当的超参数搜索,然后对比你自己调优过的新方法。在论文中有很多这样的例子。Isensee等人在他们的论文中披露了最近的一个例子,他们在文中论证了,在10个不同的问题上,原始的U-net实际上优于自2015年以来对该方法的所有建议改进。因此,你应该始终执行与用在新提出的方法上相同的对最新模型的参数调优。

Sin #3: 不显著的提升

显著性测试确保你的报告不只是沧海一粟

在做了所有的实验之后,你最终找到了一个比最先进的模型产生更好结果的模型。然而,即使在这一点上,你还没有完成。机器学习中的一切都是不精确的。此外,由于学习过程的概率性,你的实验受到许多随机因素的影响。为了考虑这种随机性,你需要进行统计测试。这通常是通过使用不同的随机种子多次运行你的实验来执行的。这样,你就可以报告所有实验的平均性能和标准偏差。使用显著性检验,如t检验,你现在可以确定观察到的改善仅仅是碰巧的概率。这个概率至少应该低于5%或1%,这样你才能相信你的结果是重要的。为了做到这一点,你不需要是一个专业的统计学家。甚至有在线工具可以来计算它们。如果你进行重复实验,确保你也应用了Bonferroni Correction,也就是说,你用相同数据上的实验重复次数除以所需的显著性水平。

Sin #4: 混淆干扰和错误的数据

用两个不同的麦克风记录了51个演讲者的语音。每个点代表一个记录。这些数据变化的主要因素是麦克风的不同。

数据质量是机器学习的最大陷阱之一。它可能会导致严重的偏见,甚至导致种族主义的人工智能。然而,问题不在于训练算法,而在于数据本身。例如,我们展示了使用两个不同麦克风的51位演讲者的降维录音。因为,我们记录了相同的说话者,他们应该被投影到相同的点上,给出相同的特征表示。然而,我们可以观察到,相同的录音形成两个独立的簇。事实上,一个麦克风直接位于扬声器的口,另一个麦克风位于大约2.5米外的摄像机上,摄像机记录了现场。类似的效果可以通过使用来自两个不同供应商的两个麦克风或在医学成像的背景下使用两个不同的扫描仪来创建。如果你现在在扫描仪A上记录所有的病理病人,在扫描仪B上记录所有的对照受试者,你的机器学习方法很可能会学会区分扫描仪,而不是实际的病理。你会对实验结果非常满意,产生接近完美的识别率。然而,您的模型在实践中会完全失败。因此,请避免混淆干扰和错误的数据。

Sin #5: 不恰当的标签

每个训练样本一个标签通常不足以理解问题的复杂性。有些情况下可能会产生许多不同的标签,给多个评分者不同的标签(蓝色分布),所有评分者生成相同的标签(红色曲线)。

Protagoras知道:“万物之中,衡量标准是人。”这也适用于许多分类问题的标签或ground truth。我们训练机器学习模型来反映人为设定的类别。在许多问题中,我们认为在定义类的时候类就已经很清楚了。当我们查看数据时,我们会发现它经常包含一些不明确的情况,例如,在ImageNet Challenge中有两个物体而不是一个物体的图像。如果我们研究复杂的现象,比如情感识别,就会变得更加困难。在这里,我们意识到,在现实生活中的许多观察中,情绪甚至连人类都无法清楚地评估出来。为了获得正确的标签,我们需要询问多个评分者并获得一个标签分布。我们在上图中描述了这一点:红色的曲线显示了一个清晰的案例,即所谓的原型的尖峰分布。蓝色曲线显示了一个广泛的分布情况的一个模糊的情况。在这种情况下,不仅是机器,人类评分员也可能会得出相互矛盾的解释。如果你只使用一个评分员来创建你的ground truth,你甚至不会意识到这个问题,然后通常会引起[关于标签噪声和如何有效地处理它的讨论](https://papers.nips.cc/paper/5073-learning-with- noise -labels.pdf)。如果你获得真正的标签分布(当然,这是昂贵的),你甚至可以证明你可以通过消除模棱两可的情况显著提高系统的性能,正如我们所看到的例如在情感识别的情感与真实的情感。但是,在实际应用中可能不是这样的,因为你从未见过不明确的情况。因此,你应该更倾向于多人评分,而不是单人评分。

Sin #6: 交叉验证引起的混乱

不要使用相同的数据来选择你的模型和特征,同时也用于模型的评估

这几乎是和第一个错误一样的问题,但它是伪装的,我甚至在几乎提交的博士论文中看到过这种情况。所以即使是专家也会被这个问题所迷惑。典型的方案是在第一步中,进行一个模型、架构或特征的选择。因为你只有很少量的数据样本,所以你决定使用交叉验证来评估每个步骤。因此,你可以将数据分成N个折叠,选择具有N-1个折叠的特征来训练模型,并在第N个折叠上进行计算。重复n次之后,计算平均性能并选择性能最好的特征。现在,你已经知道了最好的特征是什么,你可以使用交叉验证为你的机器学习模型选择最佳参数。

这似乎是正确的,对吗?不!它是有缺陷的,因为你已经在第一步中看到了所有的测试数据,并且平均了所有的观察值。因此,来自所有数据的信息被传递到下一步,你甚至可以从完全随机的数据中获得优秀的结果。为了避免这种情况,你需要遵循一个嵌套过程将第一步嵌套在第二个交叉验证循环中。当然,这是非常昂贵的,并产生了大量的需要运行的实验。请注意,只有在对相同的数据进行大量实验的情况下,才有可能由于偶然因素而产生良好的结果。这样的统计测试和Bonferroni校正又是强制性的。我通常会尽量避免大型交叉验证实验,并尽量获得更多的数据,这样你就可以使用训练/验证/测试集。

Sin #7: 结果的过度解释

让别人来赞美你的工作,而不是你自己。

除了前面所有的错误,我认为我们在机器学习中经常犯的最大的错误是,在当前的炒作阶段,我们过度解释和夸大了我们自己的结果。当然,每个人都对机器学习创造的成功解决方案感到高兴,你也有权利为它们感到骄傲。但是,你应该避免将结果外推到不可见的数据或状态上来泛化解决的问题,因为你使用相同的方法处理了两个不同的问题。

同样,由于我们在sin#5中所做的观察,关于超过人类的表现的断言也引起了人们的怀疑。你如何超越你的标签的来源?当然,你可以在疲劳和注意力方面打败一个人,但在人设定的类别上,你可以超越人类吗?你对这种说法要小心。

每项申明都应以事实为根据。你可以在讨论中就你的方法的普遍适用性做出假设,清楚地表明推测,但要真正声明这一点,你必须提供实验或理论证据。现在,你很难让你的方法得到你认为它值得得到的可见性,进行广泛的声明当然会帮助推广你的方法。不过,我建议还是脚踏实地,坚持证据。否则,我们可能很快就会迎来下一个人工智能冬天,以及人们对我们在前几年已经拥有的人工智能的普遍怀疑。让我们在当前的周期中避免这种情况,并坚持我们真正能够证明能够实现的目标。

当然,大多数人已经知道这些陷阱。然而,你可能想时不时地看看机器学习的七宗罪,只是为了确保你还在脚踏实地,没有掉入它们的陷阱中。

- end -





ML研究者生存手记:实验复现、超参敏感性与学术-工业鸿沟 机器学习研究并非单纯算法推演,而是融合算法设计、工程实现与协作规范的系统性实践。其核心挑战在于实验可复现性——受框架迭代、硬件差异、数据预处理等多重不确定性影响;而超参敏感性则进一步放大了结果波动,使微小配置偏差即可导致性能显著偏移。这种技术不确定性直接加剧了学术研究与工业落地之间的鸿沟:论文追求SOTA指标,而产线需要鲁棒、可维护、可部署的完整系统。本文聚焦ML研究者真实工作流,从Docker环境固化、敏感性量化分析到论文Method反向构建,提供一套面向工程落地的可复现实践方法论。 阅读详情

相关推荐

机器学习生产化:从模型部署到系统稳定性的工程实践

机器学习模型上线后失效,往往不是算法问题,而是系统集成、特征依赖、延迟敏感性等工程短板所致。本文围绕ML系统在真实业务场景中的稳定性、弹性与可观测性展开,深入解析模型如何与数据库、API、调度任务等周边系统共存,强调特征契约、三级降级、业务延迟感知矩阵、漂移-业务联动分析等关键机制。内容覆盖金融、支付、保险等强监管行业落地经验,聚焦‘模型即服务’的全链路鲁棒性设计,为构建可监控、可回滚、可审计的生产级ML系统提供可复用的方法论与工程范式。

weixin_30561425的博客 292

类神经网络训练不起来怎么办——机器学习模型训练指南

一些训练的tips

ji_meng的博客 1894

机器学习专栏(5):模型评估的“照妖镜“——你的AI是学霸还是学渣?

2022年某三甲医院部署的AI影像系统,测试集准确率高达99.8%,却在临床使用中漏诊30%的早期肺癌。这场医疗AI滑铁卢的背后,暴露了机器学习最致命的认知误区——测试集的完美表现,真的等于落地可靠吗?本文将为你揭开模型评估的九重幻境。

Conan_0728的博客 1101

机器学习项目中遇到的难题_强化学习简介探索探索难题

机器学习项目中遇到的难题Explore-Exploit Dilemma 探索-利用困境 Decision and dilemma are the two sides of the same coin. Imagine a student looking forward to learning data science. He searches online for data science co...

weixin_26720761的博客 626

【四旋翼】pixhawk2.4.8-地面站配置-APM固件-四旋翼从装机到试飞

因为MP版本和APM版本的适配问题,真的真的是很大一个坑。最好先走别人走过的路,走通了再去自由发挥,不然白白浪费时间。下面提供我试飞成功过的版本。下面提供任意版本固件和地面站的下载方法。

xifan的博客 3万+

CODESYS安装全攻略:从下载到配置的保姆级教程(含常见问题解决)

本文提供了一份详细的CODESYS安装与配置指南,涵盖从系统环境准备、安装包下载、Development System安装到Runtime System配置的全过程。教程重点解决了安装过程中的常见权限、兼容性和连接问题,并指导用户完成第一个PLC程序的创建与调试,帮助工业自动化开发者快速上手这一通用开发平台。

kkk56的博客 421

机器学习模型出错的四大原因及如何纠错【转】

本文介绍了机器学习模型出错的常见原因, 讨论了如何用偏差和方差、精确率和召回率这些指标来评测模型的问题,并基于 Andrew Ng 在斯坦福机器学习课程中所教授的概念,提出了一些解决这些问题的方法。 可供选择的机器学习模型并不少。我们可以用线性回归来预测一个值,用逻辑回归来对不同结果分类,用神经网络来对非线性行为建模。 我们建模时通常用一份历史数据让机器学习模型学习一组输入特性的关系,...

二十四桥明月夜的博客 2454

RML2016.10a (CNN、LSTM、CNN-LSTM、CNN-LSTM-Multi-head-attention, TensorFlow)

RML2016.10a (CNN、LSTM、CNN-LSTM、CNN-LSTM-Multi-head-attention, TensorFlow) 包含所有数据和代码,支持一键运行(jupyter)

qq_40999533的博客 1486

8个提高机器学习模型准确度的方法

8个经过证实的方法:提高机器学习模型的准确率 2016-01-18 Sunil Ray 数据挖掘与数据分析 点击上方“数据工匠”可以订阅哦! 导语 提升一个模型的表现有时很困难。如果你们曾经纠结于相似的问题,那我相信你们中很多人会同意我的看法。你会尝试所有曾学习过的策略和算法,但模型正确率并没有改善。你会觉得无助和困顿,这是 90% 的数据科学家开始放弃的时候。

wtq1993的博客 1万+

嵌入式设备低功耗设计误区:为什么你的RK3568总是被‘意外’唤醒?

本文深入分析RK3568嵌入式设备低功耗设计中的常见误区,重点探讨唤醒源管理不当导致的意外唤醒问题。通过解析硬件设计陷阱、软件配置错误及系统化审计方法,帮助开发者有效排查和解决GPIO配置、唤醒源设置等关键因素引起的功耗异常,提升设备续航能力。

php55的博客 461

量化爬虫实战:手把手教你搞定同花顺问财的hexin-v参数(附JS逆向思路与Cookie Hook技巧)

本文详细解析了如何通过JS逆向技术获取同花顺问财平台的`hexin-v`参数,包括Cookie Hook技巧和完整解决方案架构。从环境搭建到参数定位,再到生成逻辑逆向,手把手教你突破数据获取限制,为量化交易提供可靠数据支持。

weixin_42557803的博客 399

机器学习中qa测试_机器学习中的七宗罪

作者:Andreas Maier编译:ronghuaiyang正文共:4184 字 11 图预计阅读时间:12 分钟导读会导致机器学习的实验失败的7个常见问题。机器学习是一个伟大的工具,它正在改变我们的世界。在许多伟大的应用中,机器学习,尤其是深度学习,已经证明比传统方法优越得多。从Alex-Net图像分类到U-Net图像分割,我们看到了在计算机视觉和医学图像处理上的巨大的成功。不过,我经常都会看...

weixin_39967812的博客 142

Python 爬虫实战:爬取微博热搜与用户评论数据

本文系统讲解微博热搜榜单与用户评论数据的爬取技术方案。针对微博热搜榜采用Requests+BeautifulSoup解析静态HTML结构,实现高效爬取;对于动态加载的评论数据,使用Selenium模拟浏览器行为规避反爬机制。详细阐述技术选型、反爬策略、数据清洗及存储方法,提供完整代码实现和输出示例。同时强调合规要求,提示开发者需在遵守平台规则的前提下进行数据采集。该方案为舆情分析和热点研究提供了可落地的技术实现路径。

2503_91057718的博客 1719

机器学习“七宗罪”:影响可信度的七个常见错误

机器学习是一个伟大的工具,它正在改变我们的世界。在许多优秀的应用中,机器学习(尤其是深度学习)比传统方法优越得多。从用于图像分类的Alex-Net到用于图像分割的U-Net,人们看到了计算机视觉和医学图像处理领域的巨大成功。 近日,机器学习专家Andreas Maier在一篇文章中列出了人们会犯的关于机器学习的七个常见错误。 这些问题很严重,可能导致错误的结论,甚至机器学习专家在工作时也会犯这样的错误。即使是专家,也很难发现其中的许多错误,因为这需要详细查看代码和实验设置才能弄清楚。只有当你..

喜欢打酱油的老鸟 1074

手把手教您如何群晖/飞牛NAS等服务器上一键部署洛雪音乐同步服务,手机电脑无缝同步歌单,支持外网访问

🎵 手机电脑歌单不同步?用Docker在群晖/飞牛NAS等服务器上搭个同步服务器, 3分钟搞定 !支持docker-compose一键部署,手机、电脑、平板收藏夹实时同步,外出也能用域名远程访问 ~ ✨

XiaoqiangClub的博客 4615

TIA protal与SCL从入门到精通(1)——SCL编程入门

SCL语言是由Pascal而生的结构化程序语言,与梯形图相(LAD)比,SCL语言的灵活程度更高,易于编写控制算法。 本教程基于的平台如下 软件:TIA 15.1 CPU 1516 (1)直接创建纯SCL的程序块儿; (2)在LAD/FBD中在插入SCL程序段。 在程序段中直接右击插入即可,但是插入的程序段并不能完全使用SCL语法,GOTO等跳转指令就不能使用。在SCL中一般不能使用绝对地址进...

苦走一口田 7万+

机器学习模型失败根源剖析:数据质量七宗罪与系统性治理方案

在机器学习与数据科学领域,数据质量是决定模型成败的基石。其核心原理在于,模型本质是从数据中学习规律,低质量数据会直接扭曲学习过程,导致模型学到错误或片面的模式。从技术价值看,高质量数据能提升模型泛化能力、稳定性和可解释性,是工程落地的先决条件。在实际应用场景中,无论是推荐系统、金融风控还是计算机视觉任务,数据质量问题普遍存在且影响深远。具体表现为数据缺失、标注噪声、样本偏差、特征泄漏等典型问题,它们如同慢性毒药,悄然损害模型性能。本文聚焦数据质量治理,深入解析低质量数据的常见形式及其破坏机制,并系统性阐述从

weixin_32496547的博客 399

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

生产级机器学习模型部署的四大生死战场

机器学习模型上线后,真正挑战始于系统集成与稳定性保障——它不再仅是算法问题,而是涉及实时特征供给、低延迟通信、异常降级机制和持续漂移治理的综合性工程问题。核心原理在于将模型视为活体系统组件,需具备供血(特征时效性)、神经传导(端到端P99延迟控制)、免疫响应(熔断与三级降级)和自我进化能力(在线漂移检测)。其技术价值体现在故障率下降、业务可用性提升与审计合规性增强;典型应用场景覆盖金融风控、实时推荐与支付决策等毫秒级敏感领域。本文聚焦部署集成、性能压测、可观测监控与模型治理四大实战战场,直击特征缺失、超时雪

weixin_34221773的博客 383

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

人工智能预测之七宗罪

译者:李凌 概要:一些有关人工智能和机器人未来发展的事情疯狂地将我们包围——人们对未来人工智能和机器人会变得如何强大、发展的如何快以及对我们工作产生的影响充满担忧。 错误的推断,有限的想象力和其他一些常见错误,会影响我们对未来的思考。 一些有关人工智能和机器人未来发展的事情疯狂地将我们包围——人们对未来人工智能和机器人会变得如何强大、发展的如何快以及对我们工作产生的影响充满担

人工智能学家 1549

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

2020上半年收集到的优质AI文章 – 机器学习和深度学习

2020上半年收集到的优质AI文章 – 机器学习和深度学习 一文读懂机器学习 机器学习应补充哪些数学基础? 简单梳理一下机器学习可解释性(Interpretability) 什么是CNN?机器学习入门贴,Facebook员工打造,47k访问量 如何提高模型性能?这几个方法值得尝试 | 优快云 博文精选 机器学习模型的超参数优化 机器学习的中流砥柱:用于模型构建的基础架构工具有哪些? 机器学习“七宗罪”:影响可信度的七个常见错误 吐血整理:机器学习的30个基本概..

喜欢打酱油的老鸟 692

Reddit高赞:机器学习领域「八宗罪」!同行评审变味,盲目崇拜盛行

近日,Reddit社区一篇批判机器学习领域的文章引发了热议,获得了3.1k的赞。作者细数了机器学习领域存在的「八宗罪」,让科研人员对机器学习大环境有了新的思考。 越来越多的科研人员都选择进入机器学习这个领域。 科研人员进入领域时的初衷是「伟大」的:他们相信,机器学习能够真正的改善人们的生活。所以每年机器学习有关的顶会投稿数目几乎是成倍的增长,这些新的科研成果似乎真的能带来一个更好的未来。 Reddit社区一位作者却站出来说:「The machine learning community has a t

喜欢打酱油的老鸟 3453

造成机器学习项目失败的7个原因

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达机器学习是一个伟大的工具,它正在改变我们的世界。在许多伟大的应用中,机器学习,尤其是深度学习,已经证明比传统方法优越得...

小白学视觉 809
上一篇: 不再空谈AI,从打造一台智能无人机开始
下一篇: 斩获 12w+ 星标的神仙项目再度上榜,简直就是一套活生生的自学编程百科全书!...
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值