机器学习系统的隐藏技术债务-Hidden Technical Debt in Machine Learning Systems

深度学习部署架构:以 Triton Inference Server(TensorRT)为例 什么是模型部署? 模型训练只是DeepLearning的一小部分,如《Hidden Technical Debt in Machine Learning Systems》机器学习系统的技术债书中所说。 现有几种搭建框架: Python:TF+Flask+Funicorn+Nginx FrameWork:TF serving,TorchServe,ONNX Runtim... 阅读详情

主要思想:机器学习有传统代码需要维护的问题和机器学习特定的问题,这些特定的问题是系统层面的:

边界侵蚀(boundary erosion)、纠缠(entanglement)、隐藏反馈循环(hidden feedback loops)、未申明的访问者(undeclared consumers)、数据依赖(data dependencies)、配置问题(configuration issues)、外部世界变化(changes in the external world)、系统层面的反面模式(anti-patterns)

1.引言

在本文中,我们认为ML系统具有承担技术债务的特殊能力,因为它们具有传统代码的所有维护问题以及一组额外的ML特定问题。

主要通过以下方式进行逐渐偿还:

重构代码(refactoring code)、改进单元测试(improving unit tests)、删除无用代码(deleting dead code)、降低依赖(reducing dependencies)、精简应用程序接口(tightening APIs)、改进说明(improving documentation)

本文不提供新的ML算法,而是试图提高大家对长期实践中必须考虑权衡的认识。

2.复杂模型侵蚀边界

传统的软件工程实践表明,使用封装和模块化设计的强大抽象边界有助于创建可维护的代码,在这些代码中很容易进行单独的更改和改进。

不幸的是,通过规定特定的预期行为,很难对机器学习系统实施严格的抽象边界。

详细介绍了相关的问题并总结相应的改善措施,例如。

/1 纠缠

例如输入信号的特征相关纠缠,动一个则其他的都动

不能像传统软件设计一样进行封装和模块设计

/2 嵌套修正

适应新情况,但会依赖旧系统

需要扩充旧系统的情况,或者单独创造一个新的模型,但成本高

/3 未声明的访问者

可见性债务

进行限制访问或者服务级别协议

3.数据依赖

/1 不必要的数据依赖

例如遗留下来的特性,但是添加后续的特性进去,该特性还没有被移除

捆绑的特性,作为一组添加进去,但其实其中一个作用很小

/2 未充分利用的数据依赖关系

精度:提高模型精度

相关特性:两个特性强关联,甚至选择关键特性的时候选择了关联性小的那个

所以应该及时进行评估和删除

只有一小部分真实世界ML系统由ML代码组成,如中间的小黑箱所示。所需的周边基础设施庞大而复杂。

4.反馈循环

live ML系统的一个关键特性是,如果它们随着时间的推移而更新,它们通常会影响自己的行为。

 直接的反馈循环:通过使用一定数量的随机化,或通过将数据的某些部分从给定模型的影响中分离出来,可以减轻这些影响。成本高

隐藏的反馈循环:两个系统间接相互影响

5.反面模式

胶水代码:也就是拿别人的代码粘合在一起

因为一个成熟的系统最终可能(最多)是5%的机器学习代码和(至少)95%的粘合代码,所以创建一个干净的本机解决方案而不是重复使用通用软件包的成本可能更低。对抗粘合代码的一个重要策略是将黑盒包封装到通用API中。这使得支持基础架构更易于重用,并降低了更改包的成本。

管道丛林:清除管道丛林和从头开始重新设计的全新方法确实是工程努力的一项重大投资,但可以显著降低持续成本并加快进一步创新。胶水代码和管道丛林是集成问题的症状,这些问题可能是“研究”和“工程”角色过度分离的根本原因。

无用的实验代码路径(定期检查删除)

抽象债务:上述问题突出了一个事实,即明显缺乏支持ML系统的强大抽象。

常见气味:组件或系统中的潜在问题,例如普通旧数据类型、多种语言、经常依赖原型环境

6.配置债务

使用哪些功能、如何选择数据、各种算法特定的学习设置、潜在的预处理或后处理、验证方法等

7.应对外部世界的变化

外部世界很少是稳定的。这种背景变化率会产生持续的维护成本

/1 动态系统中的固定阈值

/2 监控和测试

8.ML相关债务的其他领域

数据测试债务:对输入数据进行一定量的测试对于一个运行良好的系统来说是至关重要的

可再生性债务:我们可以重新运行实验并获得类似的结果,这一点很重要,但由于随机算法、并行学习固有的非确定性、对初始条件的依赖以及与外部世界的交互作用,设计真实世界系统以允许严格的再现性是一项困难的任务

流程管理债务:这引发了一系列重要问题,包括安全自动地更新许多类似模型的许多配置的问题,如何在具有不同业务优先级的模型之间管理和分配资源的问题,以及如何可视化和检测生产管道中数据流中的阻塞。开发工具以帮助从生产事故中恢复也是至关重要的。

文化债务:ML研究和工程之间有时会有一条强硬的路线,但这可能会对长期的系统健康产生反作用。重要的是要创建团队文化,以奖励特征的删除、复杂性的降低、再现性的改善、稳定性的提高以及与准确性改善同等程度的监控。根据我们的经验,这最有可能发生在具有ML研究和工程能力的异构团队中。

9.结论:衡量债务并偿还债务

一种全新的算法方法能在多大程度上进行全面测试?

什么是所有数据依赖项的可传递闭包?

如何准确衡量新变化对系统的影响?

改进一个模型或信号是否会降低其他模型或信号的质量?

团队的新成员能以多快的速度跟上进度?

机器学习系统(ML)中隐藏的技术债务 ML 系统具有产生技术债务的特殊能力,因为它们具有传统代码的所有维护问题,外加一系列额外的 ML 特有问题。ML 系统中的数据依赖关系也会造成类似的债务,但可能更难发 阅读详情

相关推荐

机器学习系统的设计陷阱与技术债务

文章指出虽然构建并部署机器学习系统相对较快且成本较低,但随之而来的维护成本却非常高昂,这被比作技术债务(technical debt)。作者通过软件工程的技术债务理论框架揭示,在现实世界中的机器学习系统中通常会出现大量未觉察的技术债务。讨论了多个机器学习特有的风险因素及其在设计时应考虑的因素。其中包括边界的侵蚀、缠绕度增加、隐性的反馈环路、隐含消费、数据依赖性、配置错误以及由于外部世界的变动导致的问题等多种现象,并提出一些解决这些问题的方式和技术方向,从而促进整个机器学习领域的长期健康发展。文章不旨在引入新的算法,而是提升从业者对于在实际应用中必须权衡的困难交易的认识,重点研究机器学习系统层面可能迅速积累技术债务的风险点。 本文适合有一定实践经验的研究员、开发者和架构师。 应用场景主要在于理解和评估正在使用的或者规划实施的机器学习系统的健壮性和灵活性,并据此采取相应措施减少长期技术负担。 文章指出,衡量系统的技术债务需要从全面的视角综合分析多种指标而非单一维度来判断是否出现技术债务问题,最后呼吁研究人员和工程人员共同努力提高模型准确性之外的整体系统复杂程度管理。

Paper:《Hidden Technical Debt in Machine Learning Systems—机器学习系统中隐藏的技术债》翻译与解读

​ Paper:《Hidden Technical Debt in Machine Learning Systems—机器学习系统中隐藏的技术债》翻译与解读 目录 《Hidden Technical Debt in Machine Learning Systems》翻译与解读 《Hidden Technical Debt in Machine Learning Systems》翻译与解读 链接 https://papers.nips.cc/paper/2015/f

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

OpenCV实战:从边缘检测到透视校正,打造智能文档扫描仪(Python代码详解)

本文详细介绍了如何使用OpenCV和Python从零开始构建一个智能文档扫描仪。通过边缘检测、透视校正和文字增强等核心技术,将倾斜、模糊的文档照片转换为清晰、方正的高质量扫描图像。文章提供了完整的代码实现和参数调优经验,帮助开发者打造稳定、高效的文档处理工具。

flower的专栏 695

Hidden Technical Debt in Machine Learning Systems论文小记

Hidden Technical Debt in Machine Learning Systems 这篇文章主要针对在AI项目开发、团队合作中的技术债的问题,一篇很有意思的综述论文 现在的趋势是开发和部署ML系统相对快速且便宜,但是要维护却困难且昂贵,可以通过技术债(oftechnical debt)的角度理解,而承担这些债务需要和里的战略理由 一般技术债可以通过:重构代码(refactoring code)、改进单元测试(improvingunit tests)、删掉没用的代码(deletingde

Facico的博客 1278

西门子200 SMART与博图WinCC通讯全攻略:从PC Access到S7-200协议避坑指南

本文详细解析了西门子S7-200 SMART PLC与博途WinCC上位机通讯的两种主流方案:基于PC Access SMART的OPC通讯和利用博途内置S7-200协议驱动直连。文章深入对比了两种架构的优缺点、配置步骤,并提供了从网络层到软件层的深度排错指南与性能优化建议,帮助工程师高效、稳定地实现系统集成。

gg901的博客 823

Android GNSS 可视卫星星空图/卫星天顶图 原理及画法介绍

目录1 概念介绍2 绘制步骤2.1 获取卫星信息2.2 绘制底图 效果图: 1 概念介绍 首先介绍一下方位角和高度角的概念: 方位角:是从某点的指北(地理北极)方向线起,依顺时针方向到目标方向线之间的水平夹角。 高度角:从一点至观测目标的方向线与水平面间的夹角。 卫星天顶图 即是根据每一颗卫星的方位角和高度角将其画在以观测位置为中心的天顶图上。 天顶图其底图为由外向内的三个圆和四条直线。三个圆由外向内依次代表高度角0°、30°、60°,中心点代表90°;四条直线分别表示正北-正南、东北-西南、正东

x1471898145的博客 1万+

【AI 工程】Hidden Technical Debt in Machine Learning Systems(一)

这是一篇2015年提出的论文,但是我今天看还是对现实的实践具有指导作用。本文从传统软件工程的技术债引出机器学习系统的技术债,并且比较了两者不同。 不同点具体为: 传统的软件技术债都是代码层面的,但是机器学习系统代码层面、系统层面都有。 具体的比较方面如下: 1、复杂模型侵蚀边界 ...

qq_16761099的博客 1492

ExcelVBA批量添加PDF文件

如图1所示,"BOM-01.xlsx"工作簿中的Sheet1工作表根据B列图号单元格中的内容,在图2所示的文件夹中找到对应的PDF文件,然后嵌入到相应的N列,双击N列中所示的图标,会打开PDF文件,是源文件的副本,即删除源文件,也可以打开N列的文件。 图1 根据B列的图号在N列嵌入对应的PDF文件 图2 PDF文件 图3 文件格式 Sub 导入文件() Ap...

qq389445046的博客 5582

论文精讲 | 盘点机器学习系统中7大技术债类型

但随着时间的推移,积累的实验性代码越来越多,由于保持向后兼容性的难度越来越大,以及循环复杂度呈指数级增长,这些累积的代码路径会产生越来越多的技术债务。传统软件工程中,代码依赖往往能通过静态分析(依靠编译器和链接器)来识别,而数据的依赖关系却没有类似的工具去识别出来,导致系统就很容易产生大量复杂的数据依赖,并且一旦产生就很难再清除掉。一个成熟的机器学习系统最终可能是(最多)5% 的机器学习代码和(至少)95% 的胶水代码,重新构建一个纯净的解决方案要比重复使用通用包成本来的低。

Kenji_Shinji的博客 802

OLED的字模提取(保姆级)---基于PCtoLCD2013

做为一个刚刚开始接触编程不久的白菜,这个OLED想做一个信息显示,可是商家给我的例程里就是88,816两种字体的格式,我的屏幕是0.91寸的8*16的字体显示上感觉特别丢丢儿小,我就想整个大的,哎,只怪直接学习习惯不好,总是学一半,绕了好大一圈,才搞好,想写一篇博客,时刻提醒踏实学习,第一次写博客,小白一枚,勿喷。。 OLED屏幕驱动程序功能 我们对Markdown编辑器进行了一些功能拓展与语法支...

qq_44886611的博客 7786

基于FreeRTOS与MQTT的物联网技术应用系列——步进电机控制(三)SD卡驱动、FatFS等的移植和ini配置文件读取的实现

本文实现了基于STM32F107VC的金牛开发板的基于SPI模式的SD卡驱动和FatFS的移植,以及利用minini库对ini配置信息文件进行读取。

sqshining的专栏 2139

与 AI/ML 一起领导创新,减少技术债务,提高效率

视频探讨了如何运用人工智能技术来管理技术债务并推动创新。技术债务指的是因不良技术决策而随时间累积的问题,这些问题会影响生产效率。演讲者建议首先通过监测诸如系统停机时间等相关指标来评估技术债务,并建立基准数据。接着,建立一个持续的过程和飞轮等机制,以便定期投入资源来解决技术债务问题。这样可降低运营成本,提高团队的满意度和工作效率,从而为客户提供更好的体验。视频中提出了一种将客户影响放在首位,然后依次考虑团队影响和业务影响的优先级框架。它还提供了一些实际案例,展示了如何减少技术债务,例如通过自动化手动流程。

weixin_46812959的博客 1704

CMake入门教程【基础篇】在Windows、Linux上安装CMake

CMake如何下载与安装

小鱼酱的博客 2730

机器学习系统隐藏技术债:从论文到工程实践的避坑指南

在机器学习工程化落地过程中,技术债不仅来自代码,更源于数据依赖、配置管理与反馈回路等隐性因素。其核心原理在于ML系统仅约5%为代码,其余95%由数据管道、特征工程与运维胶水构成,导致边界侵蚀与特征不一致等问题频发。显式化数据契约与特征一致性校验,能显著降低线上故障率与维护成本。这些方法广泛应用于推荐系统、风控模型与搜索排序等场景。本文结合《Hidden Technical Debt in Machine Learning Systems》论文与一线实践,系统梳理隐藏技术债的识别、排查与偿还策略。

weixin_27014595的博客 224

python基础:工作会用到的95%的基础python代码都在这了(万字详解!)

本文是一份Python编程语言的快速参考备忘单,涵盖了Python基础语法和常用数据类型。主要内容包括:Python入门指南(打印、变量声明)、内置数据类型(字符串、数值、列表、元组、集合、字典等)、控制结构(判断、循环)、函数定义、文件处理操作以及字符串操作方法(切片、循环遍历等)。这个备忘单特别适合初学者快速查阅Python基础语法,同时也提供了数据类型转换、f-string格式化字符串等实用技巧。通过简洁的代码示例展示了Python的基本语法规则和典型用法。

数据知道的博客 8166

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【AI工程论文解读】02-聊聊机器学习系统中的技术债

近年来,AI相关技术快速演进,正加快与千行百业深度融合。如何构建一个稳定可靠的机器学习系统至关重要。当前在构建机器学习系统时,开发者们更多关注于算法优化和技术创新,较少关注如何构建稳定的系统。谷歌的工程师们基于大量的机器学习系统构建和维护经验,于2015年发表了《Hidden Technical Debt in Machine Learning Systems》论文,并列举了构建机器学习系统时,可能存在的Technical Debt(技术债)。

Kenji_Shinji的博客 569

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

独家揭秘腾讯千亿级参数分布式机器学习系统无量

简介\\在互联网场景中,亿级的用户每天产生着百亿规模的用户数据,形成了超大规模的训练样本。如何利用这些数据训练出更好的模型并用这些模型为用户服务,给机器学习平台带来了巨大的挑战。下面以网页/图文/视频推荐场景分析这些挑战,下文中均称为推荐场景。\\样本数量大。在推荐场景下,每天的样本量可以达到百亿量级。如果需要按一个月的样本进行训练,样本量会在千亿级别。如果每个样本平均500特征值,单个样本的大小...

weixin_34126215的博客 687

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

龙星镖局 | 2015 机器学习颁奖礼

新智元推荐1 作者:@龙星镖局 感谢龙星镖局给新智元颁发最佳传播媒体奖,新智元的小伙伴很受鼓舞,2016 年再接再厉,给关注新智元的朋友们提供高质量资讯! 技    术    类 1.最佳学术研究奖 题目:Human-level concept learning through probabilistic progr

南山牧笛的博客 1001

观远AI实战 | 机器学习系统的工程实践

*本文8千多字,约需要16分钟阅读时间。 机器学习作为时下最为火热的技术之一受到了广泛的关注。我们每天打开公众号都能收到各种前沿进展、论文解读、最新教程的推送。这些文章中绝大多数内容都跟酷炫的新模型、高大上的数学推导有关。但是Peter Norvig说过,“We don’t have better algorithms. We just have more data.”。在实际机器学习应用中...

DecideX·企业AI决策智能引领者:让业务用起来,让决策更智能。 558

【AI 工程】Hidden Technical Debt in Machine Learning Systems(二)

文章目录反馈循环(Feedback Loops)机器学习系统反模式(ML-System Anti-Patterns) 上次讲了谷歌这篇论文中的两个技术债,一个是复杂模型的边界问题,一个是数据依赖问题。 本文讲解反馈循环和机器学习系统的反模式。 反馈循环(Feedback Loops) 这个是说在人工智能系统中,经常存在输出影响输入这样的反馈循环的问题,比如ctr预估问题,你根据ctr预估的值算一个出价,然后根据出价进行排序,决定出不出广告,这样你出的广告就是被选过的,反过来影响你训练的数据分布,这就是反馈循

qq_16761099的博客 424

机器学习中的“技术债”:比软件技术债更隐蔽的陷阱

机器学习技术债:概念延伸与测试挑战 本文探讨了机器学习技术债与传统软件技术债的差异及其测试应对策略。机器学习技术债更具隐蔽性和复杂性,涉及数据质量、模型性能和系统架构等多维度问题。文章系统分析了数据技术债、模型技术债和工程技术债三大类型,揭示了各自的特有风险。针对这些挑战,提出了构建全流程测试体系、引入自动化测试与持续集成、提升测试人员专业技能等解决方案。通过建立覆盖数据准备、模型训练到部署运维的全流程测试机制,运用自动化工具持续监控模型表现,同时加强测试团队在机器学习领域的专业能力,可有效识别和管理机器学

2501_94261392的博客 166

机器学习隐藏的技术债务和解决方案

As machine learning systems find wide-spread adoption, solving complex real-words problems across various industries (Automotive, BFSI, Entertainment, Medical, Agriculture, …), improving and maintaini...

weixin_26720761的博客 505

机器学习中的技术债务

许多人遇到技术债务时都会眉头紧锁,但一般来说,技术债务并不是一件坏事。例如,当我们需要在最后期限之前发布版本的时候,技术债务就是一个可以利用起来的合理手段。但是技术债务存在与金融债务一样的问题,那就是到了要偿还债务的时候,我们所付出的要比开始时付出得多。这是因为技术债务具有复合效应。 经验丰富的团队知道应该在什么时候偿还成堆的债务,但机器学习中的技术债务...

weixin_34008784的博客 391

MLOps介绍:机器学习技术债

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Vincent Tatan编译:ronghuaiyang正文共:3392 字 8 图预计阅读时间:10分钟导读为什么机器...

AI公园 3741

【Google 年度顶级论文】机器学习系统,隐藏多少技术债?

原文见:这里写链接内容 1. 介绍随着机器学习(ML)社群持续积累了几年对于活跃系统(live systems)的经验,一种让人不舒服的趋势广泛地浮出水面:研发和部署机器学习系统相对来说是既快速又便宜的,但维护它们却很困难,并且成本昂贵。 这种对立可以用“技术债”的框架来理解。1992年WardCunningham引入了这个比喻,用来帮助解释在软件工程领域里因为进展快速而带来的长期成本。就像欠下

GavinZhou的博客 2144

低温ECR-MOCVD生长(002)GaN:椭偏仪测厚与电学性能

本研究用ECR-MOCVD在Si(111)和蓝宝石衬底上低温生长GaN薄膜,蓝宝石1.0SCCM、2h样品呈完全(002)择优取向,椭偏仪测厚32.81nm,迁移率10.42cm²/(V·s)。文章梳理了生长温度、TMGa流量与生长时间对结晶取向、膜厚、粗糙度、光学带隙和电学性能的影响。

Flexfilm_的博客 403
上一篇: 计算机视觉--算法工程师入门1
下一篇: 计算机视觉--算法工程师入门2
竹篓有个天
博客等级 码龄9年 6430粉丝 88原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值