机器学习产品化的几点思考

Machine Learning in Production.pdf 立即下载

原文:Machine Learning in Production
作者:Szilard Pafka
译者:Teixeira10

【译者注】在本文中,作者介绍了将机器学习产品化的几个方面,包括模型训练,模型评估,模型部署等,让读者学习和讨论。
以下为译文:

该文章主要讨论如何将机器学习产品化(包括系统组件、流程、挑战、陷阱等),在这方面也会有一些相关的博客文章或论文,来讲述机器学习产品化的“最佳实践”。欢迎所有人来讨论github中的问题。

最初的想法和大纲

下图总结了涉及到的组件和流程:



历史数据

会存在于数据库,csv文件,数据仓库,HDFS。

工程特性

在典型的结构化/表格式业务数据中,它可以包含连接和聚合特性(例如,特定用户在特定时间段内点击的次数)。

这个“ETL”是重处理,并不适合操作系统(例如MySQL),通常适用于“分析型”数据库(Vertica,Redshift)或Spark。

好的特性有错误机制/迭代/研究/探索/持久(如上图的整个上半部分,FE、模型训练和评估)。

分类变量:一些建模工具需要转换成数字(例如,独热编码)。

训练、调优

特征工程的结果是一个带有特征和标签的“数据矩阵”(在有监督学习的情况下)。

这些数据通常更小,而且通常不需要分布式系统。

具有最佳性能的algos通常使用的算法:梯度增强(GBM),随机森林,神经网络(和深度学习),支持向量机(SVM)。

在某些情况下(稀疏数据,模型解释)必须使用线性模型(如logistic回归)。

有很好的开源工具(R包,Python sklearn,xgboost,VW,H2O等)。

需要避免过度拟合(以及使用规则化等技术)。

同时也需要不带偏见的评价,来看下一点。

模型可以通过超参数空间的搜索(网格或随机搜索,贝叶斯优化方法等)来调整。

通过集成多个模型(平均、堆栈等),性能可以得到进一步提高,但缺点是,部署这种模型的复杂性增加了。

模型评估

这是非常重要的,需要花很多时间在这里。

用测试集进行无偏估计,交叉验证(一些会“提前停止”地algos需要验证集)。

如果你进行了超参数优化,那还需要一个单独的验证集(或交叉验证)。

现实世界是非平稳的,需要使用一个时间缺口测试集。

诊断:概率值分布、ROC曲线等。

还可以使用相关的业务指标进行评估(模型对业务术语的影响)。

模型部署

实时数据值

这通常被认为是一项“工程”任务(这是区分数据科学家与软件工程师的界限)。

要使用相同的工具来部署模型,不要使用其他的“语言”或工具(SQL、PMML、Java、c++,以及类似Json的自定义格式) (除非模型是通过相同的工具进行的训练)(在边界情况下,小bug的风险很高)。

不同的服务器,需要更多的CPU / RAM(因为得到概率值需要服务器有低延迟,高可用性和可扩展性)。

实时数据来自不同的系统,通常需要复制FE(重复代码是邪恶的,但这是不可避免的);已经进行数据转换或清理的历史数据,可能也需要在这里复制。

数据值可以通过批处理的方式(这样更简单,可以从数据库中读取值,获取值,以及写结果返回到数据库)或实时的方式(现在的方法主要是通过http REST API来分离关注点)。

如果数据科学团队也能支持这部分工作,那就更好了(也就是如上图中的下半部分,这可能还需要一些工程支持)。

采取行动

一个公司的ML系统的主要目标是提供一些业务价值(比如客户,金钱等)。

这些工作可能必须由工程团队所完成。

能够逐渐地进行测试(A / B测试模型)。

评估和监控

在产品和训练测试中(非平稳性、变化条件、错误假设、bug等)中,模型可能会有不同的表现。

在部署后进行评估模型是很关键的。

基于ML度量的评估(值分布等)和业务指标。

部署后的评估和持续监控(指示板和警报)(用于检测外部更改和中断,同样,模型也会在这段时间内慢慢降级)。

这也应该由数据科学团队拥有(与离线开发的模型相比)。

Misc

ML系统创建紧密的耦合,从工程的角度来看,它被认为是邪恶的。

本文中发现的一些问题虽然目前还没有解决方案,但要尽可能多地考虑和减轻问题。

关于框架的一些想法在这里进行描述。

实例耦合:FE数据模式,对数值进行FE复制,同时应用在大量的工程和业务领域。

ML需要“销售”到很多业务端(每个ML产品的应用领域中的管理和业务单元)。

将业务涉及到ML的内部,并在持续的基础上显示商业契约(报告、指示板、警报等),这可以帮助提高信任和支持度。

学习和提高

对所有的组件进行迭代,从实践中学习使用它的经验(例如,在业务中加入创意,将新特性添加到FE中,如果性能下降,则重新进行模型培训)。

为了实现快速的迭代,上面的大部分都应该使用工具来实现自动化 (例如Rstudio+R-markdown/Jupyter notebooks, git, docker等等)。

攻克TypeError: Cannot read properties of undefined (reading ‘NormalModule‘)的四种实战策略 本文详细解析了`TypeError: Cannot read properties of undefined (reading 'NormalModule')`错误的四种实战解决策略。从版本一致性检查、包管理器优化到依赖替换和构建环境配置,帮助开发者快速定位和解决Webpack构建过程中的常见问题,提升开发效率。 阅读详情

相关推荐

【保研经验】北科自动化到北大工学院

作者:办公室某学长 谢邀。。。作为拖延症晚期患者,希望能在我科开学前写完。 先简单介绍一下我的保研过程,申请了清华叉院&北大叉院大数据&北大信科计算机夏令营,三者都没入营;申请了自所夏令营(自所来宣讲时未交简历,这是重大错误),给了第二批补录但没去;最终九推去了北大工学院。我的这次保研最终成功的经历可以说有一定运气成分,不具有普适性,但在前期准备过程中还是有经验可以分享的。 ...

ruanjianbu的博客 1799

AppLovin增长飞轮解析:机器学习引擎AXON与并购策略如何重塑移动广告生态

移动广告技术(AdTech)的核心在于通过算法实现流量高效变现,其基本原理涉及实时竞价(RTB)、用户行为分析与精准匹配。在技术价值层面,先进的机器学习引擎能够将广告投放从“事后优化”升级为“实时预测”,显著提升广告主的投资回报率(ROI)和开发者的变现效率。当前,随着隐私计算框架和SKAdNetwork等行业发展,AdTech正迈向在保护用户隐私的前提下实现精准营销的新阶段。应用场景覆盖游戏、电商、社交等多个领域,其中游戏行业因用户互动深、数据维度丰富,成为技术创新的前沿试验田。本文以AppLovin的A

weixin_34296641的博客 323

在没有信用卡的情况下怎么申请谷歌云(Google Cloud)?

这笔额度足够用来跑一台云服务器、部署小型网站,甚至可以尝试 AI、机器学习等项目。但问题来了——想要拿到这 300 美元,你必须先通过支付方式验证。默认选项就是绑定一张国际信用卡(Visa、MasterCard 之类),然而不少人没有信用卡,或者信用卡无法支持国际支付,结果就卡在注册第一步。很多人会疑惑:既然是送额度,为什么还要绑卡?原因其实很简单:谷歌需要确认你是真实用户,而不是批量注册薅羊毛;通过支付验证,后续如果你用完 300 美元额度,可以直接进行付费使用;

m0_74824483的博客 5672

Introduction to Machine Learning in Production

下图展示了一个机器学习项目包含的内容数据标注时可能会对数据有不同的标注,如下图所示这三种标注方法都有一定意义,但如果数据集中包含了这三种方法,学习到的模型可能会很糟糕。多个数据标注人员标注同一张图创建一个新标签数据标注的方法:内部自己标注、外包、众包。

weixin_45325331的博客 1094

Ubuntu18.04 SoftRoCE安装教程

目标:创建两台Ubuntu18.04虚拟机,安装SoftRoCE环境,一台作为Server,一台作为Client,模拟RDMA通信环境,熟悉RDMA的通信方式。

GGGYL111的博客 1551

PyMOL下载安装教程(附安装包)2025最新版(PyMOL 3.0.3)

本文详细介绍了Windows系统下PyMOL分子建模软件的安装教程。主要内容包括:提供安装包下载链接,强调需关闭杀毒软件;分步骤讲解管理员身份运行安装程序、接受协议、选择安装路径等安装流程;重点说明如何配置隐藏文件夹ProgramData中的许可证文件;最后提供基础使用技巧和常见问题解决方案。该教程适用于需要制作高质量分子结构图的科研人员和新手用户,帮助完成软件部署并顺利开展工作。

progalchemist的博客 3834

机器学习web服务化实战:一次吐血的服务化之路

背景 在公司内部,我负责帮助研究院的小伙伴搭建机器学习web服务,研究院的小伙伴提供一个机器学习本地接口,我负责提供一个对外服务的HTTP接口。 说起人工智能和机器学习,python是最擅长的,其以开发速度快,第三方库多而广受欢迎,以至于现在大多数机器学习算法都是用python编写。但是对于服务化来说,python有致命的问题:很难利用机器多核。由于一个python进程中全局只有一个解释...

andun6063的博客 518

YOLO26涨点改进 | 全网独家创新,注意力改进篇 | TGRS 2025 | 引入APCM自适应像素级协同机制,动态增强目标区域、抑制背景噪声,助力YOLO26做红外小目标检测有效涨点

本文提出一种基于APCM模块改进的YOLO26网络模型,通过像素级局部-全局协同建模动态增强目标特征并抑制背景噪声。APCM模块采用轻量化设计,无需复杂参数,在特征提取阶段有效提升目标区域特征表达质量,尤其适用于低对比度和复杂场景下的目标检测。实验表明,该方法能显著提高小目标检测精度和模型鲁棒性,同时保持较低计算开销。模块通过局部特征分支和全局特征分支的协同融合,实现了对红外小目标的有效增强,在NUAA-SIRST和IRSTD-1K数据集上性能优于现有方法。文章还提供了完整的代码实现和配置指南。

Ai缝合怪、助力小伙伴高效发论文 191

数据产品化的挑战与解决方案

1.背景介绍 数据产品化是指将数据转化为价值,将数据应用于企业运营、产品开发等各个领域,以提高企业竞争力和创新能力。数据产品化的核心是将数据转化为有价值的信息,并将其与业务紧密结合,实现企业的业务目标。 数据产品化的挑战主要有以下几个方面: 1.数据质量问题:数据质量是数据产品化的基石,数据质量问题会影响数据产品的准确性、可靠性和可用性。 2.数据安全问题:数据安全是数据产品化的关键,数据...

AI天才研究院 1622

Vue+OpenLayers:解决中国境内OpenStreetMap地图加载问题

然而,在使用OpenLayers和Vue框架搭建地图应用时,很多中国开发者可能会遇到一个常见问题:OpenStreetMap(OSM)地图无法正常加载。为了解决这个问题,我们可以使用其他方式获取地图数据,比如使用国内的地图服务提供商。通过使用国内地图服务商提供的地图数据,我们可以解决OpenStreetMap地图加载问题。然后,我们创建一个OpenLayers地图对象,并指定地图图层的源为国内地图服务商提供的地图URL。属性,可以将地图的中心点和缩放级别调整到我们需要的位置。

CodeWhizZ的博客 8275

互联网的发展简史—web

互联网是我现在生活所离不开的一个东西,但是你知道互联网的前世今生吗?本文将讲解互联网的发展史,以及很火的元宇宙概念。

yj11290301的博客 3566

产品化机器学习的一些思考

https://www.toutiao.com/a6641918857046917635/   2019-01-02 23:17:22   “如果说互联网是优化信息的存储和传输方式,提升生产要素之间的运阿行效率;人工智能便是对各个生产要素的升级。” 人工智能产品类型 平台-强调赋能 基础支撑/基础平台-通用的ML技术平台,实现常用的算法,形成通用机器学习平台(Spark/Te...

喜欢打酱油的老鸟 487

下采样优化实战:用ADown显著提升YOLOv11的多尺度特征保持能力

ADown 以“可编程梯度信息+多分支特征融合”打破了传统下采样的性能壁垒,为 YOLOv11 带来了多尺度特征的精准传递能力。从原理到代码集成,本教程已为你铺就了一条“小目标检测精度跃升”的实战路径。现在就动手尝试吧——当你看到模型对极小目标也能精准识别,且特征图细节完整时,你会明白这份技术探索的价值。我很乐意在你实践过程中帮你解决任何问题,让我们一起推动目标检测在下采样领域的边界。

FJN110的博客 425

推荐 :数据科学面临的共同挑战

数据科学面临的共同挑战原文:  The current state of applied data science来源: https://www.oreilly.com/ideas/the-current-state-of-applied-data-science品觉导读:弱监督和数据编程可以用来训练模型,不必使用大量手工标记的训练数据。需要用多少数据来训练模型?模型推导的响应时间应该是多少?重新

数据分析 684

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

数据科学面临的共同挑战有哪些?

随着我们进入2017年下半年,是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据,需要用到分析工具,而且你已经认识到数据科学可以发挥重大作用(包括改善决策或企业经营、增加收入等等),并进行了优先排序。收集数据和识别感兴趣的问题并非小事,但假设你已经在这些方面起了个好头,那么还剩下哪些挑战呢? 数据科学是一个宽泛的...

weixin_34082695的博客 214

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

测试平台的发展与未来趋势

腾讯、阿里、百度、华为等知名公司里的测试平台与测试产品越来越多,他们是如何做的,又有什么样的价值,让我们仔细给你解答。 测试平台崛起原因 我们先来说下测试平台这几年开始火爆的原因。 测试服务化 随着DevOps与持续交付的成熟应用,交付速度越来越快,对测试的要求也会越来越高。很多测试团队中都有大量的测试过程需要执行,比如手工测试、UI自动化测试、接口自动化测试、性能测试、安全测试以及大量的非功能/专项测试。 在持续交付体系下同时还要覆盖多套环境,比如关键测试过程还需要在联调环境、测试环境、预发布环境、线

软件测试技术资源分享官 756

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Deep learning---------Representation Learning: A Review and New Perspectives

Representation Learning: 《A Review and New Perspectives》 摘要        机器学习算法的成功主要取决于数据的表达data representation。我们一般猜测,不同的表达会混淆或者隐藏或多或少的可以解释数据不同变化的因素。尽管特定的领域知识可以有助于设计或者选择数据的表达,但通过一般的先验知识来学习表达也是有效的。而且,

精锐小庄的专栏 5429

代码逻辑分析_双 11 模块 79.34% 的代码是怎样智能生成的?

作为今年阿里经济体前端委员会的四大技术方向之一,前端智能化方向一被提及,就不免有人好奇:前端结合 AI 能做些什么,怎么做,未来会不会对前端产生很大的冲击等等。本篇文章将围绕这些问题,以「设计稿自动生成代码」场景为例,从背景分析、竞品分析、问题拆解、技术方案等几个角度切入,细述相关思考及过程实践。背景分析业界机器学习之势如火如荼,「AI 是未来的共识」频频出现在各大媒体上。李开复老师也在...

weixin_39629947的博客 256

如何用代码封装at指令_独家下载!阿里如何用 AI 写代码?

阿里妹导读:《前端代码是怎样智能生成的》电子书已经上线,点击文末“阅读原文”即可下载。作为今年阿里经济体前端委员会的四大技术方向之一,前端智能化方向一被提及,就不免有人好奇:前端结合 AI 能做些什么,怎么做,未来会不会对前端产生很大的冲击等等。本篇文章将围绕这些问题,以「设计稿自动生成代码」场景为例,从背景分析、竞品分析、问题拆解、技术方案等几个角度切入,细述相关思考及过程实践。背景分析业界机器...

weixin_39535752的博客 118

端侧大模型开发实战:从Kimi K3看移动AI应用开发新范式

大模型技术正从云端向端侧演进,这一转变的核心在于模型压缩与移动端推理优化。通过量化、剪枝、知识蒸馏等技术,大型语言模型得以在手机等终端设备上高效运行,实现了零延迟响应与数据隐私保护。这种端侧AI架构为开发者开辟了新的技术路径,使得AI应用能够深度融入用户日常场景,提供个性化、实时性的智能服务。以Kimi K3为代表的端侧大模型,正是这一趋势的典型实践,它通过TensorFlow Lite等移动推理框架,将AI能力无缝集成到移动应用中,推动了智能助手、实时翻译、文档处理等场景的体验革新。

aaa1231722的博客 421

构建测试平台与对应的组织架构需要哪些能力?

腾讯、阿里、百度、华为等知名公司里的测试平台与测试产品越来越多,他们是如何做的,又有什么样的价值,来听思寒仔细给你解答。 01 我们先来说下测试平台这几年开始火爆的原因。 随着DevOps与持续交付的成熟应用,交付速度越来越快,对测试的要求也会越来越高。很多测试团队中都有大量的测试过程需要执行,比如手工测试、UI自动化测试、接口自动化测试、性能测试、安全测试以及大量的非功能/专项测试。 在持续交付体系下同时还要覆盖多套环境,比如关键测试过程还需要在联调环境、测试环境、预发布环境、线上环境等多套环境里重复的执

hogwarts_2022的博客 113

表达学习:回顾与新的视角

3.数据如何才能更好地表示 3.1 人工智能中表示学习的先验知识 在【16】中,我们团队中有一个介绍了AI任务的概念,这种任务对于现有的机器学习算法而言,具有很大的难度,并且这些任务包含复杂却又高度紧凑的依赖性。直接着手数据表示的一个有趣的原因是它可以方便的表达我们所处世界的普遍的先验知识,例如:某一些先验知识并不是针对特定的任务,但是非常有利于一个学习机器解决AI问题。下面是普遍意义上的先验知识...

一个程序员 405

如何构建测试平台与对应的组织架构?

腾讯、阿里、百度、华为等知名公司里的测试平台与测试产品越来越多,他们是如何做的?又有什么样的价值?下面就仔细给你解答。 01、测试平台崛起原因 我们先来说下测试平台这几年开始火爆的原因。 测试服务化 随着DevOps与持续交付的成熟应用,交付速度越来越快,对测试的要求也会越来越高。很多测试团队中都有大量的测试过程需要执行,比如手工测试、UI自动化测试、接口自动化测试、性能测试、安全测试以及大量的非功能/专项测试。 在持续交付体系下同时还要覆盖多套环境,比如关键测试过程还需要在联调环境、测...

测试界的彭于晏的博客 607
上一篇: 如何利用Java库学习神经网络
下一篇: 你的流量加密尚需功能再升级
csdn研发技术
博客等级 码龄9年 1381粉丝 90原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值