一文了解MLOps与LLMOps

旷野之间18 - MLOps 和 LLMOps 的一些架构和设计原则 🏗 当谈到 MLOps 平台的架构时,您可能会感到恼火(喘息、震惊、恐惧),因为您实际上应该遵循与传统软件工程相同的许多原则。正如我将在本文后面讨论的那样,这也适用于 LLMOps。让我们列出一些你应该知道的重要设计原则。然后,您可以了解一些真正的软件工程经典,即原则,这些原则被编写用于面向对象编程 (OOP),但它们实际上是非常通用的概念,您通常可以将它们应用于整个架构!:至于关注点分离,只做一件事更容易维护,也更可靠!:让您的组件“对扩展开放,但对修改封闭”。 阅读详情

第一部分:基础 —— 揭秘机器学习运营 (MLOps)

本部分旨在奠定 MLOps 的基本原则,将其定位为实现机器学习工业化的核心学科。内容将超越简单的定义,深入阐释 MLOps 的必要性,追溯其从应对机器学习模型由实验原型向量产坚实、生产级系统转型过程中所面临的挑战而诞生的根源。

1.1 定义 MLOps:超越 AI 领域的 DevOps
核心定义

机器学习运营(MLOps)是一套旨在统一机器学习(ML)应用开发(Dev)与 ML 系统部署及运维(Ops)的实践,其目标是标准化并简化在生产环境中持续交付高性能模型的流程。它本质上是将 DevOps 的原则应用于机器学习的完整生命周期。MLOps 旨在弥合开发与运维之间的鸿沟,确保 ML 模型的开发、测试和部署过程具备一致性与可靠性。

MLOps 解决的问题

MLOps 的核心任务是解决数据科学家与运维团队之间的协作鸿沟。数据科学家负责实验和构建模型,而运维团队则负责部署和维护这些模型。在 MLOps 出现之前,大量模型常常“滞留”在研究阶段,难以投入实际生产,因为它们在部署、可扩展性、监控和治理等方面面临着巨大挑战。一个典型的场景是,一个在 Jupyter Notebook 中表现优异的模型,在尝试集成到生产系统时,会因环境依赖、数据差异和性能要求等问题而屡屡失败。MLOps 通过提供一个结构化的框架和自动化工具集,系统性地解决了这些难题,从而实现了从模型构建到价值变现的顺畅过渡。

与 DevOps 的区别

尽管 MLOps 的灵感源于 DevOps,但它需要应对机器学习领域独有的复杂性。这些复杂性主要体现在以下几个方面:

  1. 数据的中心地位:与传统软件开发不同,数据在 MLOps 中扮演着核心角色。模型的性能直接取决于训练数据的质量、数量和分布。因此,MLOps 必须将数据和模型工件(artifacts)与代码一同视为需要版本控制和管理的一等公民。

  2. 实验驱动的开发过程:机器学习模型的开发本质上是一个科学实验过程,涉及大量的迭代、试错和超参数调优。MLOps 必须支持并系统化地追踪这些实验,以确保结果的可复现性。

  3. 独特的协作动态:在传统软件开发中,团队协作通常以用户体验(UX)为中心。而在 MLOps 中,协作的核心转向了数据。数据科学家、数据工程师和 ML 工程师之间的依赖关系远比传统开发团队复杂,例如,模型的性能直接依赖于数据工程师提供的数据管道的质量。这种以数据为中心的范式转变,引入了传统软件开发生命周期中不存在的依赖关系,而 MLOps 的目标之一就是通过自动化来管理这些新的复杂性。

  4. 持续的生产后监控:传统软件部署后主要关注系统性能和错误率。而 ML 模型在部署后还面临着“模型漂移”(model drift)的风险,即由于现实世界数据的变化,模型的预测性能会随时间推移而下降。因此,MLOps 需要包含持续监控模型预测质量和数据分布变化的机制。

1.2 端到端的 MLOps 生命周期:详细剖析

本节将分阶段详细拆解 MLOps 流水线,阐明每个阶段如何为一个可复现的自动化工作流做出贡献。

阶段一:数据工程与管理

数据是任何机器学习系统的基石,对数据的系统化管理是 MLOps 的起点。

  • 数据采集、预处理与特征工程:此阶段涉及从各种来源收集原始数据,对其进行清洗(例如,处理缺失值、去除重复项),并通过特征工程将其转换为适合模型训练的格式。数据的质量直接决定了模型性能的上限,因此这一阶段至关重要。例如,在一个欺诈检测模型中,特征工程可能包括计算用户在过去24小时内的交易次数或与历史平均交易额的偏差。

  • 数据版本控制与血缘追踪:在 MLOps 中,数据被视为与代码同等重要的版本化资产。使用像 DVC (Data Version Control) 这样的工具,可以与 Git 协同工作,对不同版本的数据集进行追踪,从而确保任何一次实验都能够被精确复现。数据血缘(Data lineage)则记录了数据从源头到最终使用的完整路径,这对于调试、审计和遵守法规(如 GDPR)至关重要。

  • 特征存储(Feature Stores):特征存储是一个用于存储、管理和提供 ML 特征的中央化代码库。它通过提供一个统一的接口,供模型训练和在线推理使用,确保了线上线下特征的一致性,避免了所谓的“训练-服务偏差”(training-serving skew)。同时,它还促进了特征在不同模型和团队之间的复用,极大地提高了开发效率。

阶段二:模型开发与实验追踪

这是机器学习的迭代式科学核心,强调系统化和可复现性。

  • 模型训练与调优:此阶段包括选择合适的算法、通过超参数调优优化模型性能,并使用验证集对模型进行评估。这是一个高度实验性的过程,数据科学家可能会尝试数十种甚至数百种不同的模型配置。

  • 实验追踪:系统性地记录每一次实验的所有相关信息是 MLOps 的核心实践之一。这包括代码版本(Git commit hash)、数据版本(DVC hash)、超参数配置、生成的模型工件以及最终的性能指标。像 MLflow 这样的工具为此提供了强大的支持,使得团队能够轻松比较不同实验的结果,并复现任何历史上的最佳模型。

阶段三:面向 ML 的持续集成与持续交付 (CI/CD)

自动化是 MLOps 的灵魂,CI/CD 流水线将从实验到生产的路径自动化。

  • CI:超越代码测试:在 MLOps 中,持续集成(CI)的范畴远不止于对代码进行单元测试。它还包括数据验证(检查新数据是否符合预期模式)、模型验证(确保新训练的模型性能不劣于生产中的模型)以及对整个 ML 训练流水线的测试。

  • CD:自动化模型部署:持续交付(CD)负责将一个经过训练和验证的模型自动化地发布到生产环境中。这通常涉及将模型及其依赖项打包成容器(如 Docker),并使用编排工具(如 Kubernetes)进行部署,以确保环境的一致性和可扩展性。

  • CT:持续训练:持续训练(CT)是 MLOps 的一个关键概念,它指的是建立能够自动使用新数据重新训练模型的流水线。这种再训练可以由预设的时间表(例如,每周一次)触发,也可以由监控系统检测到模型性能下降时自动触发。

阶段四:模型服务与部署

此阶段的目标是使训练好的模型能够对外提供预测服务。

  • 部署模式:模型可以部署为提供实时预测服务的形式(例如,通过 REST API),这适用于需要即时响应的应用场景,如在线推荐或欺诈检测。另一种模式是批量评分,即模型定期对大量数据进行离线预测,适用于非实时场景,如客户流失预测报告。

  • 基础设施管理:利用像 Kubernetes 和 Kubeflow 这样的工具来管理可扩展且具有弹性的模型服务基础设施。这些工具能够根据流量自动扩展服务实例,并处理故障恢复,确保服务的高可用性。

阶段五:持续监控与治理

模型部署到生产环境后,工作才刚刚开始。持续的管理和治理是确保其长期价值的关键。

  • 性能监控:这包括监控技术指标,如请求延迟和吞吐量,以及模型特有的性能指标,如准确率、精确率和召回率。

  • 漂移检测:这是 MLOps 中一项至关重要的任务。数据漂移(Data Drift)指的是生产环境中的输入数据分布发生了变化(例如,由于季节性变化或用户行为改变),而概念漂移(Concept Drift)则指输入和输出之间的关系发生了变化。这两种漂移都会导致模型性能下降,因此必须进行持续监控。

  • 治理与合规:确保模型是可审计、可解释且符合相关法规(如金融领域的 FCRA 或医疗领域的 HIPAA)。这需要记录所有预测请求和响应,追踪模型的完整血缘关系,并使用 SHAP 或 LIME 等工具来解释模型的决策过程。

1.3 核心原则与战略效益
MLOps 的支柱

ML

MLOps(机器学习运维) MLOps(机器学习运维)是一种关于机器学习模型的部署、监控、管理和持续迭代的实践,类似于软件开发中的DevOps。MLOps的主要目的是确保机器学习系统的快速部署和高效、稳定运行。MLOps包括数据准备、模型训练、模型部署、性能监控、模型更新等多个阶段,旨在实现机器学习模型的全生命周期管理。下面是一个简单的例子,使用Python来展示如何使用MLOps的一些基本概念来部署和监控一个机器学习模型。 阅读详情

相关推荐

DevOps,AIOps,MLOps,LLMOps,这些Ops都是什么?

摘要: 本文介绍了四种运维概念:DevOps、AIOps、MLOps和LLMOps。DevOps通过自动化CI/CD流程提升开发效率;AIOps利用AI优化IT运维;MLOps专注于机器学习模型的部署与维护;而新兴的LLMOps则针对大语言模型应用的全生命周期管理。文章对比了传统软件与AI应用的区别,并分析了MLOps与LLMOps在工具和重点上的差异,强调LLMOps主要关注大模型应用的在线运维而非训练过程。这些概念共同推动了技术运维的自动化与智能化发展。(149字)

白话机器学习 945

VS Code+ESP-IDF开发避坑指南:头文件标红报错的5种解决方法(附CMakeLists.txt配置)

本文详细解析了在VS Code中使用ESP-IDF开发ESP32时头文件标红报错的5种解决方法,包括环境配置检查、CMakeLists.txt规范配置、路径解析策略、缓存清理技巧和高级调试手段。特别提供了CMakeLists.txt的实战配置示例,帮助开发者彻底解决头文件路径问题,提升开发效率。

weixin_33670786的博客 560

如何缩减layout电路面积?减少晶体管的数量——以全加器为例【VLSI】

How to reduce the number of transistors to reduce circuit area? -- Take the Binary Full Adder as an example 优化面积的方法 1. 减少晶体管的数量 2. 改变gate matrix的布局

Jie_MSD的博客 6440

NE555构成多谐振荡器及三角波、正弦波的生成(附工程文件)

NE555构成多谐振荡器及三角波、正弦波的生成 续上一篇:NE555基本原理及相关公式的推导

qq_49979053的博客 5万+

Intel Realsense windows安装与入门

realsense400系列介绍: https://www.intelrealsense.com/stereo-depth/?utm_source=intelcom_website&utm_medium=button&utm_campaign=day-to-day&utm_content=D400_learn-more_button realsense 435i介绍: ...

hanshuning的专栏 1万+

SPEI计算避坑指南:gma中Distribution和FitMethod参数怎么选?

本文深入探讨了在SPEI计算中如何科学选择gma库中的Distribution和FitMethod参数,帮助研究者避开常见陷阱。详细分析了LogLogistic、Gamma和Pearson3三种分布的适用场景,以及LMoment与MLE拟合方法的优缺点,为气象干旱研究提供实用指南。

weixin_30308101的博客 254

node-red 可视化探索

配置socket选择配置流程产生url。

weixin_44133581的博客 3415

【信息系统项目管理师】高分论文:论信息系统项目的整合管理(绩效考核系统)

我们将项目管理计划中的子计划包括项目范围、进度、成本、质量管理计划,过程改进计划,人力资源管理计划,风险、采购管理计划,干系人管理计划,项目范围、成本、进度基准作为依据,查看项目的各个方面,通过组织全体团体成员会议来解读由各监控过程提供的信息,之后我与项目管理团队一起制订所需措施,确保项目绩效达到预期要求。在一个项目中,变更是必然的,也是不可避免的,进度拖延,成本失控,客户有新的需求等都会引起项目的变更。在本项目中,我要求有处于工作状态的产品,开发人员才可以对其任意修改,修改完成后,重新入库即可。

数据知道的博客 6888

手把手教你学Simulink——无刷直流电机(BLDC)霍尔传感器(Hall Sensor)信号处理电路仿真

在中,转子位置靠​ 给出,换相逻辑(Commutation Table)据此决定。实际霍尔输出是,且常有:比较迟滞(内置或外加分压)RC 低通(防 EMI 尖刺)与 MCU 间想让你霍尔三相 UVW 理想方波(120° each, 换相每 60°elec)经观察:原始 HU/HV/HW、滤波后波形、整形后 TTL 电平验证换相表(001→100→010…)与转子转向匹配是破局关键。

amy_mhd的博客 39

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 工作流编排平台深度分析:Apache Airflow vs. Apache DolphinScheduler
下一篇: 6大开源MLOps平台深度对比报告 -- Zenml、Kubeflow、Metaflow、Polyaxon、MLRun与Pachyderm
piekill
博客等级 码龄6年 56粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piekill

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值