亚马逊云科技的MLOps工程概述

亚马逊云科技的MLOps工程概述

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Amazon SageMaker， Machine Learning Operations， Data Preparation， Model Training， Feature Engineering， Model Deployment]

导读

你的机器学习（ML）工作流程是否需要一些DevOps的敏捷性？在本次讨论中，我们将探讨如何将DevOps风格的实践引入到ML模型的构建、训练和部署中。同时，你还将了解如何通过使用工具、自动化、流程和团队协作来解决数据工程师、数据科学家、软件开发人员和运维人员之间交接过程中的挑战。

演讲精华

以下是小编为您整理的本次演讲的精华。

在前沿科技的领域中，机器学习已经成为一股变革性力量，以我们难以想象的方式重塑着我们的生活。在亚马逊云科技 re:Invent 2024大会上，亚马逊云科技培训与认证的高级技术讲师Punit Sharma深入探讨了亚马逊云科技上MLOps(机器学习运维)工程的复杂世界，揭示了支撑这一革命性领域的复杂流程、工具和最佳实践。

Sharma的引人入胜的讲述从强调机器学习对我们日常生活的深远影响开始。他引用了无处不在的推荐引擎，这些引擎驱动着亚马逊等电子商务平台，无缝地引导客户发现符合他们偏好的产品。此外，他还强调了欺诈检测模型的关键作用，这些模型警惕地保护着金融交易，提醒用户潜在的异常情况并降低风险。

MLOps的核心是致力于长期将机器学习模型产品化。Sharma巧妙地阐述了这一概念，用一句简洁的话概括了MLOps的本质:“它就是创建一个机器学习模型并长期保持其产品化状态。”

深入探讨机器学习生命周期的复杂性，Sharma详细阐述了支撑这一努力的复杂流程。它始于识别业务问题，随后将其转化为可量化的机器学习问题。这一关键时刻为后续阶段奠定了基础，包括数据收集、特征工程、模型训练和调优、评估、部署和持续监控。

Sharma敏锐地认识到实施MLOps所面临的挑战，如文化障碍、缺乏跨职能团队、不同的优先事项以及可能需要组织重组等棘手障碍。然而，他坚定地强调MLOps不仅仅是技术，同样重要的是人员和流程这两大支柱。

讲述随后转向构成机器学习模型生命周期的复杂组成部分，阐明了数据管理、代码存储库、模型存储库、基础设施、监控和治理所扮演的关键角色。Sharma巧妙地区分了DevOps和MLOps之间的差异，后者将DevOps实践扩展到了数据和模型管理，这是一个关键的区别。

Sharma的讲述强调了组建一个多元化和技能娴熟的团队的重要性，包括ETL工程师、数据科学家、DevOps工程师、MLOps工程师、治理官员和模型审批人员。他强调了这些团队成员之间有效沟通和协作的关键性，因为他们的无缝协同对MLOps生命周期的成功至关重要。

在选择MLOps实施技术时，Sharma倡导采用一致性、灵活性、可重复性、可扩展性、可审计性和可解释性的解决方案。他介绍了Amazon SageMaker作为一项综合服务，提供从数据收集、预处理、模型训练、部署到监控的全方位能力，将其定位为MLOps之旅中的强大助手。

安全性和治理在Sharma的讲述中显得至关重要，强调了安全性设计的必要性。他深入探讨了安全性的多方面内容，包括网络安全、代码和容器安全、模型安全、数据安全、网络和基础设施隔离、身份验证和授权、数据保护、审计和监控。此外，他阐明了治理在标准化文档、捕获业务指标、管理权限、监控模型行为、确保透明度以及遵守合规性和监管要求方面的关键作用。

Sharma的演讲以介绍MLOps成熟度模型而告终，这是一个框架，划分了四个不同的阶段:初始(实验)、可重复(自动化)、可靠(多账户架构)和可扩展(标准化流程和扩展架构)。该模型为组织指明了通往实现成熟和健全的MLOps实施的道路。

为了巩固理论概念，Sharma展示了一个使用亚马逊云科技服务(包括CodePipeline、CodeBuild、Lambda、Glue、SageMaker和Step Functions)精心打造的工作MLOps管道。这一演示提供了从数据摄取到模型部署和测试的端到端过程的真实一瞥，彰显了亚马逊云科技在MLOps领域的强大功能和灵活性。

在整个引人入胜的讲述过程中，Sharma融入了真实世界的例子和用例，丰富了他的论述，提供了实践见解。他讲述了一个场景，一家银行希望开发一个机器学习模型，根据个人的信用评分来预测是否发放贷款。Sharma敏锐地强调了这个问题的细微差别，强调了在考虑收入、现有信用、教育资格、婚姻状况和受抚养人数等多个因素时，需要机器学习来做出决策。

另一个启发性的例子围绕着一种预测路由机制，根据客户注册的手机号码，将客户的来电分流到合适的呼叫中心代理。Sharma阐明了特征工程在这种情况下的重要性，说明如何将日期列从DD/MM/YYYY格式转换为自购买以来的天数整数值，可以帮助确定保修状态并优化呼叫路由。

Sharma的讲述穿插了发人深思的问题和互动环节，邀请观众思考机器学习和MLOps的复杂性。他询问了与会者对监督和非监督机器学习模型的熟悉程度，认可了观众的不同背景和经验。

在整个讲述过程中，Sharma坚持传授知识和增进对亚马逊云科技上MLOps工程的深入理解。他的讲述巧妙地将理论概念、实际应用和真实案例融为一体，创造了一种全面而引人入胜的学习体验。

在不断演进的科技领域，机器学习持续重新定义着可能性的边界，Punit Sharma在亚马逊云科技 re:Invent 2024大会上的演讲成为了洞见和灵感的指引。他引人入胜的讲述不仅阐明了亚马逊云科技上MLOps工程的复杂面纱，更点燃了对这一变革性领域的热情，激励与会者拥抱未来的挑战和机遇。

下面是一些演讲现场的精彩瞬间：

演讲者强调了机器学习悠久的历史，大约有75到80年的历史，并且以创新的方式极大地改变了我们的生活。

演讲者质疑是否需要机器学习来完成像仅基于信用评分的贷款审批这样简单的用例，暗示几行代码就可以完成。

Rajan Srinivasan强调了Amazon SageMaker作为一项全面管理的服务，可以满足所有机器学习需求，从数据准备到模型部署和监控。

Andy Jassy强调了Amazon SageMaker强大的功能，包括Data Wrangler、Processing Jobs、Feature Store、Training Jobs和Model Registry，这些功能可以简化和自动化机器学习工作流程的各个阶段。

SageMaker提供了Role Manager、Model Cards和Model Dashboard等治理功能，用于管理权限、模型详细信息和性能监控。

利用CloudFormation StackSets和CodePipeline可以实现机器学习模型和基础设施的可靠多账户部署。

演讲者演示了如何使用CloudFormation StackSets将管道的部分内容转移到生产账户，强调了触发管道的四种方式，并展示了预先创建的存储库。

总结

在这个富有洞见的演讲中，亚马逊云科技高级技术讲师Punit Sharma深入探讨了在亚马逊云科技上进行MLOps(机器学习运维)工程的复杂性。他首先强调了机器学习在我们日常生活中的无处不在的影响，从推荐引擎到欺诈检测系统。Punit随后强调，MLOps是关于创建和长期保持机器学习模型产品化，涵盖了从数据收集到模型监控的整个生命周期。

他提出的第一个关键点是MLOps中流程的重要性。Punit逐步介绍了创建机器学习模型的典型流程，从确定业务问题开始，将其转化为量化的机器学习问题，然后进行数据收集、特征工程、模型训练和调优、评估和部署。他强调了数据质量和代表性的重要性，以及模型改进的迭代性质。

其次，Punit讨论了人员在MLOps中的关键作用，强调需要跨职能团队，包括ETL工程师、数据科学家、DevOps工程师、MLOps工程师、治理官员和模型审批人员。他强调了这些角色之间有效沟通和协作对于成功实施MLOps的重要性。

第三个关键点集中在MLOps的技术方面。Punit介绍了Amazon SageMaker作为满足所有机器学习需求的综合服务，从数据准备到模型部署和监控。他展示了各种SageMaker功能，如Data Wrangler、处理作业、Feature Store、模型注册表和模型监控器，这些功能可以简化和自动化MLOps管道。

最后，Punit强调了安全性、治理和MLOps成熟度模型的重要性。他讨论了安全性设计的重要性，涵盖了网络安全、数据加密和合规性认证等方面。此外，他强调了治理在标准化流程、监控模型行为以及确保透明度和可解释性方面的作用。最后，Punit介绍了MLOps成熟度模型，该模型概述了组织从初始实验到可扩展和可靠的MLOps实施所经历的阶段。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。