36、机器学习的监测、AI 就绪阶段与常见设计模式

机器学习的监测、AI 就绪阶段与常见设计模式

1. 机器学习监测与业务评估

在机器学习项目中，监测是至关重要的环节。需要设置监测机制来检查上游数据源的变化，同时建立系统监测预测分布，并在可能的情况下，在生产环境中衡量预测的质量。

完成监测步骤后，重新审视业务用例并客观、准确地评估机器学习模型对业务绩效的影响是很有好处的。这可能会带来新的见解，开启新的机器学习项目，从而使机器学习的生命周期再次循环。

2. AI 就绪的三个阶段

不同组织在构建机器学习解决方案时处于不同的 AI 就绪阶段，通常可分为战术、战略和转型三个阶段。

2.1 战术阶段：手动开发

处于战术阶段的组织刚开始探索 AI 的潜力，专注于短期项目。此阶段的 AI/ML 用例较为狭窄，更多关注概念验证或原型，与业务目标的直接联系可能并不清晰。

在这个阶段，组织认识到高级分析工作的前景，但执行主要由个人贡献者推动，或完全外包给合作伙伴。获取组织内大规模、高质量的数据集可能很困难。通常没有一致扩展解决方案的流程，使用的 ML 工具是临时开发的。数据离线存储或存在于孤立的数据孤岛中，需要手动访问进行数据探索和分析。没有工具来自动化 ML 开发周期的各个阶段，也很少关注开发可重复的工作流程。这使得组织成员之间难以共享资产，且没有专门的开发硬件。MLOps 的范围仅限于训练模型的存储库，测试和生产环境之间的区别不大，最终模型可能作为基于 API 的解决方案部署。

2.2 战略阶段：利用管道

处于战略阶段的组织已将 AI 工作与业务目标和优先级保持一致，ML 被视为业务的关键加速器。通常有高级管理人员的