22、机器学习平台：工具、技术与实践

机器学习平台：工具、技术与实践

1. 机器学习平台概述

在解决人工智能问题时，实际的算法选择和模型开发固然是关键活动，但往往并非最耗时的部分。如今，借助强大的库和平台，开发者只需几行代码就能轻松构建和训练模型，甚至一些现代数据科学平台能让用户在不编写一行代码的情况下完成模型选择和训练，完全通过配置即可实现。

然而，数据科学家通常会花费更多时间处理数据采集、清洗、准备以及模型和超参数训练的分布等一般性问题。将模型部署到生产环境也是一项重要活动，这通常需要数据科学家和软件开发人员进行大量的手动交互和转换工作。据数据科学家表示，他们在整体解决方案开发时间中，有 50% 到 80% 用于与构建或训练模型无直接关联的活动，如数据准备、清洗和部署等。尽管目前模型开发已通过 Python 和 R 等语言的库实现了较好的自动化，但数据科学的其他流程仍主要依赖手动操作。

为解决这些问题，亚马逊、谷歌和微软等顶级分析应用公司正在大力开发机器学习或数据科学平台，以实现模型开发生命周期中各项活动的自动化。这些平台包括亚马逊 SageMaker、谷歌 AutoML 和微软 Azure Studio 等，它们通常与各自的云服务相关联。只要你愿意将所有大数据存储在相应提供商的云中并为此付费，就可以使用他们的数据科学平台来简化模型开发过程。不过，根据具体需求，你可能会发现这些云服务存在局限性，或者不想将数据存储在公共云中，在这种情况下，你可以构建自己的本地数据科学平台。

无论是选择云平台还是本地平台，如果公司大量构建和使用分析模型，都建议投资一个机器学习平台，以减轻数据科学家的软件活动负担。在软件开发中，敏捷框架通过在短开发周期内更快地发布新代码来迭代添加产品功能，借助 CI/CD 等自动化