23、机器学习平台全解析：从模型开发到自动化部署

机器学习平台全解析：从模型开发到自动化部署

1. 模型开发

在模型开发方面，有多种方式和工具可供选择。
- 平台化开发 ：像 H2O 这样的平台，借助直观的基于 Web 的用户界面（UI）来处理模型构建问题。可以将 H2O 或 Jupyter Notebooks 部署在拥有众多 CPU、大量内存和存储的强大服务器集群上，这样公司内部甚至全球的数据科学家都能访问该集群并构建模型。这种方式能节省为每个数据科学家配备强大机器和购买许可证（如 MATLAB）的巨大投资，是如今注重分析的公司中最流行的模式，它能提供一个集中的通用模型开发用户界面，可通过像 Web 浏览器这样的瘦客户端访问。
- 编程式开发 ：
- 浅层机器学习模型 ：如果使用 Python 以编程方式构建模型，对于浅层机器学习模型，Scikit - Learn 是首选库。
- 深度学习模型 ：对于深度学习，需要一个能构建代表神经网络的计算图的框架。谷歌的 TensorFlow 和 Facebook 的 PyTorch 是流行的框架，它们都是免费且开源的，能帮助构建不同的前馈和循环网络架构，以解决特定领域的问题。这些框架自带完整的运行时，允许开发者使用自己选择的语言（如 Python、Java 或 C++）连接到其运行时并运行训练作业。以 TensorFlow 为例，构建的模型会在其自己的集群的单独会话中运行，该集群可能由 CPU 或 GPU 组成。

2. 大规模训练

• 小数据项目