24、机器学习平台：从模型部署到Kubeflow集成

机器学习平台：从模型部署到Kubeflow集成

1. 模型预测与部署

在机器学习中，模型的预测和部署是关键环节。以图像分类为例，当我们将 test1.png （可乐图像）和 test2.png （百事图像）输入模型时，得到如下预测结果：

Prediction for test1.png =  {'predictions': [[1.23764e-24]]}
Prediction for test2.png =  {'predictions': [[1.0]]}

可以看到，对于可乐图像，模型预测结果接近0；对于百事图像，预测结果为1，这符合我们的训练预期。

在客户端代码方面，它不直接依赖TensorFlow。具体操作步骤如下：
1. 读取图像。
2. 对图像进行归一化处理（除以255）。
3. 将图像转换为列表。
4. 将处理后的列表传递给REST端点。
5. 接收返回的JSON值，并解码得到0或1的结果。

这是一个二元分类问题，实际应用中可能会构建更复杂的多类预测模型，这些模型也可以部署在TensorFlow-Serving上。

TensorFlow-Serving以Docker容器的形式运行，我们可以将其轻松打包并部署到Kubernetes中，实现多节点扩展。Kubernetes会处理扩展和故障转移，以应对大量客户端请求。不过，需要创建一个存储模型文件的卷，Kubernetes的持久卷和持久卷声明可以解决这个问题。