28、优化模型部署成本与性能的实用技巧

优化模型部署成本与性能的实用技巧

1. 部署多模型端点

在当前的技术环境下，Scikit - Learn、XGBoost、Apache MXNet 和 PyTorch 的最新内置容器原生支持特定 API。对于其他算法和框架，最佳选择是构建包含 SageMaker Inference Toolkit 的自定义容器，该工具包已实现所需 API（https://github.com/aws/sagemaker - inference - toolkit）。此工具包基于多模型服务器（https://github.com/awslabs/multi - model - server），你也可以直接从命令行界面使用它来为多个模型提供预测服务。更多信息可查看：https://docs.aws.amazon.com/sagemaker/latest/dg/build - multi - model - build - container.html。

1.1 使用 Scikit - Learn 构建多模型端点

下面我们将使用 Scikit - Learn 构建一个多模型端点，用于托管在波士顿住房数据集上训练的模型。此功能仅支持 Scikit - Learn 0.23 - 1 及以上版本。若因某些原因无法使用该版本，也有针对 0.20.0 版本的自定义容器示例。

具体步骤如下：
1. 上传数据集到 S3

import sagemaker, boto3
sess = sagemaker.Session()
bucket = sess.default_