16、在SageMaker中使用自定义算法和代码

在SageMaker中使用自定义算法和代码

1. 结合Apache Spark和SageMaker的示例

在托管基础设施上启动训练和部署作业，就像之前使用内置算法时一样。SageMaker SDK会自动将Spark DataFrame传递给训练作业，无需额外操作：

val xgboost_model = xgboost_estimator.fit(trainingData_libsvm)

这些活动可以在SageMaker控制台（训练和端点）中查看。部署完成后，转换测试集并对模型进行评分，这会自动调用SageMaker端点，同样无需担心数据移动：

val transformedData = xgboost_model.transform(testData_libsvm)
val accuracy = 1.0 * transformedData.filter($"label"=== $"prediction").count / transformedData.count()

模型准确率约为97%。完成后，删除作业创建的所有SageMaker资源，包括模型、端点和端点配置：

val cleanup = new SageMakerResourceCleanup(xgboost_model.sagemakerClient)
cleanup.deleteResources(xgboost_model.getCreated