17、利用内置框架及自定义代码构建机器学习模型

利用内置框架及自定义代码构建机器学习模型

1. 使用Hugging Face模型进行文本预测

在端点启动后，我们可以对文本样本进行预测并打印结果。以下是具体的代码实现：

predictor.serializer = JSONSerializer()
predictor.deserializer = JSONDeserializer()
sample = {'text':'This camera is really amazing!'}
prediction = predictor.predict(test_data)
print(prediction)
['positive']

最后，我们需要删除端点以释放资源：

predictor.delete_endpoint()

使用Hugging Face模型非常简单，而且通过少量轮次的微调就能构建高质量的NLP模型，是一种经济高效的方式。

2. SageMaker与Apache Spark结合使用

SageMaker除了提供Python SDK外，还包含Spark SDK（https://github.com/aws/sagemaker-spark），这使得我们可以直接从运行在Spark集群上的PySpark或Scala应用程序中运行SageMaker作业。

2.1 结合Spark和SageMaker的优势

• 解耦ETL和机