6、利用 AWS 服务进行数据处理与 AutoML 实践

利用 AWS 服务进行数据处理与 AutoML 实践

在数据处理和机器学习的过程中，AWS 提供了一系列强大的服务，能够帮助我们高效地完成从数据准备到模型训练的各个环节。下面将详细介绍这些服务及其使用方法。

1. 使用其他 AWS 服务处理数据

• 使用 Amazon EMR 集群支持的笔记本 ：对于小规模实验，本地笔记本就足够了，但对于较大的工作负载，我们肯定希望在 EMR 集群上进行训练。笔记本实例支持 Spark、PySpark 和 SparkR 的 SparkMagic 内核（https://github.com/jupyter-incubator/sparkmagic），这使得在笔记本实例上运行的 Jupyter 笔记本能够连接到 Amazon EMR 集群，对于需要大规模进行交互式探索和处理的场景非常有用。具体的设置步骤可以参考 AWS 博客文章：https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/。
• 使用 Spark 处理数据并使用 Amazon SageMaker 训练模型 ：虽然还未详细讨论使用 SageMaker 训练模型的内容，但后续会探讨与在 EMR 上运行所有操作相比，这种组合的强大之处。
• AWS Glue ：AWS Glue 是一个托管的 ETL 服务（https://aws.amazon.com/glue/）。借助 Glue，我们可以轻松