8、云 IoT 分析与 AWS 云分析环境搭建

云 IoT 分析与 AWS 云分析环境搭建

1. AWS 相关服务介绍

1.1 Amazon Simple Queue Service (SQS)

Amazon Simple Queue Service (SQS) 是 AWS 托管的消息队列服务。它负责处理底层的计算和存储资源，用户只需创建队列即可。用户仅需为处理消息的 API 调用付费。

1.2 Amazon Elastic Map Reduce (EMR)

EMR 是一个完全托管的 Hadoop 框架，可在几分钟内启动。它为用户处理节点供应、集群设置、配置和集群调优等任务。它使用 EC2 实例运行，可从一个节点扩展到数千个节点。
- 扩展性 ：用户可以手动增加或减少实例数量，也可以使用自动扩展功能动态调整，即使在集群运行时也能进行。
- 监控与管理 ：EMR 服务会监控集群，能处理失败任务的重试，并自动替换性能不佳的实例。
- 自主性 ：尽管是托管服务，但用户对集群拥有完全控制权，包括根访问权限，还可以安装额外的应用程序。
- 存储与处理 ：可以使用 EMR 文件系统 (EMRFS) 将数据存储与 S3 关联。用户可以将数据存储在 Amazon S3 中，并使用多个 EMR 集群处理同一数据集，这符合分离计算和存储的目标。
- 使用场景 ：用户还可以通过编程方式创建 EMR 集群、运行作业，完成后自动关闭。这使其非常适用于大规模批处理或分析作业。

1.3 A