亚马逊认证考试系列 - 知识点 - EMR简介

一、AWS EMR 简介

• AWS EMR 是 Amazon Web Services 的托管 Hadoop 框架，它简化了在云中处理大规模数据的过程。EMR 支持基于 Hadoop、Spark、Presto 和其他大数据技术的分布式计算框架。
• 主要特性和优势
• 弹性伸缩：根据工作负载的需要自动扩展或收缩计算集群。
• 安全性：支持数据加密和访问控制，满足对敏感数据的安全性需求。
• 便捷性：提供简单易用的界面和工具，方便用户快速创建和管理集群。
• AWS EMR 的使用案例
• 大数据分析和处理
• 数据湖和数据仓库构建
• 机器学习模型训练

二、开始使用 AWS EMR

设置 EMR 集群

• 选择适当的实例类型和数量
• 配置启动脚本和引导操作
• 配置集群选项
• 配置存储选项，如 S3 存储桶和 HDFS
• 选择要安装的应用程序和框架
• 启动和访问 EMR 集群
• 通过控制台、AWS 命令行工具或 SDK 启动集群
• 访问集群的 Web 接口和主节点

三、在 AWS EMR 上处理数据

AWS EMR 上的数据存储选项

• S3 存储桶
• HDFS
• 使用 EMR 应用程序进行数据处理
• Hive 和 Presto 进行 SQL 查询
• Spark 进行数据处理和机器学习
• Hadoop MapReduce 进行分布式计算
• 与其他 AWS 服务集成
• Athena 进行交互式查询
• Redshift 进行数据仓库集成