Python 使用 Boto3 API 创建 EMR 集群

最新推荐文章于 2025-11-09 01:20:13 发布

原创

最新推荐文章于 2025-11-09 01:20:13 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#aws-emr #boto3

本文档介绍了如何使用Python的Boto3库来创建Amazon EMR集群。主要内容包括Python依赖包的安装、API参考以及示例代码，通过`boto3 EMR.Client.run_job_flow` API详细说明了集群创建过程。

EMR 指南

Amazon EMR

[PDF]Amazon EMR - 开发人员指南 - Amazon.com

使用API创建EMR

Python依赖包安装

pip install boto3

API参考

EMR集群主要采用 boto3 EMR.Client.run_job_flow api 进行集群创建，详细描述参考官网文档。

样例代码

# -*- encoding:utf8 -*-
"""
    author: quanbin_zhu
    time  : 2017/11/13 15:19
"""

import re
import boto3

class EmrClient(object):

    def __init__(self):
        self.emr_version = "emr-5.9.0"
        self.emr_log_url = "s3://dev-xxx/borey-zhu/sparklog"
        self.aws_ec2_key = "borey.zhu"
        self.aws_access_key = "xxxxxxxxxxxxxxxxxxxxxxxx"
        self.aws_secret_key = "xxxxxxxxxxxxxxxxxxxxxxxx+xxxxxxxxxx"
        self.client = boto3.client('emr'