35、Spark在独立集群和Amazon EC2上的运行指南

Spark在独立集群和Amazon EC2上的运行指南

1. Spark History Server的自定义配置

可以使用几个环境变量来定制Spark History Server：
- SPARK_DAEMON_MEMORY ：指定History Server应占用的内存量。
- SPARK_PUBLIC_DNS ：设置其公共地址。
- SPARK_DAEMON_JAVA_OPTS ：向其JVM传递额外的参数。
- SPARK_HISTORY_OPTS ：传递 spark.history.* 参数。

完整的参数列表可查看官方文档（http://spark.apache.org/docs/latest/configuration.html）。也可以在 spark-default.conf 文件中设置 spark.history.* 参数。

2. 在Amazon EC2上运行Spark的准备工作

2.1 前提条件

• 获取AWS密钥 ：需要有一个亚马逊账户，并获取AWS的访问密钥ID（Access Key ID）和秘密访问密钥（Secret Access Key）。不建议使用主用户的密钥，更好的做法是使用亚马逊的身份和访问管理（IAM）服务创建一个权限较低的新用户。具体步骤如下：
  1. 从AWS着陆页选择“Services