4、开启Spark之旅与设计机器学习系统

开启Spark之旅与设计机器学习系统

1. 在Amazon EC2上运行Spark

Spark项目提供了在Amazon EC2服务的云端运行Spark集群的脚本，这些脚本位于 ec2 目录中。可以使用以下命令运行该目录中的 spark-ec2 脚本：

>./ec2/spark-ec2 

若不带参数运行此命令，将显示帮助输出：

Usage: spark-ec2 [options] <action> <cluster_name>
<action> can be: launch, destroy, login, stop, start, get-master
Options:
...

在创建Spark EC2集群之前，需要确保拥有一个Amazon账户。若没有Amazon Web Services账户，可在 http://aws.amazon.com/ 注册。AWS控制台可在 http://aws.amazon.com/console/ 访问。

还需要创建一个Amazon EC2密钥对并获取相关安全凭证。Spark的EC2文档（