spark-shell 基本用法

spark-shell 是 scala 语言的 REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式） 环境，同时针对 spark 做了一些拓展。

1. 启动 spark-shell 的方法

1.1 本机

$ spark-shell --master local[N]
$ spark-shell --master local[*]

• 通过设定local[N]参数来启动本地 Spark 集群，其中 N 表示运行的线程数，或者用 * 表示使用机器上所有可用的核数。

在本地模式设定内存，如设置本地进程使用 2GB 内存。

$ spark-shell --driver-memory 2g --master local[*]

• 
  如：
  ./bin/spark-shell --master local[4]  
  

1.2 启动在 hdfs 上

1.3 在 yarn 上启动

如果你有一个 hadoop 集群，并且 hadoop 版本支持 yarn，通过为 Spark master 设定 yarn-client 参数值，便可在集群上启动 spark 作业：

$ spark-shell --master yarn-client

./bin/spark-shell --master local[4]