spark的零零散散

1、在idea上写代码，setMaster(“local[*]”)，这个是本地模式。在idea上进行运行，相当于提交到集群或者是local本地，然后进行运行，相当于手动点击了run的操作。
setAppName里面的名字自己起。local[ ]里面的那个星，表示可以利用到能利用的所有的核数，也就是线程数目。

val conf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")

2、在用yarn模式的时候，打包代码之前，把setMaster这个注释了，用不着了。因为我们在提交命令的时候，写了yarn模式。代码中的优先级高于命令中的优先级。因此要把代码中的那个注释掉。
也就是把 .setMaster(“local[*]”) 这个扔掉就行了。

val conf = new SparkConf().setAppName("SparkCoreTest")
//.setMaster("local[*]")

3、本地调试就是单纯的用idea，进行调试，也就是用的是local模式，就是run运行代码就可，毕竟上传代码到集群上也就是为了进行代替手动run运行。
本地运行的话，肯定就是用要有这个setMaster(“local[*]”)了。

val conf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")