泛音青年的博客

本地提交： Local提交方式主要用于快速入门，开发阶段测试。用该模式提交，开箱即用，不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非你要用到HDFS） 提交命令： 提交java spark-submit --class com.WordCount --master local /usr/local/spark/bin/spark-test-1.0-SNAPSHOT.jar 提交python spar

spark部署方式： 当用/bin/spark-submit 提交任务时， conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) 一、Local模式： 单机版，不需要依赖Hadoop、Zookeeper等组件。 local: 所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式。 local[K]: 指定使用几个线程来运行计算，比如loca