1.使用spark-submit提交
在虚拟机打开hadoop,在命令行中输入
spark-submit
运行结果:
在本地windows中,打开WordCount2.scala,使用11.2节最后面的maven打包方式进行打包,并且把包传到虚拟机,可以新建一个文件夹,但是后面的路径需要跟文件的路径一致
上传文件位置:
/usr/jar
hostname为myserver,运行代码:
spark-submit --master spark://myserver:7077 --class org.hadoop.spark.WordCount2 /usr/jar/chapter11-1.0.jar hdfs://myserver:8020/test/ hdfs://myserver:8020/out001
运行结果: