生成jar包在wordcoeclipse
Spark:spark-1.1.0-bin-hadoop2.4
scala:2.10.4
创建scala工程,编写wordcount程序如下unt中运行
右击工程->export,生成jar包 名称spark.jar,路径/usr/local/myjar/spark.jar
启动spark集群,自己写一个hadoop.txt,上传hadoop.txt到集群的/user/hadoop/文件夹之下
HDFS的操作见此文http://www.cnblogs.com/gnivor/p/4089948.html
写一个脚本,用来执行这个程序
存放路径:/usr/local/myjar/WordCount.sh
执行脚本
进入脚本所在路径:/usr/local/myjar,执行脚本:./WordCount.sh
一段时间后可见结果。