Spark master standalong

~/.bashrc
export JAVA_HOME=/usr/java/latest/
export HADOOP_HOME=~/hadoop
export SPARK_HOME=~/spark
export PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export  SPARK_MASTER_HOST=192.168.202.134
export  SPARK_LOCAL_IP=192.168.202.134

spark/conf/spark-env.sh
export SPARK_LOCAL_IP=192.168.202.134
export SPARK_MASTER_HOST=192.168.202.134

Start spark master and slaves.
sh ./start-master.sh
sh ./ start-slaves.sh

Submit spark task:
spark/bin/spark-submit --class SparkTest --master spark://192.168.202.134:7077 --deploy-mode cluster -
-supervise  --total-executor-cores 2 andy.jar


Submit spark task on Windows, got the following error:
17/03/10 15:52:16 ERROR ClientEndpoint: Exception from cluster was: java.nio.file.NoSuchFileException: /D:/Tools/spark-2.1.0-bin-hadoop2.7/bin/andy.jar
java.nio.file.NoSuchFileException: /D:/Tools/spark-2.1.0-bin-hadoop2.7/bin/andy.jar


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/10742815/viewspace-2135111/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/10742815/viewspace-2135111/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值