spark中用yarn client和yarn cluster两种模式提交任务
spark需要设置参数
1、spark-env.sh 根据集群设置
export SPARK_HOME=/export/servers/spark-2.2.0-bin-hadoop2.7
export JAVA_HOME=/export/servers/jdk1.8.0_141
export HADOOP_CONF_DIR=/export/servers/hadoop-2.7.5/etc/hadoop
2、slaves 根据集群设置
node01
node02
node03
yarn cluster 模
原创
2020-08-28 00:00:58 ·
1118 阅读 ·
0 评论
关注
分享
扫一扫