当使用Oozie工作流调度执行包含Spark程序的Shell脚本时，可能会遇到application任务列表中user显示为'nobody'的问题。解决方法是在spark-submit命令中添加`--proxy-user`属性，指定用户为'hdfs'，例如：`--proxy-user hdfs`。这确保了任务执行时的用户权限正确，从而避免了身份认证错误。
问题：
当用oozie工作流，调度执行shell脚本，shell脚本中提交spark程序，application任务列表user列显示nobody。
解决办法，增加 --proxy-user 属性设置用户为hdfs
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--queue thequeue \
--proxy-user \
examples/target/scala-2.11/jars/spark-examples*.jar 10
扫一扫
4959
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
