CDH或者大数据平台提交Spark任务shell方式

拉普达男孩

于 2020-06-04 14:30:51 发布

阅读量856

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据

本文链接：https://blog.youkuaiyun.com/ITwangnengjie/article/details/106546013

大数据专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何在Spark任务提交中配置Kerberos认证，包括使用特定的用户名、密钥表路径、主类、资源管理器类型、部署模式等参数。同时，详细展示了如何设置执行器数量、内存大小、核心数以及队列名称和附加JAR包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

##增加Kerberos认证，使用xxx.keytabl秘钥
spark-submit --principal yong_hu_ming@xxx.COM \
    --keytab yong_hu_ming.keytab \
    --class com.xx.compute.Job20200525 \
    --master yarn \
    --deploy-mode cluster \
    --num-executors   90 \
    --driver-memory 7g \
    --executor-memory 7g \
    --executor-cores 4 \
    --queue thequeue \
    --jars mysql-connector-java-5.1.39.jar \