CDH或者大数据平台提交Spark任务shell方式

最新推荐文章于 2023-04-09 16:43:36 发布

原创最新推荐文章于 2023-04-09 16:43:36 发布 · 887 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

大数据专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何在Spark任务提交中配置Kerberos认证，包括使用特定的用户名、密钥表路径、主类、资源管理器类型、部署模式等参数。同时，详细展示了如何设置执行器数量、内存大小、核心数以及队列名称和附加JAR包。

##增加Kerberos认证，使用xxx.keytabl秘钥
spark-submit --principal yong_hu_ming@xxx.COM \
    --keytab yong_hu_ming.keytab \
    --class com.xx.compute.Job20200525 \
    --master yarn \
    --deploy-mode cluster \
    --num-executors   90 \
    --driver-memory 7g \
    --executor-memory 7g \
    --executor-cores 4 \
    --queue thequeue \
    --jars mysql-connector-java-5.1.39.jar \