spark基础知识（一）spark submit的提交参数

最新推荐文章于 2023-03-08 16:43:00 发布

sheep8521

最新推荐文章于 2023-03-08 16:43:00 发布

阅读量266

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/sheep8521/article/details/116665180

spark 专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何在生产环境中正确配置Spark应用，包括指定Master节点、加载必要的JAR包及依赖库等关键步骤。针对生产环境特有的依赖问题，文章提供了具体的解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、因为生产环境的环境依赖不够，需要单独引用参数设置

./spark-submit 
--master spark://ip:7077 #如果时本地模式，用local[n] ,n>1
--class com.ec.SparkConsumer  \
--jars $(echo /home/rowen/libs/*.jar | tr ' ' ',') \  #批量引用环境需要的jar包
--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \ #因为生产环境没对应jar,所以用引用的依赖的gav坐标，让程序去远程仓库寻找。要求环境联网