Spark项目之 sparkDemo 八 SparkDemo打包并且Spark任务提交

本文详细介绍如何在Spark环境中打包并部署应用程序,包括创建文件夹、上传jar包、编写启动脚本,以及通过spark-submit命令提交任务的具体参数设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

代码我们已经写好了,接下来我们就是打包,然后再环境上去执行了,打包方式如下:

 

在服务器的home目录下创建一个文件夹sparkSubmit

然后将打包的jar包上传sparkSubmit,然后再写一个启动脚本

任务提交方式和参数请参考官方文档:http://spark.apache.org/docs/latest/submitting-applications.html,shadowsocks.sh解析:

/home/spark/bin/spark-submit \ 
  --class com.shadowsocks.Shadowsocks \ 
  --supervise \
  --master spark://192.168.131.155:7077 \
  --archives /home/hive/lib/mysql-connector-java-5.1.44.jar,/home/hive/lib/datanucleus-api-jdo-4.2.4.jar,/home/hive/lib/datanucleus-core-4.1.17.jar,/home/hive/lib/datanucleus-rdbms-4.1.19.jar \
  --files /home/hive/conf/hive-site.xml \
  --executor-memory 1024m \
  --total-executor-cores 2 \
  /home/sparkSubmit/sparkShadowsocks-0.0.1-SNAPSHOT.jar \
  2018-10-16 shadowsocks_register shadowsocks_log jdbc:mysql://192.168.131.155:3306/hadoop?characterEncoding=UTF-8

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值