spark遇到的一些坑

关注

原创最新推荐文章于 2026-03-09 01:17:28 发布 606 阅读 AI 写同款· GEO 优化 ›

SpringBoot + Spark on Yan踩坑记终极目标采用SpringBoot集成SparkStreaming+Kafka+Redis+HDFS等组件，打包成jar（下文将之简称为“应用”），运行在Spark on Yan环境，实现离线+实时分布式计算。本文中采用Spark on Yan Client模式发布应用。参考文献：https://www.cnblogs.com/langfanyun/p/8040136.html ... 阅读详情

1.spark的cluster模式参数问题

spark-submit \
--master yarn \
--deploy-mode cluster \
--class com.zctt.bigdata.Education \
--name cluster_test3 \
--executor-memory 5g \
--driver-memory 5g \
--executor-cores 4 \
--jars datanucleus-api-jdo-4.2.1.jar,datanucleus-core-4.1.17.jar,datanucleus-rdbms-4.1.17.jar \
/home/hadoop/demos/cucc_model_thrid.jar 20180402 cluster_test3 edu_zcxc_pro zcxc_result

cluster模式提交spark-sql代码的时候还需要提交三个jar包：datanucleus-api-jdo-4.2.1.jar,datanucleus-core-4.1.17.jar,datanucleus-rdbms-4.1.17.jar

而且就是--jars后面的jar包要用","分隔而不是" "（空格）分隔。

2.cluster和client的appName问题

cluster模式appName指定在外部才会生效，如果写到程序里面，是不会生效的。

spark-submit \

--name xxx

3.spark-sql整合hive，使用的是yarn-cluster模式，数据库不存在问题

报错：

解决方法：

在spark-submit命令中添加上hive-site.xml配置文件。

spark-submit \
--master yarn \
--deploy-mode cluster \
--class com.zctt.bigdata.Education \
--name cluster_test19 \
--executor-memory 5g \
--driver-memory 10g \
--executor-cores 4 \
--jars datanucleus-api-jdo-3.2.1.jar,datanucleus-core-3.2.2.jar,datanucleus-rdbms-3.2.1.jar,jdo-api-3.0.1.jar \
--conf spark.driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M" \
--files /usr/local/spark/spark-1.5.0-bin-hadoop2.6/conf/hive-site.xml \
/home/hadoop/demos/cucc_model_thrid.jar 20180402 cluster_test19 edu_zcxc_pro zcxc_result