Spark-submit诡异问题之：ERROR XJ040: Failed to start database 'metastore_db'

九师兄

于 2019-07-22 16:44:14 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/96871441

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文记录了一次在CDH集群上提交Spark作业时遇到的元数据库问题，错误信息为ERROR XJ040。问题起因是使用了本地元数据库，每次重启都会新建。解决方案包括在idea中配置Spark SQL连接Hive和在CDH集群上的配置。通过复制hive-site.xml，添加相应依赖，并设置程序参数，实现了本地查询服务器Hive数据。另外，尝试了文件拷贝和软连接的方法来确保集群配置的持久性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

在这里插入图片描述
今天写了一个spark jar包任务，在CDH集群上命令提交

 export HADOOP_USER_NAME=lcc;spark2-submit --class com.dtwave.spark.SparkMain --name structured-stream-test --master yarn --deploy-mode client --queue default ./SparkStructuredPlatform-1.0-SNAPSHOT-jar-with-dependencies.jar  log-level=INFO app-name=lcc master-name=yarn  enable-hive=false input-bootstrap-server=kylin1.dev.local:9092,kylin2.dev.local:9093,kylin3.dev.local:9094 input-topic=topic_lcc input-schema=id,IntegerType#name,StringType#eventTime,StringType sql="select * from record" sink-model=append format=console trigger-mill=10

这样提交不报错，但是因为是程序启动的，app中也是调用上述命令提交，但是报错，错误如下

了解本专栏