在金山云基于HDP的大数据平台上，遇到一个脚本执行问题，Spark-SQL执行的数据加工脚本无法运行，因为它找不到指定的数据库。检查后发现，通过新打开的session显示的数据库与Hive元数据库不匹配。为了解决这个问题，需要更新`spark2-sql`的`hive-site.xml`配置文件，将`metastore.catalog.default`的值从`spark`改为`hive`，以确保与Hive元数据库同步。
问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过
spark-sql执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后show databases;发现数据库与hive元数据库不一致；
解决方法：修改spark2-sql的conf/hive-site.xml中的配置项
# <name>metastore.catalog.default </name>
<value>spark</value> --> <value>hive</value>
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
