HDP服务器上spark-sql联通hive元数据库

原创 已于 2023-06-14 10:36:45 修改 · 213 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #数据库 #服务器

于 2023-06-14 10:29:02 首次发布
在金山云基于HDP的大数据平台上，遇到一个脚本执行问题，Spark-SQL执行的数据加工脚本无法运行，因为它找不到指定的数据库。检查后发现，通过新打开的session显示的数据库与Hive元数据库不匹配。为了解决这个问题，需要更新`spark2-sql`的`hive-site.xml`配置文件，将`metastore.catalog.default`的值从`spark`改为`hive`，以确保与Hive元数据库同步。

问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过spark-sql执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后 show databases; 发现数据库与hive元数据库不一致；
在这里插入图片描述

解决方法：修改spark2-sql的conf/hive-site.xml中的配置项

# <name>metastore.catalog.default </name>
<value>spark</value>  --> <value>hive</value>

在这里插入图片描述

Hive、Beeline、Spark-SQL、Spark-Shell CLI使用
光于前裕于后的博客
10-29 1499
文章目录1 Hive2 Beeline3 Spark-SQL4 Spark-shell 1 Hive [root@hqc-test-hdp1 ~]# su hdfs [hdfs@hqc-test-hdp1 root]$ cd # 准备数据 [hdfs@hqc-test-hdp1 ~]$ vim phone.txt 1 iphone5 2G 5999.0 2 oneplus 3G 2299.0 3 ...
FineReport连接Hive
wsjslient的博客
04-22 1454
目录前言a. jar包拷贝b. 创建连接 前言 最近项目最后阶段用finereport做报表时，发现部分表需要聚合，这部分数据在M有SQL下的性能让人过于着急。于是干脆连接到hive，直接走MapReduce查询。 a. jar包拷贝 将以下jar包复制FineReport此目录下：${FINEREPORT_HOME}\webapps\webroot\WEB-INF\lib hadoop hadoop-common-2.6.0-cdh5.14.2.jar hive hive-jdbc-1.1
Spark SQL1.2与HDP2.2结合
diaomu5377的博客
05-02 139
1.hbase相同的rowkey里存在多条记录问题的调研解决方案 VERSIONS => 3，Hbaseversion最多插入三条记录 将一个集群hbase中表 "VerticalDataTable" 数据插入另一张表时遇到问题,本来有十几个版本，但是只插入了3个版本（还是可以插入成功） 搜索后发现是因为在建表的时候，VERSIONS => 3默认为3，VERSI...
Spark Sql快速入门
Stay Focused And Work Hard !!!
08-12 1353
注：笔者环境 hdp2.5 + linux + spark1.6.3 一. Spark SQL简介 Spark SQL是一个用来处理结构化数据的Spark组件。 可被视为一个分布式的SQL查询引擎，并且提供了一个叫做DataFrame的可编程抽象数据模型。 Spark SQL可以直接处理RDD，也可以处理Parquet文件或者JSON文件，甚至可以处理外部数据库（关系型数据库一样支持...
Spark SQL简单操作演示（含导出表）
热门推荐
光于前裕于后的博客
05-15 2万+
Spark SQL前身是Shark，由于Shark对于Hive的太多依赖制约了Spark的发展，Spark SQL由此产生。 Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQL/HQL
Ambari2.7+HDP3.0.1 Spark读取Hive数据
南山南的Python和大数据学习笔记
03-30 2183
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~ Python大数据与SQL优化笔 QQ群：771686295 下面说说Ambari2.7+HDP3.0.1 Spark读取Hive数据设置的一些坑，因为最近有人遇到和我同意的问题，所以这里记录下，希望如果有人用和我一样的大数据环境，别再踩这个坑。 Spark Shell...
HDP 下 SPARK2 与 Phoenix 的整合
BalaBalaYi的博客
09-08 2207
环境： 操作系统：Centos7.2 1511 Ambari：2.6.2.0 HDP：2.6.5.0 Spark：2.x (HDP) Phoenix：4.7.x (HDP)   条件： 1. HBase 安装完成； 2. Phoenix已经启用，ambari界面如下所示： 3. Spark2 安装完成。   配置方式： 方式一 1. 进入 Ambari Spark2...
spark sql读取hive底层_Spark-SQL读不到Hive数据库的新坑指北
weixin_35215225的博客
12-30 2965
背景本文讲的是spark-sql这个命令行工具读取hive数据的情况：Spark是2.3.1，HDP发行版Hive是3.1.0，HDPSparkSQL和Hive3的交互问题，用Sparksql读取处理hive中已存在的表数据但读取不到hive的database顺便，SparkSQL读取不了hive内部表，可以读hive外表的数据，文末有解决方案刚开始熟悉Spark与hive3.x的交互，搜索了一番...
Spark-Hdp Ambari集成Hive配置
qq_42828748的博客
04-26 901
AmbariHdpHiveSparkHdp、Spark、Hive 在安装OK后 1. Hive各层的库要建好 Hive各层要建好后，才会在Hdfs生成相关各层的目录，后面配置Spark访问Hive的目录，要保证这个目录存在包装xx/managed/hive目录存在 1.修改spark配置： Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置：/us
spark-sql 指定metastore地址、读取mysql
javaMylife的博客
08-01 1068
​ spark-sql --database src --hiveconf hive.metastore.uris=thrift://hdp02:9083 -e "select * from src_db2" --driver-java-options '-Djava.net.preferIPv4Stack=true'
spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路
weixin_34954140的博客
12-29 1763
在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...
精选资源
HDP3.1.5源码下载—hadoop hbase hive
02-17
其他如Kafka（发布/订阅消息系统）、Atlas（元数据管理）、Zookeeper（分布式协调服务）、Phoenix（HBase上的SQL层）和Tez（Hadoop上的任务执行框架）也是HDP的重要组成部分，它们的源代码文件可以帮助开发者深入...
spark-1.6.0-bin-hadoop2.6.tgz
07-13
- **Spark SQL**：Spark的SQL模块，支持使用SQL查询DataFrame，同时兼容Hive的元数据和SQL语法。 - **Spark Streaming**：用于实时流数据处理，通过将数据流划分为微批次进行处理。 - **MLlib**：机器学习库，包含...
IDEA Windows下Spark连接Hive
wsjslient的博客
11-21 2179
IDEA Windows下SPARK连接Hive
Hive数据倾斜总结
wsjslient的博客
03-02 1988
这里写目录标题前言一、什么是Hive的数据倾斜二、发生数据倾斜的原因三、如何解决不同类型的数据倾斜 前言         数据倾斜是大数据处理不可避免会遇到的问题，那么在Hive中数据倾斜又是如何导致的？通过本片本章，你可以清楚的认识为什么Hive中会发生数据倾斜；发生数据倾斜时我们又该用怎么的方案去解决不同的数据倾斜问题。 一、什么是Hive的数据倾斜       
Hive函数整理—Hadoop生态圈（七）
wsjslient的博客
11-11 1689
函数目录查看函数用法数学函数集合函数类型转换日期函数字符串函数 查看函数用法        desc function extended FUNC_NAME; desc function extended FUNC_NAME; 数学函数 集合函数 类型转换 日期函数 字符串函数 PS：作者是一枚刚入编程的小白，如果有写错或者写的不好的地方，欢迎各位大佬在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点
Linux Hadoop平台伪分布式安装(Hive on Spark)
wsjslient的博客
11-09 1370
Hadoop大数据平台伪分布式安装
Zeppelin安装&使用Hive
wsjslient的博客
11-12 653
PS：        Zeppelin中使用Hive，请先安装好hadooph&Hive,并且启动Hadoop的服务&Hive的数据仓库服务必须启动才可以正常使用Zepppelin！        Hadoop安装地址：https://blog.youkuaiyun.com/wsjslient/article/details/109603446  &nbs
Hive基础—Hadoop生态圈（五）
wsjslient的博客
11-19 556
博客目录前言（Hive产生背景）一、Hive的定义二、Hive的优点&缺点a、Hive的优点b、Hive的缺点 前言（Hive产生背景） &mapreduce编程的不便性、代码量较大 hdfs上的文件缺少schema，hdfs你存一个文件上去仅仅只是一个文件，对于schema可以这么理解，关系型数据库我们创建一张表，你要指定表名、制定列的名称、类型，这些就叫做schema，而hdfs上面是没有schema 的，那么就没有办法通过sql的方式来对分布式文件系统上的数据查询，那么这样子的话你
第一步就不行了 [root@hw-cdh-3 bin]# spark-sql --packages org.apache.iceberg:iceberg-spark3-runtime:1.3.0 > --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions > --conf spark.sql.catalog.hive_cat=org.apache.iceberg.spark.SparkCatalog > --conf spark.sql.catalog.hive_cat.type=hive > --conf spark.sql.catalog.hive_cat.uri=thrift://hive-metastore-host:9083 > --conf spark.sql.catalog.hive_cat.warehouse=obs://secp-cdh/iceberg/sebu/iceberg_hive_sebu/test_lujing_042 -bash: spark-sql: 未找到命令 [root@hw-cdh-3 bin]#
最新发布
04-28
--conf spark.sql.catalog.hive_cat.uri=thrift://hive-metastore-host:9083 \ --conf spark.sql.catalog.hive_cat.warehouse=obs://secp-cdh/iceberg/sebu/iceberg_hadoop_sebu/test_lujing_0425 ``` #### 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值