HDP服务器上spark-sql联通hive元数据库

原创 已于 2023-06-14 10:36:45 修改 · 213 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #数据库 #服务器

于 2023-06-14 10:29:02 首次发布
在金山云基于HDP的大数据平台上，遇到一个脚本执行问题，Spark-SQL执行的数据加工脚本无法运行，因为它找不到指定的数据库。检查后发现，通过新打开的session显示的数据库与Hive元数据库不匹配。为了解决这个问题，需要更新`spark2-sql`的`hive-site.xml`配置文件，将`metastore.catalog.default`的值从`spark`改为`hive`，以确保与Hive元数据库同步。

问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过spark-sql执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后 show databases; 发现数据库与hive元数据库不一致；
在这里插入图片描述

解决方法：修改spark2-sql的conf/hive-site.xml中的配置项

# <name>metastore.catalog.default </name>
<value>spark</value>  --> <value>hive</value>

在这里插入图片描述

Hive、Beeline、Spark-SQL、Spark-Shell CLI使用
光于前裕于后的博客
10-29 1499
文章目录1 Hive2 Beeline3 Spark-SQL4 Spark-shell 1 Hive [root@hqc-test-hdp1 ~]# su hdfs [hdfs@hqc-test-hdp1 root]$ cd # 准备数据 [hdfs@hqc-test-hdp1 ~]$ vim phone.txt 1 iphone5 2G 5999.0 2 oneplus 3G 2299.0 3 ...
FineReport连接Hive
wsjslient的博客
04-22 1454
目录前言a. jar包拷贝b. 创建连接 前言 最近项目最后阶段用finereport做报表时，发现部分表需要聚合，这部分数据在M有SQL下的性能让人过于着急。于是干脆连接到hive，直接走MapReduce查询。 a. jar包拷贝 将以下jar包复制FineReport此目录下：${FINEREPORT_HOME}\webapps\webroot\WEB-INF\lib hadoop hadoop-common-2.6.0-cdh5.14.2.jar hive hive-jdbc-1.1
Spark SQL1.2与HDP2.2结合
diaomu5377的博客
05-02 139
1.hbase相同的rowkey里存在多条记录问题的调研解决方案 VERSIONS => 3，Hbaseversion最多插入三条记录 将一个集群hbase中表 "VerticalDataTable" 数据插入另一张表时遇到问题,本来有十几个版本，但是只插入了3个版本（还是可以插入成功） 搜索后发现是因为在建表的时候，VERSIONS => 3默认为3，VERSI...
Spark Sql快速入门
Stay Focused And Work Hard !!!
08-12 1353
注：笔者环境 hdp2.5 + linux + spark1.6.3 一. Spark SQL简介 Spark SQL是一个用来处理结构化数据的Spark组件。 可被视为一个分布式的SQL查询引擎，并且提供了一个叫做DataFrame的可编程抽象数据模型。 Spark SQL可以直接处理RDD，也可以处理Parquet文件或者JSON文件，甚至可以处理外部数据库（关系型数据库一样支持...
Spark SQL简单操作演示（含导出表）
热门推荐
光于前裕于后的博客
05-15 2万+
Spark SQL前身是Shark，由于Shark对于Hive的太多依赖制约了Spark的发展，Spark SQL由此产生。 Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，SerDe，以及HiveQL/HQL
Ambari2.7+HDP3.0.1 Spark读取Hive数据
南山南的Python和大数据学习笔记
03-30 2183
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~ Python大数据与SQL优化笔 QQ群：771686295 下面说说Ambari2.7+HDP3.0.1 Spark读取Hive数据设置的一些坑，因为最近有人遇到和我同意的问题，所以这里记录下，希望如果有人用和我一样的大数据环境，别再踩这个坑。 Spark Shell...
HDP 下 SPARK2 与 Phoenix 的整合
BalaBalaYi的博客
09-08 2207
环境： 操作系统：Centos7.2 1511 Ambari：2.6.2.0 HDP：2.6.5.0 Spark：2.x (HDP) Phoenix：4.7.x (HDP)   条件： 1. HBase 安装完成； 2. Phoenix已经启用，ambari界面如下所示： 3. Spark2 安装完成。   配置方式： 方式一 1. 进入 Ambari Spark2...
spark sql读取hive底层_Spark-SQL读不到Hive数据库的新坑指北
weixin_35215225的博客
12-30 2965
背景本文讲的是spark-sql这个命令行工具读取hive数据的情况：Spark是2.3.1，HDP发行版Hive是3.1.0，HDPSparkSQL和Hive3的交互问题，用Sparksql读取处理hive中已存在的表数据但读取不到hive的database顺便，SparkSQL读取不了hive内部表，可以读hive外表的数据，文末有解决方案刚开始熟悉Spark与hive3.x的交互，搜索了一番...
Spark-Hdp Ambari集成Hive配置
qq_42828748的博客
04-26 901
AmbariHdpHiveSparkHdp、Spark、Hive 在安装OK后 1. Hive各层的库要建好 Hive各层要建好后，才会在Hdfs生成相关各层的目录，后面配置Spark访问Hive的目录，要保证这个目录存在包装xx/managed/hive目录存在 1.修改spark配置： Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置：/us
spark-sql 指定metastore地址、读取mysql
javaMylife的博客
08-01 1068
​ spark-sql --database src --hiveconf hive.metastore.uris=thrift://hdp02:9083 -e "select * from src_db2" --driver-java-options '-Djava.net.preferIPv4Stack=true'
spark sql读取hive底层_原创-spark sql 写入hive较慢优化思路
weixin_34954140的博客
12-29 1763
在《spark sql 写入hive较慢原因分析》中已经分析了spark sql 写入hive分区文件慢的原因，笔者提供几种优化思路供参考：(1)spark 直接生成hive库表底层分区文件，然后再使用add partion语句添加分区信息spark.sql(s"alter table legend.test_log_hive_text add partition (name_par='${dir...
HDP3.1.5源码下载—hadoop hbase hive
02-17
其他如Kafka（发布/订阅消息系统）、Atlas（元数据管理）、Zookeeper（分布式协调服务）、Phoenix（HBase上的SQL层）和Tez（Hadoop上的任务执行框架）也是HDP的重要组成部分，它们的源代码文件可以帮助开发者深入...
spark-1.6.0-bin-hadoop2.6.tgz
07-13
- **Spark SQL**：Spark的SQL模块，支持使用SQL查询DataFrame，同时兼容Hive的元数据和SQL语法。 - **Spark Streaming**：用于实时流数据处理，通过将数据流划分为微批次进行处理。 - **MLlib**：机器学习库，包含...
IDEA Windows下Spark连接Hive
wsjslient的博客
11-21 2179
IDEA Windows下SPARK连接Hive
Hive数据倾斜总结
wsjslient的博客
03-02 1988
这里写目录标题前言一、什么是Hive的数据倾斜二、发生数据倾斜的原因三、如何解决不同类型的数据倾斜 前言         数据倾斜是大数据处理不可避免会遇到的问题，那么在Hive中数据倾斜又是如何导致的？通过本片本章，你可以清楚的认识为什么Hive中会发生数据倾斜；发生数据倾斜时我们又该用怎么的方案去解决不同的数据倾斜问题。 一、什么是Hive的数据倾斜       
Hive函数整理—Hadoop生态圈（七）
wsjslient的博客
11-11 1689
函数目录查看函数用法数学函数集合函数类型转换日期函数字符串函数 查看函数用法        desc function extended FUNC_NAME; desc function extended FUNC_NAME; 数学函数 集合函数 类型转换 日期函数 字符串函数 PS：作者是一枚刚入编程的小白，如果有写错或者写的不好的地方，欢迎各位大佬在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点
Linux Hadoop平台伪分布式安装(Hive on Spark)
wsjslient的博客
11-09 1370
Hadoop大数据平台伪分布式安装
Zeppelin安装&使用Hive
wsjslient的博客
11-12 653
PS：        Zeppelin中使用Hive，请先安装好hadooph&Hive,并且启动Hadoop的服务&Hive的数据仓库服务必须启动才可以正常使用Zepppelin！        Hadoop安装地址：https://blog.youkuaiyun.com/wsjslient/article/details/109603446  &nbs
Hive基础—Hadoop生态圈（五）
wsjslient的博客
11-19 556
博客目录前言（Hive产生背景）一、Hive的定义二、Hive的优点&缺点a、Hive的优点b、Hive的缺点 前言（Hive产生背景） &mapreduce编程的不便性、代码量较大 hdfs上的文件缺少schema，hdfs你存一个文件上去仅仅只是一个文件，对于schema可以这么理解，关系型数据库我们创建一张表，你要指定表名、制定列的名称、类型，这些就叫做schema，而hdfs上面是没有schema 的，那么就没有办法通过sql的方式来对分布式文件系统上的数据查询，那么这样子的话你
第一步就不行了 [root@hw-cdh-3 bin]# spark-sql --packages org.apache.iceberg:iceberg-spark3-runtime:1.3.0 > --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions > --conf spark.sql.catalog.hive_cat=org.apache.iceberg.spark.SparkCatalog > --conf spark.sql.catalog.hive_cat.type=hive > --conf spark.sql.catalog.hive_cat.uri=thrift://hive-metastore-host:9083 > --conf spark.sql.catalog.hive_cat.warehouse=obs://secp-cdh/iceberg/sebu/iceberg_hive_sebu/test_lujing_042 -bash: spark-sql: 未找到命令 [root@hw-cdh-3 bin]#
最新发布
04-28
<think>好的，我现在要解决用户的问题。用户在执行创建Iceberg分区表的第一步时遇到了“未找到命令”的错误，提示是`-bash: spark-sql: 未找到命令`。用户需要确认spark-sql是否安装、路径是否正确以及命令格式是否符合要求，同时正确配置Spark SQL以使用Iceberg和Hive Catalog，并明确在哪种CLI中执行命令。 首先，我需要理解用户的环境。用户之前提供的步骤中使用了Spark SQL命令行工具（spark-sql）来启动会话，并加载Iceberg的依赖。然而，用户现在遇到了命令未找到的问题，这说明可能Spark没有正确安装，或者环境变量没有配置好。 接下来，我需要考虑可能的原因。首先，用户可能没有安装Spark，或者安装路径不在系统的PATH环境变量中。这时候，用户需要确认Spark的安装位置，并确保可执行文件路径被正确添加到PATH中。例如，如果Spark安装在/opt/spark目录下，用户需要将/opt/spark/bin添加到PATH中。 另一个可能性是用户虽然安装了Spark，但使用的是不同的发行版或版本，可能没有包含spark-sql这个命令行工具。比如，某些Spark发行版可能需要单独安装或者通过其他方式启动。此外，用户可能是在错误的CLI中执行命令，比如在Hive CLI或Linux shell中直接运行spark-sql，而没有正确启动Spark的环境。 然后，用户提到的Docker Compose环境和引用内容显示，他们可能在一个容器化的环境中尝试运行这些命令。引用[1]提到使用Docker Compose来运行Spark和Postgres，而引用[2]中的Dockerfile显示用户可能自定义了Spark镜像，添加了MinIO证书和相关的JAR包。这可能意味着用户需要确保在Docker容器内部正确配置Spark的环境，并且容器中已经安装了spark-sql工具。 此外，用户之前的问题中使用了Hive Catalog，并指向OBS存储，这需要Hadoop的OBS文件系统配置正确，包括相关的JAR包和认证信息。但当前问题更侧重于Spark CLI的执行问题，而不是存储配置。 接下来，我需要思考解决方案的步骤。首先，用户需要确认Spark是否正确安装，并找到spark-sql的可执行文件路径。如果使用Docker环境，可能需要进入容器内部执行命令，或者确保Dockerfile中正确安装了Spark并配置了PATH。 可能的解决步骤包括： 1. 检查Spark安装：确认Spark是否已安装，并且spark-sql存在于安装目录的bin文件夹中。 2. 设置环境变量：将Spark的bin目录添加到PATH中，或者使用绝对路径执行spark-sql命令。 3. 验证Docker环境：如果在Docker容器中运行，确保容器内正确安装了Spark，并且相关依赖如Iceberg的JAR包已正确添加。 4. 使用正确的CLI：明确应该在Spark CLI中执行命令，而不是Hive CLI或普通的Linux shell。 5. 调整启动命令：可能需要使用spark-submit或者其他Spark命令来启动，或者确保所有依赖项通过--packages正确加载。 同时，用户之前提供的启动命令中包含了多个配置参数，比如--packages加载Iceberg依赖，以及各种spark.sql.catalog的配置。用户需要确保这些配置正确，特别是版本兼容性，比如Iceberg的版本是否与Spark版本匹配。例如，用户之前使用的iceberg-spark3-runtime:1.3.0可能与Spark 3.5.0存在兼容性问题，需要确认版本是否对应。 另外，用户的环境提示未找到命令，可能需要检查是否在正确的用户权限下执行，或者是否有执行权限的问题。比如，某些安装可能需要root权限或者特定用户才能访问spark-sql。 在引用内容中，用户提到了Dockerfile中添加了证书和JAR包，这可能影响到Spark的环境配置。如果用户是在自定义的Docker镜像中运行，需要确认镜像构建过程中Spark的安装是否正确，并且PATH变量是否已包含Spark的bin目录。 总结来说，用户的问题主要集中在环境配置和命令执行路径上。需要引导用户检查Spark的安装情况，环境变量的配置，以及确保在正确的CLI环境中执行命令。同时，可能需要调整启动命令，使用绝对路径或确保依赖项正确加载。</think>以下是分步骤解决方案，针对Spark环境配置和CLI执行问题： ### 一、环境诊断与路径确认 #### 1. 检查Spark安装状态 ```bash # 查找spark安装路径（通常在/opt/spark或/usr/local/spark） find / -name "spark-sql" 2>/dev/null # 若使用CDH/HDP发行版，检查spark2-client包是否安装 rpm -qa | grep spark2-client ``` #### 2. 验证环境变量配置 ```bash # 临时添加spark路径到PATH（假设spark安装在/opt/spark） export PATH=$PATH:/opt/spark/bin # 永久配置（写入~/.bashrc或/etc/profile） echo 'export PATH=$PATH:/opt/spark/bin' >> ~/.bashrc source ~/.bashrc ``` ### 二、正确CLI执行方式 #### 1. 在Spark SQL CLI中执行（必须通过spark-sql启动） ```bash # 使用绝对路径启动（注意版本号可能变化） /opt/spark/bin/spark-sql \ --packages org.apache.iceberg:iceberg-spark3-runtime:1.3.0 \ --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \ --conf spark.sql.catalog.hive_cat=org.apache.iceberg.spark.SparkCatalog \ --conf spark.sql.catalog.hive_cat.type=hive \ --conf spark.sql.catalog.hive_cat.uri=thrift://hive-metastore-host:9083 \ --conf spark.sql.catalog.hive_cat.warehouse=obs://secp-cdh/iceberg/sebu/iceberg_hadoop_sebu/test_lujing_0425 ``` #### 2. Docker环境特殊处理（参考引用[1][2]） ```bash # 进入正在运行的spark容器 docker exec -it spark-container /bin/bash # 在容器内执行spark-sql命令（路径根据镜像构建确定） /opt/spark/bin/spark-sql --packages org.apache.iceberg:iceberg-spark3-runtime:1.3.0... ``` ### 三、常见问题解决方案 #### 场景1：未安装spark-sql ```bash # CDH集群安装spark2-client（示例） sudo yum install spark2-client # 独立安装Spark wget https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz tar -xzf spark-3.5.0-bin-hadoop3.tgz sudo mv spark-3.5.0-bin-hadoop3 /opt/spark ``` #### 场景2：依赖包加载失败 ```bash # 手动下载Iceberg依赖（适用于有网络限制的环境） wget https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-spark3-runtime/1.3.0/iceberg-spark3-runtime-1.3.0.jar # 启动时通过--jars参数指定本地路径 spark-sql --jars /path/to/iceberg-spark3-runtime-1.3.0.jar... ``` ### 四、生产级配置建议（基于引用[3]） ```bash # 推荐使用spark-submit方式提交作业（可编写shell脚本） /opt/spark/bin/spark-submit \ --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 \ --packages org.apache.iceberg:iceberg-spark3-runtime:1.3.0 \ --conf spark.sql.catalog.hive_cat.warehouse=obs://your-bucket/path \ --conf spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem \ --conf spark.hadoop.fs.obs.access.key=your_key \ --conf spark.hadoop.fs.obs.secret.key=your_secret \ ... ``` ### 五、验证步骤 ```bash # 步骤1：验证spark-sql可执行性 which spark-sql # 应返回/opt/spark/bin/spark-sql # 步骤2：启动后执行元数据查询 SHOW DATABASES; # 应显示hive_cat下的数据库 # 步骤3：检查OBS文件系统集成 dfs -ls obs://secp-cdh/iceberg/sebu/; # 确认目录可访问 ``` --- ### 关键配置说明表 | 配置项 | 示例值 | 作用 | |--------|--------|------| | spark.sql.extensions | org.apache.iceberg... | 启用Iceberg语法扩展 | | spark.sql.catalog.[名称].type | hive | Catalog类型声明 | | spark.sql.catalog.[名称].uri | thrift://hive:9083 | Hive Metastore地址 | | spark.hadoop.fs.obs.impl | org.apache.hadoop.fs.obs.OBSFileSystem | OBS文件系统实现类[^2] | --- ### 相关问题 1. 如何在不使用`--packages`的情况下预先部署Iceberg依赖？ 2. 当Spark版本与Iceberg版本不兼容时会出现什么典型错误？ 3. 如何通过YARN集群模式运行Iceberg表创建操作？ [^1]: 本地Docker环境仅适用于功能演示，生产环境需要完整Hadoop生态支持 [^2]: OBS证书配置需与存储服务商提供的鉴权方式匹配 [^3]: Iceberg的Data Skipping特性可提升OLAP查询效率
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值