数据湖（十）：Hive与Iceberg整合

最新推荐文章于 2024-06-08 10:23:59 发布
最新推荐文章于 2024-06-08 10:23:59 发布
阅读量2.6k 收藏 19
点赞数 18
分类专栏： 数据湖基础+湖仓一体电商项目 文章标签： hive big data hadoop 数据湖 Iceberg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaoweite1/article/details/125397968
版权
本文介绍了如何在Hive3.1.2版本中开启对Iceberg的支持，包括下载并配置iceberg-hive-runtime.jar，修改hive-site.xml，以及在Hive中操作Iceberg格式表的三种方式：默认使用HiveCatalog，使用指定类型的catalog加载，以及通过location加载Iceberg表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Hive与Iceberg整合

一、开启Hive支持Iceberg

1、下载iceberg-hive-runtime.jar

2、配置hive-site.xml

二、​​​​​​​​​​​​​​Hive中操作Iceberg格式表

1、如果没有设置iceberg.catalog属性，默认使用HiveCatalog来加载

2、如果设置了iceberg.catalog对应的catalog名字，就用对应类型的catalog加载

3、如果iceberg.catalog属性设置为“location_based_table”,可以从指定的根路径下加载Iceberg表

Hive与Iceberg整合

Iceberg就是一种表格式，支持使用Hive对Iceberg进行读写操作，但是对Hive的版本有要求，如下：

操作

Hive 2.x
了解本专栏 订阅专栏 解锁全文
数据湖（十七）：Flink与Iceberg整合DataStream API操作
Lansonli（蓝深李）的博客
07-12 1596
文章目录Flink与Iceberg整合DataStream API操作一、DataStream API 实时写入Iceberg表1、首先在Maven中导入以下依赖2、编写代码使用DataStream API将Kafka数据写入到Iceberg表3、在Kafka 中创建代码中指定的“flink-iceberg-topic”并启动代码生产数据4、通过Hive查看保存到Iceberg中的数据二、​​​​​​​DataStream API 批量/实时读取Iceberg表1、批量/全量读取2、实时读取三、​​​​​​
数据湖（十八）：Flink与Iceberg整合SQL API操作
Lansonli（蓝深李）的博客
07-13 1458
文章目录Flink与Iceberg整合SQL API操作一、​​​​​​​SQL API 创建Iceberg表并写入数据1、创建新项目，导入如下maven依赖包2、编写Flink SQL 创建Iceberg表并写入数据3、在Hive中映射Iceberg表并查询二、​​​​​​​​​​​​​​SQL API 批量查询Iceberg表数据三、​​​​​​​​​​​​​​SQL API 实时查询Iceberg表数据四、​​​​​​​​​​​​​​SQL API指定基于快照实时增量读取数据Flink SQL 在操作
iceberg整合hive（从hive读取iceberg表数据）实践02
qq_31866793的博客
04-26 5898
目录 实现目标： 1，创建hadoop catalog 在zeppelin创建hadoop catalog 2，创建基于hadoop_catalog的iceberg表 3,从hadoop_catalog来创建hive表，在hive shell执行 4，向iceberg插入数据验证 5，hive查询 实现目标： 在hive查询iceberg表数据 1，创建hadoop catalog 在zeppelin创建hadoop catalog CREATE CAT...
hive2.1.1+spark3.0+iceberg踩坑日记
qq_33476283的博客
08-10 4436
1、sparkSQL3.0支持iceberg需要引入iceberg-spark3-runtime jar包 iceberg-spark3-runtime-0.11.1.jar 下载地址http://iceberg.apache.org/releases/ 2、修改conf/spark-default.conf文件添加默认iceberg catalog # hive metastore的版本设置为 2.1.1 spark.sql.hive.metastore.version=2...
数据湖之iceberg系列(五)-hive处理iceberg中的数据
HANG.NIAN
12-05 5457
1 将iceberg-hive-runtime-0.10.0.jar包添加到hive的lib包下 , 或者是在客户端使用add jar 添加到项目中 2 设置参数 / 或者在hive-site.xml中设置 3 读取catalog为hadoop的表中的数据 , 需要完成hive表和hadoop表的映射 SET engine.hive.enabled=true; SET iceberg.engine.hive.enabled=true ; CREATE EXTERNAL TABLE tb...
使用Hive SQL查询Iceberg表的正确姿势
None
08-08 2715
本文首发微信公众号：码上观世界Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要...
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
Lansonli（蓝深李）的博客
07-02 2825
文章目录Spark3.1.2与Iceberg0.12.1整合一、​​​​​​​向pom文件导入依赖二、SparkSQL设置catalog配置三、使用Hive Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、删除表四、用Hadoop Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、创建对应的Hive表映射数据5、删除表Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4
数据湖Iceberg-Hive集成Iceberg(3)
jast
04-24 1361
这种情况下不能使用Iceberg的分区转换，例如：days(timestamp)，如果想要使用Iceberg格式表的分区转换标识分区，需要使用Spark或者Flink引擎创建表。修改hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包。的hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包。
[数据湖iceberg]-hive集成数据湖读取数据的正确姿势
HANG.NIAN
03-13 1193
Iceberg作为一种表格式管理规范，其数据分为元数据和表数据。元数据和表数据独立存储，元数据目前支持存储在本地文件系统、HMS、Hadoop、JDBC数据库、AWS Glue和自定义存储。表数据支持本地文件系统、HDFS、S3、MinIO、OBS、OSS等。元数据存储基于HMS比较广泛，在这篇文章中，表数据存储基于MinIO、元数据存储主要基于HMS。
libthrift-0.9.3相关jar包
08-04
libthrift-0.9.3相关jar包 libthrift-0.9.3.java log4j-1.2.17.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.7.jar
libfb303-0.9.0.jar
04-12
工具jar包Thrift is a software framework for scalable cross-language services development.
hive分区表一次性导入ElasticSearch报错
weixin_43854495的博客
05-26 544
hive分区表一次性导入ElasticSearch： 关键字 EsStorageHandler IndexOutOfBoundsException 工作中总会碰到Hive数据导入ElasticSearch，可以写Spark程序读Hive表，再写入ES中。同样，ElasticSearch官方也提供了一个工具，elasticsearch-hadoop.jar工具包，在hive程序中引入该包，就可以创建表与ES相关联，向该表中导入数据，数据就会存入ES中 问题描述 提示：写入过程中报错 IndexOutOfBo
【kyuubi-spark】从0-1部署kyuubi集成spark执行spark sql到k8s读取iceberg的minio数据
最新发布
你的博客
06-08 2865
在初次研究了spark sql，发现没有能实时返回数据的方式，spark更着重于执行任务处理，而对于客户端交互没有很好的支持。在搜索了大量资料及chatgpt的帮助下，找到了用kyuubi驱动sparksql来与客户端交互的方法。
FineReport连接Hive
小小鱼
04-22 1373
FineReport连接Hive和测试 1、准备Hive相关jar包拷贝至FineReport_10.0\webapps\webroot\WEB-INF\lib 参考：D:\Program Files\FineReport_10.0\webapps\webroot\WEB-INF\lib hadoop-common-2.6.0-cdh5.14.2.jar hive-exec-1.1.0-cdh5.14.2.jar hive-jdbc-1.1.0-cdh5.14.2-standalone.jar hive-m
Iceberg从入门到精通系列之二：Iceberg集成Hive
zhengzaifeidelushang的博客
06-22 2880
Hive的元数据服务是一种存储和管理Hive表格和数据定义的中央服务，它允许用户定义表格、分区和桶等元数据信息，并将其存储在Hive元数据存储库中。因此，内部表和外部表的主要区别在于数据和元数据的存储位置和管理方式。内部表由Hive管理数据和元数据，而外部表只由Hive管理元数据，实际的存储数据由外部数据源维护。其中，是HiveServer2服务所在的主机名，是HiveServer2服务监听的端口号，是连接的Hive数据库名，是连接的用户名，是连接的密码。在Hive中，内部表和外部表是两种不同的表格类型。
Kyuubi的介绍优势（官网链接）
qq_43688472的博客
07-19 1897
因此，他们可以使用熟悉的工具专注于自己的业务和数据。一个与 HiveServer2 兼容的接口，允许最终用户使用 thrift 客户端（跨语言支持，tcp 和 http）、基于 thrift的 Java 数据库连接（JDBC）接口或基于 JDBC的开放数据库连接（ODBC）接口。Kyuubi 在各种现代计算框架（例如 Apache Spark、 Flink、 Doris、 Hive和Trino等）之上构建分布式 SQL 查询引擎，以查询来自异构数据源的分布在大量机器上的海量数据集。
Avro下载及使用（序列化，反序列化）
李漂亮的博客
08-30 3695
Avro 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 @ 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该
腾讯数据湖的元数据治理实践：架构与解决方案
数据湖的优势在于其高时效性（如Iceberg和Alluxio）、低成本（COS和Serverless）以及易扩展性（通过存算分离和多样化计算引擎）。 腾讯的数据湖采用了湖仓一体的理念，结合了数据仓库的建模和治理能力以及数据湖的...
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值