实践数据湖iceberg 第十九课 flink count iceberg，无结果问题

原创 已于 2022-02-22 20:19:19 修改 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#iceberg #数据湖 #flink

于 2022-02-15 20:51:02 首次发布
本文记录了使用Flink查询Iceberg表时count(*)操作返回无结果的问题，以及通过切换执行模式和尝试Hive、Spark进行计算的解决过程。最终通过Spark成功获取了数据。

系列文章目录

实践数据湖iceberg 第一课 入门
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
实践数据湖iceberg 第五课 hive catalog特点
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决
实践数据湖iceberg 第七课 实时写入到iceberg
实践数据湖iceberg 第八课 hive与iceberg集成
实践数据湖iceberg 第九课 合并小文件
实践数据湖iceberg 第十课 快照删除
实践数据湖iceberg 第十一课 测试分

最低0.47元/天 解锁文章
Flink sql-cli 查询 Iceberg 的坑
skdtr的博客
04-02 2214
sql client 查询 iceberg 的坑
Flink、Iceberg和Hive的Catalog比较研究
Deepexi_Date的博客
02-28 2645
所谓Catalog即数据目录，简单讲，Catalog是企业用于管理数据资产的方式，Catalog借助元数据来管理数据，包括数据收集、组织、访问、发现和治理。可见，Catalog在数据资产管理中处于核心位置。元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flink、Iceberg和Hive，比较维度为Catalog的定义、Catalog的实现和生态拓展几个方面。 Cata
Flink算子count
Qbit编程学习笔记
11-29 1148
这里借助sum来实现count功能,得到的是Tuple2<PO,Integer>,其中PO是groupBy的几个字段,而Integer是count的结果,需要注意的是,会产生多条count记录,从1开始直至最大值 DataStream<Tuple2<PO, Integer>> newStream = stream.map( new MapFunction<PO, Tuple2<PO, Integer>>() {
flink countWindow计算每个学生的总成绩
ASN_forever的博客
06-30 1902
需求 假设学校的财务系统要出一个新功能，类似于年度账单。统计每个学生过去一年往一卡通中的总充值金额。 其实这种需求完全不用开窗，可以直接使用批处理，groupBy()后reduce()即可。 当然，也可以使用流处理通过开窗实现聚合。下面分别介绍。 批处理 public static void main(String[] args) throws Exception { ExecutionEnvironment env = ExecutionEnvironment.getExecu
数据湖Iceberg-FlinkSQL-kafka类型表数据无法成功写入(6)
jast
04-24 805
数据湖Iceberg-FlinkSQL-kafka类型表数据无法成功写入版本问题问题原因解决方法。Kafka类型的Iceberg表创建完成后，通过语句写入其他表中执行成功，但是没数据。如果都在我们自己创建的catalog下创建，则执行。下,否则kafka类型的表读取不到数据。下，写入数据的表在我们自己创建的。查看表中数据可以看到写入成功。所以这里我们kafka表在。查看表中数据,发现修改成功。当前版本的BUG（存疑），数据库(命名空间)为。Kafka表必须要在。
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
spark_dev的博客
02-18 3621
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果
spark_dev的博客
04-01 2483
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启
spark_dev的博客
02-23 4780
成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试 实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第十五课 spark3安装与集成iceberg0.13 (jersey包冲突，安装完成)
spark_dev的博客
02-13 2995
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
Flink+iceberg环境搭建以及问题处理
joniers的博客
05-11 9846
Flink+iceberg+hive环境搭建 概述 作为实时计算的新贵，Flink受到越来越多公司的青睐，它强大的流批一体的处理能力可以很好地解决流处理和批处理需要构建实时和离线两套处理平台的问题，可以通过一套Flink处理完成，降低成本，Flink结合数据湖的处理方式可以满足我们实时数仓和离线数仓的需求，构建一套数据湖，存储多样化的数据，实现离线查询和实时查询的需求。目前数据湖方面有Hudi和Iceberg，Hudi属于相对成熟的数据湖方案，主要用于增量的数据处理，它跟spark结合比较紧密，Flink结
flink任务常见报错及解决办法
热门推荐
yiweiyi329的博客
08-06 4万+
1、flink任务无法从checkpoint启动 场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。 场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。 报错如下： java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.
数据湖Iceberg-Hive集成Iceberg(3)
jast
04-24 1570
这种情况下不能使用Iceberg的分区转换，例如：days(timestamp)，如果想要使用Iceberg格式表的分区转换标识分区，需要使用Spark或者Flink引擎创建表。修改hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包。的hive-interactive-env template和hive-env template中搜索HIVE_AUX_JARS_PATH,被配置我们引用的包。
iceberg学习笔记（2）—— 与Hive集成
WHY的博客
11-20 2346
本文介绍了iceberg框架如何与hive进行集成
FlinkSQL写入iceberg—Windows环境下
长臂人猿的博客
06-15 1335
FlinkSQL写入iceberg的demo，Windows环境下。Flink运行版本13.1，iceberg依赖版本：1.0.0。
iceberg报错 三：出现资源问题
weixin_43446246的博客
10-17 701
flink资源问题
Iceberg学习日记(1) 定位两个线上Iceberg查不到文件的问题
m0_37053048的博客
04-25 3697
前言 Iceberg是我们去年年底(2020)开始调研，目前上线了130多张表。主要用于流量日志清洗，数据报表，推荐特征基础数据。至今为也算是积累了一些使用及定位问题经验。 这篇文章会介绍两个线上Iceberg表查不到数据/快照文件的问题，希望对大家有帮助。 一.Rewrite操作有可能会误删数据文件 现象: ​ 如图: 线上一张Iceberg表的合并任务运行一段时间后开始报错找不到数据文件。 当时找到运维查看删文件的用户和机器，定位出来是合并文件程序所在的机器。最后在合并任务日志中发现了这个异.
Flink 写入Hive 查询不到数据
weixin_45592182的博客
02-16 1053
flink/hive
WARN HiveConf: HiveConf of name hive.metastore.local does not exist注意事项
微电子学与固体电子学-俞驰
07-22 7095
WARN HiveConf: HiveConf of name hive.metastore.local does not exist 解决方案是： &lt;property&gt;  &lt;name&gt;hive.metastore.local&lt;/name&gt;   &lt;value&gt;false&lt;/value&gt;   &lt;description&gt;...
flink sql 知其所以然（十）：大家都用 cumulate window 计算累计指标啦
qq_34608620的博客
11-21 4071
想啥呢，小宝贝，还不三连？？？（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇源码公众号后台回复1.13.2 cumulate window 的奇妙解析之路获取。此节就是窗口聚合章节的第三篇，上节介绍了 1.13 window tvf tumble window 实现，本节主要介绍 1.13. window tvf 的一个重磅更新，即 cumulate window。本节从以下几个章节给大家详细介绍 cumulate window 的能
Flink如何通过Iceberg表格式实现实时数据与Hive历史数据的ACID合并？
最新发布
09-19
<think> 我们正在讨论如何通过Flink和Iceberg实现实时数据与Hive历史数据的ACID合并。根据引用内容，Iceberg支持高频率的增量写入（如每分钟甚至30秒），而Hive的增量写入通常以partition为单位且时间间隔较长（15分钟以上），频繁写入会导致partition膨胀问题。因此，使用Iceberg可以避免这个问题，同时实现流批一体的数据处理。 关键点： 1. **ACID合并**：Iceberg支持ACID事务，这意味着在合并实时数据和历史数据时，可以保证操作的原子性、一致性、隔离性和持久性。 2. **Flink写入Iceberg**：Flink可以通过Iceberg的Sink将实时数据写入Iceberg表。 3. **与Hive历史数据合并**：Iceberg表格式可以兼容Hive，因此我们可以将Hive表迁移到Iceberg表，或者创建新的Iceberg表，然后通过Flink将实时数据写入同一个Iceberg表，从而实现实时数据与历史数据的合并。 具体步骤： ### 1. **创建Iceberg Catalog（引用[4]）** 首先，我们需要创建一个Iceberg Catalog，它将Iceberg表与Hive Metastore关联起来。这样，Hive就可以查询Iceberg表。 在Flink SQL中创建Catalog的示例： ```sql CREATE CATALOG iceberg_catalog WITH ( 'type'='iceberg', 'catalog-type'='hive', 'warehouse'='hdfs://localhost/user/hive/warehouse', 'uri'='thrift://localhost:9083' ); ``` 这个Catalog会使用Hive Metastore（通过Thrift连接）来管理表，并且数据存储在HDFS的指定路径下。 ### 2. **将Hive表迁移为Iceberg表（可选）** 如果已有Hive表，我们可以将其迁移为Iceberg表格式。Iceberg提供了迁移工具（如`spark-sql`或`flink`）来执行此操作。迁移后，原有的Hive表数据就可以被Iceberg管理。 或者，我们可以创建一个新的Iceberg表，然后通过ETL将Hive历史数据导入到这个Iceberg表中。 ### 3. **使用Flink写入实时数据到Iceberg表** 在Flink中，我们可以通过SQL或DataStream API将实时数据写入Iceberg表。以Flink SQL为例： ```sql -- 使用上面创建的Catalog USE CATALOG iceberg_catalog; -- 创建Iceberg表（如果尚未存在） CREATE TABLE IF NOT EXISTS my_table ( id INT, name STRING, event_time TIMESTAMP, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'format-version'='2', 'write.upsert.enabled'='true' ); -- 从Kafka读取实时数据（举例） CREATE TABLE kafka_source ( id INT, name STRING, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'test_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json' ); -- 将实时数据写入Iceberg表（UPSERT操作） INSERT INTO my_table SELECT id, name, event_time FROM kafka_source; ``` 注意： - 在创建Iceberg表时，我们启用了`write.upsert.enabled`，这允许我们根据主键（这里是`id`）进行更新插入（UPSERT）操作。 - 通过这种方式，当实时数据到来时，如果表中已存在相同的`id`，则会更新该行数据（根据主键合并），否则插入新行。 ### 4. **ACID合并的实现** Iceberg通过以下机制实现ACID： - **原子性（Atomicity）**：每次写入会生成一个新的快照（snapshot），提交操作是原子性的，即要么整个快照生效，要么不生效。 - **一致性（Consistency）**：每个快照都包含完整的数据文件列表，确保查询只能看到已提交的快照。 - **隔离性（Isolation）**：写操作不会阻塞读操作，读操作总是读取最近已提交的快照。Iceberg支持快照隔离（Snapshot Isolation）。 - **持久性（Durability）**：数据文件一旦写入不可变，元数据存储在可靠的存储（如HDFS）中。 因此，当Flink作业持续写入实时数据时，每个检查点（Checkpoint）都会提交一个新的Iceberg快照，从而实现实时数据的增量合并。同时，历史数据（已经存在于Iceberg表中的数据）不会被覆盖，而是通过快照机制保留历史版本。 ### 5. **小文件合并（引用[3]）** 在实时写入过程中，可能会产生大量小文件，Iceberg提供了小文件合并的机制。我们可以通过执行`OPTIMIZE`命令（或者通过Flink Action）来合并小文件： ```sql CALL iceberg_catalog.system.rewrite_data_files('my_table'); ``` 需要注意的是，合并小文件是一个后台操作，它不会影响数据的实时写入（除非提交被阻塞，如引用[3]提到的，这是社区正在优化的问题）。 ### 6. **查询数据** 由于Iceberg表已经注册到Hive Metastore，因此可以通过Hive、Spark、Flink或Presto等引擎查询数据。例如，在Hive中： ```sql SELECT * FROM my_table; ``` 查询将返回实时数据与历史数据合并后的结果。 总结：通过Flink将实时数据以UPSERT方式写入Iceberg表，Iceberg的ACID特性和快照机制保证了实时数据与历史数据的合并是可靠且一致的。同时，Iceberg支持高频率的增量写入，避免了Hive分区膨胀的问题。 引用： - Iceberg支持高频率写入（对比Hive）[^1] - Flink+Iceberg实现流式入湖[^2] - 小文件合并的优化[^3] - 创建Iceberg Catalog[^4] §§相关问题§§ 1. Flink写入Iceberg时如何避免小文件问题？ 2. Iceberg表如何支持时间旅行（Time Travel）查询？ 3. 在Flink中如何配置Iceberg Sink以实现Exactly-Once语义？ </think> ### Flink通过Iceberg实现实时数据与Hive历史数据ACID合并的方法 #### 一、核心原理：Iceberg的ACID能力 Iceberg通过**原子性快照（Atomic Snapshots）** 和**乐观并发控制（OCC）** 实现ACID事务： 1. **原子提交** 每次写入生成新数据文件，仅当元数据文件提交成功时新数据才可见 $$ \text{Commit Sequence} = \text{BaseMetadata} + \Delta\text{Files} \rightarrow \text{NewSnapshot} $$ 2. **快照隔离** 查询始终读取完整快照，写入冲突时自动重试（如引用[3]提到的commit优化）[^3] #### 二、实施步骤 ##### 步骤1：创建统一Catalog（引用[4]） ```sql CREATE CATALOG iceberg_catalog WITH( 'type'='iceberg', 'catalog-type'='hive', 'warehouse'='hdfs:///user/hive/warehouse', 'uri'='thrift://hive-metastore:9083' ) ``` 此Catalog使Iceberg表在Hive中可见，实现历史数据兼容[^4] ##### 步骤2：Hive历史表迁移为Iceberg格式 ```bash # 使用Spark迁移（保留原有分区） spark.sql( "CALL spark_catalog.system.migrate('old_hive_db.history_table')" ) ``` 迁移后原Hive查询不受影响，但获得ACID能力（如引用[1]对比所示）[^1] ##### 步骤3：Flink实时写入设计 ```java // 启用UPSERT模式（主键合并） Table icebergTable = tableEnv.from("iceberg_catalog.db.realtime_table") .createTemporaryTable("realtime_view"); tableEnv.executeSql( "INSERT INTO iceberg_catalog.db.unified_table " + "SELECT user_id, event_time, data FROM kafka_source " + "/* 自动合并重复主键 */"); ``` 关键配置： ```properties write.upsert.enabled=true # 启用主键更新 write.format.parquet.compression=zstd ``` #### 三、流批数据合并机制 1. **增量合并流程** ```mermaid graph TB Hive[历史数据] -->|迁移| IcebergTable Flink[实时流] -->|UPSERT写入| IcebergTable IcebergTable -->|快照S1| Query1[批查询] IcebergTable -->|快照S2| Query2[流查询] ``` 2. **一致性保障** - **版本对齐**：批处理读取固定快照（`snapshot-id=12345`） - **流式增量**：Flink通过`flink.iceberg.writer-mode=append-only`追加变更 - **自动合并**：后台任务压缩小文件（引用[3]优化点）[^3] #### 四、实践案例：用户行为分析 **场景**：合并Hive中的历史订单与实时点击流 ```sql -- 创建统一视图（Iceberg V2格式） CREATE TABLE unified_user_behavior ( user_id BIGINT PRIMARY KEY NOT ENFORCED, historical_orders INT, realtime_clicks INT ) WITH ('format-version'='2'); -- 批量导入历史数据（Hive→Iceberg） INSERT INTO unified_user_behavior SELECT user_id, COUNT(*) AS historical_orders, 0 FROM hive_catalog.orders GROUP BY user_id; -- 流式更新实时行为 INSERT INTO unified_user_behavior SELECT user_id, 0, COUNT(*) FROM kafka_clicks_stream GROUP BY user_id; ``` #### 五、性能优化建议 1. **分区策略** 混合分区提升查询效率： ```sql PARTITIONED BY ( days(ts), -- 时间分区 bucket(16, user_id) -- 哈希分桶 ) ``` 2. **小文件治理** - 定时执行合并（引用[3]社区方案） ```python # 每小时合并小文件 from pyiceberg.operations import RewriteDataFiles RewriteDataFiles().execute(table) ``` - Flink Checkpoint时触发合并（`commit.manifest.target-size-bytes=33554432`） 3. **查询加速** ```sql -- 时间旅行查询历史状态 SELECT * FROM unified_table FOR SYSTEM_VERSION AS OF 123456 -- 指定快照ID ``` #### 六、注意事项 1. **元数据管理** Hive Metastore需升级至3.x支持Iceberg（解决`DESCRIBE FORMATTED`兼容问题） 2. **并发控制** 当批处理与流写入并发时，需配置： ```properties commit.retry.num-retries=5 commit.retry.min-wait-ms=1000 ``` > 通过上述方案，可实现分钟级延迟的实时流与TB级历史数据的ACID合并，避免Hive分区膨胀问题（如引用[1]所述）[^1]，同时保障查询一致性[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值