hudi系列-增量查询ckp超时

最新推荐文章于 2025-12-02 09:42:37 发布
最新推荐文章于 2025-12-02 09:42:37 发布
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 大数据 数据库 hudi 增量查询
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/130018509
在使用Hudi的增量查询时，首次checkpoint超时，原因是split_reader接收和处理分片速度慢，导致背压。文章分析了MailBox线程模型，提出四种解决方案：提高checkpoint失败容忍次数、增加并行度、缓存所有分片后触发微批读取、控制数据读取速率。

环境

  • hudi 0.11.1
  • flink 1.14.5
  • MOR表，按天分区，约几百个，每个分区下基本只有一个base文件(最近的分区文件也不多)
  • Aligned Checkpoints
  • checkpoint timeout 10 分钟
  • checkpoint interval 1 分钟

首次checkpoint超时报错

Checkpoint expired before completing.

有一个hudi mor表，我们在它上面做实时应用，但要求初始运行时也须要处理历史的全量数据，因此在使用hudi的增量查询时设置了read.start-commit=earliest，在运行10分钟后就超时报错。通过查看checkpoint详情，发现split_monitor很快完成了ckp,但是算子split_reader一直没有响应，所以是它阻塞了checkpoint.

split_reader为什么不checkpoint

通过观察每个算子的输入输出监控信息，split_monitor首次增量查询时产生了约1000+个分片

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-流式增量查询
1032851561的博客
07-29 8481
hudi的两大特性流式查询和支持upsert/delete，hudi的数据变更是基于timeline的，所以时间点(Instant)就成为了实现增量查询的依据。在与flink集成中，当开启了流式读，其实就是一个持续的增量查询的过程，可以通过配置参数read.start-commit和read.end-commit来指定一个无状态的flinkjob的初始查询范围。...............
Flink常见Checkpoint超时问题排查思路
学习使你进步。
08-29 979
然而，在实际的使用中，我们可能会遇到Checkpoint超时的问题，本文将介绍一些常见的Checkpoint超时问题排查思路，并提供相应的源代码示例。通过以上配置，我们设置了Checkpoint的时间间隔为1分钟，执行超时时间为30秒，同时进行的最大Checkpoint数量为2。此外，我们还设置了任务管理器的堆内存大小为1GB，以提供足够的资源支持Checkpoint的执行。通过以上排查思路，我们可以定位并解决Checkpoint超时的问题，提高作业的执行性能和题，提高作业的执行性能和稳定性。
hudi：大数据的增量和增量处理
02-16
阿帕奇·胡迪 Apache Hudi（发音为Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS（云存储，HDFS或任何Hadoop FileSystem兼容存储）上的大型分析数据集的存储。 特征 支持快速插入索引的Upsert 通过回滚支持以原子方式发布数据 作者与查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小，布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型： 快照查询-使用基于列和基于行的存储（例如 + ）的组合，提供实时数据的快照查询。 增量查询-为变更流提供在某个时间点后插入或更新的记录。 读取优化查询-通过纯列存储（例如 ）提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构建Apache Hudi 构建Apach
Hudi系列25: Flink SQL使用checkpoint恢复job异常
只是甲的博客
05-23 2082
如果是整个yarn-session异常，也可以启动yarnsession的时候指定checkpoint。在网上看到的资源都是针对代码级别的，没有看到Flink SQL级别的。对于一些大表，最好还是先通过Spark进行初始化，然后在接增量。把yarn-session的资源由8G提升到16G问题解决。在Flink web界面将Flink SQL任务手工结束掉。Flink可以自己重试，这个还是比较不错，无需人工干预。等mysql启动成功之后，任务又可以继续衔接上。看来是我的checkpoint都没成功。
大数据hudi之集成flink:核心原理分析
weixin_43597208的博客
09-06 498
Hoodie 的数据去重分两步： （1）写入前攒 buffer 阶段去重，核心接口HoodieRecordPayload#preCombine （2）写入过程中去重，核心接口HoodieRecordPayload#combineAndGetUpdateValue。
精选资源
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hudi-bundle-0.12.0.zip
04-25
5. hudi-presto-bundle-0.12.0.jar：Presto是一个为大数据而生的分布式SQL查询引擎，该Jar包提供了与Presto的集成，使得通过Presto对数据湖中的数据执行交互式查询成为可能。 6. hudi-trino-bundle-0.12.0.jar：...
hudi系列-借助hudi优化架构
1032851561的博客
10-27 3303
引入hudi使用整个构架就是变得简单了，可以实现分钟级别的实时数仓，数据统一存储减少一致性的风险
通过Spark操作Hudi(增、删、改、查、增量查)
qq_38304392的博客
02-24 3265
一、概览 Hudi数据湖框架，基于spark计算引擎，对数据进行CRUD操作，使用官方模拟生成出租车出行数据任务一：模拟数据，插入Hudi表，采用COW模式任务二：快照方式查询(Snapshot Query)，采用DSL方式任务三：更新(update)数据任务四：增量查询数据(Incremental Query)，采用SQL方式任务五：删除(Delete)数据 二、cow类型表的操作 ...
VivadoAndTcl: read_checkpoint and open_checkpoint
bzh19940620的博客
01-03 1118
介绍了read_checkpoing和open_checkpoint的区别
Apache Hudi 从入门到放弃(2) —— MOR表的文件结构分析
狄杰的博客
05-02 6586
Apache Hudi 从入门到放弃(1) —— MOR表的文件结构分析 写在开始 本篇带大家分析一下Hudi中MOR表的文件结构 刚开始看Hudi一周，有什么不对的地方欢迎大家指出 事前准备 建表 -- 先准备一张Hudi MOR表 CREATE TABLE hudi_test_dijie( id bigint, dt string, ts TIMESTAMP(3), PRIMARY KEY(id) NOT ENFORCED ) PARTITIONED BY (`dt`) WITH ( 'co
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
从大数据到人工智能的博客
01-23 2884
在文章Flink Table/SQL自定义Sources和Sinks全解析（附代码）中我们说到在Flink Table/SQL中如何自定义Sources和Sinks，有了上述文章的基础，我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。 动态表是自定义sources/sinks的核心，通过查阅源码我们可以知道在flink-hudi子模块中，org.apache.hudi.table.HoodieTableFactory类同时实现了DynamicTableSource
增量处理框架：Hudi
Shine_mmm
12-15 1414
Hudi（Hadoop Upserts and Incrementals）增量处理框架 一、工作原理： DFS上对数据进行索引和布局，分为插入更新和增量拉取。 存储类型： CopyOnWrite（写时复制）： 仅使用列文件格式（parquet）存储数据 在写入过程执行同步合并，并更新版本重写文件。 即使更新一行，都将重写整个parquet文件，文件越大，花费时间越长。 读视图：快照查询、增量查询 MergeOnRead（读时合并）： 使用列式（parquet）加基于行（avro）的文件格式组
Hive增量查询Hudi表
主要分享大数据相关的知识，如Spark、Hudi
06-27 2194
简单总结如何利用Hive增量查询Hudi表我们在写数据时，可以配置同步Hive参数，生成对应的Hive表，用来查询Hudi表，具体来说，在写入过程中传递了两个由命名的Hive表。 例如，如果，我们得到 实现了由 支持的数据集的读优化视图，从而提供了纯列式数据。 实现了由 支持的数据集的实时视图，从而提供了基础数据和日志数据的合并视图。其中实时视图表只有在MOR表同步Hive元数据时才会有按照我之前总结的Apache Hudi 入门学习总结中Hive和Tez部分配置，就可以在Hive命令行里用Hive
【Zookeeper】ZAB协议
qq_43494013的博客
11-28 690
【Zookeeper】ZAB协议
共享出行数字化转型：车辆调度 AI 优化与用户体验数据化迭代实践
最新发布
九河智造云的内容中心
12-02 323
某头部共享出行企业的实践显示，AI 调度系统上线后，车辆应答率提升 40%，用户平均候车时间从 12 分钟缩短至 6.5 分钟，车辆日均周转率提高 32%，运营效率显著提升。车辆调度 AI 优化与用户体验数据化迭代的实践，不仅解决了传统运营中的效率低、体验差等问题，更构建了以数据为核心的竞争优势。随着 AI、物联网、5G 等技术的持续迭代，未来将实现车辆调度、服务优化、安全管控的全链路智能升级，为用户提供更便捷、安全、个性化的出行服务，同时为城市交通可持续发展注入持久动能。
后端在分布式中的Apache Kafka
2509_93945680的博客
11-28 412
比如我们有一次做促销活动，突然流量暴涨，临时加了几台消费者实例，Kafka自动把分区负载均衡过去，系统愣是没抖一下。另外，Kafka的消息持久化机制也靠谱，数据在磁盘上存着，就算消费者宕机了，重启后还能从上次的位置继续读，不怕数据玩失踪。另外，Kafka的监控也得跟上，光靠默认配置容易漏掉性能瓶颈。举个例子，我们项目里把用户点击事件塞进Kafka主题，下游的风控服务和数据分析服务各取所需，谁也不用等谁，效率直接翻倍。总之，技术选型得量体裁衣，先把Kafka的核心机制摸透，再往架构里套，才能少走弯路。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1845
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
zhengzaifeidelushang的博客
11-28 697
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
hudi-spark-buind
03-31
- **方式1**：直接下载预编译的Hudi Bundle JAR（如`hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar`[^5]） - **方式2**：通过Maven引入依赖： ```xml <groupId>org.apache.hudi <artifactId>hudi-spark3.1-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值