Apache Paimon系列之：Flink集成Paimon

最新推荐文章于 2025-04-06 23:43:47 发布
最新推荐文章于 2025-04-06 23:43:47 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据 文章标签： apache flink 大数据 Apache Paimon Flink集成Paimon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/136693145
版权
大数据 专栏收录该内容
551 篇文章 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了如何将Apache Paimon与Flink集成，包括准备Paimon Jar文件，快速启动Flink集群，创建目录和表，执行OLAP及流式查询，以及如何使用Savepoint和Action Jar。此外，还涵盖了Paimon支持的Flink数据类型、使用托管内存和动态选项的设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Apache Paimon系列之：Flink集成Paimon

一、准备Paimon Jar File

Paimon 目前支持 Flink 1.17、1.16、1.15 和 1.14。我们推荐最新的Flink版本以获得更好的体验。

下载对应版本的jar文件。

目前，paimon 提供了两种类型的 jar：其中一种（捆绑的 jar）用于读取/写入数据，另一种（动作 jar）用于手动压缩等操作，

在这里插入图片描述
您还可以从源代码手动构建捆绑的 jar。

要从源代码构建，请克隆 git 存储库。

使用以下命令构建捆绑的 jar。

  • mvn clean install -DskipTests

您可以在 ./paimon-flink/paimon-flink-/target/paimon-flink--0.8-SNAPSHOT.jar 中找到捆绑的 jar，在 ./paimon- 中找到操作 jar flink/paimon-flink-action/target/paimon-flink-action-0.8-SNAPSHOT.jar。

二、快速开始

了解本专栏 订阅专栏 解锁全文
（二十）Flink Paimon
springk的专栏
08-26 802
数据湖、湖仓一体是当前大数据领域发展的重要趋势。近几年开源数据湖如Apache Hudi、Apache Iceberg、Apache Paimon、DeltaLake等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，形成适合自身业务发展的湖仓平台。本章我们将介绍Apache Paimon的概念以及 Flink Paimon 的实现方式。
【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据
欢迎来到我的博客，一起探索代码里的世界！
01-07 767
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema那么现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化，并同步至 hive 的 paimon 格式表中。
基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
大数据星球-浪尖
03-14 289
最初，尝试使用 Trino Java Connector，但发现 HUE 底层是通过 Python 代码构建的，而 Trino Java Connector 在使用时存在一些问题，特别是在内存管理方面,有时难以对 Java Gateway 实现内存的有效回收，这可能导致线上内存泄露。例如，在 Hudi 的某些场景中，可能会出现大小为 0 的 Marker File，这可能导致 Trino 在扫描时将这些无效文件纳入查询范围，从而造成查询卡顿，在内部镜像中对类似的问题进行了修复。
【Apache Paimon】Paimon集成 Flink 引擎之DDL（二）
qq_41207291的博客
02-26 868
在 Paimon Catalog中创建的表就是Paimon的管理表，由Catalog管理。当表从Catalog中删除时，其表文件也将被删除，类似于Hive的内部表。通过配置partition.expiration-time，可以自动删除过期的分区。如果定义了主键，则分区字段必须是主键的子集。
prometheus（1）：Flink监控体系，Go+prometheus+node_exporter+zookeeper+flink+pushgateway+grafana的配置
最新发布
SAFE20242034的博客
04-06 606
（选择自己的路径，和自己的路径对应）验证一下是否成功，用go version 来验证。
1.paimon与flink环境整合
流月up的博客
10-19 573
paimon 0.5 ,flink 1.17.1版本, 目标flink与paimon进行整合,测试的环境搞起相关文章系列聚合下面的链接是paimon官方文档地址,有兴趣的同学可以浏览一下官方快速入门链接。
Flink-Paimon 案例
猫猫爱吃小鱼粮
01-03 973
Flink-Paimon 案例
Flink+Paimon在阿里云大数据云原生运维数仓的实践
Ververica的博客
07-10 1666
目前 Flink+Paimon 实时数据湖的方案已经比较成熟，使用成本不高，相关的生态也比较完善，在低成本和低延迟的要求下，这个方案还是非常好的选择。如果对成本没太高的要求，Flink+Hologres 在延迟方面会有些优势。参考文件：《Flink+Paimon构建流式数据湖仓》《Paimon外部表》《当流计算邂逅数据湖：Paimon 的前生今世》
Flink+Paimon多流拼接性能优化实战
Leonardo_KY的博客
08-31 3818
Flink+Paimon多流拼接性能优化实战，本文使用Flink+Paimon基于ParmaryKey Table主键表（PartialUpdate）进行多流拼接的时候，跑一段时间有时会遇到周期性背压、checkpoint时间过长等情况，本文通过剖析源码逻辑、修改源码，在一定程度上解决了这个问题。另外，还意外解决了跨分区关联率偏低的问题。
【Apache Paimon】-- 4 -- Flink 消费 kafka 数据，然后写入 oss paimon表
欢迎来到我的博客，一起探索代码里的世界！
12-05 1831
注意：此案例以阿里云 OSS 作为 checkpoint 和 apache paimon 的存储介质，存储格式默认为 parquet。// Step 3、若使用 oss 作为 ckp/sep 的存储介质，需要加载 flink checkpoint 全局变量。注意：需要在项目 package 中创建包结构（org.apache.flink.fs.osshadoop）// Step 2、生成随机字符串，用于默认 checkpoint 或者 savepoint 存储路径。// Step 1、解析输入的参数。
【Apache Paimon】-- 8 -- flink 创建 paimon connecor 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
12-05 579
2、必须要配置 path、connector。临时表的元数据不持久化，无法在会话外部访问。1、只能用于创建 temporary 表。1、创建 catalog。
paimon-flink-1.19-0.8.1.jar
07-10
paimon-flink-1.19驱动包，Apache Paimon 是一种湖格式，支持使用 Flink 和 Spark 构建实时湖仓一体架构 用于流式处理和批处理操作。Paimon创新性地将湖格式与LSM（Log-structured merge-tree）相结合 结构，将实时流式更新引入 Lake 架构。
【Apache Paimon】-- Flink 消费 kafka 数据异常
欢迎来到我的博客，一起探索代码里的世界！
02-18 333
发现 Step1和 2 正常，但 Step 3 未配置。初次消费 kafka topic 数据时，需要配置 为 earliest 或者 latest。不能配置 NONE！Step.1 检查 kafka server 是否可用：telnet locahost:9092。配置 auto.offset.reset = earliest，再次启动即可！Step.3 检查 auto.offset.reset 是否有配置。Step.2 检查 kafka topic 是否存在。
Flink+Paimon实时数据湖仓实践分享
淘系技术
12-06 2730
随着 Paimon 近两年的推广普及，使用 Flink+Paimon 构建数据湖仓的实践也越来越多。在 Flink 实时数据开发中，对于依赖大量状态 state的场景，如长周期的累加指标计算、回撤长历史数据并更新等，使用实时数仓作为中间存储来代替 Flink 的内部状态 state 是非常有必要的。本文主要分享了使用 Paimon 作为实时状态存储，并在 Flink 中通过 Lookup 维表 ...
流数据湖平台Apache Paimon（二）集成 Flink 引擎
Maynor的博客
07-29 2538
Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。环境准备1）上传并解压Flink安装包tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/2）配置环境变量sudo vim /etc/profile.d/my_env.shexport HADOOP_CLASSPATH=source /etc/profile.d/my_env.sh1）下载并上传Paimon的jar包jar包下载地址
流数据湖平台Apache Paimon（三）Flink进阶使用
Maynor的博客
07-29 3129
默认情况下，不仅checkpoint会导致文件生成，writer的内存（write-buffer-size）耗尽也会将数据flush到DFS并生成相应的文件。稍后可能会发生异步Compaction，CompactManager 生成的提交表包含有关先前文件和合并文件的信息，以便 Committer Operator 可以构造相应的清单条目。Paimon维护文件的多个版本，文件的Compaction和删除是逻辑上的，并没有真正删除文件。如果要减少此数量，可以保留更少的文件，但写入性能可能会受到影响。
Paimon-flink-action同步数据到Paimon
MDZ_1122333322的博客
02-15 243
本文主要实现使用paimon自带的paimon-flink-action工具，同步mysql数据到StarRocks验证。paimon-flink-action是一个封装了多种高级功能的Apache Paimon的Flink action jar包。这个包内部包含了诸如merge into、compact、delete、drop_partition等功能，主要用于支持复杂的数据操作和数据处理任务。
数据湖技术之Paimon
奔跑的蜗牛的博客
01-05 2490
Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代Streaming Lakehouse技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Apache Paimon是一个流数据湖平台，具有高速数据摄取、变更日志跟踪和高效的实时分析的能力。
踩坑完毕：手把手带你使用Flink尝鲜Paimon入门案例（强烈建议收藏）
遇码开源社区
03-14 2540
本文为大家讲解如何使用Flink完成Paimon官方的入门案例，建议大家收藏（对英文文档有恐惧感）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值