（二十）Flink Paimon

已于 2024-08-26 10:17:52 修改
阅读量920 收藏
点赞数 10
CC 4.0 BY-SA版权
分类专栏： Flink全景解析 文章标签： 大数据 实时数据 实时数据处理 paimon flink paimon
于 2024-08-26 10:13:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/springk/article/details/141555985

数据湖、湖仓一体是当前大数据领域技术发展的重要趋势。近几年开源数据湖技术如 Apache Hudi、Apache Iceberg、Apache Paimon、DeltaLake 等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合自身业务发展的湖仓平台。本章我们将介绍 Apache Paimon 的概念以及 Flink Paimon 相关的实现方式。

目录

Apache Paimon 简介

Apache Paimon 基本概念

总结

Apache Paimon 简介

Apache Paimon 是一个流数据湖平台，具有高速数据摄取、变更日志跟踪和高效的实时分析的能力。2022 年 1 月，Flink Table Store 诞生，孵化一年后，2023 年 1 月，产生了正式 0.3 的版本，之后从 Flink 社区迁到 Apache 社区，并改名为 Apache Paimon，不再是 Flink 存储，而是面向社区所有计算引擎的存储。

图

如以上架构所示：

  • 读/写：Paimon 支持多种方式的数据读写和执行 OLAP 查询。

    对于读操作，它支持以多种方式获取数据：

了解本专栏 订阅专栏 解锁全文
【Apache Paimon】-- 8 -- flink 创建 paimon connecor 的两种方式
欢迎来到我的博客，一起探索代码里的世界！
12-05 615
2、必须要配置 path、connector。临时表的元数据不持久化，无法在会话外部访问。1、只能用于创建 temporary 表。1、创建 catalog。
数据湖技术选型——Flink+Paimon 方向
奔跑的蜗牛的博客
04-15 2757
本文结合 Flink 对几大数据湖选型进行了对比，最终选择使用 Flink + Paimon 技术栈。
[实时计算flink]基于Paimon的数据库实时入湖快速入门
soso1968的博客
10-22 1440
Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。本文通过Paimon Catalog和MySQL连接器，将云数据库RDS中的订单数据和表结构变更导入Paimon表中，并使用Flink对Paimon表进行简单分析。Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。
flink同步kafka到paimon，doris加速查询
a123147abc的博客
06-27 998
flink + paimon + doris
流数据湖平台Apache Paimon（三）Flink进阶使用
Maynor的博客
07-29 3240
默认情况下，不仅checkpoint会导致文件生成，writer的内存（write-buffer-size）耗尽也会将数据flush到DFS并生成相应的文件。稍后可能会发生异步Compaction，CompactManager 生成的提交表包含有关先前文件和合并文件的信息，以便 Committer Operator 可以构造相应的清单条目。Paimon维护文件的多个版本，文件的Compaction和删除是逻辑上的，并没有真正删除文件。如果要减少此数量，可以保留更少的文件，但写入性能可能会受到影响。
flink写入paimon流程代码
01-30 1142
RowDataStoreWriteOperator继承TableWriteOperator，这个类又通过provider初始化了write，RowDataStoreWriteOperator类刚才用到了父类TableWriteOperator的write对象。以StoreSinkWrite.Provider是StoreSinkWriteImpl为例，那上面的write()实际调用就是这个类的write()最终走到了MergeTreeWriter的write(),判断内存是否满了，满了就溢出磁盘。
Flink 数据写入 Paimon 流程及源码解析
Ververica的博客
08-14 1105
作者介绍：王伟骏，花名（鸿历），2016 年硕士毕业于南京邮电大学，目前就职于阿里巴巴智能引擎事业部，长期从事大数据开发相关工作。01背景在阿里集团数据湖计划的大背景下，入湖作为数据链路的第一环非常重要。本文对 Flink 流 / 批 Job 写数据进 Paimon 主键表的源码进行了深入浅出的总结，后续会持续更新 Paimon 别的模块的解读。02写入 Paimon 表组合方式表类型：Prima...
flink+paimon默认读取
sinat_35197112的博客
09-03 263
flink+paimon的生成机制
[特殊字符] 实时数据洪流突围战：Flink+Paimon实现毫秒级分析的架构革命（附压测报告）——日均百亿级数据处理成本降低60%的工业级方案
最新发布
Lucas55555555的博客
07-12 1213
​：2025年Apache Paimon 1.0正式发布，支持秒级快照与湖仓一体，成为替代Iceberg的新范式。“双11期间需实时拦截黄牛订单，要求从行为发生到风控决策≤1.5秒”——某电商平台SLA文档。​：窗口聚合状态超100GB，Checkpoint耗时＞10min（实测数据）某电商平台借助Flink+Paimon重构实时数仓后，​。​，但传统Lambda架构资源消耗占比超运维成本的70%​：自动合并小文件，HDFS块数减少92%据阿里云2025白皮书显示，​。-- 创建表时优化参数。
【Flink SQL API体验数据湖格式之paimon】
以茉萱的博客
12-24 1830
随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle中选择，BI报表工具会从IBM cognos、Sap Bo或者帆软中选择，基本上使用的产品组合都类似，但随着数据量的激增，之前的部署方式已经越来越不能满足业务场景，例如：不同格式的数据存储，传出的数据库无法存储，而且随着数量的增多，数据库的响应速度
踩坑完毕：手把手带你使用Flink尝鲜Paimon入门案例（强烈建议收藏）
遇码开源社区
03-14 2704
本文为大家讲解如何使用Flink完成Paimon官方的入门案例，建议大家收藏（对英文文档有恐惧感）。
Flink+Paimon+Hadoop+StarRocks(Doris)单机环境安装部署
Leonardo_KY的博客
10-20 3076
本文主要介绍如何在单机本地安装部署Flink、Paimon、StarRocks（Doris）的相关大数据/数据湖环境，并结合简单测试用例介绍入门用法（方便玩转流式数据湖）。
Flink+Paimon实时数据湖仓实践分享
淘系技术
12-06 2903
随着 Paimon 近两年的推广普及，使用 Flink+Paimon 构建数据湖仓的实践也越来越多。在 Flink 实时数据开发中，对于依赖大量状态 state的场景，如长周期的累加指标计算、回撤长历史数据并更新等，使用实时数仓作为中间存储来代替 Flink 的内部状态 state 是非常有必要的。本文主要分享了使用 Paimon 作为实时状态存储，并在 Flink 中通过 Lookup 维表 ...
Flink-Paimon 案例
猫猫爱吃小鱼粮
01-03 1019
Flink-Paimon 案例
Flink x Paimon 在抖音集团生活服务的落地实践
Ververica的博客
05-15 783
摘要：本文整理自抖音集团数据工程师陆魏老师和流式计算工程冯向宇老师，在Flink Forward Asia 2024 流式湖仓（二）专场的分享。内容分为以下三个部分：Tips：关注「公众号」回复 FFA 2024 查看会后资料～01背景及现状抖音生活服务是抖音集团重要的业务板块，主要通过抖音直播、短视频、团购以及本地同城等流量入口，引导用户进行线上下单支付，并进而引导用户线下消费履约，最终完成线上到线下的引流操作。近些年，抖音生活服务迎来了快速增长，伴随业务增长，生活服务实时数仓技术也迎来关键的技术转变。第
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
科技很有意思
11-23 683
我们刚刚介绍了演进的过程，需要Flink + 湖存储来做Flink Lakehouse，也介绍了难点。第二部分就介绍一下Apache Paimon。Apache Paimon是什么样的东西？你可以简单认为基础的架构就是湖存储+ LSM的结合，对于湖存储来说基本的能力是写和读。Apache Paimon在这个基础上和Flink做了更深度的集成，各种 CDC 数据可以通过Flink CDC做到 Schema Evolution 和整库同步地把数据同步到Paimon中。
2 快速上手使用Paimon数据湖
大数据技术博客
11-08 3522
想要使用Paimon是非常简单的，不需要复杂的安装部署，只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API，所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
flink paimon本地
03-27
<think>好的，我现在需要帮助用户了解如何在本地环境中配置和使用Flink与Paimon。首先，我应该回顾用户提供的引用内容，特别是引用[1]和引用[2]，因为它们提到了Flink 1.17.2对应的Paimon依赖jar包以及安装步骤。用户的问题是关于本地环境的集成和配置，所以需要确保步骤详细且适合本地设置。 第一步，我应该检查用户的引用内容。引用[1]提到下载paimon-flink-1.17-0.7.0-incubating.jar，并且给出了wget命令。引用[2]涉及Flink、Paimon、Hadoop和StarRocks的安装部署，其中提到了将Flink的文件复制到Homebrew的路径，这可能是在macOS系统下的操作。用户可能需要指导如何将Paimon的jar包添加到Flink的lib目录中。 接下来，我需要组织步骤。首先，下载正确的依赖包，确保版本匹配。Flink 1.17.2对应的Paimon版本是0.7.0，所以必须确认用户下载的是这个版本。然后，将jar包放入Flink的lib目录，这样Flink在启动时就能加载Paimon的依赖。 然后配置Hadoop环境。虽然用户可能在本地运行，但Paimon可能依赖Hadoop的类，所以需要设置HADOOP_CLASSPATH。需要指导用户如何设置环境变量，可能是在.bashrc或.zshrc文件中。 接下来是启动Flink集群，这里需要检查用户是否正确安装了Flink，并且能够通过start-cluster.sh脚本启动。之后，验证Paimon是否成功加载，可以通过提交示例作业或者检查日志是否有错误。 在代码示例部分，需要使用Flink SQL或DataStream API来操作Paimon表。用户可能需要一个简单的例子来创建表和插入数据，这样他们可以测试集成是否成功。比如使用Flink SQL Client执行CREATE TABLE语句，指定connector为paimon，并定义字段和参数。 另外，用户可能需要知道如何访问Paimon文档或社区资源，以便进一步学习和解决问题。这部分可以作为补充信息提供。 需要注意的是，用户可能使用的是macOS系统，因为引用[2]提到了Homebrew的路径。所以在路径示例时，可能需要给出常见的安装路径，如/usr/local/flink-1.17.2，但也要提醒用户根据实际安装位置调整。 同时，要确保所有步骤中的命令正确无误，比如wget的URL是否正确，文件路径是否存在，环境变量设置后是否需要重启终端或会话。如果有潜在的常见问题，比如jar包版本不匹配或Hadoop类路径未正确设置，也需要在注意事项中提到。 最后，生成相关问题，围绕配置步骤、常见问题、版本兼容性以及与其他组件的集成，如Hadoop或StarRocks，这样可以引导用户进一步探索相关主题。</think>### 本地环境中配置和使用 Flink Paimon 的步骤 #### 1. **下载依赖包** 根据 Flink 版本选择对应的 Paimon JAR 包。例如，Flink 1.17.2 需使用： ```bash wget https://labfile.oss.aliyuncs.com/courses/31774/paimon-flink-1.17-0.7.0-incubating.jar ``` 将下载的 JAR 包放入 Flink 的 `lib` 目录下（例如 `/usr/local/flink-1.17.2/lib`）[^1]。 #### 2. **配置 Hadoop 环境** Paimon 依赖 Hadoop 类库，需配置环境变量： ```bash export HADOOP_CLASSPATH=`hadoop classpath` # 若已安装 Hadoop ``` 若未安装 Hadoop，可下载 `hadoop-common` 并添加到 Flink 的 `lib` 目录。 #### 3. **启动 Flink 集群** ```bash cd /usr/local/flink-1.17.2 ./bin/start-cluster.sh ``` 验证 Flink Web UI（默认端口 8081）是否正常。 #### 4. **使用 Paimon 表** 通过 Flink SQL 或 DataStream API 操作 Paimon 表： ```sql -- Flink SQL 示例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

springk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值