基于 Flink SQL 和 Paimon 构建流式湖仓新方案

已于 2023-12-22 22:38:18 修改
阅读量2.2k 收藏 21
点赞数 26
分类专栏： # Flink # 数据湖 文章标签： flink sql 大数据
于 2023-12-22 21:42:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzhcoder/article/details/135161314
版权
本文介绍了从传统Hadoop向Lakehouse架构的演进，重点阐述了Apache Paimon——一个专为流式数据处理设计的数据湖格式。Paimon与Flink深度集成，支持CDC和Schema Evolution，提供低延时、低成本的解决方案。通过Consumer机制和Changelog生成，确保数据处理的可靠性和正确性。同时，Paimon的文件复用和异步Compaction机制降低了存储成本，实现了流批一体化的数据处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 数据分析架构演进

2. Apache Paimon

3. Flink + Paimon 流式湖仓

Consumer 机制

Changelog 生成​编辑

4. 设计思想

5. 核心能力

文件复用

异步 Compaction

引用材料

1. 数据分析架构演进

    从传统的 Hive 和 Hadoop 数据仓库架构向 Lakehouse 架构演进，Lakehouse 架构包括 Presto、Spark、OSS 等，以及湖格式（如 Delta、Hudi、Iceberg）。
    Lakehouse 架构提供了更好的操作便利性、查询效率和时效性。

2. Apache Paimon

  • Paimon 是一个流式数据湖格式，专为流式数据处理设计，支持大规模更新和真正的流读。
  • Paimon 结合了湖存储和
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Apache Paimon】-- 5 -- Flink 向 Paimon 表写入数据
欢迎来到我的博客，一起探索代码里的世界！
11-20 691
当warehouse指定的OSS Bucket与Flink工作空间不在同一地域，或使用其它账号下的OSS Bucket时需要填写。如果Flink与DLF位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。filesystem：配置为Paimon Filesystem Catalog类型时填写。sync：配置为Paimon Sync Catalog类型时填写。格式为oss:///。bucket：表示您创建的OSS Bucket名称。
（二十）Flink Paimon
springk的专栏
08-26 796
数据湖、湖仓一体是当前大数据领域发展的重要趋势。近几年开源数据湖如Apache Hudi、Apache Iceberg、Apache Paimon、DeltaLake等不断涌现，基于湖仓一体架构的统一元数据管理、数据治理也越来越受到关注。从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，形成适合自身业务发展的湖仓平台。本章我们将介绍Apache Paimon的概念以及 Flink Paimon 的实现方式。
Apache Paimon大厂面试必备系列-基础篇
最新发布
atbigapp的博客
04-22 732
本文部分参考了Paimon官网、社区、网络分享的内容，内容较长难免有笔误，大家可自行对比官网纠错。Apache Paimon是一种流批统一的数据湖存储格式，结合Flink及Spark构建流批处理的实时湖仓一体架构。Paimon创新地将湖格式与LSM技术结合起来，给数据湖带来了实时流更新以及完整的流处理能力：实时入湖：Paimon支持包括MySQL在内的多种数据库系统的实时变化同步写入，在千万级数据规模下也能保持高效率与低延迟。湖上流批一体处理：Paimon结合Flink提供了完整的流处理能力，结合Spark
【Flink SQL API体验数据湖格式之paimon】
以茉萱的博客
12-24 1790
随着大数据技术的普及，数据仓库的部署方式也在发生着改变，之前在部署数据仓库项目时，首先想到的是选择国外哪家公司的产品，比如：数据存储会从Oracle、SqlServer中或者Mysql中选择，ETL工具会从Informatica、DataStage或者Kettle中选择，BI报表工具会从IBM cognos、Sap Bo或者帆软中选择，基本上使用的产品组合都类似，但随着数据量的激增，之前的部署方式已经越来越不能满足业务场景，例如：不同格式的数据存储，传出的数据库无法存储，而且随着数量的增多，数据库的响应速度
数据湖存储解决方案之Paimon
marui156的专栏
02-21 8098
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
2 快速上手使用Paimon数据湖
大数据技术博客
11-08 3265
想要使用Paimon是非常简单的，不需要复杂的安装部署，只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API，所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
Flink-Paimon 案例
猫猫爱吃小鱼粮
01-03 972
Flink-Paimon 案例
基于 Flink SQL + Paimon 构建流式湖仓新方案.pdf
01-25
基于 Flink SQL + Paimon 构建流式湖仓新方案 Flink SQL + Paimon 是一种流式湖仓新方案，旨在解决传统数据仓库和数据湖之间的隔阂。该方案通过将 Flink SQL 与 Paimon 结合，实现了流式数据处理和湖仓存储的高度...
基于Flink搭建流式湖仓OpenLake方案
soso1968的博客
10-28 1357
OpenLake解决方案建立在开放可控的OpenLake湖仓之上，提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据，提供湖仓数据表和文件的安全访问及IO加速，并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎，通过流式数据湖仓Paimon（使用DLF 2.0存储）和分析型数据库StarRocks搭建流式湖仓。
Flink SQL与Paimon联手：构建高效流式湖仓新架构
本文档探讨了如何利用Flink SQL和Paimon技术构建现代流式湖仓架构的新解决方案。Flink SQL作为Apache Flink的核心查询语言，提供了高效且可扩展的大数据处理能力，特别适合于实时流处理和批处理任务。Paimon则是一个...
flink写入paimon流程代码
01-30 1104
RowDataStoreWriteOperator继承TableWriteOperator，这个类又通过provider初始化了write，RowDataStoreWriteOperator类刚才用到了父类TableWriteOperator的write对象。以StoreSinkWrite.Provider是StoreSinkWriteImpl为例，那上面的write()实际调用就是这个类的write()最终走到了MergeTreeWriter的write(),判断内存是否满了，满了就溢出磁盘。
flink+paimon默认读取
sinat_35197112的博客
09-03 243
flink+paimon的生成机制
Flink 数据写入 Paimon 流程及源码解析
Ververica的博客
08-14 969
作者介绍：王伟骏，花名（鸿历），2016 年硕士毕业于南京邮电大学，目前就职于阿里巴巴智能引擎事业部，长期从事大数据开发相关工作。01背景在阿里集团数据湖计划的大背景下，入湖作为数据链路的第一环非常重要。本文对 Flink 流 / 批 Job 写数据进 Paimon 主键表的源码进行了深入浅出的总结，后续会持续更新 Paimon 别的模块的解读。02写入 Paimon 表组合方式表类型：Prima...
flink on yarn paimon
流月up的博客
03-04 732
ogg通过flink写入paimon
揭秘“湖仓一体”——Flink+Paimon+StarRocks，打造实时分析新纪元
张成基
06-17 5959
数据湖仓是 Flink 流批一体发挥重要作用的场景,使用 Flink + Paimon + starRocks 来构建湖仓一体数据分析.
Flink+Paimon+Hadoop+StarRocks(Doris)单机环境安装部署
Leonardo_KY的博客
10-20 2852
本文主要介绍如何在单机本地安装部署Flink、Paimon、StarRocks（Doris）的相关大数据/数据湖环境，并结合简单测试用例介绍入门用法（方便玩转流式数据湖）。
数据湖paimon连接flink、mysql和hive
weixin_42354436的博客
07-10 1610
新晋数据湖paimon连接flink，mysql和hive
Flink 通过 paimon 关联维表，内存降为原来的1/4
shengjk1的博客
05-28 1333
本文介绍了如何通过替换维表实现FlinkSQL任务内存占用的优化。作者通过分析Iceberg lookup部分源码，发现其cache的数据会存在内存中，导致内存占用过大。作者将维表替换为paimon，通过分析paimon维表的原理，发现其cache的数据存储在rocksdb中，从而实现了内存占用的降低。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值