FusionInsight MRS Flink DataStream API实现Hudi数据库读写实践

最新推荐文章于 2025-11-25 14:07:10 发布

CodeIs清风拂面

最新推荐文章于 2025-11-25 14:07:10 发布

阅读量150

点赞数

CC 4.0 BY-SA版权

文章标签： fusioninsight flink 数据库

本文链接：https://blog.youkuaiyun.com/bug_syntax119/article/details/132842652

数据库专栏收录该内容

159 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何使用FusionInsight MRS和Flink DataStream API配合Hudi进行大规模数据的读写操作。首先确保FusionInsight MRS和Flink环境配置完成，然后配置Hudi的读写器，通过创建DataStream进行数据的写入和读取，为实际业务提供了数据处理的基础。

FusionInsight MRS Flink DataStream API实现Hudi数据库读写实践

Hudi是一种用于大规模数据存储和处理的开源分布式数据湖解决方案。它提供了高效的数据更新、删除和最终一致性的数据快照管理。本文将介绍如何使用FusionInsight MRS和Flink DataStream API结合Hudi实现数据的读写操作。

环境准备
首先，确保已经安装并配置了FusionInsight MRS和Flink环境。同时，需要下载Hudi的相关依赖库，并将其添加到项目中。
创建Flink DataStream应用程序
在开始编写代码之前，首先需要创建一个Flink DataStream应用程序，并配置相应的运行环境。下面是一个简单的示例：
```
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment()
```

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CodeIs清风拂面

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Apache Hudi HoodieMultiTableDeltaStreamer 多表接入 CDC 数据测试报告和结论

Laurence的技术博客

07-16

467

首先，强调一下测试环境：本次测试是在AWS EMR Serverless EMR 6.10 和 6.11 两个版本上进行的，对应的Hudi版本是0.12.2和0.13.0，该测试的结论在同版本的开源Spark和Hudi上不一定成立，请知悉。其次，在同一测试环境下，单表的 CDC 数据接入已经测试完毕并发表在：《…》，多表接入的细节汇总在此文中。先说重要结论

在Flink DataStream API中集成和使用Hudi

shangjg3的博客

03-15

503

首先创建一个Flink Hudi表，并使用DataStream API将数据插入Hudi表中，如下所示。添加相应版本的maven依赖。

参与评论您还未登录，请先登录后发表或查看评论

华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践

HWCloudDeveloper的博客

03-26

1156

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。然而实时同步从一开始就面临如下几个挑战：小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS时都是几MB甚至几十KB的文件。长时间下来产生的大量小文件，会对HDFS namenode产生巨大的压力

FusionInsight MRS Flink DataStream API读写Hudi实践

华为云官方博客

11-14

2498

目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。1.HoodiePipeline.java 将Hudi内核读写接口进行封装，提供Hudi DataStream API。1）HoodiePipeline.java ，该类将Hudi内核读写接口进行封装，提供Hudi DataStream API。2）WriteIntoHudi.java ，该类使用 DataStream API将数据写入Hudi。

Flink Hudi DataStream API代码示例

主要分享大数据相关的知识，如Spark、Hudi

05-22

1673

总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用。最开始学习Flink时都是使用Flink SQL,所以对于Flink SQL读写Hudi比较熟悉。但是对于写代码实现并不熟悉，而有些需求是基于Flink代码实现的，所以需要学习总结一下。仅为了实现用代码读写Hudi的需求，其实有两种方式，一种是在代码里通过Flink SQL API，也就是代码中执行Flink SQL，这种方式其实和通过SQL实现差不多，另一种方式是通过DataStream API实现。

Flink DataStream读写Hudi

Johnson8702的博客

04-14

2244

测试案例中，pom依赖如下，根据需要自行删减。

48、Flink DataStream API 编程指南- 完整版

热门推荐

alanchanchn的专栏

11-30

6万+

addSource - 关联一个新的 source function。例如，你可以使用 addSource(new FlinkKafkaConsumer(…)) 来从 Apache Kafka 获取数据。其中的maven依赖参考本专栏的相关文章kafka该示例是基于flink1.13.5的版本/**/**// source // 准备kafka连接参数 Properties props = new Properties();

48、Flink DataStream API 编程指南（1）- DataStream 入门示例

alanchanchn的专栏

11-29

6万+

通常，只需要使用 getExecutionEnvironment() 即可，因为该方法会根据上下文做正确的处理：如果你在 IDE 中执行你的程序或将其作为一般的 Java 程序执行，那么它将创建一个本地环境，该环境将在你的本地机器上执行你的程序。如果你基于程序创建了一个 JAR 文件，并通过命令行运行它，Flink 集群管理器将执行程序的 main 方法，同时 getExecutionEnvironment() 方法会返回一个执行环境以在集群上执行你的程序。

Flink CDC使用Java DataStream API写入Hudi，实时同步业务库

u014519384的博客

07-07

3131

需要源码或者进Flink微信交流群的请+V ：zoomake1024在上一篇文章介绍了使用Flink SQL消费Kafka实时入湖的方法，全程都是SQL实现的，但是当处理逻辑复杂时，SQL并不是那么灵活，此时通过编码的方式可以更好的驾驭整个框架。本篇介绍下，如何使用Java DataStream API以编码的方式，通过Flink CDC同步MySQL数据到Hudi，在整个过程中遇到了很多问题，会一并给出解决方案。主要是参考Hudi源码中的HoodieFlinkStreamer来实现的，首先说明POM文件.

Flink官网实例：基于DataStream API 实现欺诈检测，完整实现

02-07

本实例将详细讲解如何利用 Flink 的 DataStream API 实现欺诈检测，这是一个非常实用的应用场景，例如在金融交易、网络安全等领域。我们将探讨以下几个关键知识点： 1. **Flink DataStream API**：DataStream API ...

通俗易懂之Flink DataStream API开发

02-07

通过实践案例，如日志分析、实时统计等，加深对DataStream API的理解和应用，学习如何结合Flink的各种功能解决实际问题。总之，Flink DataStream API为开发者提供了强大且直观的工具，用于构建复杂的数据流处理...

FusionInsight MRS云原生数据湖

Java/Python大数据随笔

03-06

1390

1.1、数据湖概述数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析，从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策1.2、FusionInsight概述。

Flink CDC 用 SqlServer CDC 实时同步数据到 Elasticsearch

hello.reader

11-21

4833

本文演示了如何通过Flink CDC实现SqlServer到Elasticsearch的数据实时同步。主要步骤包括：使用Docker Compose部署SqlServer 2019、Elasticsearch 7.6.0和Kibana 7.6.0环境在SqlServer中创建inventory数据库和products/orders表，并开启CDC功能配置Flink环境，添加SqlServer CDC和Elasticsearch连接器在Flink SQL中定义CDC源表和ES目标表通过SQL实现表关

在 Kubernetes 上跑 Flink CDCSession 模式 + Operator 模式实战指南

最新发布

hello.reader

11-25

295

Flink在Kubernetes上的部署与CDC实时同步实现本文详细介绍了Flink在Kubernetes环境中的两种部署模式及CDC实时数据同步的实现方案。主要内容包括：部署架构：原生Kubernetes集成：JobManager/TaskManager以Pod形式运行，支持动态资源管理 Kubernetes Operator模式：通过CRD管理Flink集群生命周期 Session模式实现：使用kubernetes-session.sh脚本创建Session集群配置REST访问和Flin

SpringBoot集成Flink-CDC，实现对数据库数据的监听

2509_94087457的博客

11-21

831

CDC 是（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。/*** 反序列化数据,转为变更JSON对象*/@Override//5.获取操作类型 CREATE UPDATE DELETE2 : 3;//7.输出数据/*** 从元数据获取出变更之前或之后的数据*/= null) {

在 YARN 上跑 Flink CDC从 Session 到 Yarn Application 的完整实践

hello.reader

11-25

1047

本文介绍了Flink CDC在YARN集群上的两种运行模式：Yarn Session模式和Yarn Application模式。Session模式适合开发调试，先启动长期运行的Flink集群再提交作业；Application模式更适合生产环境，每个作业独立启动专属集群，提供更好的资源隔离。文章详细讲解了环境准备步骤，包括YARN集群验证、Flink安装配置和Hadoop类路径设置。针对MySQL到Doris的数据同步场景，提供了配置文件示例和两种模式的作业

Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory

zhengzaifeidelushang的博客

11-24

116

Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory

Flink CDC系列之：从mysql初始化历史数据，实时同步增量数据到doris

zhengzaifeidelushang的博客

11-21

106

Flink CDC系列之：从mysql初始化历史数据，实时同步增量数据到doris

Flink CDC + Iceberg 打造实时数据湖从 MySQL 分库分表到一张宽表

hello.reader

11-22

2222

本文介绍了一个基于Flink CDC和Iceberg的实时数据湖架构实现方案。通过Docker Compose搭建包含Flink集群和MySQL的实验环境，将MySQL中分库分表的用户数据通过Flink CDC连接器捕获变更，在Flink SQL中合并成统一流，最终实时写入Iceberg表。方案实现了分库分表数据的统一视图、实时更新和删除能力，并详细说明了环境配置、数据准备和实现步骤。