使用Sink和Flink自定义UpsertStreamTableSink

最新推荐文章于 2023-11-10 15:26:52 发布

心之所向，或千或百

最新推荐文章于 2023-11-10 15:26:52 发布

阅读量198

点赞数

CC 4.0 BY-SA版权

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/CodeHeroicX/article/details/132953761

大数据专栏收录该内容

213 篇文章 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何在Flink项目中使用自定义的UpsertStreamTableSink。首先，添加Flink依赖，接着实现UpsertStreamTableSink接口并重写方法，将数据输出到目标系统。然后，注册自定义Sink到TableEnvironment并执行查询，将结果发送到自定义Sink。此教程适用于需要自定义数据输出行为的Flink应用开发。

Flink是一个流式处理框架，可以用于处理大规模的数据流。在Flink中，Sink是用于将处理结果输出到外部系统的组件。除了内置的Sink之外，Flink还支持自定义Sink，以满足特定的输出需求。本文将介绍如何使用Sink和Flink自定义UpsertStreamTableSink。

引入依赖

首先，我们需要在项目中引入相应的依赖。假设我们使用Maven构建项目，可以在pom.xml文件中添加以下依赖：

<dependency>
    <groupId>org.apache.flink</groupId>

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

心之所向，或千或百

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

flink 流式表自定义StreamTableSource、RetractStreamSink，并使用flink kafkaDataStream.pdf

05-14

本文件是自己根据flink1.8官网文档https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/table/streaming/time_attributes.html#using-a-tablesource里实现的自定义StreamTableSource，并且输入流也用的是kafkaStream(更贴近实际应用)，由于官网的文档过于简单，并且有漏洞，你如果按照官网文档编写是会运行不成功的。附件文档的代码是亲测完全可以运行的，里面也自己实现了RetractStreamSink，可以供大家参考。

60-150-044-使用-Sink-Flink自定义RetractStreamTableSink

九师兄

07-03

1106

1.美图 2. 概述 Flink Table/SQL中对于流表TableSink的定义有三类：AppendStreamTable、RetractStreamTableSink 、UpsertStreamTableSink ，这三类主要区别对应不同的流类型，在我看来可以归纳为两种模式： Insert模式，对应AppendStreamTable，只能执行insert动作，例如窗口聚合结果，每个...

参与评论您还未登录，请先登录后发表或查看评论

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink

王佩的优快云博客

11-30

5998

Flink Table & SQL StreamTableSink有三类接口: AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink。 AppendStreamTableSink: 可将动态表转换为Append流。适用于动态表只有Insert的场景。 RetractStreamTableSink: 可将...

60-150-040-使用-Sink-Flink自定义UpsertStreamTableSink

九师兄

07-03

1451

1.美图 2.概述在Flink实战系列之自定义RetractStreamTableSink中介绍了如何编写自定义RetractStreamTableSink，Flink 中提供了另外一种可Redo模式的UpsertStreamTableSink，与RetractStreamTableSink不同的是：在UpsertStreamTableSink中需要指定一个unique key , 该un...

使用自定义的UpsertStreamTableSink实现大数据的Sink-Flink

BugCrusher的博客

08-17

208

在流式计算中，数据的输出通常被称为Sink，而Flink作为一种流式计算引擎，在处理大规模数据时具有出色的性能和可扩展性。在上面的示例中，我们通过registerTableSink方法将自定义的TableSink注册到了TableEnvironment中，并赋予它一个名称"customSink"。在本文中，我们将使用自定义的UpsertStreamTableSink来实现Sink的自定义。Flink提供了许多默认的Sink实现，但有时我们需要根据自己的需求来定义自己的Sink。

【flink】SinkUpsertMaterializer

1032851561的博客

06-16

6276

在flink cdc同步数据时，基于sql的实现方式中发现了作业DAG有个算子，而且检查checkpoint历史时发现该算子state越来越大，有必要搞清楚为什么会多了这个算子，作用又是什么。通过算子名称定位到了源码为类,这个算子将输入的记录以作区分保存到state中，并为下游算子提供一下upsert视图。单纯看类注释和代码逻辑，并不能理解它的用处及设计背景。

记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】

a123147abc的博客

07-18

3283

Flink SQL Upsert Kafka Sink 数据乱序

《Flink 使用 JDBCAppendTableSink 操作 Mysql入门示例》 Java版

Mathieu66的博客

04-02

3837

前面写了个Flink操作Mysql的示例，Scala版本的，不过是对照源码的翻译。这两天使用Java开发（boss说不要用scala），这里贴一下使用方法。超简单的，大家注意看下代码。 mysql相关的依赖（kafka的自行添加） <dependency> <groupId>org.apache.flink</groupI...

【flink-sql实战】flink 主键声明与upsert功能实战

hiliang521的博客

11-10

4371

flink主键声明与upsert

Flink Table API& SQL编程指南（自定义Sources & Sinks）

麦田里的守望者-蒋中洲【相信相信的力量】

07-21

689

TableSource TableSource提供对存储在外部系统（数据库，键值存储，消息队列）或文件中的数据的访问的通用接口。在TableEnvironment中注册TableSource后，可以通过Table API或SQL查询对其进行访问。它提供了表的schema 以及与该表的schema 映射到行的记录。 TableSource[T] { def getTableSchema: TableSchema def getReturnType: TypeInformation[T] def e

Flink-SQL 写入PostgreSQL 问题汇总

dymkkj的专栏

06-25

2961

。

自定义UpsertStreamTableSink

微信搜：import_bigdata，大数据领域硬核原创作者

08-29

427

声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》在Flink实战系列之自定义RetractStreamTableSink中介绍了如何编写自定义RetractStreamTableSink，Flink 中提供了另外一种可Redo模式的UpsertStreamTableSink，与RetractStreamTableSink不同的是： 1.在Upse

flink实战--flinkSQL 回撤流原理解析与案例讲解

热门推荐

阿华田的博客

02-20

1万+

简介使用flinkSQL处理实时数据当我们把表转化成流的时候，需要使用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。这个两个方法还是有很大区别的，下面具体介绍。 toAppendStream与toRetractStream的区别追加模式：只有在动态Table仅通过INSERT更改修改时才能使用...

FlinkSQL自定义TableSink

提拉米苏的博客

11-23

2168

从StreamTableSinkFactory开始

Flink关系型API的公共部分

VinoYang的专栏

07-13

3580

关系型程序的公共部分下面的代码段展示了Table&SQL API所编写流式程序的程序模式

Implement Streaming HBaseTableSink

Emperor_CJ的博客

03-20

1370

HbaseTableSink实现点讨论： 1.HbaseTableSink实现基于HbaseSink 　　Sink本身实现不考虑容错性，可以直接对流数据进行条插入或批插入。如果仅考虑此那么就有悖Flink组件本身提出的容错语义（exactly once or at least once）。下面结合Flink容错语义就幂等性请求和非幂等性请求做具体展开。 1.1.幂等插入　　幂等插入适用于...

Flink自定义TableSink TableSource

knowfarhhy

10-14

4066

基本知识 TableSource提供了从外部系统（消息队列，KV存储，数据库，文件系统等）接入数据，之后注册到TableEnvironment中，然后可以通过Table API或者SQL进行查询。 TableSink提供了将flink内部注册的Table中的数据写出到外部系统（Es ,Hbase ,消息队列数据库，文件系统等）。 TableFactory用来创建TableSource 、Table...

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化

wppwpp1的专栏

09-17

541

flink自定义sink和source

06-28

### 回答1： Flink自定义Sink和Source是指用户可以根据自己的需求，编写自己的数据源和数据输出方式。Flink提供了一些内置的Sink和Source，但是有时候用户需要根据自己的业务需求，自定义数据源和数据输出方式。 自定义Sink和Source需要实现Flink提供的接口，例如实现SinkFunction接口来自定义数据输出方式，实现SourceFunction接口来自定义数据源。用户可以根据自己的需求，实现这些接口，然后将自定义的Sink和Source应用到Flink程序中。 自定义Sink和Source可以帮助用户更好地满足自己的业务需求，提高数据处理的效率和准确性。 ### 回答2： Flink自定义Sink和Source方便开发人员根据特定业务需求定制化的数据输入和输出。这也是Flink作为DataStream处理引擎的一个强大特性。 自定义Sink的主要作用是将Flink处理的数据流输出到外部存储或处理系统中，如Kafka、Hadoop、Elasticsearch、MySQL等。通过自定义Sink，我们可以满足不同业务场景下，数据输出的不同需求。 自定义Sink的实现需要继承Flink提供的`RichSinkFunction`或者`SinkFunction`抽象类，并实现其抽象方法。`RichSinkFunction`中提供了一些状态管理的方法，如`open`、`close`等，我们可以在这些方法中添加额外的代码逻辑。自定义的SinkFunction可以重写invoke方法，将不需要状态管理的代码集中在此方法中。 自定义Source的主要作用是将外部数据源中的数据读取并发送给Flink的DataStream处理模块。自定义Source可以读取各种类型的数据源，如Kafka、文件、Socket等。 自定义Source的实现需要继承Flink提供的`RichParallelSourceFunction`或者`SourceFunction`抽象类，并实现其抽象方法。`RichParallelSourceFunction`中支持在并行算子中运行，因此对于大规模数据的处理尤为适合。在自定义Source中，需要实现一个`run`方法和一个`cancel`方法。`run`方法中是数据源处理逻辑的主要实现，`cancel`方法用于停止数据源的读取。我们还可以通过Flink提供的Checkpoint机制来管理数据源。总之，自定义Sink和Source是Flink处理数据流的重要特性，使得开发人员可以根据业务需求灵活定制化的输入输出逻辑。 ### 回答3： Flink是一个开源流式处理框架，它提供了丰富的内置Sink和Source，同时也支持用户自定义的Sink和Source，以便满足不同的业务需求。 自定义Sink可以用于将流式数据写入外部系统中，比如数据库、消息队列和文件系统等。Flink提供了一个简单的接口SinkFunction，通过实现该接口可以快速开发自己的Sink。 SinkFunction接口定义了一个抽象方法invoke()，该方法是在每个输入元素处理完成时被调用。开发者需要编写自己的业务逻辑，在invoke()中实现将数据写入目标系统的逻辑。 自定义Source可以用于从外部系统读取数据，并将其逐个交付给Flink程序进行处理。同样地，Flink也提供了一个简单的接口SourceFunction，通过实现该接口可以快速开发自己的Source。 SourceFunction接口定义了两个抽象方法：run()和cancel()。run()方法是在源自生命周期内调用的，它是源自执行主逻辑的地方。cancel()方法是用于清理资源的。开发者需要在run()方法中编写从外部系统读取数据的逻辑，并且能够异步地产生数据，最后将数据通过SourceContext将数据一条一条源源不断地输出。 自定义Sink和Source是Flink框架中非常常用的一个扩展方式，它可以满足用户自定义的需求，在具体的业务场景中，能够灵活的使用自定义Sink和Source对数据的处理进行个性化的定制化。同时，自定义Sink和Source的开发也相对简单，可以通过实现简单的接口，快速完成自定义Sink和Source的开发。