Flink connector学习笔记总结

最新推荐文章于 2025-01-11 14:57:20 发布
最新推荐文章于 2025-01-11 14:57:20 发布
阅读量693 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： Flink Connector kafka watermark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/111085627
本文详细介绍了Flink的Connector机制，包括预定义的基于文件、Socket、内存的Source和Sink，Bundled Connectors如Kafka，Apache Bahir扩展，以及异步I/O操作。重点讲解了Flink Kafka Connector的使用，包括消费者和生产者的配置、序列化/反序列化、offset管理和Watermark策略，适合Flink开发者参考学习。

目录

 

1. 概述

2. Flink预定义的source和sink

2.1 基于文件的source/sink

2.2 基于Socket的Source和Sink

2.3 基于内存Collections、Iterators的Source

3. Bundled Connectors

4. Apache Bahir

5. Async I/O

6. 参考资料

 

1. 概述

Flink是新一代的流批统一的计算引擎，因此需要从外部读取数据，并将处理结果写出外部存储。Flink通过connector从外部存储读取数据、进行处理、再通过connector将处理后的结果写出到外部存储引擎。Connector就是连接flink计算引擎和外界存储系统，如下示意图：

Flink常用以下4种方式，与外界进行数据交换flink中一共有4中类型的，如下图所示的4中类型

接下来分别介绍每类Connector的使用方法

 

2. Flink预定义的source和sink

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink1.4 HDFS Connector
SmartSi
03-05 3210
原文来源于：Flink1.4 HDFS Connector此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-...
【Flink】Flink 流批 一体 下 新的 Connector
九师兄
09-12 1021
出自：作者： 任庆盛阿里巴巴研发工程师连接器是 Flink 与外部系统间沟通的桥梁。如： 我们需要从 Kafka 里读取数据， 在 Flink 里把数据处理之后再重新写回到 HIVE、 elastic search 这样的外部系统里去上图显示的是一项十分典型的例子。我们首先从 kafka 里通过 Source 读取其中的部分记录。
Flink Connector（一） FlinkKafkaConsumer
xiaoliu_1的博客
02-28 5134
前言 分析基于的版本是Flink 1.12.1 ， Kafka 是 2.11 。 下面是在IDEA 里边直接依赖的包的截图 。 FlinkKafkaConsumer Maven依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1...
Flink学习总结
Think++
07-13 1329
本文为学习B站上的Flink入门视频课程的总结，有些重点知识或许在面试中会被问到，故于此分享学习。 1.Flink和Storm，Hadoop，Spark的对比？ Hadoop是纯粹的批处理框架，storm是纯粹的流处理框架，spark通过基于两种不同的技术实现了批处理和流处理，但是Flink同时支持实现了批处理和流处理，将批处理作为一种特殊的流处理。 Storm：延迟低，能做到毫秒级，牺牲了...
FlinkSQL学习笔记（三）常用连接器举例
最新发布
2401_89820122的博客
01-11 360
这里只能NOT ENFORCED，不像MySQL中可以进行强制主键。
【大数据】Flink学习笔记
passnight的博客
03-26 1800
Flink学习笔记
【Flink& Flick CDC】学习笔记
程序员作家
09-12 1550
Flink学习笔记
Flink学习使用总结
点滴记录IT技术进程
01-02 287
Flink的基础使用总结，适合入门的程序员参考，以助于构建知识框架。
Flink入门和学习总结
qq_39486100的博客
01-26 726
Flink入门和学习总结Flink入门和学习总结Flink简介数据框架的演变Flink的具体优势Flink应用场景Flink实例 Flink入门和学习总结 第一次了解Flink是通过《Flink原理、实战与性能优化》这本书，他让我对Flink有了最初的印象和认知。在一次项目报表功能开发中让我第一次深入学习并使用它。这篇博客是对我学习的过程的记录也算是个总结吧，希望在以后能不断的深化理解和学习，在以后的工作中提供更多的思路和解决方案。 Flink简介 Apache Flink是一个面向数据流处理和批量数据处理
【FLINK学习笔记】 FLINK WINDOW(窗口)详解
qq_37023928的博客
01-31 671
一、Window 分类 Global Window 和 和 Keyed Window 在运用窗口计算时，Flink根据上游数据集是否为KeyedStream类型，对应的Windows 也会有所不同。 Keyed Window：上游数据集如果是 KeyedStream 类型，则调用 DataStream API 的 window() 方法，数据会根据 Key 在不同的 Task 实例中并行分别计算，最后得出针对每个 Key 统 计的结果。 Global Window：如果是 Non-Keyed 类型，则调用
Flink Connector 开发
热门推荐
程序猿进阶
01-05 1万+
Flink里预定义了一部分source和sink。在这里分了几类。
flink connector使用
join_null的博客
10-16 351
https://blog.youkuaiyun.com/u014680720/article/details/100595003
如何正确使用Flink Connector？
chikuai9995的博客
09-06 945
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。 Fl...
Flink 自定义数据源Connector
tianhouquan的专栏
05-13 5495
flink自定义数据源
Flink DataStream API - Connector（连接器）
李思净的博客
07-30 1230
连接器 Source和Sink节点连接外部数据源的组件称为连接器（Connector），其中内置连接器的实现代码集成在Flink源码中，但是这些代码并没有被编译进Flink二进制程序包中。内置连接器如下，其中括号里描述的是支持Source还是Sink。 Apache Kafka (source/sink) Apache Cassandra (sink) Amazon Kinesis Stream...
Flink系列六：Flink SQl 之常用的连接器（Connector）
weixin_52134189的博客
06-04 3313
动态表 & 连续查询，连接器（Connector），数据格式
flink重温笔记（七）：Flink 流批一体 API 开发—— Connector 连接器
m0_60732994的博客
02-18 2321
前言：今天是学习 flink 的第七天啦！学习了 flink 中 connector（数据连接器） 部分知识点，这一部分只要是解决数据处理之后，数据到哪里去的问题，主要学习了数据存储到以下三处： 1、关系型数据库 mysql ； 2、消息队列：kafka； 3、非关系型数据库：redis 我觉得还是比较有意思的，这些是以后工作要用到的技能，我一定要好好掌握！ Tips：“莫道春光难揽取，浮云过后艳阳天！”明天周一，又是新的一天，要深入学习 flink 的四大基石属性！
Flink Connectors 介绍与 Kafka Connector
maben996
02-14 1482
文章目录1. Streaming Connectors预定义的 source 和 sinkBoundled connectorsApache Bahir 中的连接器异步 IO2. Flink Kafka Connector2.1 Flink Kafka Consumer1）反序列化2）消费起始位置设置3）topic 和 partition 动态发现4）commit offset 方式5）Times...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值