Flink 自定义Sink端

最新推荐文章于 2025-03-13 16:36:23 发布
原创 最新推荐文章于 2025-03-13 16:36:23 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #hadoop #java

本文介绍了如何在 Apache Flink 中实现自定义 Sink 函数，以将数据写入外部系统如 HBase，并提供了详细的代码示例。

Sink介绍

在Fink官网中sink端只是给出了常规的write api.在我们实际开发场景中需要将flink处理的数据写入kafka,hbase kudu等外部系统。

UML关系

自定义Sink需要实现父类的接口和继承抽象类。

在这里插入图片描述上面是Sink的继承关系

Flink addSink

// 方法需要SinkFunction的对象
public DataStreamSink<T> addSink(SinkFunction<T> sinkFunction) {
   
   

		// read the output type of the input Transform to coax out errors about MissingTypeInfo
		transformation.getOutputType();

		// configure the type if needed
		if (sinkFunction instanceof InputTypeConfigurable) {
   
   
			((InputTypeConfigurable) sinkFunction).setInputType(getType(), getExecutionConfig());
		}

		StreamSink<T> sinkOperator = new StreamSink<>(clean(sinkFunction));

		DataStreamSink<T> sink = new
最低0.47元/天 解锁文章
flink自定义 sink
u013939918的博客
07-15 1472
准备工作 我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好了 FLink 和 Kafka 。 运行启动 Flink、Zookepeer、Kafka， 好了，都启动了！ 数据库建表 1 2 3 4 5 6 7 8 DROP TABLE IF EXISTS `student`; CREATE TABLE `student` ( `id` int(11) unsigned NOT NULL AUTO_INCRE
Flink的sink实战之四：自定义
2303_77877769的博客
04-30 846
手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友[外链图片转存中…(img-0hGphpix-1714422491263)]《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门。
【接口协议】基于 FPGA 的 HMDI 彩条显示实验
记录学习历程
10-17 3214
HDMI，高清晰度多媒体接口(High Definition Multimedia Interface)是标准的数字化视频/音频接口技术，可用于机顶盒、DVD播放机、个人电脑与电视机。HDMI可以同时传送音频和影音信号，能高品质地传输未经压缩的高清视频和多声道音频数据，最高数据传输速度为 50Gbps 左右。常见的 HDMI 有19 根 pin，此外还有二十多跟 pin 脚的 HDMI 接口这里也只介绍此类常见的 HDMI接口，接口序号和定义如下：引脚信号引脚信号1数据2+11时钟屏蔽2。
Flink自定义Sink
菜鸟也学大数据的博客
12-31 1228
示例:Flink写入MySQL 创建Maven项目 修改pom.xm文件 <!- 添加以下依赖，根据自己使用的版本进行修改 -> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> &
flink--自定义sink
weixin_45430750的博客
05-28 509
自定义sink public class SinkToJDBC { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env =StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> inputStream =
Flink自定义sink端SinkFunction的应用
Rocky
12-21 4477
场景说明 从kafka里面读取数据，经过处理写入到mysql里面。在flink里面就是从source到sink的过程，那么本篇文章说明一下，mysqlsink的单条数据插入和批量数据插入操作。 1、先说明一下SinkFunction的继承关系 通过API我们可以看到sinkFunction接口的实现类有很多。比如常用的RichSinkFunction。 2、mysql单条数据插入 public class SinkToMysql extends RichSinkFunction<Tuple2&lt
Flink自定义Sink系列2
feiyangailing的博客
03-28 2479
Flink自定义Sink系列之JDBC 文章目录Flink自定义Sink系列之JDBC前言一、代码如下总结 前言 使用flink的官方JDBC连接器创建数据库的连接Sink 一、代码如下 代码如下（示例）： public class JDBCSink { public <T> SinkFunction<T> getSinkFunction(String sql){ return JdbcSink.sink(sql, ne
Flink自定义Sink写入到HBase
FlatTiger的博客
05-29 1331
import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.sink.RichS
Flink专题五：Flink 中自定义Sink
beyond的博客
03-23 7446
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第五篇文章 自定义SinkSink介绍SinkFunction接口介绍RichSinkFunction类介绍 Sink介绍 flink的sink是flink三大逻辑结构之一（source，transform，sink）,功能就是负责把flink处理后的数据输出到外部系统中。 在编写代码的过程中，我们可以使用flink已经提供的sink，如kafka，jdbc,es等。 连接器是否提供Source支持是否提供Sink.
Flink 1.17教程：输出算子之自定义Sink输出
学亮编程手记
09-07 709
如果我们想将数据存储到我们自己的存储设备中，而Flink并没有提供可以直接使用的连接器，就只能自定义Sink进行输出了。与Source类似，Flink为我们提供了通用的SinkFunction接口和对应的RichSinkDunction抽象类，只要实现它，通过简单地调用DataStream的.addSink()方法就可以自定义写入任何外部存储。在实现SinkFunction的时候，需要重写的一个关键方法invoke()，在这个方法中我们就可以实现将流里的数据发送出去的逻辑。
Flink学习7-自定义sink实现
qq_40342691的博客
12-09 1226
自定义sink
Pyflink自定义Sink实现，以Neo4j Sink为例
最新发布
Milesian的博客
03-13 2051
Flink Neo4jSink 的java实现和python实现。java一个小时能写出三种实现，老架构、新架构、新架构v2。pyflink是真的不好用，非必要还是用java api！
《从0到1学习Flink》—— 如何自定义 Data Sink ？
http://www.54tianzhisheng.cn/
11-04 1295
前言 前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。 准备工作 我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要...
Flink SQL 自定义 Sink
shengjk1的博客
10-16 3081
背景 内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用 基于 Flink 1.11 步骤 implements DynamicTableSinkFactory implements DynamicTableSink 创建 Redis Sink 自定义 sink 代码 import com.ishansong.bigdata.common.util.redis.RedisUtil; import org
[flink 实时流基础] 输出算子（Sink）
程序员三木的博客
03-31 2536
如果我们想将数据存储到我们自己的存储设备中，而Flink并没有提供可以直接使用的连接器，就只能自定义Sink进行输出了。与Source类似，Flink为我们提供了通用的SinkFunction接口和对应的RichSinkDunction抽象类，只要实现它，通过简单地调用DataStream的.addSink()方法就可以自定义写入任何外部存储。在实现SinkFunction的时候，需要重写的一个关键方法invoke()，在这个方法中我们就可以实现将流里的数据发送出去的逻辑。
flink 自定义sink
07-28
Flink 提供了自定义 Sink 的功能，可以让用户根据自己的需求实现自己的 Sink 函数。自定义 Sink 主要涉及两个步骤：实现一个继承自 `RichSinkFunction` 的类，并重写其中的方法；在 Flink 程序中使用自定义 Sink。 以下是一个简单的示例，展示如何自定义一个 Sink 函数： 首先，创建一个类继承自 `RichSinkFunction`： ```java public class CustomSink extends RichSinkFunction<String> { @Override public void invoke(String value, Context context) throws Exception { // 自定义的逻辑处理，这里示例只打印输出 System.out.println(value); } } ``` 然后，在 Flink 程序中使用自定义 Sink： ```java public class CustomSinkExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> stream = env.fromElements("message 1", "message 2", "message 3"); // 使用自定义的 Sink stream.addSink(new CustomSink()); env.execute("Custom Sink Example"); } } ``` 在上述示例中，自定义的 Sink 函数 `CustomSink` 继承自 `RichSinkFunction`，并实现了 `invoke` 方法，其中可以编写自己的数据处理逻辑。在 Flink 程序中，通过 `addSink` 方法将数据流发送到自定义 Sink 中进行处理。 需要注意的是，自定义 Sink 函数还可以使用一些钩子方法，如 `open` 和 `close`，可以在其中进行一些初始化和清理操作。 希望这个示例能够帮助你理解如何在 Flink 中自定义 Sink 函数。如果有任何疑问，请随时提问。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值