自定义fink source

最新推荐文章于 2025-06-22 17:20:19 发布
最新推荐文章于 2025-06-22 17:20:19 发布
阅读量355 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink source
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/138191663
本文介绍了如何自定义Flink Source，包括继承RichSourceFunction、初始化、实现数据生成逻辑及调用cancel方法进行取消操作。参考了阿里云开发者社区的相关资料。

实现思路：

（1）继承RichSourceFunction

（2）在open方法里重写初始化内容

（3）在run方法里实现具体的数据生成逻辑，例如从数据库中读取、或者程序自动生成，使用context.collect(str)，来将数据输出

（4）可以调用cancle来取消数据生成

参考资料：

Flink自定义source、自定义sink-阿里云开发者社区

基于http api作为flink自定义source源加工实时天气维表的实例
科学的N次方
07-03 1052
实时分析城市天气对订单的影响，并实时调整营销策略。
flink 自定义redisSource (list类型数据)
weixin_38430685的博客
10-23 267
自定义flink source，自定义redisSource ,自定义addSource
Flink RichSourceFunction应用实践（MySQ->MySQL）
ChengYanan的博客
05-28 2727
0. 前言 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心：Source,Transformation,Sink。其中Source即为Flink计算的数据源，Transformation即为进行分布式流式计算的算子，也是计算的核心，Sink即为计算后的数据输出端。Flink Source原生支持包...
flink的流处理的source
xwcj3的博客
07-29 642
flink的流处理的source 输入数据集DataSource Flink 中你可以使用 StreamExecutionEnvironment.getExecutionEnvironment 创建流处理的执行环境 Flink 中你可以使用 StreamExecutionEnvironment.addSource(source) 来为你的程序添加数据来源。 Flink 已经提供了若干实现好了的 source functions，当然你也可以通过实现 SourceFunction 来自定义非并行的 sourc
flink的算子，Source算子
qw3276425405的博客
05-30 864
一.flink算子执行过程 env -> source -> transform -> sink 1.env 根据不同的运行方式采取不同的运行环境 a.批处理 1）运行环境：ExecutionEnvironment 2）所有数据进行整体处理 3）返回的数据类型为：DataSet b.流处理 1）运行环境：StreamExecutionEnvironment 2）流处理必须添加开启启动执行的语句： env.execute(" ") 3）不管是什么数据源都得按实时流数据进
Flink学习4-flink自定义source并行度
qq_40342691的博客
12-27 3321
概要 关于source数据源，在flink 官网上介绍了很多对接方式、例如socket、elements、collect等常见的source，可以见下面链接：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/connectors/。在这里要说的是自定义source，通过addsource类接入。 public class sourceMain { public static void main(String[] arg
大数据-114 Flink DataStreamAPI 从 SourceFunction 到 RichSourceFunction 源函数的增强与实战
永远好奇 无限进步
09-02 5196
RichSourceFunction 和 RichParallelSourceFunction 是功能增强型的源函数，适用于需要复杂逻辑和资源管理的场景。相比基础的 SourceFunction，它们提供了更完整的 生命周期方法（open、close、run、cancel），支持在作业开始和结束时进行初始化和清理操作。通过 getRuntimeContext()，可以获取运行时上下文信息，包括并行度、任务名称、指标以及状态访问能力。同时，它们与 Flink 的 状态管理机制 深度集成，支持 ValueSta
Flink自定义source读取clickhouse
qq_43662627的博客
09-17 3479
昨晚想从clickhouse读取数据，愣是没找到clickhouse的flink的读取方法，一百度都是slink的，最后是找到一个clickhouse官方提供的jdbc方法，但还是用游标，好吧凑合着用 官方链接 package redo.source import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.api.scala._ import org.apache.fl
Flink的sink实战之四：自定义
2303_77877769的博客
04-30 849
手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友[外链图片转存中…(img-0hGphpix-1714422491263)]《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门。
flink sql 自定义 source 读取kafka（RichSourceFunction 模式）
weixin_44027814的博客
09-26 3660
先一定 KafkaSourceFunction： package com.alpha; import com.alibaba.fastjson.JSON; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.source.RichSourceFu...
Flink算子之RichParallelSourceFunction、RichSourceFunction因数据源不同，存在的差异
为一个人走几座城
03-12 2930
两套代码流程，完全一样。但是在读取到同样的数据后，数据返回给addSource算子后，通过transform算子后，继承RichSourceFunction的消息会出现丢失。 但是是区分数据源的，MySQL就没有类似的情况，但是Elasticsearch就会出现。 public class ElasticSource extends RichParallelSourceFunction<String>/RichSourceFunction { @Override pub.
【Flink读写外部系统】Flink自定义数据源函数_读取mysql
大白
05-17 2202
  实现自定义的数据源函数读取，Flink为我们提供了两个方法: SourceFunction通过实现RichSourceFunction来定义非并行的数据源连接器。 ParllelSourceFunction通过试下RichParalleSourceFunction来定义能并行的数据源连接器。 SourceFunction和ParallSourceFunction中定义了有两个方法： 分别是run()方法和cancel()方法 Run():   Run只会被
Flink SourceFunction深度解析：数据输入的起点与奥秘
最新发布
qq_42773076的博客
06-22 892
Flink SourceFunction深度解析 SourceFunction是Flink数据处理的源头组件，作为连接外部数据源与计算框架的桥梁。文章从基础概念、核心接口、源码架构到实现示例，系统剖析了其工作原理： 功能定位：负责数据读取、转换与发送，支持连接管理和Checkpoint协同，确保数据处理的一致性和可靠性 核心接口： 基础接口提供run/cancel方法 RichSourceFunction扩展生命周期管理 特殊接口支持水印生成和并行读取 实现机制： 数据流通过SourceContext发送
Mybatis源码解读系列(五)-Executor
Feverasa的博客
12-21 539
这一篇我们再来梳理Mybatis中的Executor接口及其对应的实现类。 上一篇我们主要了解的是StatementHanlder，现在我们来了解另一个接口Executor执行器，前面的StatementHanlder就是在这里创建以及使用的。 一、Executor的结构 public interface Executor { ResultHandler NO_RESULT_HANDLER = null; int update(MappedStatement ms, Object paramete
【03】Flink 之 DataStream API（一）：Data Source 和 自定义Source
努力学习的大小宝
05-13 3943
实现无并行度的自定义Source 1、run方法重写（主要的方法）： 启动一个source 注意：继承接口 SourceFunction的时候需要指定泛型，否则会报错 如：SourceFunction，即run中产生的数据类型 SourceFunction 和 SourceContext 都需要指定 在大部分情况下，都需要在这个run方法中实现一个循环，就可以循环产生数据 传入参数 (S...
Flink入门篇-使用
啊帅和和的博客
11-25 1424
目录Flink组件source基于本地集合的source基于文件的 source基于网络套接字的 source自定义的 source自定义source尝试自定义MySQL数据源接入，四种不同模式继承SourceFunction继承RichSourceFunctiontransformmap传入Scala函数传入Java函数继承MapFunction继承RichMapFunction （可以做open和close）flatMap传入Scala函数传入Java函数FilterKeyByReduceAggWind
Flink程序加载数据源（3）自定义数据源（1）
胖虎儿的博客
04-05 7229
文章目录（1）自定义数据源准备（2）实现自定义数据源功能① 准备环境② 获取数据眼③ 自定义数据源代码示例④ 测试自定义数据源 （1）自定义数据源准备 ​ flink 可以将我们常用的各种DB以及MQ中加载数据，官方提供了一些connectors(连接器)，引入依赖后并配置后，可快速获取到数据源。 ​ 同时，Flink还提供了数据源接口（抽象类）,我们实现该接口（实现抽象类）就可以实现自定义数据源，不同的接口有不同的功能，分类如下： SourceFunction: 非并行数据源(并行度只能=1)
Flink流式计算从入门到实战 三
roykingw的专栏
10-08 2510
文章目录四、Flink DataStream API1、Flink程序的基础运行模型2、Environment 运行环境3、Source3.1 基于File的数据源3.2 基于Socket的数据源3.3 基于集合的数据源3.4 从Kafka读取数据3.5 自定义Source4、Sink4.1 输出到到控制台4.2 输出到文件4.3 输出到Socket4.4 输出到kafka4.5 自定义Sink5、Transformation5.1 Map5.2 FlatMap5.3 filter 过滤5.4 keyBy5
flink学习（6）——自定义source和kafka
weixin_52642840的博客
11-24 905
自定义source和kafkasource
Fink
06-11
### Flink IT技术相关概述 Flink 是一种分布式流处理框架，旨在提供高性能、低延迟和高吞吐量的数据处理能力。它不仅支持实时流处理，还支持批量处理，是一种统一的计算引擎。以下是关于 Flink 的几个关键点： #### 1. Flink 的核心架构 Flink 的核心架构包括逻辑流图（Logical StreamGraph）和物理数据流图（Physical Dataflow Graph）。逻辑流图表示的是计算逻辑的高级视图，而物理数据流图则描述了实际执行过程中任务的分配和数据传输的方式[^3]。 #### 2. Flink CDC 功能 Flink CDC 是一组源连接器，基于数据库日志的 Change Data Capture 技术，实现了全量和增量一体化读取能力。它支持多种数据库作为上游数据源，并能够将变更数据实时同步到下游存储系统中。例如，Flink CDC 支持 MySQL、PostgreSQL 等多种关系型数据库，以及 Kafka、Hudi 等下游目标[^4]。 #### 3. 分治法在 Flink 中的应用 分治法（Divide and Conquer）在大数据处理中的应用可以显著提高效率。Flink 在处理大规模数据时，会将任务分解为多个子任务并行执行，最后再将结果合并。这种方法充分利用了分布式计算和存储资源，但也需要考虑数据分割策略和任务调度等问题以确保性能和正确性[^5]。 #### 4. 数据流图的解析与优化 为了高效执行流处理程序，Flink 需要将逻辑流图解析为物理数据流图。这一过程涉及并行子任务的分配、数据在任务间的传输以及算子链的优化。通过这些步骤，Flink 能够确保程序在分布式环境中高效运行[^3]。 ```python from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment # 初始化环境 env = StreamExecutionEnvironment.get_execution_environment() t_env = StreamTableEnvironment.create(env) # 注册表 t_env.execute_sql(""" CREATE TABLE source_table ( id BIGINT, data STRING, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'source_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ) """) # 执行查询 result = t_env.sql_query("SELECT id, data FROM source_table WHERE data LIKE '%flink%'") ``` ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值