Flink自定义source（单并行度和多并行度）

最新推荐文章于 2025-09-30 02:56:03 发布

原创

最新推荐文章于 2025-09-30 02:56:03 发布 · 3.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍了Apache Flink中的数据源（Source）概念，包括预定义的Source如基于文件、Socket、集合和Kafka的Source，以及如何自定义单并行度和多并行度Source。通过实现SourceFunction或ParallelSourceFunction接口，开发者可以创建自己的数据源，并调整并行度以适应不同的处理需求。示例代码展示了如何创建和消费这些Source。

文章目录

DataStream是Flink的较低级API，用于进行数据的实时处理任务，可以将该编程模型分为Source、Transformation、Sink三个部分，如下图所示。本文来介绍常用的并行度Source和多并行度Source。
在这里插入图片描述

1.Source简介

source是程序的数据源输入，你可以通过StreamExecutionEnvironment.addSource(sourceFunction)
来为你的程序添加一个source。
在这里插入图片描述
flink提供了大量的已经实现好的source方法，也可以自定义source：

通过实现sourceFunction接口来自定义无并行度的source
通过实现ParallelSourceFunction 接口or 继承RichParallelSourceFunction 来自定义有并行度的
source

大多数情况下，我们使用自带的source即可。

2. Flink预定义的Source

flink提供了大量的已经实现好的source，常见的有：Flink source

基于文件的Source
基于Socket的Source
基于集合的Source
基于Kafka的Source

3. 自定义单并行度Source

除了flink本身提供的source之外，我们也可以自定义source。可以通过实现sourceFunction接口来自定义无并行度的source。

示例如下：

（1）自定义Source

import org.apache.flink.streaming.api.functions.source.SourceFunction;
//功能：每秒产生一条数据
public class MyNoParallelSource implements SourceFunction<Long> {
   
   
    private long number = 1L;
    private boolean isRunning = true;
    @Override
    public void run(SourceContext<Long> sct) throws Exception {
   
   
        while (isRunning){
   
   
            sct.collect(number);
            number++;
            //每秒生成一条数据
            Thread.sleep(1000);
        }
    }
    @Override
    public void cancel() {
   
   
        isRunning=false;
    }
}

（2）定义Consume，消费Source的数据，并打印输出

import org.apache.flink.api.common.functions.Fi

最低0.47元/天解锁文章