Flink-Source-5种方式

原创

已于 2022-07-11 15:32:38 修改 · 785 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #java

于 2022-07-11 15:27:33 首次发布

本文详细介绍了Flink数据源的五种方式：基于集合、文件、Socket、自定义（随机订单数据）以及自定义（从MySQL）。分别讲解了API用法和应用场景，包括测试数据生成、实时数据读取以及自定义数据源的实现，特别强调了自定义Source在处理实时MySQL数据变更中的应用。

1 . 基于集合的Source

API

一般用于学习测试时编造数据时使用

env.fromElements(可变参数)；
env.fromColletion(各种集合)；
env.generateSequence(开始，结束)；
env.fromSequence(开始，结束)；


import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Arrays;

/**
 * Author itcast
 * Desc 演示DataStream-Source-基于集合
 */
public class SourceDemo01_Collection {
    public static void main(String[] args) throws Exception {
        //TODO 0.env
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setRuntimeMode(RuntimeExecutionMode.AUTOMATIC);

        //TODO 1.source
        DataStream<String> ds1 = env.fromElements("hadoop spark flink", "hadoop spark flink");
        DataStream<String> ds2 = env.fromCollection(Arrays.asList("hadoop spark flink", "hadoop spark flink"));
        DataStream<Long> ds3 = env.generateSequence(1, 100);
        DataStream<Long> ds4 = env.fromSequence(1, 100);

        //TODO 2.transformation

        //TODO 3.sink
        ds1.print();
        ds2.print();
        ds3.print();
        ds4.print();

        //TODO 4.execute
        env.execute();
    }
}

2 . 基于文件

API

一般用于学习测试时编造数据时使用
env.readTextFile(本地/HDFS文件/文件夹)； //压缩文件也可以


import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * Author itcast
 * Desc 演示DataStream-Source-基于本地/HDFS的文件/文件夹/压缩文件
 */
public class SourceDemo02_File {
    public static void main(String[] args) throws Exception {
        //TODO 0.env
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setRuntimeMode(RuntimeExecutionMode.