Flink流数据采集笔记(三) : Source读取数据编程

丘卡丘丘丘皮

已于 2022-07-26 23:35:29 修改

阅读量1.1k

点赞数

分类专栏： Flink相关文章标签： flink 大数据数据库 hdfs kafka

于 2022-07-26 23:27:54 首次发布

本文链接：https://blog.youkuaiyun.com/YyyZzzLllx/article/details/125981396

版权

这篇博客详细介绍了Flink流处理的核心编程，包括Environment环境配置，从Java、文件、Socket和Kafka中读取数据的方法，并重点讲解了自定义Source的实现关键点，如实现SourceFunction接口和设置并行度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 Flink核心编程概述

从开发步骤的角度来讲，主要分为四大部分 :

二 Environment环境

没说的,两行代码解决全部

批:

ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment();

流:

  StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

三 Source

(一) 准备

为了更好的方便敲代码,一个导包,一个JavaBean类

<!-- https://mvnrepository.com/artifact/org.projectlombok/lombok -->
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.16</version>
</dependency>

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

/**
 * 水位传感器：用于接收水位数据
 *
 * id:传感器编号
 * ts:时间戳
 * vc:水位
 */
@Data
@NoArgsConstructor
@AllArgsConstructor
public class WaterSensor {
    private String id;
    private Long ts;
    private Integer vc;
}

(二) 从Java中读取数据

public class SourceJava {
    public static void main(String[] args) throws Exception {
        //1.获取流的执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        env.setParallelism(1);

        //2.TODO 从集合中读取数据
        List<Integer> list = Arrays.asList(1, 2, 3, 4, 5);
        DataStreamSource<Integer> streamSource = env.fromCollection(list);

        //从元素中读取数据
        DataStreamSource<String> dataStreamSource = env.fromElements("

最低0.47元/天解锁文章