flink自定义source数据源

逆风飞翔的小叔

已于 2022-09-11 17:43:14 修改

阅读量4.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： flink 入门到精通文章标签： flink 大数据 big data

于 2022-01-11 19:59:36 首次发布

本文链接：https://blog.youkuaiyun.com/congge_study/article/details/122440163

flink 入门到精通专栏收录该内容

40 篇文章 ¥15.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在Flink中自定义数据源。当现有的输入数据源无法满足需求时，可以创建自定义source。文章通过代码示例展示了如何实现SourceFunction接口，并在自定义类中编写读取数据的逻辑，例如读取文件、Kafka或数据库数据。

前言

在很多情况下，业务上读取的数据源渠道可能有很多种，比如前文的读取外部文件，读取来自kafka的数据等，如果现有的输入数据源仍然不能满足要求的情况下，就可以考虑自定义source 数据源

代码展示

自定义数据源中，flink提供了一个 addSource的方法，通过传入自定义的函数类（该函数类需要实现SourceFuntion接口），然后再在自定义的这个类中编写自身的处理逻辑即可，下面看具体的代码实现

1、自定义source类

public static class MySensorSource implements SourceFunction<SensorReading> {

        private boolean running = true;

        @Override
        public void run(SourceContext<SensorReading> ctx) throws Exception {
            Random random = new Random();
            Map<String, Double> tempMap = new HashMap<>();
            for (int i = 0; i < 10; i++) {
                tempMap.put("sensor_" + (i + 1), 60 + random.nextGaussian()