Flink Kafka 实时日志处理

最新推荐文章于 2023-11-23 16:20:49 发布

原创

最新推荐文章于 2023-11-23 16:20:49 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何在Mac环境下准备kafka和flink的安装，然后详细讲解了如何在Spring项目中集成Flink进行实时日志处理，包括pom配置、Flink job的编写和测试过程，提供了具体的步骤和参考文献。

Flink Kafka 实时日志处理

一、环境准备
- kafka安装
- flink安装
二、spring 集成
- pom配置
- flink job
- test
三、参考文献

一、环境准备

kafka安装

参考Mac springboot 集成 kafka

flink安装

参考Mac上安装flink及快速搭建demo

二、spring 集成

pom配置

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.10.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.10.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>