Flink Kafka 实时日志处理

csdn_xpw

于 2020-04-03 23:45:00 发布

阅读量978

点赞数

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/csdn_xpw/article/details/105303665

版权

本文介绍了如何在Mac环境下准备kafka和flink的安装，然后详细讲解了如何在Spring项目中集成Flink进行实时日志处理，包括pom配置、Flink job的编写和测试过程，提供了具体的步骤和参考文献。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink Kafka 实时日志处理

一、环境准备
- kafka安装
- flink安装
二、spring 集成
- pom配置
- flink job
- test
三、参考文献

一、环境准备

kafka安装

参考Mac springboot 集成 kafka

flink安装

参考Mac上安装flink及快速搭建demo

二、spring 集成

pom配置

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.10.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.10.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version