Flink+Kafka:构建日志采集+流式处理分析日志

本文介绍如何适配Flink 1.10.0与Kafka 2.3.1版本,提供Docker及Kubernetes环境下的部署脚本,实现流式处理框架的快速搭建。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        Flink和Kafka的配合难点在于版本的适配,本文提供已适配版本,并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。

一、版本选择

        Flink:1.10.0-scala_2.12

        Kafka:2.12-2.3.1

        wurstmeister/zookeeper:3.4.6

        版本资源、docker部署脚本以及k8s多副本方式部署脚本(包含k8s各个pod之间的动态通信脚本)请到Flink+Kafka搭建流式处理框架(内涵docker部署脚本和k8s多副本部署脚本)-flink文档类资源-优快云下载flink搭配kafka,构建流式采集框架,提供了docker部署方式脚本和k8s多副本方式部署脚本更多下载资源、学习资料请访问优快云下载频道.https://download.youkuaiyun.com/download/jdk819/36732717获取。

二、Docker版本部署

        下面图片贴出了部署脚本deploy.sh,其中flink的docker-compose.yml编排脚本,请去上面的资源路径获取。

  • 如果需要部署多个kafka的docker容器,可以复制Kafka容器的部署命令,并修改对外映射端口号和容器名称即可

 三、Kubernetes版本部署

        k8s采用多副本方式部署,难点在于解决各个pod之前的通信问题,比如zookeeper和kafka之间的通信等。

        废话不多说,放出部署成功的截图,资源请去上面的链接中获取。

  • k8s中三副本部署zookeeper和Kafka

  • k8s中三副本部署flink

  • flink对外接口

        k8s的主节点为10.21.70.183,通过http://10.21.70.183:30328/访问flink页面如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值