本文详细介绍了如何在Flink 1.7环境中，结合Spring-Kafka 1.3.8.RELEASE，从Kafka 0.11.0.3消费消息。首先在192.168.1.101上部署Docker容器，包括消息生产者、Zookeeper和Kafka，然后在192.168.1.104上安装Apache Bench。接着提供源码下载链接，并在192.168.1.102上开发并部署Flink应用，解析Kafka消息内容并进行实时处理。
-
spring-kafka：1.3.8.RELEASE
-
Flink：1.7
在机器192.168.1.101上部署三个容器(消息生产者、zookeeper、kafka)
构建kafka相关的环境不是本文重点，因此这里利用docker快速实现，步骤如下：
-
在机器192.168.1.101上安装docker和docker-compose；
-
创建docker-compose.yml文件，内容如下：
version: ‘2’
services:
zookeeper:
image: wurstmeister/zookeeper
ports:
- “2181:2181”
kafka1:
image: wurstmeister/kafka:2.11-0.11.0.3
ports:
- “9092:9092”
environment:
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka1:9092
KAFKA_LISTENERS: PLAINTEXT://:9092
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_CREATE_TOPICS: “topic001:2:1”
volumes:
- /var/run/docker.sock:/var/run/docker.sock
producer:
image: bolingcavalry/kafka01103producer:0.0.1-SNAPSHOT
ports:
- “8080:8080”
- 在docker-compose.yml所在目录执行命令docker-compose up -d，即可启动容器；
如果您想了解更多docker环境下kafka消息生产者的细节，请参考《如何使用Docker内的kafka服务》；
在机器192.168.1.104上安装Apache Bench
不同的操作系统安装Apache Bench的命令也不一样：
-
ubuntu上的安装命令apt-
最低0.47元/天 解锁文章
扫一扫
795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
