Linux安装kafka,flink并运行word count.py测试demo

本文介绍了如何在Linux系统中安装kafka和flink,包括下载压缩包、解压、启动服务、创建topic、消费者与生产者,以及flink的安装和运行Word Count Python示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Linux上安装kafka与flink非常简单(前提需要Java环境),首先到官网下载压缩包,kafka官网选择适合自己的tgz包,下载完可以放到usr/local/下(我的放到这个目录下,可以根据自己的情况),
之后进行解压缩

tar -xzvf 压缩包.tgz

然后进入解压目录启动zookeeper,(因为现在安装kafka无需安装zookeeper,kafka自带)

bin/zookeeper-server-start.sh config/zookeeper.properties

之后启动kafka

bin/kafka-server-start.sh config/server.properties

创建一个topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

创建完没有任何显示,是因为没有创建生产者,创建生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

执行之后就可以输入消息按回车就会在消费者看到
安装flink
flink官网下载flink包,对应的Hadoop和Scala版本,下载完放到指定目录下进行解压

tar -xzvf 压缩包.tgz

进入解压目录,执行

bin/start-cluster.sh

启动flink,就可以在浏览器上输入http://localhost:8081,看到flink任务主页面,
运行wordcount.py demo执行

bin/pyflink.sh ./wordcount.py

就可以在浏览器上看到任务运行情况和输出结果。
执行

bin/stop-cluster.sh

关闭flink。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值