Linux上安装kafka与flink非常简单(前提需要Java环境),首先到官网下载压缩包,kafka官网选择适合自己的tgz包,下载完可以放到usr/local/下(我的放到这个目录下,可以根据自己的情况),
之后进行解压缩
tar -xzvf 压缩包.tgz
然后进入解压目录启动zookeeper,(因为现在安装kafka无需安装zookeeper,kafka自带)
bin/zookeeper-server-start.sh config/zookeeper.properties
之后启动kafka
bin/kafka-server-start.sh config/server.properties
创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
创建消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
创建完没有任何显示,是因为没有创建生产者,创建生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
执行之后就可以输入消息按回车就会在消费者看到
安装flink
在flink官网下载flink包,对应的Hadoop和Scala版本,下载完放到指定目录下进行解压
tar -xzvf 压缩包.tgz
进入解压目录,执行
bin/start-cluster.sh
启动flink,就可以在浏览器上输入http://localhost:8081,看到flink任务主页面,
运行wordcount.py demo执行
bin/pyflink.sh ./wordcount.py
就可以在浏览器上看到任务运行情况和输出结果。
执行
bin/stop-cluster.sh
关闭flink。