Kafka适合什么样的场景?
它可以用于两大类别的应用:
- 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue)
- 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是流处理,通过kafka stream topic和topic之间内部进行变化)
Kafka中文文档:http://kafka.apachecn.org/
1,系统环境
a,操作系统 CentOS Linux release 7.6.1810 (Core) 64位,必须确保你的内存是4G以上,双核CPU!否则将无法新建默认命名空间。
b,确保jdk环境已经安装,具体教程请看 CentOS7 shell脚本安装jdk
c,确保Python3和对应的pip已经安装,具体教程请看 CentOS7 源码编译安装Python3.5
2,执行以下命令,安装Kafka并启动
wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz # 下载kafka 1.0.0安装包
tar -zxvf kafka_2.11-1.0.0.tgz # 解压安装包
cd ka