Apache Doris Routine Load快速体验之Kafka部署（1）

环境信息

硬件信息

1. CPU ：4C
2. CPU型号：ARM64
3. 内存 ：10GB
4. 硬盘 ：66GB SSD

软件信息

1. VM镜像版本 ：CentOS-7
2. Apahce Doris版本 ：1.2.4.1
3. Kafka版本：3.2.0
4. Zookeeper版本：3.6.4

Kafka介绍

Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统，能够将消息数据从一个端点传递到另一个端点，较之传统的消息中间件(例如 RocketMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息数据处理。

Zookeeper安装部署

本文使用kafka默认自带的zk，后续可以改为自己单独部署的zk

下载Zookeeper

#下载zk包
wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
#创建安装文件夹
mkdir -p /opt/zk3.6.4
cd /opt/zk3.6.4

#解压安装
tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
mv apache-zookeeper-3.6.4-bin.tar.gz/* ./
rm -rf apache-zookeeper-3.6.4-bin.tar.gz*

安装Zookeeper及初始化

#生产zk配置文件
cd /opt/zk3.6.4/conf/
cp zoo_sample.cfg zoo.cfg

#修改zoo.cfg配置
dataDir=/home/zo