Flume kafka 简洁快速安装

最新推荐文章于 2023-01-25 14:43:34 发布

原创最新推荐文章于 2023-01-25 14:43:34 发布 · 205 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #大数据

大数据专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了如何在Linux环境下安装和配置Flume 1.8和Kafka，包括解压Flume包、配置flume-env.sh文件、验证Flume安装、下载Kafka以及确保ZooKeeper正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume
下载flume1.8

1:将下载的flume包，解压到/opt目录中
cd /opt
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt
mv apache-flume-1.8.0-bin flume
2:修改conf下的 flume-env.sh 配置文件,主要是JAVA_HOME变量设置
cp复制flume-env.sh.template为flume-env.sh
export JAVA_HOME=/opt/jdk
3)验证是否安装成功
./bin/flume-ng version

Kafka
Kafka必须依赖ZooKeeper，所以应该确保ZooKeeper已成功运行。Kafka内置了ZooKeeper，故如果未安装ZooKeeper可以使用其内置ZooKeeper。但我们一般使用外部zookeeper服务。

1.下载Kafka:http://kafka.apache.org/downloads
其中"kafka_2.11-2.4.0"表示 Kafka 版本2.4.0，Scala版本2.11。建议Scala2.11 版本，Kafka 目前最新版本为2.6.0（2020-08-03），但实际上很多企业还在使用Kafka 0.11.x版本
在这里插入图片描述