CDH之CDK部署：CDH添加Kafka服务（Centos7.2|CDH5.16.1|kafka_2.11-2.2.1-kafka-4.1.0.jar）

muyingmiao

于 2019-10-24 09:11:11 发布

阅读量1.7k

点赞数

分类专栏： CDH

本文链接：https://blog.youkuaiyun.com/muyingmiao/article/details/102713449

版权

本文档详细介绍了如何在CDH集群上（CentOS 7.2, CDH 5.16.1）通过CDK添加Kafka服务。首先，需要下载kafka_2.11-2.2.1-kafka-4.1.0.jar等相关依赖，并根据Linux版本选择正确的EL包。接着，在主节点hadoop001上安装并运行httpd服务，设置Kafka的parcel repository，并将其分发并激活到所有节点。遇到启动失败的情况，可以调整Kafka Broker的配置参数以解决问题。" 128344001,7488815,构建CentOS7-Docker-PhP80-Swoole镜像,"['Docker', '运维', 'PHP', 'Swoole']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.下载依赖文件
https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html

kafka版本的介绍说明
kafka_2.11-2.2.1-kafka-4.1.0.jar
2.11 scala 版本
2.2.1 apache kafka版本
4.1.0 cdk版本

下载三个文件，如果Linux版本是6系列，选择el6，7系列选择el7

EL是Red Hat E nterprise L inux（EL）的缩写。

EL6是Red Hat 6.x，CentOS 6.x和CloudLinux 6.x的下载。
EL5是Red Hat 5.x，CentOS 5.x和CloudLinux 5.x的下载。
EL7是Red Hat 7.x，CentOS 7.x和CloudLinux 7.x的下载。

http://archive.cloudera.com/kafka/parcels/4.1.0/

[root@hadoop001 kafka_parcel]# mkdir kafka_parcel
[root@hadoop001 kafka_parcel]# wget http://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel
[root@hadoop001 kafka_parcel]# wget http://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1
[root@hadoop001 kafka_parcel]# wget http://archive.cloudera.com/kafka/parcels/4.1.0/manifest.json

将校验文件重命名

[root@hadoop001 kafka_parcel]# mv KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1 KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha
[root@ha

最低0.47元/天解锁文章