CDH集成kafka方法实践

本文详细介绍了如何在Cloudera Manager (CM) 中集成Kafka服务的过程,包括所需Kafka包的准备、上传及激活Parcel包,以及配置Kafka服务和角色节点等步骤。
(本文以KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel和CDH5.5.1版本截图,最后出现兼容问题,将KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel换为KAFKA-0.8.2.0-1.kafka1.4.0.p0.56-el6.parcel就正常,请大家先查看版本兼容问题)
参考CDH官网文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html
兼容列表:http://www.cloudera.com/documentation/kafka/latest/topics/kafka_requirements.html#kafka_requirments
cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。

集成过程:
1、kafka相关包准备
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/
我用的是centos6.4 x64的系统,所以我下载的parcel包为KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel与KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1

上传到CM服务器上



2、集成实现

打开CM界面查看parcel

点击激活

等待激活

显示停止 说明激活成功


3、添加kafka服务和配置角色节点


参考:

http://blog.youkuaiyun.com/nevergiveup54/article/details/50545020

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值