cdh完美集成kafka

本文详细介绍了如何通过Cloudera平台集成Kafka服务的过程,包括准备工作、集成实现以及具体步骤,旨在帮助用户顺利实现Kafka与Cloudera环境的无缝对接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言  

  其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。

具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html

下面就是我根据这个文档的集成过程。

kafka相关包准备

 csd包:http://archive.cloudera.com/csds/kafka/

 parcel包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根据自己的集群的系统版本下载 )

我用的是centos6.5 x64的系统,所以我下载的parcel包为KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcelKAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel.sha1

集成实现

  1. 关闭集群,关闭cm服务( 假如不关闭cm服务,会出现在添加kafka服务时找不到相关的服务描述 )

  2. 将csd包放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :

  3. 将parcel包放到cm安装节点下的 /opt/cloudera/parcel-repo目录下,如图:
  4. 启动cm服务,分配并激活percel包
  5. 添加kafka服务:
  6. 启动服务

 

转载于:https://www.cnblogs.com/jechedo/p/5122531.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值