cloudera manager服务之kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统,能够处理大规模网站的所有动作流数据。它通过Broker服务器实现消息的发布与订阅,并支持跨集群同步方案。本文介绍Kafka的基本概念、Broker配置及跨集群同步。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。

1.broker: kafka集群包含一个或多个服务器,这种服务器被称为broker。

   每条发布到kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

2.kafka跨集群同步方案--MirrorMaker。【解决Kafka跨集群同步、创建Kafka集群镜像等相关问题

   http://jingyan.baidu.com/article/8065f87fea4d3a233124989f.html-----创建镜像的过程

   http://jingyan.baidu.com/article/7f766daf967bec4101e1d0f3.html

3.kafka broker 配置说明 ---配置文件位置  /opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/etc/kafka/conf.dist/server.properties:

   http://blog.youkuaiyun.com/itleochen/article/details/18604787?utm_source=tuicool&utm_medium=referral

4.Kafka(一):基础

   http://blog.youkuaiyun.com/yfkiss/article/details/17348693




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值