kafka的应用场景

本文探讨Kafka在消息队列、订阅与发布、消息削峰、数据采集及流处理等核心场景的应用,揭示其作为消息流处理平台的强大功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka作为一个消息流处理平台。很多开发人员都作它作为一个生产&消费的中间件,并没有细细去思考kafka可以在哪些应用场景中使用,下面根据我的经验,总结下kafka可以应用在以下场景中。

消息队列

这种场景是日常用得最多之一。我日常需要将多台服务器上的日志集中收集到一个点上,通过logstash进行扫描并发到kafka队列中,然后通过消费者程序进行消费写到hbase或者es中。

消息订阅与发布

这种场景也是日常使用最多之一。在日常项目中,我们可以需要重复消费相同的数据,例如一路数据用来收集入库,另一路数据进行实时分析,两路数据消费使用不到的groupid进行区分即 可。

消息削峰

这种场景相对少一些,类似愚公移山,将超过的请求峰值降低到平缓期去处理,使用的是kafka具有一定的缓存能力,默认可以将数据保留7天,当然在硬盘资源允许情况下可以设置更长,最终还是根据实际情况而定。

数据采集

这种应用场景也是最常用之一。当我们面对很多平台或组件的日志时,需要将这些平台或组件的日志统一起来,可以通过kafka统一起来,再分类处理,毕竟kafka是将数据进行字节流处理,不关注数据格式。

流处理

这种用法我暂时也没有用过,这种是在kafka2.0的版本才出现的,对于这种处理目前我还是使用flink或者spark进行处理,有机会可以尝试下是否具有较高的可用性,毕竟这可以减少组件的维护同时提高数据处理能力。

以上图片是积累下来的,并不是本人亲自去画的,感谢上面几个图的作者,但忘记在哪里找些图的了。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值