
kafka
文章平均质量分 98
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
战斧
从事金融IT领域,具有多年开发与架构经验。始终相信,当你学习的越多,不明白的也就越多。分享已知,探索未知,时刻保持进取的姿态
展开
-
Kafka的重要组件,谈谈流处理引擎Kafka Stream
今天我们学了一些关于Kafka Stream的内容太,知道了它是一种流处理引擎,可以消费Kafka中的数据,进行处理后,还能其转换为输出流。它特点在于不需要额外征用集群资源、易于使用、支持丰富的转换操作。使用场景包括实时数据分析、实时预测等原创 2023-11-16 20:26:02 · 12998 阅读 · 263 评论 -
保障效率与可用,分析Kafka的消费者组与Rebalance机制
我们上一期从可靠性分析了消息可靠性方面来分析Kafka的机制与原理,知晓了Kafka为了保障消息不丢失、不重复,所作出的种种设计。今天我们来讲关于Kafka在消费端所作出的一些机制与原理原创 2023-11-01 20:22:49 · 15975 阅读 · 268 评论 -
防止消息丢失与消息重复——Kafka可靠性分析及优化实践
在上一章内容中,我们解析了Kafka在读写层面上的原理,介绍了很多Kafka在读出与写入时的各种设计,初步理解了Kafka大吞吐量的原因,本期我们将带领大家从另一个角度,即从可靠性方面来分析Kafka的机制与原理原创 2023-10-24 21:14:59 · 10582 阅读 · 253 评论 -
Kafka存取原理与实现分析,打破面试难关
在前面的几篇内容中,我们依次讲了Kafka的安装、与Spring Boot的结合,还有选型与应用场景。但是笔者也知道,对于很多小伙伴来说,原理及实现才算重头戏,而且也是面试热点,那么本次我们先来进行存取原理的分析,当然抱着疑问去学习才是最快的,因此在开始之前,我也先抛出一些Kafka的重点与热点问题,希望大家在学习过程中能总结印证原创 2023-10-18 20:37:54 · 8281 阅读 · 241 评论 -
架构必备能力——kafka的选型对比及应用场景
经过上述的讲解,我们不难知道Kafka的应用场景非常广泛,你可以只把他当MQ组件,也可以使用它进行日志传输或流处理。它的特点也非常鲜明,就是强大的吞吐量、扩展性和可靠性。当然它与传统MQ组件对比,它在复杂场景下的使用会比较麻烦。但其在大数据领域应用广泛,比如经常作为 Hadoop 的数据源,将数据传输到 Hadoop 中进行存储和处理。当然,在实际选型中我们往往要考虑更多问题,除了明确需求和场景,还要考虑已用的技术栈情况、开发语言支持、版本更新情况。并没有哪一种框架是万金油。原创 2023-10-13 10:40:04 · 15322 阅读 · 269 评论 -
Kafka是什么,以及如何使用SpringBoot对接Kafka
继上一次教大家手把手安装kafka后,今天我们直接来到入门实操教程,也就是使用SpringBoot该怎么对接和使用kafka。当然,在一开始我们也会比较细致的介绍一下kafka本身。那么话不多说,马上开始今天的学习吧原创 2023-10-08 18:00:21 · 20470 阅读 · 258 评论 -
上手第一关,手把手教你安装kafka与可视化工具kafka-eagle
在本篇技术博文中,我们详细地教你如何安装kafka,还有它的可视化工具,中间也列举了一些异常以及它的处理方式,真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中,我们将讲解他们的使用及运行原理,希望同学们能喜欢。原创 2023-09-29 12:00:00 · 15911 阅读 · 150 评论