
kafka
文章平均质量分 97
kafka知识汇总
来一杯龙舌兰
学识尚浅
展开
-
kafka-Stream详解篇(附案例)
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream提供了一个非常简单而轻量的Library,它可以非常方便地嵌入任意Java应用中,也可以任意方式打包和部署除了Kafka外,无任何外部依赖充分利用Kafka分区机制实现水平扩展和顺序性保证通过可容错的state store实现高效的状态操作(如windowed join和aggregation)原创 2024-06-29 07:47:50 · 3085 阅读 · 1 评论 -
kafka-高可用设计详解(集群架构、备份机制、消费者组、重平衡)
当消费者组中重新加入消费者 , 或者消费者组中有消费者宕机 , 这个时候Kafka会为消费者组中的消费者从新分配消费分区的过程就是再均衡。再均衡就是指 当消费者组中的消费者发生变更的时候(新增消费者, 消费者宕机) , 重新为消费者分配消费分区的过程。同一个分区只能被一个消费者组中的一个消费者消费 , 一个消费者组中的某一个消费者, 可以消费多个分区。,我们可以放心的添加消费者或移除消费者,不过在正常情况下我们并不希望发生这样的行为。,组内的消费者共同对一个主题进行订阅和消费,原创 2024-06-28 08:29:51 · 2360 阅读 · 0 评论 -
kafka-高性能设计详解(页缓存、零拷贝等六大特性)
为了提升对文件的读写效率,Linux 内核会以页大小(4KB)为单位,将文件划分为多数据块。当用户对文件中的某个数据块进行读写操作时,内核首先会申请一个内存页(称为。原创 2024-06-27 08:22:14 · 1847 阅读 · 0 评论 -
kafka-高级篇(下载安装、快速入门、使用场景)
Apache Kafka是一个开源的分布式事件流平台,由LinkedIn公司开发并于2011年贡献给Apache软件基金会。Kafka设计用于处理大规模实时数据,它能够处理每秒数百万条消息,因此被广泛应用于大数据和实时分析领域。Kafka的主要特点包括:高吞吐量:Kafka能够处理每秒数百万条消息,满足大规模数据处理的需求。分布式:Kafka通过分布式系统设计,提供数据冗余和容错能力。实时性:Kafka能够实时处理数据,适合需要快速响应的场景。原创 2024-06-26 08:23:17 · 1051 阅读 · 0 评论