Kafka原理&实战——(五)主题、分区的概念

Kafka中的主题topic是逻辑概念,用于分类消息。当topic消息量过大时,引入partition分区解决存储问题并提高读写性能。每个partition分布在不同节点上实现分布式存储,并允许并行处理,提升系统吞吐量。创建多分区主题可以将大量消息分散到多个分区,确保数据分布均匀。日志文件中保存了topic的所有partition的消息记录。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

1.主题topic

2.partition分区

2.1分区的概念

2.2 创建多分区的主题

3.kafka中消息日志文件中保存的内容


1.主题topic

主题topic在kafka中是一个逻辑的概念,kafka通过topic将消息进行分类。不同的topic会被订阅该topic的消费者消费。

但是有一个问题,如果说这个topic中的消息非常的多,多到需要几个T来存,因为消息是会被保存到log日志文件中的。为了解决这个文件过大的问题,kafka提出了Partition分区的概念。

2.partition分区

2.1分区的概念

通过partition

将一个topic中的消息分区来存储。主要的好处有多个:

1)分区存储,可以解决统一存储文件过大的问题

2)提高了读写的吞吐量:读和写可以同时在多个分区中进行

2.2 创建多分区的主题

    一个主题中的消息量是非常大的,因此可以通过分区的设置,来分布式部署这些消息。比如一个topic创建了3个分区。那么topic中的消息就会分贝存放在这三个分区中。

分区的作用:

1)可以分布式存储

2)可以并行写

3.kafka中消息日志文件中保存的内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值