【Kafka主题/分区/日志/消费顺序】

最新推荐文章于 2025-02-13 21:24:04 发布
原创 最新推荐文章于 2025-02-13 21:24:04 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
##############阁下如果是抄袭，爬取文章作恶或误导他人的开发者,请阅读中国现行法律的相关处罚条例再动手，转载之前最好先验证#############
文章标签：

#kafka #java #分布式

本文介绍了Kafka的主题、分区和日志概念，以及如何创建和管理分区。Kafka通过分布式存储解决海量数据问题，每个分区包含有序的消息序列，消费者维护自己的消费进度。同时，文章探讨了为何对主题数据进行分区存储的原因以及消费顺序的保证。此外，还展示了实际操作Kafka命令行工具进行主题管理的例子。

我是🌟廖志伟🌟，一名🌕Java开发工程师🌕、📝Java领域优质创作者📝、🎉优快云博客专家🎉、🌹幕后大佬社区创始人🌹。拥有多年一线研发经验，研究过各种常见框架及中间件的底层源码，对于大型分布式、微服务、三高架构（高性能、高并发、高可用）有过实践架构经验。

🍊博主：java_wxid
🍊博主：Java廖志伟
🍊社区：幕后大佬

文章目录


本文内容：

Kafka主题/分区/日志

kafka

主题/分区/日志的概念

Topic是一个类别的名称，同类消息发送到同一个Topic下面。对于每一个Topic，下面可以有多个分区(Partition)日志文件。Topic是一个逻辑概念，真正落实的数据都在分区上面，一般每个主题至少有一个分区。这样可以通过多个分区，放在在不同的服务器上面去，达到分布式存储的功能，海量数据通过分区存储，切片存储解决单台机器无法存储海量数据的问题。

kafka

分区是一个有序的消息序列，这些消息按顺序添加到一个叫做commit log的文件中。每个分区中的消息都有一个唯一的编号，称之为offset，用来唯一标示某个分区中的消息。 每个分区，都对应一个commit log文件。一个分区中的消息的offset都是唯一的，但是不同的分区中的消息的offset可能是相同的。

kafka一般不会删除消息，不管这些消息有没有被消费。只会根据配置的日志保留时间(log.retention.hours)确认消息多久被删除，默认保留最近一周的日志消息。kafka的性能与保留的消息数据量大小没有关系，因此保存大量的数据消息日志信息不会有什么影响。

每个消费者是基于自己在commit log中的消费进度(offset)来进行工作的。在kafka中，消费offset由消费者自己来维护；一般情况下我们按照顺序逐条消费commit log中的消息，当然我可以通过指定offset来重复消费某些消息，或者跳过某些消息。这意味kafka中的消费者对集群的影响是非常小的，添加一个或者减少一个消费者，对于集群或者其他消费者来说，都是没有影响的，因为每个消费者维护各自的消费offset。

Topic/Partition/Broker的初体验

创建多个分区的主题
/opt/kafka_2.13-2.7.1/bin/kafka-topics.sh --create --zookeeper 106.14.132.94:2181 --replication-factor 1 --partitions 2 --topic test1
查看下topic的情况
/opt/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe --zookeeper 106.14.132.94:2181 --topic test1

kafka
第一行是所有分区的概要信息，之后的每一行表示每一个partition的信息。

  • leader节点负责给定partition的所有读写请求。
  • replicas表示某个partition在哪几个broker上存在备份。不管这个几点是不是”leader“，甚至这个节点挂了，也会列出。
  • isr是replicas的一个子集，它只列出当前还存活着的，并且已同步备份了该partition的节点。
创建的名称为"test"的topic
/opt/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe --zookeeper 106.14.132.94:2181 --topic test

kafka
之前设置了topic的partition数量为1，备份因子为1，因此显示就如上所示了。

查询kafka的数据文件存储目录
cat /opt/kafka_2.13-2.7.1/config/server.properties

找到log.dirs配置的路径
kafka

进入kafka的数据文件存储目录查看test和test1主题的消息日志文件

kafka

消息日志文件主要存放在分区文件夹里的以log结尾的日志文件里

kafka

增加topic的分区数量(目前kafka不支持减少分区)

/opt/kafka_2.13-2.7.1/bin/kafka-topics.sh -alter --partitions 3 --zookeeper 106.14.132.94:2181 --topic test

查看分区

/opt/kafka_2.13-2.7.1/bin/kafka-topics.sh --describe --zookeeper 106.14.132.94:2181 --topic test

kafka

一个主题，代表逻辑上的一个业务数据集，比如按数据库里不同表的数据操作消息区分放入不同主题，订单相关操作消息放入订单主题，用户相关操作消息放入用户主题，对于大型网站来说，后端数据都是海量的，订单消息很可能是非常巨量的，比如有几百个G甚至达到TB级别，如果把这么多数据都放在一台机器上可定会有容量限制问题，那么就可以在主题内部划分多个分区来分片存储数据，不同的分区可以位于不同的机器上，每台机器上都运行一个Kafka的进程Broker。

为什么要对主题下数据进行分区存储？

  1. commit log文件会受到所在机器的文件系统大小的限制，分区之后可以将不同的分区放在不同的机器上，相当于对数据做了分布式存储，理论上一个主题可以处理任意数量的数据。
  2. 为了提高并行度。

消费顺序

一个分区同一个时刻在一个消费组中只能有一个消费者实例在消费，从而保证消费顺序。消费组中的消费者实例的数量不能比一个主题中的分区的数量多，否则，多出来的消费者消费不到消息。Kafka只在分区的范围内保证消息消费的局部顺序性，不能在同一个主题中的多个分区中保证总的消费顺序性。如果有在总体上保证消费顺序的需求，那么我们可以通过将主题的分区数量设置为1，将消费组中的消费者实例数量也设置为1，但是这样会影响性能，所以kafka的顺序消费很少用。

总结

以上就是今天要讲的内容，还希望各位读者大大能够在评论区积极参与讨论，给文章提出一些宝贵的意见或者建议📝，合理的内容，我会采纳更新博文，重新分享给大家。

🙏四连 关注🔎点赞👍收藏⭐️留言📝

感谢大家的支持，用心写博文分享给大家，你的支持（🔎点赞👍收藏⭐️留言📝）是对我创作的最大帮助。
🍊微信公众号：南北踏尘
🍊主页地址：java_wxid
🍊社区地址：幕后大佬

给读者大大的话

我本身是一个很普通的程序员，放在人堆里，除了与生俱来的🌹盛世美颜🌹、所剩不多的发量，就剩下180的大高个了。就是我这样的一个人，默默坚持写博文也有好多年了，有句老话说的好，🌕牛逼之前都是傻逼式的坚持🌕。希望自己可以通过大量的作品，时间的积累，个人魅力、运气和时机，可以打造属于自己的🌟技术影响力🌟。同时也希望自己可以成为一个🎄懂技术🎄，🎄懂业务🎄，🎄懂管理🎄的综合型人才，作为项目架构路线的总设计师，掌控全局的🌕团队大脑🌕，技术团队中的🍊绝对核心🍊是我未来几年不断前进的目标。

提示：以下都是资源分享，求个一键三连。

面试资料

福利大放送，🎉欢迎关注🔎点赞👍收藏⭐️留言📝，拜托了🙏，这对我真的很重要。
点击：面试资料
提取码：2021

200套PPT模板

福利大放送，🎉欢迎关注🔎点赞👍收藏⭐️留言📝，拜托了🙏，这对我真的很重要。
点击：200套PPT模板
提取码：2021

提问的智慧

福利大放送，🎉欢迎关注🔎点赞👍收藏⭐️留言📝，拜托了🙏，这对我真的很重要。
点击：提问的智慧
提取码：2021

Java开发学习路线

名称链接
JavaSE点击： JavaSE
MySQL专栏点击： MySQL专栏
JDBC专栏点击： JDBC专栏
MyBatis专栏点击： MyBatis专栏
Web专栏点击： Web专栏
Spring专栏点击： Spring专栏
SpringMVC专栏点击： SpringMVC专栏
SpringBoot专栏点击： SpringBoot专栏
SpringCould专栏点击： SpringCould专栏
Redis专栏点击： Redis专栏
Linux专栏点击： Linux专栏
Maven3专栏点击： Maven3专栏
Spring Security5专栏点击： Spring Security5专栏
更多专栏更多专栏，请到 java_wxid主页 查看

P5学习路线图
p5学习路线图P6学习路线图
P6学习路线图P7学习路线图
P7学习路线图P8学习路线图
P8学习路线图

以上四张图详细介绍了作为Java开发工作者所需要具备的知识技能，同学们学废了嘛，有想法系统学习的同学可以私聊我，🎉欢迎关注🔎点赞👍收藏⭐️留言📝。
🍊博主：java_wxid
🍊博主：Java廖志伟
🍊社区：幕后大佬

使用Kafka查询消费数据
DeoSql的博客
09-21 1708
在Kafka中，消息通过主题（Topic）进行发布和订阅，而消费者（Consumer）可以从主题中读取消息并进行处理。上述代码中，我们首先配置了Kafka消费者的属性，包括Kafka集群地址、消费者组ID以及键和值的反序列化器。然后，我们创建了一个Kafka消费者对象，并订阅了名为"test-topic"的主题。通过以上代码，你可以轻松地编写一个Kafka消费者，并从指定的主题中获取消息进行处理。如有任何疑问，请随时提问。例如，你可以订阅多个主题、设置不同的消费者属性以及实现自定义的消息处理逻辑。
【Kafka专栏 05】一条消息的完整生命周期：Kafka如何保证消息的顺序消费
weixin_40736233的博客
06-12 2652
除了默认的哈希分区策略外，Kafka还允许使用自定义的分区器。这为用户提供了更大的灵活性，可以根据业务需求自定义分区逻辑，进一步确保消息的顺序性。Kafka通过其独特的分区机制、消费者组配置、生产者的分区策略以及监控与错误处理机制，共同保证了消息的顺序消费。在实际应用中，需要根据业务需求合理配置和使用这些机制，以确保消息的有序性。同时，也需要注意Kafka的性能和可扩展性，以满足大规模数据处理的需求。
【kafka】服务器命令行查询kafka信息消费情况
热门推荐
好学的小师弟的博客；华为云社区月度积极博主
06-14 1万+
kafka-tool出问题的情况下，可以用命令行来查看kafka信息
kafka分区和日志
qq_34505594的博客
09-05 679
1.Kafka中所有消息是通过Topic为单位进行管理，每个Kafka中的Topic通常会有多个订阅者，负责订阅发送到改Topic中的数据。Kafka负责管理集群中每个Topic的一组日志分区数据。 生产者将数据发布到相应的Topic，可以选择不同的分发策略，选择将哪个记录分发送到Topic中的哪个Partition。例如可以round-robin方式完成此操作，然而这种仅是为了平衡负载。也可以根据某些语义分区功能（例如基于记录中的Key）进行此操作。 每组日志分区是一个有序的不可变的的日志序列，分区中
kafka 日志管理器、分区机制
这个人很懒什么都没有~
03-01 668
另外缓存文件的读写是使用MappedByteBuffer，底层是使用了页缓存PageCache，而操作系统使用LRU机制管理页缓存，同时由于Kafka写入索引文件是文件末尾追加写入，因此几乎所有索引查询都集中在尾部，如果在文件全文进行二分查找可能会碰到不在页缓存中的索引，导致缺页中断，阻塞等待从磁盘加载没有被缓存到page cache的数据。在创建主题时，不同 broker 节点的现有负载一样，所以多个分区到broker的分配，以及不同分区的多个副本到 broker 的分配都需要一些分配计算以均衡负载。
查看kafka消息消费情况
max_hello的博客
01-28 4328
查看主题命令 展示topic列表 ./kafka-topics.sh --list --zookeeper 172.18.153.12:2188 描述topic ./kafka-topics.sh --describe --zookeeper 172.18.153.12:2188 --topic test 查看topic某分区偏移量最大（小）值 ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --bro
kafka系列-主题和分区
山楂树的博客
02-15 1600
使用kafka的同学，一定会经常接触到主体和分区这两个概念，这是kafka中最核心的两个概念了。 主题作为一个逻辑容器，对消息进行归类，主题下又可以分成若干个分区。所以kafka的消息可以看成是三级的结构：主题-分区-消息。 每个分区下可以存在若干个副本，副本用来进行数据备份，提升容灾能力。 分区可以看成是一个只能追加写的日志文件。（当然，分区是逻辑上的概念，日志文件才是物理存在的） 分区的作用，是提供负载均衡的能力，类似于es的分片。不同的分区会被分配到不同的Broker节点上，这样就可以提升系统的吞吐量
Kafka 分区分配及再平衡策略深度解析与消费者事务和数据积压的简单介绍
天冬忘忧的博客
11-22 1689
本文将深入探讨 Kafka 中不同的分区分配策略，包括 Range、RoundRobin、Sticky 和 CooperativeSticky，以及它们在各种场景下的再平衡表现，并结合实际案例进行详细分析，并对消费者事务和数据积压进行简单介绍。
【深入理解Kafka系列】第四章 主题与分区
辛勤的搬运工_
10-04 2049
主要介绍了主题、分区、副本
RocketMQ和Kafka如何实现顺序写入和顺序消费？
qq_39126115的博客
02-13 1404
Kafka 的顺序性依赖于分区设计和生产消费端的合理配置，需根据业务需求权衡分区数量与顺序性要求。
消息中间件篇之Kafka-消费顺序性
冲鸭的博客
02-26 1187
1. 即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致。2. 充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序。
kafka-主题&分区&日志
阿七
05-10 875
一，主题的管理 主题是消息的归类，分区是消息的第二次归类，每个分区可以有一个至多个副本，每个副本对应一个日志文件，每个日志文件对应一至多日志分段，每个日志分段细分为：索引文件，日志存储文件，快照文件。 1.创建主题：当向broker发送未创建的topic的时候，如果broker设置了auto.create.topics.enable=ture。则broker会自动创建一个对应的分区=1，副本因子=1的topic。不推荐自动创建，因为这样会增加维护的难度，更加推荐的方式是：通过kafka-tipi..
kafka查看消费者方收到的消息日志
weixin_33933118的博客
04-20 6311
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka_04_Topic和日志
爱喝可乐的w
02-22 1346
Topic和日志
kafka入门（一）主题与日志
柠檬
10-20 461
本文作者：lemon 本文链接：https://lemon2013.github.io/2019/10/20/kafka入门之主题与日志/ 版权声明：本博客所有文章除特别声明外，均采用CC BY-NC-SA 3.0许可协议。转载请注明出处！ 主题 主题是存储消息的一个逻辑概念，可以简单理解为一类消息的集合，有使用方去创建。Kafka中的主题一般会有多个订阅者去消费对应主题的消息，也...
Kafka详解（二）：主题与分区、日志存储（KafkaAdminClient、优先副本的选举、分区重分配、日志清理、页缓存、零拷贝）
hxt的博客
05-23 2806
四、主题与分区 1、主题的管理 可以通过kafka-topics.sh脚本来执行创建主题、查看主题信息、修改主题和删除主题等操作，这个脚本位于$KAFKA_HOME/bin/目录下 1）、创建主题 如果broker端配置参数auto.create.topics.enable设置为true（默认值为true），那么当生产者向一个尚未创建的主题发送消息时，会自动创建一个分区数为num.partitio...
Kafka 消费进度
记录点点滴滴
03-08 2022
监控消费进度 : 看滞后程度：消费者 Lag , Consumer Lag滞后程度 : 消费者落后于生产者的程度Lag : 反映消费者的运行情况。
kafka的消费顺序_来自灵魂的拷问—知道什么是Kafka吗？
weixin_27785375的博客
01-03 472
一、定义Apache Kafka 是一款开源的消息系统。可以在系统中起到“肖峰填谷”的作用，也可以用于异构、分布式系统中海量数据的异步化处理。系统包括四个主要API:Producer API允许一个应用推送流记录通过一个或多个Kafka topics ；Consumer API允许一个应用订阅一个或多个topics 并且处理这些流记录；Streams API允许一个应用作为一个流处理者，通过top...
Flink 1.14.0 消费kafka数据报warn日志
她从小就是校花的博客
01-08 754
flink 消费kafka数据报warn日志
删除 /usr/local/kafka/confluent-4.1.1/logs/ 目录下的所有日志文件
最新发布
10-11
<think>我们正在处理一个文件删除操作，目标是删除特定目录下的所有日志文件。 用户要求删除的是：/usr/local/kafka/confluent-4.1.1/logs/ 目录下的所有日志文件。 注意：这个目录是Kafka的日志目录，删除日志文件通常不会影响Kafka的数据（因为数据在另外的目录），但会丢失日志记录。 在删除前，我们需要确保Kafka服务已经停止，否则可能正在写入日志，导致删除不彻底或出现其他问题。 步骤： 1. 停止Kafka和Zookeeper服务（如果正在运行） 2. 删除日志文件 3. 可以选择重启服务（如果需要） 根据引用[2]中的信息，用户使用的是confluent平台，我们可以使用confluent命令停止服务。 但是，请注意，用户之前的问题中提到了因为磁盘空间不足（No space left on device）导致启动异常，所以删除日志文件是为了释放空间。 因此，我们需要谨慎操作，确保删除的是正确的文件，并且不会影响服务的重新启动。 具体操作： 1. 停止服务（如果正在运行）： 如果使用confluent命令，可以执行：`confluent stop` 或者 `confluent destroy`（后者会清除所有数据，慎用） 或者单独停止Kafka和Zookeeper。 2. 删除日志文件： 使用rm命令删除指定目录下的所有文件，例如：`rm -rf /usr/local/kafka/confluent-4.1.1/logs/*` 注意：这个命令会删除logs目录下的所有文件，但保留logs目录本身。 3. 如果需要重启服务，则启动：`confluent start` 但是，请注意： - 确保没有其他重要的日志文件在该目录下，或者这些日志都是可以删除的。 - 删除后，如果需要重新启动服务，服务会自动创建新的日志文件。 另外，用户之前提到过Zookeeper的数据目录（/usr/local/kafka/confluent-4.1.1/zk/data/version-2）磁盘空间不足，所以删除日志文件可能只是解决空间问题的一部分。如果日志文件占用的空间不大，那么可能需要同时清理其他文件（比如Zookeeper的事务日志，或者Kafka的数据日志）。 因此，在删除前，我们可以先查看一下该目录的大小，确认删除这些日志文件能够释放足够的空间。 建议操作顺序： 步骤1：停止服务（避免写入） 步骤2：检查磁盘空间（df -h）和目录大小（du -sh /usr/local/kafka/confluent-4.1.1/logs） 步骤3：删除日志文件 步骤4：检查磁盘空间是否释放 步骤5：启动服务 如果用户确认要删除，我们可以执行删除命令。 由于用户明确要求删除该目录下的日志文件，所以我们按照要求给出删除命令。 注意：rm -rf 命令非常危险，务必确保路径正确。 因此，给出如下解决方案： </think>### 安全删除 Kafka 日志文件的步骤 #### 1. **停止 Kafka 和 Zookeeper 服务** ```bash # 停止所有服务（使用 Confluent 平台） /usr/local/kafka/confluent-4.1.1/bin/confluent stop ``` #### 2. **确认目录路径** ```bash # 双重验证目标目录 ls -lh /usr/local/kafka/confluent-4.1.1/logs/ du -sh /usr/local/kafka/confluent-4.1.1/logs/ ``` #### 3. **执行删除操作** ```bash # 删除 logs 目录下所有文件（保留目录结构） rm -f /usr/local/kafka/confluent-4.1.1/logs/* # 安全删除方案（保留最近7天日志） find /usr/local/kafka/confluent-4.1.1/logs/ -type f -mtime +7 -delete ``` #### 4. **验证删除结果** ```bash # 检查目录是否为空 ls -l /usr/local/kafka/confluent-4.1.1/logs/ | wc -l # 预期输出：0（只有总用量行） ``` #### 5. **重启服务** ```bash # 重新启动服务 /usr/local/kafka/confluent-4.1.1/bin/confluent start # 检查新日志是否生成 tail -f /usr/local/kafka/confluent-4.1.1/logs/server.log ``` ### 关键注意事项 1. **服务状态**： - 必须**先停止服务**再删除日志，否则可能导致： - 文件句柄未释放的 `EBUSY` 错误 - 数据不一致风险：$P(\text{损坏}) \propto \frac{\text{写入速率}}{\text{删除时段}}$ 2. **日志保留策略**： ```properties # Kafka 配置（server.properties） log.retention.hours=168 # 保留7天(默认) log.cleaner.enable=true # 启用压缩 ``` > 建议通过配置自动清理替代手动删除[^1] 3. **磁盘空间回收验证**： ```bash # 删除前后对比 df -h /usr/local/kafka | grep -E 'Filesystem|Used' ``` ```markdown | 状态 | 已用空间 | 释放量 | |----------|---------|-------| | 删除前 | 95% | - | | 删除后 | 65% | 30% | ``` ### 预防性建议 ```bash # 创建日志轮转配置 cat <<EOF | sudo tee /etc/logrotate.d/kafka /usr/local/kafka/confluent-4.1.1/logs/*.log { daily rotate 7 compress delaycompress missingok notifempty create 644 kafka kafka } EOF ``` > **重要提示**：生产环境建议将日志目录挂载到独立分区： > $$\text{日志空间} \geq 2 \times \text{日均增量} \times \text{保留天数}$$ > 以防止日志占满系统磁盘[^2] ---
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java程序员廖志伟

赏我包辣条呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值