Kafka
关注
分享
扫一扫
文章平均质量分 89
RunningShare
微信公众号为：跑享网，博主有近多年工作经验，近8年大数据开发、运维和架构设计经验，将与您探讨Flink/Spark、StarRocks/Doris、Clickhouse、Hadoop、Kudu、Hive、Impala等大数据组件的架构设计原理，以及大数据、Java/Scala的面试题以及数据治理、大数据平台从0到1的实战经验等，也会与大家分享一些有正能量的名人故事，也包括个人成长、职业规划等的一些感悟，有探讨或感兴趣的话题，欢迎留言或私聊哈，如果文章对您有所启发，麻烦帮忙点赞+收藏+转发哈，若有大佬的打赏，更是感激不尽，小编将继续努力，打造更好的作品，与您一起进步~~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据消息中间件选型终极指南：深度解析Kafka、Pulsar、RocketMQ架构与性能
本文深度对比三大主流消息中间件Kafka、Pulsar和RocketMQ的核心架构与性能特点。Kafka以高吞吐和丰富生态著称，但存在存储计算耦合问题；Pulsar采用存算分离架构，适合云原生场景；RocketMQ则在金融级事务和顺序消息方面表现突出。文章通过对比矩阵和决策树，为不同业务场景提供选型建议：数据管道首选Kafka，金融交易考虑RocketMQ，云原生环境推荐Pulsar。最后指出三大组件相互融合的发展趋势，并邀请读者分享实战经验。原创 2025-10-01 23:10:04 · 921 阅读 · 0 评论 -
一次展现“务实思考” 和 “专业深度” 的大数据技术面试
这意味着需要等待Leader收到数据，并且所有ISR中的Follower都成功同步了这条数据后，才会向Producer发送一个成功确认。如果rowkey是单调递增的（比如时间戳），会导致所有新写入的数据都集中在一个Region，造成。它的核心是基于“追加日志”的数据结构来存储消息，这种设计使得它的读写效率非常高，非常适合做实时数据管道和流式处理的数据源。时，就不需要等待这个慢副本，保证了集群的可用性。：当面试官深挖（如Kafka的ISR、Flink的选型）时，他能迅速给出技术细节和实现原理，展示了深度。原创 2025-08-24 23:57:56 · 363 阅读 · 0 评论 -
Kafka的一条消息的写入和读取过程原理介绍
Kafka消息处理流程解析：生产者通过分区策略将消息写入Leader副本，经ISR机制同步后确认；消费者组通过Offset管理从分区拉取消息，支持不同投递语义。系统通过分区副本、顺序I/O和批量处理实现高吞吐，核心机制包括ISR同步、ACK确认和零拷贝优化，确保高可用与高性能。理解这些原理有助于优化集群配置和排查问题。原创 2025-08-12 17:24:44 · 945 阅读 · 0 评论 -
Kafka中是怎么体现消息顺序性的？
Kafka中是怎么体现消息顺序性的？Kafka只能保证分区内消息顺序有序，无法保证全局有序生产者：通过分区的leader副本负责数据顺序写入，来保证消息顺序性消费者：同一个分区内的消息只能被一个group里的一个消费者消费，保证分区内消费有序为什么做不到全局有序：因为消息会发送到不一样的分区，分区之间发送的顺序是无法保证的如何做到并发且全局有序？解题思路并发可以在发送端并发也可以在消费端并发，并发可以通过多线程发送或消费全局有序需要做到只有一个分区或者数据按顺序发原创 2020-07-20 10:37:35 · 3083 阅读 · 0 评论