kafka
文章平均质量分 78
something about kafka
predisw
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka consumer group rebalance
之所以会产生 stop-the-world 是因为所有的consumer 都需要重新assign partition, 所以traffic 需要停掉。避免这种情况可以配置这种 assignment strategy. 这中strategy is an extension of设置这种assignment strategy设置调整。原创 2025-06-05 15:30:27 · 1519 阅读 · 0 评论 -
Kafka broker 写消息的过程
Kafka的消息写入流程主要包含四个步骤:生产者发送消息到Broker,消息根据键或轮询策略分配到分区并顺序写入磁盘日志(不依赖内存缓存),通过副本机制确保容错性(根据acks配置等待确认),最后消费者按偏移量顺序读取消息(最近数据可能从OS页面缓存获取)。消息会保留指定时间(如7天)而非消费后立即删除。整个过程注重磁盘顺序写入和高效读取,利用OS缓存提升性能。原创 2025-06-04 18:18:14 · 720 阅读 · 0 评论 -
kafka 常用命令
【代码】kafka 常用命令。原创 2025-05-20 12:08:15 · 742 阅读 · 0 评论 -
kakfa 基本了解
client producer根据record 的 key 的hash 来分配topic 的partition. 如果没有key则round-robin 分配partition。data plane 就是broker,control plane 旧的就是zookeeper,新的是 kRaft contorller。kafka 的message 是可以被多次消费的,不是消费后就被删除,而是通过 retention policy 来控制的。只是存储messages 的 topic partition 有。原创 2025-05-20 11:57:19 · 878 阅读 · 0 评论 -
kafka 知识点
【代码】kafka 知识点。原创 2025-05-20 11:33:55 · 159 阅读 · 0 评论 -
kafka 问与答
client 只需要知道一部分nodes(brokers)的地址既可以,client 会自动发现剩下的所有topic partition leader nodes, 然后连接上。原创 2025-05-19 11:51:16 · 1087 阅读 · 0 评论 -
Kafka如何实现高性能
Kafka通过多层次的架构设计和优化实现了高性能消息传递。首先,在存储层,Kafka采用顺序I/O设计、零拷贝技术和页缓存利用,显著提升了数据读写效率。其次,在网络层,Kafka使用Reactor网络模型和批量压缩传输,优化了网络通信性能。此外,Kafka通过分区并行机制和轻量级broker设计,增强了系统的并发处理能力和可扩展性。这些优化措施使得Kafka能够处理每秒数百万条消息,并实现毫秒级延迟,成为高性能消息系统的标杆。原创 2025-05-15 15:20:48 · 1037 阅读 · 0 评论 -
kafka connect 大概了解
Kafka Connect 是 Apache Kafka 的一个组件,用于实现数据集成,支持将数据从数据库、文件系统等外部系统导入 Kafka,或将 Kafka 数据导出到其他系统。其核心概念包括 Kafka Worker(独立实例)、Kafka Connector(数据搬运器,分为 Source 和 Sink 两种类型)和 Kafka Connect Plugin(实现 Connector 的代码包)。通过配置 Connector 和安装 Plugin,用户可以轻松实现数据集成。Kafka Connect原创 2025-05-14 18:44:07 · 1041 阅读 · 0 评论 -
Kafka集群加入新Broker节点会发生什么
当向Kafka集群添加新的Broker节点时,新Broker会自动注册到ZooKeeper并同步集群元数据,成为Controller选举的候选者。然而,现有分区不会自动迁移到新Broker,需要管理员手动触发分区重平衡或配置自动平衡。管理员可以通过生成和执行迁移计划,或启用自动平衡配置来优化分区分布。新Broker的加入会带来轻微的性能影响,尤其是在分区迁移期间,但也会提升集群的总存储容量。最佳实践建议包括逐个加入节点、监控关键指标,并在加入后进行必要的优化操作。这些步骤确保新Broker的资源能够被充分利原创 2025-05-09 17:09:52 · 1221 阅读 · 0 评论 -
kafka leader traffic 重平衡
在Apache Kafka中,leader imbalance(领导者不平衡)可能导致某些broker成为瓶颈,因为它们承载了过多的分区领导者。为了解决这个问题,可以通过以下几种方法重新平衡broker流量: 自动领导者重平衡(Kafka 2.4+):启用auto.leader.rebalance.enable,Kafka会定期检查并重新分配领导者。 手动领导者选举:使用kafka-preferred-replica-election.sh脚本,将分区领导者重新分配到首选副本。 完全分区重新分配:通过kaf原创 2025-05-09 15:00:53 · 1132 阅读 · 0 评论 -
kafka records deletion policy
名称是否写入?是否压缩?说明✅ 是❌ 否当前活跃写入的 segment❌ 否✅ 是可压缩的旧 segment❌ 否❌ 否已压缩过的数据段。原创 2025-05-08 11:59:21 · 1107 阅读 · 0 评论 -
kafka logs storage
特性说明顺序追加高效写入磁盘可被删除或压缩支持灵活的数据生命周期管理可快速索引查找借助.index和.timeindex实现高效定位有助于持久性和故障恢复数据持久化到磁盘,可随时恢复。原创 2025-05-08 14:57:25 · 1042 阅读 · 0 评论
分享