
kafka
文章平均质量分 82
奋斗永不止步
这个作者很懒,什么都没留下…
展开
-
kafka常见问题及优化
kafka常见问题及优化一、消息丢失:二、消息重复发送和重复消费三、消息乱序四、消息积压五、消息回溯六、延时队列七、kafka事务八、kafka高性能原因 一、消息丢失: 发送端: acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下一条消息。性能最高,但是最容易丢消息。大数据统计报表场景,对性能要求很高,对数据丢失不敏感的情况可以用这种。 acks=1: 至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入。就可原创 2021-08-02 11:13:18 · 1326 阅读 · 0 评论 -
Kafka设计原理详解(选举和Rebalance)
Kafka的选举和Rebalance一、Kafka核心总控制器Controller1、Controller选举机制2、Partition副本选举Leader机制二、消费者Rebalance1、消费者Rebalance机制2、消费者Rebalance分区分配策略:三、Rebalance过程第一阶段:选择组协调器第二阶段:加入消费组JOIN GROUP第三阶段( SYNC GROUP)四、producer发布消息机制剖析1、写入方式2、消息路由3、写入流程五、HW与LEO详解六、日志分段存储七、附录:zooke转载 2021-07-28 17:25:22 · 416 阅读 · 0 评论 -
springboot集成kafka
springboot集成kafka一、maven pom配置二、application.yml配置三、生产者代码:四、消费者代码: 一、maven pom配置 引入spring boot kafka依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>原创 2021-07-22 17:46:37 · 154 阅读 · 0 评论 -
kafka基本原理详解
kafka详解一、简介二、Kafka的使用场景三、Kafka基本概念四、server.properties核心配置详解五、生产策略(Producers)六、消费策略(Consumers)七、消费顺序 一、简介 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式原创 2021-07-22 17:25:22 · 364 阅读 · 0 评论