Kafka
关注
分享
扫一扫
戴夫博客
工作心得内容记录
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
手动维护kafka偏移量offset存储在Redis中代码实现
/* SparkStreaming基于redis来管理整合kafka过程中涉及到的offset提交问题 思路： 1°、可能没有读取到数据，从源头来开始读取数据 2°、读取到了数据，从指定offset位置开始读取数据 2、对读取的kafka数据，进行业务处理 3、提交offset到redis */ object _01Streamin...原创 2020-04-13 15:39:50 · 1453 阅读 · 0 评论 -
Kafka的副本数据同步策略即ISR
Kafka的副本数据同步策略是： 当副本全部完成同步时，才会返回ack 优点是选举新的leader时，容忍n台节点故障，需要n+1 个副本，而且不会造成数据的大量冗余，缺点是延迟高。 虽然它的网络延迟高，但网络延迟对kafka的影响较小； ISR： 作用： 剔除故障的follower（不和leader进行同步） 如果leader故障，此时会在follower中选举新的leader 场景： lead...原创 2019-11-18 15:57:30 · 1104 阅读 · 0 评论 -
Kafka中的ACK应答机制
kafka中的应答机制： 对于一些不太重要的数据，对数据的可靠性要求不是特别高的情况下，能够容忍少量的数据丢失，因此没有必要等待ISR中所有follower全部要接收成功 所以Kafka为用户提供了三种可靠级别设置，可以根据不同需求来修改选择： ack有三个参数配置：参数是0,1和-1 参数为0意思是： producer不等待broker的ack，这一种操作提供了最低的延迟，broker一接受到还...原创 2019-11-18 15:32:14 · 4247 阅读 · 3 评论