
Kafka
暁洣
读奇书,做奇事,交奇友,做个奇女子
展开
-
大数据学习-Kafka原理详解
Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统,最初是用作LinkedIn的活动流(Activity Stream)和运营数据处理的基础。 Kafka使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 综上,Kafka是一种分布式的,基于发布/订阅的消息...原创 2019-04-24 16:22:09 · 616 阅读 · 0 评论 -
深度剖析Kafka可靠性保证
Kafka的AR Kafka的内部维护了一个AR列表,其中,AR由ISR和OSR两部分组成。 ISR ISR中的副本都要同步leader中的数据,副本同步队列,只有都同步完成了数据才认为是成功提交了,成功提交之后的消息才能被访问和消费。在这个同步的过程中,即使消息已经写入也不能被外界访问,这个过程是通过LEO-HW机制来实现的。 OSR OSR中的follower会尽力的去同步leader,可能数...原创 2019-04-24 17:21:34 · 587 阅读 · 0 评论