
kafka
@云师兄
将技术心得汇聚总结,利人利己
展开
-
kafka的学习心得
最近项目开始使用kafka作为消息中间件,理由是支持更高的吞吐量和轻量级(相对传统的mq,如rabbit)。与rabbitmq的不同重broker与重consumerkafka跟rabbit的设计上有很多不同,rabbit上存在exchange、queue以及两者binding,生产者根据需要需要发送给不同类型exchange,经exchange的绑定关系路由到特定的queue...原创 2018-07-18 23:44:07 · 566 阅读 · 0 评论 -
Apache Kafka简介
分布式流式平台的三大特征:流式记录的发布订阅采用容错持久的方式存储流式消息流式记录实时处理kafka通常用于处理两大类应用:在异构系统和应用之间构建实时流式数据处理管道数据的传输和响应的实时流式应用kafka的基础概念kafka以集群方式启动,运行在一台或多台的服务器上,可跨数据中心kafka在存储数据流的时通过一个叫“topic”的进行分类每条数据记录由...原创 2019-06-15 23:31:30 · 281 阅读 · 0 评论 -
kafka与zk的leader选举的混沌不清
在kafka中,同个topic下的partition分布在多个broker中,topic下的partitions使用zookeeper进行分布式协调,可以说kafka与zk是牢牢联系在一起的。但其中,都存在leader选举、主从复制、同步有效个数(zk是超过一半,kafka则是在isr列表中个数),在学习的初始造成一些混淆与困惑。认清zookeeper的leader选举的内与外内一般书籍或者...原创 2019-09-18 23:41:02 · 572 阅读 · 0 评论