yu766588220的专栏

现在你已经看完kafka，可以问自己如下几个问题，看自己掌握得如何为什么选择kafka而不是其他JMS？其优势是什么，应用场景有哪些易上手，吞吐量高 2.你的业务真的需要kafka吗？使用kafka会带来运维成本，如果你的业务数据量小到可以不用kafka时，就不用kafka。比如你的系统就几个用户使用，然后你用kafka实现一个异步短信功能给，给他们发短信，那就有点杀鸡用牛刀了...

1、配置参考：http://kafka.apache.org/22/documentation.html#configuration1.1 broker配置broker.id默认值是0，这个值在整个 Kafka 集群里必须是唯一的 2. port如果使用配置样本来启动 Kafka，它会监听 9092 端口 3. zookeeper.connect用于保...

1、说明仅列出一些较少用到的API，常用API比较简单，参考官网即可1、Streams API依赖：<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-streams</artifactId> <versi...

Kafka具有可靠存储数据的特性，可用来存储重要的支付数据， 或者与离线系统进行交互，系统可间歇性地加载数据，也可在停机维护后再次加载数据。1、kafka作为消息系统kafka的本职工作​​​​​​​2、kafka作为存储系统数据写入Kafka后被写到磁盘，并且进行备份以便容错。直到完全备份，Kafka才让生产者认为完成写入，即使写入失败Kafka也会确保继续写入Kafka使用...

1、分区机制的gao'高伸缩性传统的消息系统有两个模块: 队列 和 发布-订阅。而kafka对消息的消费是基于组的。当仅有一个组时，就相当于队列，当有多个组，那就是发布-订阅。所以kafka中，队列和发布订阅的转换很简单，通过增加或减少组即可。所以kafka用一种统一的方式实现了队列和发布订阅。kafka的实现，还有个巨大的好处，就是高伸缩性：一个topic中的一个分区，可以由群组中的一个...

1、说明注意，本文说的副本包括Leader和Follower副本2、复制Kafka 允许 topic 的 partition 拥有若干副本，你可以在server端配置partition 的副本数量。当集群中的节点出现故障时，能自动进行故障转移，保证数据的可用性。正常情况下， 每个分区都有一个 leader 和零或多个 followers 。 总的副本数是包含 leader 的总和。 所...

1、kafka高性能文件读写设计原理kafka中的数据是以日志的形式进行存储，所以分区实际上就是日志。1.1磁盘读写并不慢磁盘线性读写的速度比随机读写的速度快6000倍。现代操作系统提供了 read-ahead 和 write-behind 技术，read-ahead 是以大的 data block 为单位预先读取数据，而 write-behind 是将多个小型的逻辑写合并成一...

1、简单使用1、1 安装zookeepeper并启动启动kafka自带的zookeeper（建议独立安装zookeeper并配置启动。）zookeeper-server-start ../../config/zookeeper.propertieszookeeper.properties在kafka主目录下的config目录中 也可以直接使用自己下载并独立安装的zooke...