qq_43187430的博客

Kafka API相关代码在：Kafka学习代码：https://gitee.com/zyp1998/kafka-learning-code4.1 Producer API4.1.1消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中

Kafka架构深入3.1Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费

Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。1.2 消息队列1.2.1传统消息队列的应用场景使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系统的速度，

Kafka集群的启动：先启动zookeeper集群：注：可以编写zookeeper集群启动脚本/opt/zookeeper-1/bin/zkServer.sh start/opt/zookeeper-2/bin/zkServer.sh start/opt/zookeeper-3/bin/zkServer.sh start使用如下命令判断是否启动成功：/opt/zookeeper-1/bin/zkServer.sh status/opt/zookeeper-2/bin/zkServer.sh

kafka_zookeeper_配置文件配置原文server.properties配置如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=104857600log.dirs=/tmp/kafka-logsnum.partitions=2log.retent

Kafka集群配置参考：参考文章https://zhuanlan.zhihu.com/p/136758040?from_voters_page=true因为kafka集群要配合zookeeper集群一起使用，所以要先搭建zookeeper集群1、搭建zookeeper集群首先下载zookeeper，官网下载，建议镜像网站下载（速度快）下载完成之后解压tar -zxvf 对应的zookeeper的压缩包将zookeeper复制一份,命名为zookeeper-1将zookeeper-1中的zo