鸟人的博客

将压缩包分别上传到三台Kafka服务器的/usr/local/kafka目录下，备用。分别在202,203节点上创建消费者。在151的broker上创建生产者。创建data和log目录。151节点下创建主题即可。启动Zookeeper。

可以连接SpringBoot做测试。

【代码】【Kafka】【二十七】Kafka-eagle监控平台。

订单创建后，超过30分钟没有⽀付，则需要取消订单，这种场景可以通过延时队列来实现。

消费者消费能力过弱。

顺序消费

在防⽌消息丢失的⽅案中，如果⽣产者发送完消息后，因为⽹络抖动，没有收到ack，但实际上broker已经收到了。此时⽣产者会进⾏重试，于是broker就会收到多条相同的消息，⽽造成消费者的重复消费。

HW是已完成同步的位置。消息在写⼊broker时，且每个broker完成这条消息的同步后，hw才会变化。在这之前消费者是消费不到这条消息的。在同步完成之后，HW更新之后，消费者才能消费到这条消息，这样的⽬的是防⽌消息的丢失。LEO是某个副本最后消息的消息位置（log-end-offset）

我们可以指定多个主题，分区，偏移量和消费者的并发数。

YMLLOGBACK生产者消费者测试通过Restful向/msg/send接口发请求，消费者会实时收到消息，可以做简单的即时通讯软件

新消费组中的消费者在启动以后，默认会从当前分区的最后⼀条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第⼀次从头开始消费。之后开始消费新消息（最后消费的位置的偏移量+1）

从topic的0号分区最新offset消费。

默认情况下，消费者⼀次会poll500条消息。代码中设置了⻓轮询的时间是1000毫秒。

消费者⽆论是⾃动提交还是⼿动提交，都需要把所属的消费组+消费的某个主题+消费的某个分区及消费的偏移量，这样的信息提交到集群的_consumer_offsets主题⾥⾯。

【代码】【Kafka】【十五】消费者消费消息的基本实现。

kafka默认会创建⼀个消息缓冲区，⽤来存放要发送的消息，缓冲区是32mkafka本地线程会去缓冲区中⼀次拉16k的数据，发送到broker如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发到broker。

【代码】Docker部署Kafka集群。

在同步发送的前提下，⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢？下⾯是关于ack和重试（如果没有收到ack，就开启重试）的配置。

异步发送会存在数据丢失的问题，同步发送更为常用。

设置参数-》创建生产者客户端-》创建消息-》发送消息

【代码】【Kafka】【十】集群消费问题。

在创建主题时，除了指明了主题的分区数以外，还指明了副本数，那么副本是⼀个什么概念呢？副本是对分区的备份。在集群中，不同的副本会被部署在不同的broker上。下⾯例⼦：创建1个主题，2个分区、3个副本。副本是为了为主题中的分区创建多个备份，多个副本在kafka集群的多个broker中，会有⼀个副本作为leader，其他是follower。

准备3个server.properties⽂件，每个⽂件中的这些内容要调整。

主题-topic在kafka中是⼀个逻辑的概念，kafka通过topic将消息进⾏分类。不同的topic会被订阅该topic的消费者消费。但是有⼀个问题，如果说这个topic中的消息⾮常⾮常多，多到需要⼏T来存，因为消息是会被保存到log⽇志⽂件中的。为了解决这个⽂件过⼤的问题，kafka提出了Partition分区的概念。

在⼀个kafka的topic中，启动两个消费者，⼀个⽣产者，问：⽣产者发送消息，这条消息是否同时会被两个消费者消费？如果多个消费者在同⼀个消费组，那么只有⼀个消费者可以收到订阅的topic中的消息。换⾔之，同⼀个消费组中只能有⼀个消费者收到⼀个topic中的消息。

消息的发送⽅会把消息发送到broker中，broker会存储消息，消息是按照发送的顺序进⾏存储。因此消费者在消费消息时可以指明主题中消息的偏移量。默认情况下，是从最后⼀个消息的下⼀个偏移量开始消费。

topic是什么概念？topic可以实现消息的分类，不同消费者订阅不同的topic。

Kafka是最初由Linkedin公司开发，是⼀个分布式、⽀持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最⼤的特性就是可以实时的处理⼤量数据以满⾜各种需求场景：⽐如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx⽇志、访问⽇志，消息服务等等，⽤scala语⾔编写，Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源 项⽬。

Message Queue（MQ），消息队列中间件。很多⼈都说：MQ 通过将消息的发送和接收分离来实现应⽤程序的异步和解偶，这个给⼈的直觉是——MQ 是异步的，⽤来解耦的，但是这个只是 MQ 的效果⽽不是⽬的。MQ 真正的⽬的是为了通讯，屏蔽底层复杂的通讯协议，定义了⼀套应⽤层的、更加简单的通讯协议。⼀个分布式系统中两个模块之间通讯要么是HTTP，要么是⾃⼰开发的（rpc） TCP，但是这两种协议其实都是原始的协议。HTTP 协议很。

同步的通信⽅式会存在性能和稳定性的问题。

Kafka在实时流处理中，经常会和Flink结合一起使用，Flink接收来自Kafka的流数据进行处理，那么源源不断的Kafka数据怎么来的呢？如果是生产环境会有大量真实数据过来，但是测试环境我们要怎么模拟生产环境生产大量实时数据呢？下面我们来整合SpringBoot来模拟生产环境产生大量数据的情况新建一个SpringBoot项目，添加下面的依赖YMLKafka ProducerKafka Consumer启动类效果生产者定时每隔一秒发送任务，消费者消费任务............

安装kafka开启服务器端口访问创建主题

zookeeperkafkaconf 目录下,把zoo_sample.cfg重命名成zoo.cfg配置zookeeper的Windows系统环境变量启动zookeeper成功提示config里修改 server.properties，配置日志目录进入kafka安装目录启动kafka启动成功创建主题在Windows目录下起两个cmd窗口创建生产者和消费者，生产者发送消息，消费者能实时获取到............

kafka是一个实时消息系统，具有高并发，高吞吐量的特点，那么如何在服务器的Docker中部署kafka呢？接着看下去吧如何安装Docker以及Docker的常用命令可以参考我的这篇文章Docker常用命令因为Kafka依赖于zookeeper做分布式管理，因此需要先安装zookeeper安装zookeeper安装kafka查看容器是否运行进入kafka进入容器的bin目录下，可以执行以下命令查看所有主题查看主题信息删除主题创建主题IP改成自己的本机IP即可.........