仅做个人笔记

转自仅做个人备份，浏览请看原文。

转自 Kafka在什么情况下会丢数据_Keal、的博客-优快云博客_kafka什么情况下丢失数据一、producer配置acks=0在acks=0模式下，消息传输到Broker端没收到Broker的反馈即发送下一条，这种纯异步的发送方式，难免会丢数据。二、producer配置acks=1在ack=1模式，只要消息传输到partition的leader节点，leader节点返回ack，即认为发送数据成功，无需等待副本全部同步完。这种模式下，在leader节点宕机时，副本还没同步完leader的数据，就会

部分内容摘自 Kafka消费组(consumer group) - huxihx - 博客园目录1、消费者组1.1、offset存储1.2、offset提交2、rebalance2.1、什么是rebalance2.2、什么时候rebalance2.3、如何进行组内分区分配2.4、谁来执行rebalance和consumer group管理？2.5、如何确定coordinator2.6、rebalance过程kafka会定期把group消费情况保存起来，做成一个offset map，如下图。（注意：topic

部分内容摘自【基于Canal和Kafka实现MySQL的Binlog近实时同步 - 掘金】大致流程canal将binlog转到连接器kafka，接收方订阅topic消费后更新redis或escanal工作原理先看，MySQL主备复制原理：MySQL的Master实例将数据变更写入二进制日志（binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看） MySQL的Slave实例将master的bina

上才艺1. notify优点：实时性高；缺点：缓存、磁盘存储量不高2.metaq优点：可靠性高；缺点：吞吐率不高3. 与kfk的对比 Notify Metaq Kafka 元数据管理者 NameServer zookeepers(负责选举，均衡，meta记录，消费记录) 消息获取方式 推模式 拉模式，长轮询 拉模式，长轮询 持久化 持久化、非持久化同时存在，写磁盘的时候操作系统cache没有同步到磁盘时就.

转自：https://blog.youkuaiyun.com/lzxlfly/article/details/106246879仅做个人备份，浏览请看原文一、kafka的rebalance机制在Kafka中，当有新消费者加入或者订阅的Topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下：第一步：所有消费成员都向Coordinator发送请求，.

目录消息ID所以何为消息重复？产生重复消息的场景（以RocketMQ为例）依据ID常用的业务幂等性保证方法消息ID注意kafka的消息没有消息ID这个概念，只维护了offset。而RocketMQ是有消息ID的概念的。所以何为消息重复？就是消息Body重复，而不管offset是否重复（因为offset默认是不对外暴露的），消息Body里例如包含业务ID等数据。产生重复消息的场景（以RocketMQ为例）发送时消息重复 当一条消息已被成功发送到服务端并完成持.

转自：https://segmentfault.com/a/1190000039010754仅做个人备份，浏览请看原文消息发送（异步）Kafka 的producer 发送消息采用的是异步发送的方式。在消息发送过程中，涉及到了两个线程——main线程和sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。.

摘自：https://segmentfault.com/a/1190000039010754仅做个人备份，浏览请看原文kafka提供了哪些方面的保证kafka可以保证分区消息的顺序。如果使用同一个生产者往同一个分区写入消息，而且消息B在消息A之后写入，那么kafka可以保证消息B的偏移量比消息A的偏移量大，而且消费者会先读取到消息A再读取消息B。 只有当消息被写入分区的所有副本时，它才被认为是“已提交”的。生产者可以选择接收不同类型的确认，比如在消息被完全提交时的确认、在消息被写入分区首.

目录partition和consumerGroup和consumerbroker和集群topic和partitionoffset的维护更多参考partition和consumerGroup和consumer同一个group内，consumer数量不能大于partition数，多出来的收不到消息。同一个消息只能被同组的单个消费者消费，但是是可以被其他组的消费者消费到broker和集群broker：一个独立的kafka服务器被称为broker。broker接收来自生产者的

首先，kafka不支持定时/延时消息功能，rocketMQ是支持的详细参考：技术选型：RocketMQ or KafkarocketMQ的定时/延时消息使用发送定时消息需要明确指定消息发送时间点之后的某一时间点作为消息投递的时间点。发送延时消息时需要设定一个延时时间长度，消息将从当前发送时间点开始延迟固定时间之后才开始投递。详细参考：阿里云文档的定时和延时消息对kafka的定时/延时消息改进图片摘自（仅做个人备份，浏览请看原文）：简易实现kafka延迟消息...

转自：https://www.cnblogs.com/756623607-zhang/p/10506909.html仅做个人备份，浏览请看原贴（幂等性：就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用）通过保证消息队列消费的幂等性来保证mq消息不被重复消费　　举个例子，当消费一条消息时就往数据库插入一条数据。如何保证重复消费也...

队列（Queue）和主题（Topic）是JMS支持的两种消息传递模型：1、点对点（point-to-point，简称PTP）Queue消息传递模型：在该消息传递模型下，一个消息生产者向消息服务器端一个特定的队列发送消息，一个消费者从该队列中读取消息。在这种模型下，消息生产者知道消息消费者的队列并直接将消息发送到消息消费者的队列。这种模型的特点为：...