点滴记忆，分享成长之路

事务可以保证对多个分区写入操作的原子性操作的原子性是指多个操作要么全部成功，要么全部失败，不存在部分成功、部分失败的可能关于多条消息发送需要原子性的事务操作，需要配置spring.kafka.producer.transaction-id-prefix来开启事务(否则即使抛出异常消息还是会被发出去)，但需要注意的是，如果开启事务，那么之后就必须使用事务方式kafkaTemplate.executeInTransaction(声明式事务)或@Transactional(注

Springboot项目整合spring-kafka依赖发送消息、监听消息

错误信息：java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 2.根据错误信息，可知要创建的topic副本数为3，而brokers 为2 。表示kafka没有获取到zookeeper中的存储brokers信息。检查：kafka集

kafka 数据日志清理

一、环境准备kafka-xx-yy xx 是scala版本，yy是kafka版本（scala是基于jdk开发，需要安装jdk环境） 下载地址：http://kafka.apache.org/downloads伪集群搭建，3个节点同个机器端口区分9092/9093/9094二、配置更改kafka1配置：解压缩： tar -zxvf kafka_2.13-2.8.0.tgz重命名： mv kafka_2.13-2.8.0 kafka1进入config目录下 serv...

zookeeper 单机伪集群搭建

一、什么是ISR (in-sync replica set )二、什么是OSR(out-of-sync-replica set)三、什么是AR(Assign Replicas)一、什么是ISR (in-sync replica set )leader会维持一个与其保持同步的replica集合，该集合就是ISR，每一个leader partition都有一个ISR，leader动态维护, 要保证kafka不丢失message，就要保证ISR这组集合存活(至少有一个存活)，并且

副本数据同步 一致性保证

Kafka 采取了分片和索引机制，将每个partition分为多个segment，每个segment对应2个文件 log 和 index

手工提交offset分2种：同步 commitSync 阻塞当前线程 (自动失败重试)异步 commitAsync 不会阻塞当前线程 (没有失败重试，回调callback函数获取提交信息，记录日志)

一、消费者根据什么模式从broker获取数据的？消费者采用 pull 拉取方式，从broker的partition获取数据为什么是pull模式，而不是broker主动push？pull 模式则可以根据 consumer 的消费能力进行自己调整，不同的消费者性能不一样。如果broker没有数据，consumer可以配置 timeout 时间，阻塞等待一段时间之后再返回如果是broker主动push，优点是可以快速处理消息，但是容易造成消费者处理不过来，消息堆积和延...

导读:本博文重点介绍了生产者发送消息是怎么发得，发送得流程又是什么，生产者配置有哪些常见得配置，代码异步调用得时候怎么知道有没有异常，消息怎么顺序发送和kafka自定义分区规则，让你知其然再知其所以然。

一、Kafka命令行生产者发送消息和消费者消费消息创建topic./kafka-topics.sh --create --zookeeper xx.xx.xx.160:2181 --replication-factor 1 --partitions 2 --topic wnn-topic•查看topic./kafka-topics.sh --list --zookeeper xx.xx.xx.160:2181•生产者发送消息./kafka-console-producer.sh --br

SpringBoot2.X项目搭建整合Kafka客户端 创建topic 删除topic 查看topic详情

Kafka数据存储流程和LEO+HW概述

一、Kafka1.1 Kafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统）核心：一种高吞吐量的分布式流处理平台，它可以处理消费者在网站中的所有动作流数据。 比如 网页浏览，搜索和其他用户的行为等，应用于大数据实时处理领域•官网：http://kafka.apache.org/•快速开始：http://kafka.apache.org/