黑曼巴

1.副本同步线程挂掉，出现副本缺失；重启broker服务，拉起同步线程；2.Java NIO java.lang.OutOfMemoryError: Direct buffer memory ;Kafka java.lang.OutOfMemoryError: Direct buffer memory总结如下：1.目前我们Kafka生产集群未配置XX:MaxDirectMemorySize参数，流量突增时容易产生java.lang.OutOfMemoryError: Direct buffer mem

这是针对Kafka的消费者的机制

在讲解之前，我们带着以下疑问去看1.生产者客户端如何获取要生产数据的topic元数据；2.生产者如何组装消息；3.生产者组装好消息后是直接发送到broker端吗？4.消息是如何发送到broker端的呢？5.生产者中，如果配置了消息压缩策略，同时服务端也配置了压缩策略，并且两个地方设置的策略不同，那采用哪个策略呢？6.如果多个客户端向相同的topic写数据，并且多个客户端设置的压缩策略都不同，那以谁的为准呢？7.消息到达服务端后，如何进行存储呢？会生成哪些文件呢？8.消息到达服务端后，数据是直

1.当前配额如下/config/users/<user>/clients/<client id>/config/users/<user>/clients/<default>/config/users/<user>/config/users/<default>/clients/<client id>/config/users/<default>/clients/<default>/confi

kafka wiki贡献地址https://cwiki.apache.org/confluence/dashboard.action#all-updateskafka issues地址https://issues.apache.org/jira/projects/KAFKA/issues/KAFKA-10444?filter=allopenissueshttps://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=

1.kafka所有KIP地址https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals1.1.减少topic分区https://cwiki.apache.org/confluence/display/KAFKA/KIP-694%3A+Support+Reducing+Partitions+for+Topics1.2.MirrorMaker2精确一次https://cwiki.apache.org/con

参考地址：https://www.orchome.com/9993Apache Kafka 2.7.0 于2020年12月21日正式发布，这个版本是目前 Kafka 最新稳定版本，大家可以根据需要自行决定是否需要升级到次版本，关于各个版本升级到 Apache Kafka 2.7.0 请参见《Upgrading to 2.7.0 from any version 0.8.x through 2.6.x》。在这个版本中，社区仍然在推进从 Kafka 移除对 ZooKeeper 的依赖，比如这个版本在 KIP

1、为什么以及如何消除 Kafka 对 ZooKeeper 的依赖 ？2、新控制器的架构是怎样的？3、代理通过新的 MetadataFetch API 从哪里获取更新？4、代理进程有哪些状态？Kafka 社区在 Wiki 空间上提交了一项新的改进提案“KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum”，为了消除 Kafka 对 ZooKeeper 的依赖，该提案建议用自管理的元数据仲裁机制替换原来的 ZooKeeper 组件

在分析kafka消费者源码之前，我先提出以下问题，大家带着问题去看。1.消费者如何知道需要消费的topic分区分布在集群的哪些broker上呢？2.由于消费组内存在多个消费者消费同一topic的情况，那么消费者如何知道自己可以消费指定topic的哪些分区呢？3.新的消费者加入消费组(第一次进行消费也属于这种情况)，如何给消费者分配分区呢？4.消费者宕机下线(长时间未发送心跳包)，如何给消费者分配分区呢？5.消费者主动退出消费组，比如调用unsubscrible()方法取消对主题的订阅，如何给消费者

1.新启动broker/broker下线情况2.controller重新选举情况3.分区迁移情况

1.当bootstrap.servers配置的是单个或多个具体IP时2.当bootstrap.servers配置的是一个域名时（lvs+dns部署模式）

1.几个基本概念介绍2.分配与rebalance流程

参考地址：https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0

https://cwiki.apache.org/confluence/display/KAFKA/Future+release+plan

压缩具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较多的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。怎么压缩？说起压缩消息，就要从 Kafka 的消息格式说起了。目前 Kafka 目前共有三大类消息格式v0、v1、v2，详细内容请参考文章：https://blog.youkuaiyun.com/yangyijun1990/article/details/109189470不论是哪个版本，Kafka 的消息层次都分为两层：消息集合（

-Xmx6g -Xms6g -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M-XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80 -XX:+ExplicitGCInvokesConcurrent

文章目录一、Kafka应用层面1.版本升级2.数据/副本迁移3.流量限制4.运维监控告警；4.1.硬件基础监控4.2.Kafka服务监控4.3.客户端应用监控4.4.zookeeper监控5.资源隔离6.集群归类7.扩容/缩容8.负载均衡9.安全认证10.集群容灾11.参数/配置优化12.硬件层面优化13.业务大屏14.集群管理15.集群治理16.mock功能17.集群IP、域名映射18.性能测试评估19.kafka常见痛点二、Kafka底层原理层面1.生产者实现细节2.消费者实现细节3.副本迁移实现细节4

1.v0消息格式官网地址：http://kafka.apache.org/090/documentation.html#messagesMessages consist of a fixed-size header and variable length opaque byte array payload. The header contains a format version and a CRC32 checksum to detect corruption or truncation. Leavi

一、Kafka应用层面1.版本升级；1.1.如何滚动升级与回退；2.数据/副本迁移；2.1.broker间数据迁移；2.2.broker内部磁盘间数据迁移；3.流量限制；3.1.生产者流量限制；3.2.消费者流量限制；3.3.follower副本同步leader副本流量限制；4.运维监控告警；4.1.硬件基础监控：4.1.1.网络网络入流量、网络出流量、网络丢包、网络重传、交换机4.1.2.磁盘磁盘write、磁盘read、磁盘ioutil、磁盘iowait、磁盘存储空间、磁盘

1.安装gradle1.gradle各版本下载跟路径 https://services.gradle.org/distributions/2.我们这里下载和kafka 2.3.1版本匹配的gradle版本，5.4.1 https://services.gradle.org/distributions/gradle-5.4.1-bin.zip3.解压 cd /users/yyj/soft tar xvzf gradle-5.4.1-bin.zip4.配置gradle环境

文章目录1.集群木桶效应，broker雪崩2.集群扩容无法自动负载均衡3.集群副本迁移影响集群稳定4.异常流量打挂集群5.一个业务方异常影响整个集群稳定6.pagecache污染及优化7.所有请求相互抢用请求队列1.集群木桶效应，broker雪崩痛点：当整个集群当leader和follower分布不均衡时，这可能导致流量分布不均衡。一部分节点比较空闲，一部分节点负载过高（这里当负载主要是磁盘IO与网络带宽，CPU基本上不会成为Kafka的瓶颈）。最后导致出现大量副本缺失，直至broker挂掉后，流量

文章目录1.官网参考地址2.可以设置限制流量参数3.流量限制维度及组合4.如何设置流量5.限制用户流量阀值如何设置6.流量限制效果1.官网参考地址http://kafka.apache.org/21/documentation.html#design_quotas2.可以设置限制流量参数producer_byte_rate=1024 #单个broker入流量限制参数，单位字节cons...

本文以kafka2.1.1版本为例官网地址：http://kafka.apache.org/21/documentation.html#monitoring