much efforts, much luck

kafka的选举和负载均衡策略1、kafka Controller leader:主broker的选举主broker的作用：Controller Broker的主要职责有很多，主要是一些管理行为，主要包括以下几个方面：创建、删除主题，增加分区并分配leader分区集群Broker管理（新增 Broker、Broker 主动关闭、Broker 故障)preferred leader选举分区重分配主broker的选举流程：Kafka的Leader选举是通过在zookeeper上创建/contr

k8s下kafkacluster的安装 https://github.com/banzaicloud/kafka-operator问题一：镜像无法拉取：由于镜像源在国外被墙的原因，无法从源镜像下载，一般走镜像代理的形式，先从代理仓库docker pull下来，再docker push到本地库中，最后更改K8S YAML配置文件中镜像的拉取位置。拉取gcr.io/kubebuilder/ku...

kafka生产者配置–broker-list参数： 指定了所使用的broker，可设置为多个，broker-list指定集群中的一个或者多个服务器，一般使用producer的时候，这个参数是必备参数。topic参数: 另外一个必备的参数是topic。–topic：指定需要展示数据的topic名称。Kafka生产者会先连接 bootstrap_servers列表里的某个节点，这台机器只是用来获...

数据不丢不漏、不重不错一、不丢（生产写入消息不丢失）数据组织形式： 首先，从数据组织形式来说，kafka有三层形式，kafka有多个主题（topic），每个主题有多个分区，分区分为主分区和副本分区，每个分区又有多条消息。而每个分区可以分布到不同的节点broker上，这样一来，从服务端来说，分区可以实现高伸缩性，以及负载均衡，动态调节的能力。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1ciunydj-1618802401938)(C:\Users\darrendy.

生产者分析生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术， 顺序写入 和 MMFile。顺序写入： 因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最“讨厌”随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度...