jmx_bigdata的博客

现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定Kafka主题的分区数量？如何调整生产环境中Kafka主题的分区数量？

控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。接下来，我们将讨论Controller原理和内部运行机制。通过本文你可以了解到：什么是Controller BrokerController Broker是怎么被选举的Controller Brok

Kafka有两个很重要的配置参数，acks与min.insync.replicas.其中acks是producer的配置参数，min.insync.replicas是Broker端的配置参数，这两个参数对于生产者不丢失数据起到了很大的作用.接下来，本文会以图示的方式讲解这两个参数的含义和使用方式。通过本文，你可以了解到：Kafka的分区副本什么是同步副本(In-sync replicas)什么是acks确认机制什么是最小同步副本ack=all与最小同步副本是如何发挥作用的分区副本Kafk.

一、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。使用的两个脚本为kafka-consumer-perf-test.sh和kafka-producer-perf-test.sh，脚本的位置在$KAFKA_HOME/bin目录下。二、脚本使用2.1Kafka Prod...