针对资深 Java 开发人员的 Kafka 面试问题

最新推荐文章于 2025-12-19 15:39:34 发布

原创最新推荐文章于 2025-12-19 15:39:34 发布 · 718 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#java #kafka #面试

Java 专栏收录该内容

17 篇文章

订阅专栏

大家好，欢迎阅读另一篇与 Kafka 相关的文章，如今，在大多数技术面试中，例如 Java、前端、后端和全栈开发人员面试，都会问到有关 kafka 的问题。但为什么呢，因为在分布式环境中连接多个应用程序需要中间件，而 Kafka 是一种流行的中间件，功能非常强大，业界很快就采用了它，因此 kafka 在面试中很重要，让我们深入了解一下他们问过的问题类型。初学者或新手可以跳过这一步。

为什么Kafka在科技行业中如此受欢迎？

Apache Kafka 在科技行业受欢迎的主要原因有以下几个：

高吞吐量和低延迟：Kafka 可以快速处理大量消息，适合实时数据处理。
可扩展性：Kafka 的分布式架构允许它水平扩展，通过添加更多节点来满足不断增长的数据需求。
容错和可靠性：Kafka 通过复制和分区确保数据的持久性和可靠性，即使某些节点发生故障也能维持运行。
流处理：Kafka Streams 支持构建复杂的实时数据处理应用程序。
数据集成：Kafka 作为中央枢纽，整合来自各个来源的数据并将其分发到多个系统。
开源和社区支持：Kafka 受益于一个庞大而活跃的社区，该社区不断改进和扩展其功能。
多种用途：Kafka 用于日志聚合、实时分析、事件源、消息传递和指标收集。
与大数据生态系统的兼容性：Kafka 与 Hadoop、Spark 和 Elasticsearch 等技术很好地集成，促进了全面的数据管道。
简化的数据处理：Kafka 支持异步处理，增强系统性能和可靠性。

LinkedIn、Netflix、Uber 和 Airbnb 等科技巨头都使用 Kafka，因为它具有强大、可扩展且高效的实时数据处理功能，证明了其在生产环境中的有效性。

实际的 Kafka 面试问题

作为一名经验丰富的开发人员，我注意到面试中对 Kafka 知识的需求很大。为了帮助其他人做好准备，我将发布有关 Kafka 的问答环节。如果您遇到任何有关 Kafka 的问题，请随时在下面发表评论，我会尽力回答！

Kafka 的主要组件是什么（生产者、消费者、代理、主题、Zookeeper）？

生产者：这些是将数据流发布到 Kafka 的应用程序或服务。它们将消息写入特定类别或称为主题（如下所述）的源。生产者不直接与消费者互动；它们只是将数据发布到 Kafka。

消费者：这些是订阅主题并读取生产者发布的数据流的应用程序或服务。消费者可以属于消费者组（如下所述）以协调如何处理消息。

主题：将主题视为数据流的命名类别或源。生产者将数据发布到特定主题，而消费者则订阅这些主题以接收数据。

代理：这些是组成 Kafka 集群的服务器。单个 Kafka 集群可以有一个或多个代理协同工作。代理负责存储生产者发布的消息并将其提供给消费者。它们处理消息复制、分区管理（如下所述）和 Kafka 集群整体协调。

Zookeeper： Zookeeper 是一项外部服务，用于管理 Kafka 集群的状态。它跟踪主题、代理和消费者组，确保集群内一切顺利运行。虽然 Zookeeper 对于协调至关重要，但它本身并不存储实际的数据消息。

这些组件共同作用，形成一个用于处理实时数据管道的强大且可扩展的平台。

Kafka 如何确保持久性和容错性？（复制）

Kafka 主要通过一种称为复制的技术来保证数据的持久性和容错性。它的工作原理如下：

主题和分区： Kafka 主题是数据流的类别。在内部，每个主题进一步划分为更小、有序的段，称为分区。这种分区允许并行处理和可扩展性。
复制因子：每个分区都会在 Kafka 集群中的多个代理之间进行复制。分区的副本数由称为复制因子的配置参数决定。较高的复制因子可确保更高的容错能力。
Leader 和 Followers：在一个分区的副本中，一个 Broker 被指定为Leader。Leader 负责接收来自生产者的写入，并将这些写入复制到其他副本（称为Followers ）。
数据持久性：所有代理都会将数据（消息）持久保存在磁盘上。这可确保即使代理发生故障，数据也不会丢失。跟随者会将其分区数据副本与领导者保持同步。
领导者故障和恢复：如果领导者代理发生故障，Kafka 会自动触发领导者选举过程。同步的追随者之一将成为新的领导者，数据复制将继续。消费者可以继续从新领导者读取数据，中断最少。

生产者确认：此外，Kafka 还提供影响持久性保证的生产者确认设置：

acks=all：此设置可确保最大程度的持久性。生产者等待所有副本的确认，然后才认为写入成功。
acks=1（默认值）：生产者仅等待来自领导者副本的确认。这在耐用性和性能之间提供了平衡。

借助复制和确认策略，Kafka 可确保数据不会因代理故障而丢失。即使代理发生故障，其数据仍可在副本上获取，从而使系统能够恢复并继续运行。

还有其他因素影响了 Kafka 的容错能力，但复制是核心机制。

解释一下 Kafka 中 Leader 和 Follower 副本之间的区别？

在 Kafka 集群中，数据被组织成主题，并进一步划分为分区以实现可扩展性，Leader 和 Follower 副本在确保数据可用性和容错性方面起着至关重要的作用。以下是它们主要区别的细分：

领袖副本：

职责：
接受来自生产者的写入（新消息）到其指定的分区。
将收到的消息复制到同一分区的所有跟随者副本。
确定提交的偏移量，该偏移量表示消息可以安全存储并被使用的点。
为消费者提供读取请求（尽管消费者通常主要与同步副本集交互，如下所述）。
选择：从分区的副本中选出领导者。此选举在代理启动、领导者故障或领导者严重落后时自动进行。

追随者副本：

职责：
被动地消费从 Leader 复制的消息。
将收到的消息应用到自己的日志中，并保持其分区数据副本与 Leader 同步。
复制成功后向 Leader 确认。
重要性：追随者提供冗余，并在领导者发生故障时确保数据可用性。发生领导者选举时，追随者可以成为新的领导者以维持分区功能。

什么是消费者群体以及它们如何运作？

消费者组是 Kafka 中的一个基本概念，它支持并行处理数据流，并确保每条消息都准确地传递给组内的一个消费者。它们的工作原理如下：

消费者分组：

消费者可以使用名为group.id 的唯一标识符进行分组。属于同一组的消费者被标识为消费者组。
消费者实例在配置期间指定其组隶属关系。

负载平衡和并行处理：

当消费者组订阅某个主题时，该主题的分区将自动分配给组中的消费者。此分配是智能进行的，旨在根据消费者和分区的数量实现均衡。
然后，组内的每个消费者负责处理来自其指定分区的消息。这种并行处理使消费者组能够高效处理大量数据。

消费者专属权：

消费者组的一个关键方面是每条消息仅传递给组内的一个消费者。这可以防止重复处理并确保数据一致性。Kafka 通过维护每个消费者组的状态并跟踪当前分区分配来实现这一点。

消费者重新平衡：

分区在消费者之间的分布可以动态变化。这种情况发生在以下场景：
消费者加入或离开群组。
代理故障需要重新分配分区。
在这些情况下，Kafka 会触发一个称为消费者重新平衡的过程。重新平衡涉及在剩余消费者之间重新分配分区分配，以保持平衡的处理。

消费者组的好处：

并行处理：能够高效处理大量数据流。
可扩展性：允许您通过在组中添加或删除消费者来轻松扩展消费者处理。
容错：如果一个消费者失败，它的分区将被重新分配给组中的其他消费者，确保数据继续被处理。
精确一次传递（带配置）：正确配置后，消费者组可以保证每条消息仅传递给组内的一个消费者一次。

消费者群体用例：

消费者组在需要跨多个消费者并行处理数据的各种场景中非常有用，例如：

日志聚合：多个消费者可以并行处理来自中心主题的日志数据。
流处理：消费者组可用于分发实时分析任务的数据流。
微服务通信：消费者组允许微服务订阅相关主题并同时处理消息，从而促进微服务之间的通信。

Kafka 中的偏移量是什么以及如何提交它们？

在 Kafka 中，偏移量充当指针，用于跟踪主题分区内消费者组或单个消费者的进度。它们本质上是从零开始按顺序分配给分区内每条消息的整数。下面深入了解一下偏移量及其提交方式：

理解偏移：

每个分区的跟踪：偏移量特定于特定消费者组或消费者以及主题内的特定分区。这允许每个消费者独立跟踪其读取的每个分区的进度。
恢复消费：偏移量在中断后恢复消费方面起着至关重要的作用。当消费者重新启动或加入群组时，它会使用已提交的偏移量来确定从哪里开始从分配的分区读取消息。这可确保消费者不会重新处理他们已经处理过的消息。

承诺抵消：

消费者责任：消费者负责定期提交其偏移量。这会通知 Kafka 消费者已成功处理的最后一条消息。提交偏移量有不同的策略，每种策略都有自己的传递语义（关于如何传递消息的保证）：
至少一次：这是默认设置。消费者在处理消息后提交偏移量。但是，如果消费者在提交偏移量之前崩溃，则消息可能会在重新启动时重新传送，从而导致潜在的重复处理。
最多一次：消费者收到消息后立即提交偏移量。如果处理失败，则不会重试该消息，这可能会导致数据丢失。
精确一次（事务性）：这是最复杂的，但可确保每条消息只传递和处理一次。它需要使用 Kafka 事务和 Kafka Streams API 进行处理。
偏移提交过程：消费者通常将偏移提交到 Kafka 维护的一个特殊内部主题“__consumer_offsets”。此主题存储所有消费者组和分区的已提交偏移。

承诺抵消的重要性：

进度跟踪：提交的偏移量使消费者能够在故障或重启后从正确的点恢复处理。
防止重复（至少一次）：使用至少一次策略的定期提交有助于避免重新处理消费者已经处理过的消息。

选择偏移提交策略：

偏移提交策略的选择取决于您的应用程序的要求。如果绝对不能接受数据丢失，则需要精确一次交付（尽管实现起来更复杂）。如果可以容忍某些消息重复，则至少一次策略是一种更简单的方法。

Kafka如何实现高吞吐量和低延迟？

Kafka 通过多种设计选择和技术的组合实现了高吞吐量和低延迟。以下是一些关键因素：

可扩展性和并行性：

分布式架构： Kafka 的分布式架构允许其通过将负载分散到集群中的多个代理来处理大量数据。这样可以通过根据需要添加更多机器来实现水平扩展。
分区： Kafka 中的主题被划分为称为分区的较小单元。生产者可以并行向这些分区发布消息，从而提高整体吞吐量。消费者还可以通过同时使用来自指定分区的消息来实现并行处理。

高效的数据存储和访问：

仅附加日志：数据存储在每个代理的仅附加日志中。这简化了写入并避免了随机磁盘访问的开销。由于新数据写入日志末尾，因此可以高效地访问。
批处理：生产者可以将多条消息批量处理，然后再发送给代理。这减少了网络往返次数，提高了数据传输效率。
零拷贝处理：只要有可能，Kafka 就会利用零拷贝技术来避免缓冲区之间不必要的数据复制。这最大限度地减少了 CPU 开销并提高了处理速度。
利用操作系统功能： Kafka 利用 Linux 页面缓存将经常访问的数据存储在内存中，减少磁盘 I/O 并使消费者能够更快地检索消息。

解耦通信：

生产者和消费者：生产者和消费者独立运作。生产者向主题发布消息，无需知道哪些消费者订阅了消息。这种解耦减少了总体延迟，因为生产者无需等待消费者确认。

异步通信：

生产者、代理和消费者之间的通信是异步的。这意味着生产者在等待代理确认收货时不会阻塞，消费者在等待新消息时也不会阻塞。这提高了整体响应能力。

以消费者为中心的优化：

预取：消费者可以将可配置数量的消息预取到其本地缓冲区中。由于数据在内存中随时可用，因此这可以减少后续消息提取的延迟。
高效的消费者组管理：消费者组利用重新平衡算法在消费者之间高效分配分区。这可确保负载平衡并减少总体处理时间。

Kafka 有哪些实际用例？（日志聚合、微服务通信）

以下是 Apache Kafka 的一些实际用例，强调了其在处理实时数据管道方面的多功能性：

日志聚合和监控：

Kafka 擅长从各种分布式应用程序、服务和微服务收集日志。这些日志以流的形式发布到 Kafka 中的特定主题。
集中式日志聚合可实现应用程序的实时分析、故障排除和性能监控。ELK Stack（Elasticsearch、Logstash、Kibana）等工具可与 Kafka 集成，以使用和可视化日志数据，从而获得更深入的见解。

微服务通信：

Kafka 是微服务架构的中枢神经系统。微服务可以将事件或数据更新发布到 Kafka 中的相关主题。
其他微服务可以订阅这些主题并对发布的事件做出反应，从而实现服务之间的异步和松散耦合通信。这提高了微服务部署的可扩展性和灵活性。

流处理和分析：

Kafka 处理大量数据流的能力使其成为实时分析应用程序的理想选择。
Apache Flink 或 Apache Spark Streaming 等流处理框架可以与 Kafka 集成，以使用来自主题的数据流并执行实时计算、过滤或转换。
这使得应用程序能够对欺诈检测、异常分析或推荐引擎的实时数据洞察做出反应。

物联网数据提取和处理：

在物联网 (IoT) 领域，Kafka 可以有效处理传感器和设备产生的大量数据。
传感器数据可以作为消息发布到 Kafka 主题，从而实现对这些数据的实时处理、聚合和分析。
这可用于预测性维护、远程监控或物联网传感器数据的实时可视化。

事件溯源：

Kafka 可用作微服务和应用程序的中央事件存储。表示状态更改或操作的事件将作为消息发布到 Kafka 主题。
该事件日志可用于在任何时间点重建应用程序状态或用于在分布式系统中实现最终一致性模式。

实时欺诈检测：

Kafka 的高吞吐量和低延迟使其适合构建实时欺诈检测系统。
交易数据可以流式传输到 Kafka 主题，流处理应用程序可以实时分析这些数据以识别可疑模式或潜在的欺诈活动。

这些只是几个例子，随着企业利用其实时数据管道和应用程序的功能，Kafka 的用例也在不断发展。

如何处理 Kafka 消费者落后的情况？（消费者重新平衡、调整配置）

您可以采取以下步骤来解决 Kafka 消费者落后于生产者并开始在处理消息时落后的情况：

确定原因：

监控消费者滞后：首先，利用 Kafka 消费者监控工具或内置消费者组滞后信息来查明哪个消费者组和分区正在经历滞后。
分析消费者性能：调查有问题的消费者的性能指标，如 CPU、内存使用情况和处理时间，以识别消费者应用程序本身中的潜在瓶颈。

消费端解决方案：

优化消费者代码：审查消费者代码并确定需要改进的地方。这可能涉及：
优化消息处理逻辑，减少每条消息的处理时间。
批处理消息处理，可以一次处理多条消息。
增加消费者并行性：如果消费者应用程序可以处理，请考虑增加消费者组中消费者实例的数量。这可以分散负载并有助于赶上积压。
调整消费者提取大小：消费者提取大小控制每次请求从代理检索的数据量。增加提取大小（在合理范围内）可以提高吞吐量并可能减少延迟。

Kafka 配置调整：

消费者重新平衡：如果延迟与消费者组内分区分布不均有关，请考虑使用 Kafka 消费者组管理工具手动触发消费者重新平衡。这可以在消费者之间重新分配分区，并可能缓解超负荷消费者的延迟。
自动偏移重置：在极端情况下，您可能需要重置滞后分区的消费者偏移。但是，应谨慎使用此方法，因为它可能导致消息重复（具有至少一次语义）或数据丢失（具有最多一次语义）。

如何不消费来自一个消费者的 Kafka 中的重复消息？

与至少一次或最多一次传递相比，实现“精确一次”语义（即一条消息仅由一个消费者传递和处理一次）在 Kafka 中需要付出更多努力。以下是两种避免 Kafka 中单个消费者重复处理的主要方法：

使用 Kafka Streams API 的事务消费者：

这是实现精确一次处理保证的推荐方法。Kafka Streams 是基于 Kafka Consumer 构建的高级 API，可简化流处理任务。
它利用 Kafka 事务来确保来自生产者的消息写入和消费者的偏移提交被视为原子单位。如果写入或提交失败，则整个事务将回滚，从而防止部分处理和潜在的重复。

以下是该过程的具体细节：

消费者在消费消息之前，发起 Kafka 事务。
消费者处理消息并执行任何必要的操作。
如果处理成功，消费者将在交易中提交偏移量。
Kafka 确保事务中的所有操作要么成功（包括消息写入和偏移提交），要么全部失败，从而防止重复。
要记住的要点：
这种方法需要使用 Kafka Streams API 来使用消息。
精确一次语义还需要生产者端具备事务能力。

2. 手动偏移管理的幂等性：

此方法涉及在消费者应用程序中实现幂等性并手动管理偏移量。幂等性确保操作可以重复多次而不会产生意外的副作用。

总体思路如下：

消费者为其收到的每条消息分配一个唯一标识符（幂等性密钥）。
在处理消息之前，消费者会检查是否已经处理过具有相同幂等性键的消息。这可以通过将已处理的键存储在数据库或分布式缓存中来实现。
如果消息是新的（唯一密钥），则消费者会处理它并存储密钥以供将来参考。
如果消息是重复的（密钥已经存在），消费者将丢弃它而不进行进一步处理。
消费者在处理成功后提交抵消额。

需要考虑的关键点：

实现幂等逻辑会增加消费者应用程序的复杂性。
您需要选择一种合适的机制来存储和管理幂等密钥。
手动提交偏移量需要小心处理以避免数据丢失或重复。

选择正确的方法：

事务消费者（Kafka Streams API）通常是推荐的方法，因为它简单并且保证一次交付。
具有手动偏移管理的幂等性可以作为替代方案，但它需要更多的开发工作，并在管理幂等性键和偏移量时引入潜在的复杂性。

如何确保不会在不同的消费者身上听到相同的消息？

默认情况下，消费者组内的 Kafka 消费者不会监听同一条消息。Kafka 通过称为消费者组和偏移量管理的概念来实现这一点。其工作原理如下：

消费者群体：

消费者可以使用名为“group.id”的唯一标识符进行分组。属于同一组的所有消费者组成一个消费者组。
每个消费者实例在配置期间指定其组隶属关系。

分区和偏移跟踪：

Kafka 中的主题被划分为称为分区的更小的单元。
每个消费者组都会维护其订阅的每个分区的偏移记录。偏移是分区内消息的唯一标识符，本质上是一个从零开始的计数器。
当消费者组订阅某个主题时，Kafka 会执行消费者重新平衡，以在组中的消费者之间分配分区。这可确保均匀的负载平衡。

独家聆听：

主题中的每个分区每次仅分配给组内的一个消费者。这可防止组内出现重复处理。
当消费者处理消息时，他们会定期提交偏移量。这会告知 Kafka 消费者已成功处理的每个分区的最后一条消息。

好处：

防止重复：通过专门分配分区和跟踪偏移量，Kafka 确保每条消息只传递给组内的一个消费者，从而防止重复处理。
可扩展性：您可以通过在组中添加或删除消费者来轻松扩展消费者处理。Kafka 会自动重新平衡分区以保持负载平衡。

例子：

假设一个消费者组有 2 个消费者（消费者 A 和消费者 B），他们订阅了一个有 3 个分区的主题。Kafka 可能会按如下方式分配分区：

消费者 A：监听分区 0 和 1
消费者B：监听分区2

这样，每条消息只会传递给组内的一个消费者。

重要提示：

虽然 Kafka 可以防止消费者组内的重复处理，但如果多个消费者组都订阅了同一主题，则一条消息可能会被传递给它们。如果您需要确保一条消息只被处理一次，而不管消费者组是什么，您需要使用消息幂等性等技术（在上一个问题中介绍过）在消费者中实现额外的逻辑。

消费过程中如果消费端发生故障该如何恢复？

从 Kafka 消费者端故障中恢复需要一些关键策略，以确保数据不会丢失并且消息处理能够顺利恢复。以下是您可以采取的方法的细分：

1.利用Kafka的偏移提交和消费者重新平衡：

偏移提交： Kafka 依靠消费者端偏移提交来跟踪进度。消费者定期提交其偏移，表明他们已成功处理其订阅的每个分区的最后一条消息。
消费者重新平衡：当消费者发生故障或新消费者加入组时，Kafka 会触发消费者重新平衡。此过程会在组中剩余的消费者之间重新分配分区。

恢复过程：

重新启动后，失败的消费者将检索其之前负责的分区的提交偏移量。
Kafka 在重新平衡期间将这些分区重新分配回消费者（如果它重新加入同一个消费者组）。
消费者从提交的偏移量恢复处理消息，确保不会因故障而发生数据丢失。

2.在消费者中实现错误处理和重试：

错误处理：在消费者应用程序中拥有强大的错误处理机制来捕获消息使用过程中的异常或处理失败至关重要。
重试逻辑：发生错误时，消费者应实施重试逻辑以尝试再次处理消息。这可能涉及使用退避策略重试，以避免在发生瞬时错误时使代理不堪重负。
死信队列（可选）：对于关键消息或持续性错误，请考虑实施死信队列 (DLQ)。失败的消息可以发送到 DLQ 进行手动干预或稍后尝试处理。

3.利用Kafka消费者偏移管理工具：

Kafka 提供了用于手动管理消费者偏移的工具和 API。这在特定场景中很有用：
重置偏移量：在极端情况下，您可能需要手动重置消费者组或特定分区的偏移量。但是，请谨慎使用此功能，因为它可能导致消息重复（具有至少一次语义）或数据丢失（具有最多一次语义）。
暂停/恢复消费者：您可以使用工具暂时暂停消费者或消费者组以进行维护或调试。这允许您控制消息传递和偏移管理。

4.选择正确的偏移提交策略：

Kafka 中默认的偏移提交策略是at-least-once。这确保消息至少被传递一次，但如果消费者在提交偏移量之前失败，则可能会出现重复。
为了实现更严格的交付保证，请考虑使用 Kafka Streams API 的 Kafka 事务实现精确一次语义。这种方法可确保每条消息只交付和处理一次，但需要更复杂的配置和开发工作。

如何在 Spring Boot 应用中配置 Kafka？

添加 Kafka 依赖项：

在 pom.xml（对于 Maven）或 build.gradle（对于 Gradle）文件中包含必要的 Kafka 依赖项。Spring Boot 提供了一个方便的spring-kafka启动器，其中包含核心 Kafka 依赖项：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-kafka</artifactId>
</dependency>

2.配置Kafka属性：

Spring Boot 提供了一种使用应用程序属性文件（如 application.yml 或 application.properties）配置 Kafka 属性的便捷方法。以下是一些基本属性：

spring.kafka.bootstrap-servers：此属性指定以逗号分隔的 Kafka 代理地址列表。
spring.kafka.consumer.group-id：此属性定义您的应用程序的消费者组 ID。订阅同一主题且具有相同组 ID 的消费者将组成一个消费者组，并高效地并行处理消息。
spring.kafka.producer.key-serializer：此属性指定用于序列化应用程序生成的消息密钥的序列化器。默认情况下，StringSerializer使用。您可以根据消息密钥数据类型（例如，JsonSerializer对于 JSON 密钥）选择其他序列化器。
spring.kafka.producer.value-serializer：此属性定义用于序列化应用程序生成的消息值的序列化器。与密钥序列化器类似，请根据消息值的数据类型选择适当的序列化器。
（可选）spring.kafka.consumer.auto-offset-reset：此属性控制当消费者组在发生故障后重新平衡或重新启动时消费者偏移量会发生什么情况。默认值为，earliest这意味着消费者将从分区的开头开始读取。您可以将其设置为latest从最新消息开始读取。

3.创建Kafka生产者和消费者：

Spring Boot 为 Kafka 生产者和消费者提供了抽象。您可以使用它们注入它们@Autowired并使用它们与 Kafka 主题进行交互：

@SpringBootApplication
public class MyKafkaApp {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }

    @KafkaListener(topics = "myTopic")
    public void receiveMessage(String message) {
        // Process the received message
    }

    // ... (other application logic)
}