Kafka核心概念与架构解析

原创 于 2025-08-15 17:33:10 发布 · 757 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kafka #distributed streaming platform #high throughput

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）、《解密程序员的思维密码——沟通、演讲、思考的实践》作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。

📘拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、SpringBoot、SpringMVC、SpringCloud、Mybatis、Dubbo、Zookeeper)，消息中间件底层架构原理(RabbitMQ、RocketMQ、Kafka)、Redis缓存、MySQL关系型数据库、 ElasticSearch全文搜索、MongoDB非关系型数据库、Apache ShardingSphere分库分表读写分离、设计模式、领域驱动DDD、Kubernetes容器编排等。

📙不定期分享高并发、高可用、高性能、微服务、分布式、海量数据、性能调优、云原生、项目管理、产品思维、技术选型、架构设计、求职面试、副业思维、个人成长等内容。

Java程序员廖志伟

💡在这个美好的时刻，笔者不再啰嗦废话，现在毫不拖延地进入文章所要讨论的主题。接下来，我将为大家呈现正文内容。

优快云

🌟 Kafka知识点

🍊 Kafka概述

Apache Kafka是一个分布式流处理平台，它能够处理高吞吐量的数据流，广泛应用于日志收集、事件源、流处理等领域。Kafka以其高吞吐量、持久性、可扩展性和容错性而著称。

🎉 Kafka核心概念

以下是对Kafka核心概念的详细描述：

概念技术原理应用场景优势与局限实际案例
Topic消息分类，类似于数据库中的表，用于将消息进行分类存储日志收集、事件源、流处理等高吞吐量、可扩展性、持久性和容错性日志收集、实时分析、消息队列等
PartitionTopic的分区，用于并行处理消息，提高吞吐量提高吞吐量、实现负载均衡需要考虑分区策略、分区数等消息队列、实时分析等
BrokerKafka集群中的节点，负责存储数据、处理请求等分布式存储、负载均衡、容错性需要考虑集群规模、节点配置等分布式日志收集、实时分析等
Producer生产者，负责向Kafka发送消息日志收集、事件源等高吞吐量、可扩展性日志收集、实时分析等
Consumer消费者，负责从Kafka读取消息日志收集、事件源、流处理等高吞吐量、可扩展性日志收集、实时分析、消息队列等

🎉 Kafka架构

Kafka采用分布式架构，由多个Broker组成，每个Broker负责存储一部分数据。生产者和消费者通过Zookeeper进行协调，实现分布式系统的负载均衡和容错性。

🍊 Kafka安装与配置

🎉 安装Kafka

  1. 下载Kafka安装包。
  2. 解压安装包到指定目录。
  3. 配置环境变量。

🎉 配置文件解析

Kafka的配置文件主要包括server.properties和producer.properties等。

  • server.properties：配置Broker的参数，如端口、日志目录、集群配置等。
  • producer.properties：配置生产者的参数，如消息格式、压缩方式、重试策略等。

🎉 集群搭建

  1. 启动Zookeeper集群。
  2. 启动Kafka集群。

🍊 Kafka生产者

🎉 生产者配置

生产者配置主要包括消息格式、压缩方式、重试策略等。

配置项说明示例
key.serializer消息键的序列化方式org.apache.kafka.common.serialization.StringSerializer
value.serializer消息值的序列化方式org.apache.kafka.common.serialization.StringSerializer
bootstrap.serversKafka集群地址localhost:9092
retries重试次数3
batch.size批量发送大小16384
linger.ms等待时间100

🎉 生产者API使用

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);

producer.send(new ProducerRecord<String, String>("test", "key", "value"));
producer.close();

🎉 异常处理

生产者在发送消息时可能会遇到各种异常，如连接异常、序列化异常等。需要根据实际情况进行处理。

🍊 Kafka消费者

🎉 消费者配置

消费者配置主要包括消息格式、消费模式、分区分配策略等。

配置项说明示例
bootstrap.serversKafka集群地址localhost:9092
group.id消费者组IDtest-group
key.deserializer消息键的反序列化方式org.apache.kafka.common.serialization.StringDeserializer
value.deserializer消息值的反序列化方式org.apache.kafka.common.serialization.StringDeserializer
auto.offset.reset消费者启动时偏移量重置策略earliest

🎉 消费者API使用

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

Consumer<String, String> consumer = new KafkaConsumer<>(props);

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
}
consumer.close();

🎉 消费者组

消费者组是一组消费者，它们共同消费同一个Topic的消息。消费者组内部会进行负载均衡，确保每个消费者消费的消息量大致相等。

🍊 Kafka主题管理

🎉 创建主题

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

AdminClient adminClient = AdminClient.create(props);
NewTopic newTopic = new NewTopic("test-topic", 1, (short) 1);
adminClient.createTopics(Arrays.asList(newTopic));
adminClient.close();

🎉 删除主题

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

AdminClient adminClient = AdminClient.create(props);
adminClient.deleteTopics(Arrays.asList("test-topic"));
adminClient.close();

🎉 修改主题

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

AdminClient adminClient = AdminClient.create(props);
ModifyTopicConfig modifyTopicConfig = new ModifyTopicConfig();
modifyTopicConfig.setPartitions(2);
adminClient.modifyTopic("test-topic", modifyTopicConfig);
adminClient.close();

🍊 Kafka消息存储与索引

🎉 消息存储机制

Kafka使用日志文件存储消息，每个日志文件包含多个Segment，Segment由多个Log Entry组成。

🎉 索引机制

Kafka使用索引文件存储Segment的起始位置，以便快速定位消息。

🎉 消息持久化

Kafka将消息写入磁盘，并定期进行压缩，以提高存储效率和性能。

🍊 Kafka事务

🎉 事务概述

Kafka事务用于确保消息的原子性，即要么全部成功，要么全部失败。

🎉 事务API使用

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
TransactionManager transactionManager = producer.initTransactions();

try {
    transactionManager.beginTransaction();
    producer.send(new ProducerRecord<String, String>("test", "key", "value"));
    transactionManager.commitTransaction();
} catch (KafkaException e) {
    transactionManager.abortTransaction();
}
producer.close();

🎉 事务状态管理

Kafka事务状态包括未提交、提交、失败等。可以通过Kafka命令行工具或API查询事务状态。

🍊 Kafka连接器

🎉 连接器概述

Kafka连接器是一种用于连接Kafka与其他系统的工具，如数据库、消息队列等。

🎉 连接器配置

连接器配置主要包括源配置、目标配置、转换规则等。

🎉 连接器使用

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

SourceConnector sourceConnector = new SourceConnector();
sourceConnector.start(props);
sourceConnector.stop();

🍊 Kafka监控与运维

🎉 监控工具

Kafka提供JMX、Prometheus、Grafana等监控工具，用于监控集群状态、性能指标等。

🎉 运维策略

  1. 定期检查集群状态。
  2. 监控性能指标，如吞吐量、延迟等。
  3. 定期备份数据。
  4. 处理故障。

🎉 故障排查

  1. 查看日志文件。
  2. 使用监控工具分析性能指标。
  3. 根据故障现象进行排查。

🍊 Kafka与Spring Boot集成

🎉 集成概述

Spring Boot集成Kafka可以简化开发过程，提高开发效率。

🎉 生产者集成

@Configuration
public class KafkaProducerConfig {

    @Bean
    public KafkaTemplate<String, String> kafkaTemplate() {
        return new KafkaTemplate<>(kafkaProducer());
    }

    @Bean
    public ProducerFactory<String, String> kafkaProducer() {
        Map<String, Object> props = new HashMap<>();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        return new DefaultKafkaProducerFactory<>(props);
    }
}

🎉 消费者集成

@Configuration
public class KafkaConsumerConfig {

    @Bean
    public ConsumerFactory<String, String> kafkaConsumer() {
        Map<String, Object> props = new HashMap<>();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        return new DefaultKafkaConsumerFactory<>(props);
    }

    @Bean
    public Consumer<String, String> kafkaConsumer(ConsumerFactory<String, String> kafkaConsumer) {
        return kafkaConsumer.createConsumer();
    }
}

🍊 Kafka与Spring Cloud集成

🎉 集成概述

Spring Cloud集成Kafka可以实现服务注册与发现、负载均衡等功能。

🎉 服务注册与发现

@Configuration
@EnableDiscoveryClient
public class KafkaDiscoveryClientConfig {

    @Bean
    public KafkaDiscoveryClient autoDiscoverClient(DiscoveryClient discoveryClient) {
        return new KafkaDiscoveryClient(discoveryClient);
    }
}

🎉 负载均衡

@Configuration
public class KafkaLoadBalancerConfig {

    @Bean
    public LoadBalancerClient loadBalancerClient() {
        return new KafkaLoadBalancerClient();
    }
}

🍊 Kafka与大数据生态圈

🎉 Kafka与Hadoop

Kafka可以与Hadoop生态圈中的工具进行集成，如Hive、Spark等。

🎉 Kafka与Spark

Kafka可以与Spark进行集成，实现实时数据处理和分析。

🎉 Kafka与Flink

Kafka可以与Flink进行集成，实现实时数据处理和分析。

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累，我已经拥有了不错的写作技巧。同时，我还与清华大学出版社签下了四本书籍的合约，并将陆续出版。

面试备战资料

八股文备战
场景描述链接
时间充裕（25万字）Java知识点大全（高频面试题）Java知识点大全
时间紧急（15万字）Java高级开发高频面试题Java高级开发高频面试题

理论知识专题（图文并茂，字数过万）

技术栈链接
RocketMQRocketMQ详解
KafkaKafka详解
RabbitMQRabbitMQ详解
MongoDBMongoDB详解
ElasticSearchElasticSearch详解
ZookeeperZookeeper详解
RedisRedis详解
MySQLMySQL详解
JVMJVM详解

集群部署（图文并茂，字数过万）

技术栈部署架构链接
MySQL使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群Docker-Compose部署教程
Redis三主三从集群（三种方式部署/18个节点的Redis Cluster模式）三种部署方式教程
RocketMQDLedger高可用集群（9节点）部署指南
Nacos+Nginx集群+负载均衡（9节点）Docker部署方案
Kubernetes容器编排安装最全安装教程

开源项目分享

项目名称链接地址
高并发红包雨项目https://gitee.com/java_wxid/red-packet-rain
微服务技术集成demo项目https://gitee.com/java_wxid/java_wxid

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案：https://download.youkuaiyun.com/download/java_wxid/91148718

希望各位读者朋友能够多多支持！

现在时代变了，信息爆炸，酒香也怕巷子深，博主真的需要大家的帮助才能在这片海洋中继续发光发热，所以，赶紧动动你的小手，点波关注❤️，点波赞👍，点波收藏⭐，甚至点波评论✍️，都是对博主最好的支持和鼓励！

🔔如果您需要转载或者搬运这篇文章的话，非常欢迎您私信我哦~

MySQL操作之数据类型
lydms的博客
09-19 4347
文章目录1、整数类型(INT)2、浮点数类型和定点数类型(Float/Double)3、日期与时间类型（DATE）4、字符串和二进制类型(CHAR) MySQL提供了5种数据类型：整数类型、浮点数类型、定点数类型、日期和时间类型、字符串类型和二进制类型。 1、整数类型(INT) 有5种数据类型：tinyINT、samllINT、mediumINT、INT、bigINT。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nk97lxNQ-1632048043862)(/User
Kafka 安装、使用
qq_33753147的博客
09-23 1727
kafka 安装，使用
RabbitTemplate ：简化与 RabbitMQ 消息代理的交互
wddblog的博客
03-22 1464
是 Spring AMQP 提供的一个高级消息模板，它封装了与 RabbitMQ 服务器交互的底层细节，使得开发者能够以一种更加声明式的方式发送和接收消息。通过，我们可以发送消息到指定的交换机和队列，也可以从队列中接收消息。是 Spring AMQP 中一个非常重要的类，它简化了与 RabbitMQ 消息代理的交互过程，使得开发者能够更加方便地发送和接收消息。通过合理配置和使用，我们可以构建高效、可靠的消息传递系统，以满足各种业务场景的需求。
Spring MVC 框架解析
最新发布
JavaCodePro的博客
07-24 915
📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》、（架构篇）、作者、清华大学出版社签约作家、Java领域优质创作者、优快云博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。
RabbitMQ和Kafka的比较
Docker的专栏
03-18 1704
导言作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的...
Kafka入门指南：核心概念与架构解析
"Kafka基础手册提供了对Kafka的全面理解，包括其概念、架构组件、设计思想以及生产和消费过程的解析。" Kafka是Apache软件基金会开发的一个开源流处理平台，设计初衷是为了处理大规模的数据流，它作为一种分布式...
Kafka学习笔记：架构解析与核心概念
本文主要介绍了Kafka的相关知识点，包括其作为消息系统的价值，以及Kafka的基本架构和核心概念。 Kafka是一种分布式流处理平台，常用于构建实时数据管道和流应用。以下是对Kafka相关知识点的详细说明： 1. **消息...
【大数据与分布式系统】Kafka架构解析与核心功能详解：涵盖设计原理、消息传输机制及应用要点
04-20
内容概要：本文档详细介绍了Kafka的核心概念、架构设计及其工作机制。Kafka以topic为单位归纳消息，通过producers发布消息到集群，consumers订阅topics并消费消息，集群由多个broker组成。文档解释了Kafka的数据传输...
Kafka：架构与核心机制
J老熊
09-28 2741
Apache Kafka 是一种高吞吐量的分布式消息队列，广泛应用于实时数据流处理和大数据架构中。本文将详细探讨 Kafka 的架构、Replica 管理、消息读取、分区策略、可靠性保障等核心机制。
【Kafka消息中间件】Kafka架构原理与关键特性解析：面试题及答案汇总
04-20
内容概要：本文档详细介绍了Kafka消息中间件的核心概念、设计原理、工作流程及其与传统消息系统的区别。首先阐述了Kafka的基本架构，包括topic、producer、consumer以及broker的概念，其中producer直接将数据发送到...
[转]分布式服务框架 Zookeeper -- 管理分布式环境中的数据
heiyeluren的blog（黑夜路人的开源世界）
12-07 2969
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管理等），用 Java 实现它们并给出示例代码。
消息队列选型之 Kafka vs RabbitMQ
qq_36176028的博客
06-27 2701
消息队列即 Message+Queue，消息可以说是一个数据传输单位，它包含了创建时间、通道/主题信息、输入参数等全部数据；队列（Queue）是一种 FIFO（先进先出）的数据结构，编程语言一般都内置(内存中的)队列实现，可以作为进程间通讯（IPC）的方法。使用队列最常见的场景就是生产者/消费者模式：生产者生产消息放到队列中，消费者从队列里面获取消息消费。
spring之ApplicationContext
lgh3293的博客
03-13 257
context的核心作用是ApplicationContext接口，这是由BeanFactory接口派生而来。同时，context还提供了以下的功能：1) MessageSource,提供国际化的消息访问2)资源访问，如URL和文件3）事件传播，实现了ApplicationListener接口的bean4)惯入多个上文，使得每一个上下文都专注于一个特定的层次，比如应用的web层.   1.Me...
Spring ApplicationContext
qq_43012298的博客
01-22 1404
通过refresh()方法的调用来初始化 Spring 容器。这个方法是整个应用上下文生命周期中非常重要的一部分，它会创建和初始化所有的 beans，同时处理依赖注入。正是通过这个复杂而强大的初始化过程，Spring 能够管理应用中的 beans，并提供如 AOP、事务管理、事件发布等特性。虽然提供了非常丰富的功能，但是作为开发者，我们通常只需要与它的几个核心方法打交道，如getBean()register()refresh()等，而 Spring 框架会处理其背后的复杂逻辑。
【Spring系列】- ApplicationContext
m0_68383079的博客
02-28 1064
ApplicationContext构建于BeanFactory之上，除了拥有BeanFactory支持的所有功能之外，还进一步扩展了基本容器的功能，包括BeanFactoryPostProcessor、BeanPostProcessor以及其他特殊类型bean的自动识别、容器启动后bean实例的自动初始化、国际化的信息支持、容器内事件发布等
ApplicationContext小记
无刃小刀
07-31 2218
ApplicationContext对于Spring框架起着举重轻重的重用，自己在学习时作了一些笔记，其中有很多部分从夏昕的《springGuild》ApplicationContext覆盖了BeanFactory的所有功能，并提供了更多的特性，但相对于BeanFactory，ApplicationContext提供了以下的扩展功能：1． 国际化支持我们可以在Beans.xml文件中，对程
手动获取spring的ApplicationContext和bean对象
zhongyangjian的专栏
04-20 1093
转：http://www.cnblogs.com/yangzhilong/p/3949332.html WEB项目： 方法1： 1 ApplicationContext ac1 = WebApplicationContextUtils.getRequiredWebApplicationContext(ServletContext sc
kafka和rabbitmq选型
daiyudong2020的博客
04-25 1003
前言：选择适用的消息队列，至少要关注多个维度，基于kafka和rabbitmq，文章假定读者对消息队列已有一定的了解，探讨以下内容 （1）顺序性 （2）幂等性 （3）持久化 （4）性能 （5）容灾 （6）安全机制 （7）可靠性 一、模型 （1）rabbitmq消费模型（只能路由到master处理） （2）rabbitmq生产模型（只能路由到master处理） （3...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值