浅谈Kafka的架构设计

已于 2022-05-30 22:51:32 修改
阅读量1.4k 收藏
点赞数
分类专栏： Spring-Kafka 文章标签： kafka 分布式 java
于 2022-05-04 16:01:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29569183/article/details/124570987
版权

目录

Kafka集群中的角色

Broker

Topic

Partition

Replication

Producer

Consumer

ConsumerGroup

Zookeeper注册中心

从Partition角度谈Kafka的高性能

生产者发送消息

消息发送缓存——KafkaProducer

消息发送——Sender线程类

Kafka集群中的角色

Broker

Broker可以理解为kafka服务端的实例，每个服务器上可以部署一个或多个Broker实例;在一个kafka集群内的broker都有一个不重复的集群内唯一标识。

Topic

消费主题,与其他消息中间件一样,在Kafka集群中的每个broker上都可以创建多个topic。

Partition

这个指的是Topic的分区，每个topic可以设置多个分区以提高kafka的吞吐量。同一个topic下的消息在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹。

分区策略：随机策略，轮询策略，消息键策略

Replication

分区副本,作用是做备份。当主分区（Leader）故障的时候会选择一个备份（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kafka架构及基本原理简析
weixin_42686892的博客
11-25 2223
Kafka简介 Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统，最早是由Linkedin公司开发，最终开源到Apache软件基金会的项目。Kafka是一个分布式的，支持分区的，多副本的和多订阅者的高吞吐量的消息系统，被广泛应用在应用解耦、异步处理、限流削峰和消息驱动等场景。本文将针对Kafka的架构和相关组件进行简单的介绍。在介绍Kafka的架构之前，我们先了解一下Kafk的核心概念。 Kafka核心概念 在详细介绍Kafka的架构和基本组件之前，需要先了解一下Kafka的一些
《吃透 MQ 系列》之打通 Kafka 的任督二脉
武哥漫谈IT
04-20 359
大家好，我是武哥。这是《吃透 MQ 系列》的第三篇，有关Kafka 的架构设计。这篇文章将带着大家参透：到底什么是 Kafka 架构设计的任督二脉？把握住了这个关键点，我相信你将能更好地...
大白话认识 Kafka 背后优秀的架构设计
中生代技术
04-12 292
来源 |https://juejin.cn/post/6844903999066341384前言一、Kafka基础消息系统的作用1.Topic 主题2.Partition 分区3.Pro...
分布式发布订阅消息系统 Kafka 架构设计 - 目前见到的最好的Kafka中文文章
热门推荐
Derekjiang的笔记簿
06-08 3万+
转自：http://www.oschina.net/translate/kafka-design 参与翻译(4人)：fbm, 飞翔的猴子, Khiyuan, nesteaa 感谢这些同志们的辛勤工作，翻译的真不错，目前见到的最好的Kafka中文文章 ------------------------------- 我们为什么要搭建该系统 Kafka是一个消息系统，原本开
Kafka 架构设计
Java搜索工程技术栈
03-04 297
这篇文章将带着大家参透：到底什么是 Kafka 架构设计的任督二脉？ 把握住了这个关键点，我相信你将能更好地理解 Kafka 的架构设计，进而顺藤摸瓜地掌握 Kafka 的核心技术方案。 废话不多说了，开始发车。 1. Kafka 的技术难点究竟在哪？ 前一篇文章《扒开 Kafka 的神秘面纱》 交代了两个关键信息： 1、Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。 2、...
浅谈分布式消息技术：Kafka.docx
08-20
Kafka的架构包含生产者、消费者、broker和Zookeeper集群。生产者采用push模式将消息推送至broker，而消费者则通过pull模式从broker订阅并消费消息。Zookeeper在此中起到关键作用，负责管理集群配置、选举leader以及...
浅谈Kafka_Streams在实时跟踪和监控系统中的应用.pdf
09-14
在这样的背景下，Kafka_Streams作为一种强大的流处理技术，被引入到实时跟踪和监控系统的设计中，以解决DevOps操作中的痛点。 在DevOps实践中，云服务管理面临的主要挑战包括如何有效地追踪服务性能、及时发现潜在...
浅谈Kafka持久化与日志存储
weixin_59801183的博客
07-06 1940
Apache Kafka是一个分布式流处理平台，用于构建实时数据流管道和流式应用程序。Kafka具有高吞吐量、低延迟、可扩展性和容错性等特点。本文档将介绍Kafka的持久化与日志存储机制，包括Kafka的存储架构、数据压缩和数据清理等；此外还将分析如何在 Kafka 中进行日志监控和维护。
浅谈kafka（详解版＋笔记版）
xxxzzzqqq_的博客
04-25 372
Apache Kafka：也称社区版 Kafka。优势在于迭代速度快，社区响应度高，使用它可以让你有更高的把控度；缺陷在于仅提供基础核心组件，缺失一些高级的特性。（如果你仅仅需要一个消息引擎系统亦或是简单的流处理应用场景，同时需要对系统有较大把控度，那么我推荐你使用 Apache Kafka）
Kafka的架构设计
wh柒八九的博客
05-09 810
本文来说下有关Kafka的架构设计。把握住了这个关键点，我相信你将能更好地理解 Kafka 的架构设计，进而顺藤摸瓜地掌握 Kafka 的核心技术方案。 文章目录Kafka的技术难点究竟在哪Kafka的架构设计 Kafka的技术难点究竟在哪 前面交代了两个关键信息： 1、Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。 2、为了简化实现的复杂度，Kafka 最终采用了很巧妙的消息模型：它.
kafka 架构设计简介(一)
u013332124的专栏
05-15 1130
一、概述 kafka是一个分布式的消息系统，由LinkedIn开发，后成为Apache的一部分。它以水平扩展和高吞吐率被广泛使用。 最近开始深入学习kafka，然后打算写一个kafka系列文章，这是第一篇。虽然目前网上关于kafka的文章有很多，很多都写的很详细，但是还是想自己整理一遍。一方面为了更好的巩固，另一方面也为了以后复习起来方便。 本篇对kafka的整个架构以及概念做一些简单的介绍...
面试专题：简述Kafka架构设计
lxn1023143182的博客
03-20 239
Kafka的特性： 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 高并发：支持数千个客户端同时读写 Consumer Group： 消费者组，消费者组内每个消费者负责消费不
Kafka 架构设计及原理
imissyou1989313的博客
04-16 370
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka 本身设计也非常精巧，有很多关键的知识点需要注意。在面试中，也常常被问到。整理篇文章，梳理一下自己的知识点。 架构设计问题 Kafka 整体架构如下： Figure 1. Kafka 架构 Kafka 架构分为以下几个部分 Producer：消息生产者，就是向 Kafka Broker 发消息的客户端。 Consumer：消息消费者，向 Kafka Brok
kafka 网络设计
m0_46449152的博客
03-18 266
Sender.run -> client.ready -> initiateConnect -> selector.connect /* TODO 这个selector是kafka主机封装的一个selector * 他是基于java NIO里面的selector去封装的。 */ public class Selector implements Selectable { public static final long NO_IDLE_TIMEOUT_MS = -1; .
Kafka 设计详解之网络通信
weixin_34220623的博客
12-15 416
为什么80%的码农都做不了架构师？>>> ...
kafka的架构
最新发布
大黄_sama
07-02 2559
一、架构图Broker：一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。Producer：消息生产者，就是向 kafka broker 发消息的客户端Consumer：消息消费者，向 kafka broker 取消息的客户端。Topic：可以理解为一个队列，一个 Topic 又分为一个或多个分区。
Kafka学习之路 （二）Kafka的架构
tby6686的专栏
11-25 794
一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到b
Kafka设计架构与原理
swg321321的博客
08-14 850
Kafka的基本概念与整体架构，以及基于ZooKeeper实现元数据管理和负载均衡。生成者、消费者、主题、副本、AR、ISR、OSR、HW、LEO等
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WannaRunning

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值