Kafka分区机制与代码示例

Kafka中的Partition详解与示例代码 本文详细介绍了Kafka中的Partition概念,从创建、配置、内部工作原理到实际应用示例和性能调优等多个方面进行了深入的讨论。希望这些详细的示例代码和解释能够帮助大家更全面地理解和应用Kafka中的Partition。在实际应用中,根据业务需求和系统规模,可以灵活配置Partition以达到最佳性能和可靠性。 阅读详情
Kafka分区机制与代码示例

Kafka中,topic是逻辑上的概念,而partition是物理上的概念。不用担心,这些对用户来说是透明的。生产者(producer)只关心自己将消息发布到哪个topic,而消费者(consumer)只关心自己订阅了哪个topic上的消息,至少topic上的消息分布在哪些partition节点上,它本身并不关心。

如果没有分区的概念,那么topic的消息集合将集中于某一台服务器上,单节点的存储性能马上将成为瓶颈,当访问该topic存取数据时,吞吐也将成为瓶颈。

介于此,kafka的设计方案是,生产者在生产数据的时候,可以为每条消息人为的指定key,这样消息被发送到broker时,会根据分区规则,选择消息将被存储到哪一个分区中。如果分区规则设置合理,那么所有的消息将会被均匀/线性的分布到不同的分区中,这样就实现了负载均衡和水平扩展。另外,在消费者端,同一个消费组可以多线程并发的从多个分区中 同时消费数据。

上述分区规则,实际上是实现了kafka.producer.Partitioner接口的一个类,这个实现类可以根据自己的业务规则进行自定义制定,如根据hash算法指定分区的分布规则。

如以下这个类,我们先获取key的hashcode值,再跟分区数量(配置文件中为numPartitions)做模运算,结果值作为分区存储位置,这样可以实现数据均匀线性的分布。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

自定义Partitioner的实现如下:

import kafka.producer.Partitioner;

/**
 * Created by david on 17-3-27.
 */
public class SimplePartitioner implements Partitioner {
    @Override
    public int partition(Object key, int numPartitions) {
        int partition = 0;

        String k = (String) key;

        partition = Math.abs(k.hashCode()) % numPartitions;

        return partition;
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

bin目录下的kafka-topics.sh中,设置分区数的命令行参数为:

--partitions <Integer: # of partitions> The number of partitions for the topic 
                                          being created or altered (WARNING:   
                                          If partitions are increased for a    
                                          topic that has a key, the partition  
                                          logic or ordering of the messages    
                                          will be affected
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

此外,亦可以在配置文件server-XXXX.properties中,使用配置参数num.partitions,来进行全局默认的分区数的设置(如果命令行或代码中也设置,则会overwrite全局默认参数)。

但有一点需要注意,为Topic创建分区时,分区数最好是broker数量的整数倍,这样才能是一个Topic的分区均匀的分布在整个Kafka集群中,假设我的Kafka集群由4个broker组成,以下图为例:

现在创建一个topic “liuwei0376”,为该topic指定4个分区,那么这4个分区将会在每个broker上各分布一个:

./kafka-topics.sh \
--create \
--zookeeper localhost:2181,localhost:2182,localhost:2183 \
--replication-factor 1 \
--partitions 4 \
--topic test_diy_partition
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

这样所有的分区就均匀分布在集群中,如果创建topic时候指定了3个分区,那么就有一个broker上没有该topic的分区。

生产者根据自定义分区规则进行分区

现在用一个生产者示例(PartitionerProducer),向Topic lxw1234中发送消息。该生产者使用的分区规则,就是上面的SimplePartitioner。从0-10一共11条消息,每条消息的key 为”key”+index,消息内容为”key”+index+”–value”+index。比如:key0–value0、key1– value1、、、key10–value10。

package com.david.test.kafka.partition;

import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;

import java.util.Properties;

/**
 * Created by david on 17-3-27.
 *
 * 生产者使用自定义hash分区器,向kafka的broker分区中均匀写入数据
 */
public class PartitionerProducer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("serializer.class", "kafka.serializer.StringEncoder");
        props.put("metadata.broker.list", "localhost:9091,localhost:9092,localhost:9091,localhost:9092");
        props.put("partitioner.class", "com.david.test.kafka.partition.SimplePartitioner");

        Producer<String, String> producer = new Producer<String, String>(new ProducerConfig(props));

        String topic = "test_diy_partition";
        for (int i = 0; i <= 10; i++) {
            String k = "key" + i;
            String v = k + "--value" + i;
            producer.send(new KeyedMessage<String, String>(topic, k, v));
        }
        producer.close();
    }

}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

理论上来说,生产者在发送消息的时候,会按照SimplePartitioner的规则,将key0做hashcode,然后和分区数(4)做模运算,得到分区索引:

hashcode(“key0”) % 4 = 1

hashcode(“key1”) % 4 = 2

hashcode(“key2”) % 4 = 3

hashcode(“key3”) % 4 = 0

     ……
  • 1
  • 2

对应的消息将会被发送至相应的分区中。

消费者消费自定义分区数据

下面的消费者代码用来验证,在消费数据时,打印出消息所在的分区及消息内容:

package com.david.test.kafka.partition;


import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.message.MessageAndMetadata;

/**
 * Created by david on 17-3-27.
 *
 * 消费者轮询消费kafka的broker分区中的数据
 */
public class PartitionerConsumer {
    public static void main(String[] args) {
        String topic = "test_diy_partition";
        ConsumerConnector consumer =
                Consumer.createJavaConsumerConnector(createConsumerConfig());

        Map<String, Integer> topicMap = new HashMap<String, Integer>();

        topicMap.put(topic, new Integer(1));

        Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap =
                consumer.createMessageStreams(topicMap);

        KafkaStream<byte[], byte[]> stream = consumerMap.get(topic).get(0);

        ConsumerIterator<byte[], byte[]> it = stream.iterator();

        while (it.hasNext()) {
            MessageAndMetadata<byte[], byte[]> mam = it.next();
            System.out.println("消费者消费数据: 【分区号: [" + mam.partition() + "], 存储的消息: [" + new String(mam.message()) + "] 】");
        }
    }


    private static ConsumerConfig createConsumerConfig() {
        Properties props = new Properties();
        props.put("group.id", "test_diy_part_group");
        props.put("zookeeper.connect", "localhost:2181,localhost:2182,localhost:2183");
        props.put("zookeeper.session.timeout.ms", "400");
        props.put("zookeeper.sync.time.ms", "200");
        props.put("auto.commit.interval.ms", "1000");
        props.put("auto.offset.reset", "smallest");

        return new ConsumerConfig(props);
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56

打印一下结果,可以验证上述hash分区落地位置的推断:

消费者消费数据: 【分区号: [2], 存储的消息: [key1--value1] 】
消费者消费数据: 【分区号: [2], 存储的消息: [key5--value5] 】
消费者消费数据: 【分区号: [2], 存储的消息: [key9--value9] 】
消费者消费数据: 【分区号: [2], 存储的消息: [key10--value10] 】
消费者消费数据: 【分区号: [0], 存储的消息: [key3--value3] 】
消费者消费数据: 【分区号: [0], 存储的消息: [key7--value7] 】
消费者消费数据: 【分区号: [1], 存储的消息: [key0--value0] 】
消费者消费数据: 【分区号: [1], 存储的消息: [key4--value4] 】
消费者消费数据: 【分区号: [1], 存储的消息: [key8--value8] 】
消费者消费数据: 【分区号: [3], 存储的消息: [key2--value2] 】
消费者消费数据: 【分区号: [3], 存储的消息: [key6--value6] 】
Kafka消费者组整合代码实现分区分配策略以及offset使用场景 现在其实从大厂招聘需求可见,在招聘要求上有高并发经验优先,包括很多朋友之前都是做传统行业或者外包项目,一直在小公司,技术搞的比较简单,没有怎么搞过分布式系统,但是现在互联网公司一般都是做分布式系统。所以说,如果你想进大厂,想脱离传统行业,这些技术知识都是你必备的,下面自己手打了一份Java并发体系思维导图,希望对你有所帮助。一个人可以走的很快,但一群人才能走的更远。 阅读详情

相关推荐

深入理解 Kafka 主题分区机制

发送消息主题: example-topic-1, key: 2, value: message-2, 分区: 0。发送消息主题: example-topic-2, key: 1, value: message-1, 分区: 1。发送消息主题: example-topic-2, key: 2, value: message-2, 分区: 0。发送消息主题: example-topic-2, key: 2, value: message-2, 分区: 1。

2501_90323865的博客 933

【原创】探讨kafka的分区数与多线程消费

若要转载,请标明出处,谢谢! http://raising.iteye.com/blog/2252456 ========================================================= 首先,容我吐一口老血。。。。。。 kafka算是很麻烦的一件事儿,起因是最近需要采集大量的数据,原先是只用了典型的high-level Consumer的API,最经...

Try My Best 尽力而为 2270

Kafka的生产者与消费者机制以及分区策略

消费者可以以不同的消费组(consumer group)的形式运行,每个消费组可以同时消费一个主题的多个分区。Sticky策略:在Sticky策略中,Kafka会尽量将相同的消费者分配到相同的分区,以确保每个消费者在一段时间内保持对相同分区的消费。这样可以减少分区重新分配的频率,提高整体的性能。在上述示例中,我们首先配置了Kafka消费者的属性,包括Kafka集群的地址、键和值的反序列化器以及消费组的ID。在上述示例中,我们首先配置了Kafka生产者的属性,包括Kafka集群的地址、键和值的序列化器等。

LmzActionscript的博客 205

Kafka 事务机制 跨分区 + 跨会话 通俗讲解 + 可运行代码示例

Kafka 事务机制支持跨分区、跨主题原子写入,也支持跨生产者会话事务恢复。代码层面通过配置、开启幂等生产者,再通过开启事务,批量向多个主题 / 分区发送消息;正常执行就批量生效,出现异常就全部回滚,保证多条消息要么全部成功、要么全部失败,解决多消息写入的数据一致性问题;生产者宕机重启后,通过相同事务 ID 可跨会话承接上一次事务状态,保证原子性不被破坏。

weixin_43578751的博客 49

Kafka Producer原理与代码实例讲解

1. 背景介绍 1.1 消息队列与Kafka概述 在现代分布式系统中,消息队列已经成为不可或缺的组件。它能够实现异步通信、解耦服务、流量削峰等功能,有效提升系统的可靠性、可扩展性和性能。Kafka作为一款高吞吐量、分布式、持久化的消息队列系统,凭借其优异的性能和丰富的功能,在实时数据流处理、

AI大模型应用之禅 196

springboot整合kafka,指定分区发送,批量消费,指定topic分区消费

springboot2.x整合kafka,发送者包含自定义分区发送,发送之后的回调函数,消费者有两个监听,一个是批量消费多topic,另外一个是消费指定topic的不同分区

Kafka分区机制

Kafka的主题(Topic)可以分为多个分区(Partition),每个分区是一个有序的消息日志。每个分区都有一个唯一的标识符(Partition ID),并且可以在不同的节点上进行复制,以提供容错性。每个分区都是独立存储的,所以可以根据需求增加或减少分区数量,以适应系统的变化。负载均衡:Kafka可以根据分区数量和消费者数量来进行负载均衡,将不同分区分配给不同的消费者,从而实现并行处理。消息有序性:每个分区内的消息按照写入的顺序进行存储,保证了消息的有序性。不同分区之间的消息可能会存在乱序。

m0_61898915的博客 1430

kafka分区消费策略

kafka指定分区消费,发送到指定分区

Kafka中如何保证消息的顺序性?

在 Apache Kafka 中,消息的顺序性是一个常见的关注点,尤其是在某些应用场景下,如金融交易、日志记录等,需要严格保证消息的顺序处理。Kafka 本身并不直接提供全局的消息排序保证,但它通过分区机制和其他技术手段提供了几种方式来保证消息的顺序性。

qq_33240556的博客 1731

强化学习赋能宇树机器狗:Isaac Gym与MuJoCo仿真训练全解析

本文详细解析了如何利用Isaac Gym和MuJoCo两大仿真平台为宇树机器狗构建强化学习训练管道。内容涵盖环境配置、模型导入、PPO算法框架设计、奖励函数构建以及从仿真到实机的策略迁移技巧,为开发者提供了一套完整的宇树狗仿真训练实践方案。

zeta9的博客 621

Python爬虫实战:如何高效抓取拼多多商品信息、销量与价格数据,破解反爬虫挑战

**摘要:**本文介绍利用Python爬虫技术抓取拼多多商品数据(价格、销量等)的方法与应用价值。通过分析拼多多商品页面的HTML结构,使用Requests和Selenium获取数据,并应对反爬虫机制(IP代理、请求头伪装等)。数据可存储于MongoDB或CSV用于市场监控、竞品分析等场景。文章涵盖技术选型、实战代码示例及反爬策略,为电商数据分析提供实用指导。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1674

【分布式微服务云原生】5分钟深入剖析Kafka:Leader与Follower分区的秘密及负载均衡的艺术

在这篇博文中,我们将深入探讨Apache Kafka的分区机制,特别是Leader分区和Follower分区的区别,以及Kafka如何通过消费者组实现消息消费的负载均衡。文章将提供清晰的结构、流程图、代码示例和表格,帮助读者理解Kafka的内部工作机制。文章结尾将提供一个Excel表格总结,确保读者能够全面掌握Kafka的关键概念。

Dylaniou的博客 1425

高等数学/概率论/数理统计/线性代数/离散数学面试-核心概念-问题理解

特征值与特征向量是线性代数中的概念,它们与线性变换有关。在线性变换中,如果存在非零向量 v ,使得当该向量通过变换后,其方向不变,只是长度发生了变化,那么这个向量 v 就是特征向量。而这个长度变化的比例因子,即变换前后向量长度的比值,称为特征值。数学公式表示:通俗易懂的解释:想象一下,你有一个可以伸缩的橡皮筋,这个橡皮筋可以代表一个向量。现在,你有一个特殊的机器,它可以改变橡皮筋的形状,但不会改变它延伸的方向。当你把橡皮筋放入机器中,机器会拉伸或压缩橡皮筋,但橡皮筋的方向保持不变。

m0_64198455的博客 2294

Kafka中的分区机制是如何工作的?

主题与分区每个 Kafka 主题都可以由一个或多个分区组成。每个分区都是一个有序的消息队列,消息在其中按顺序追加。分区的数量在主题创建时确定,并且通常在创建之后不可更改。分区的作用提高吞吐量:通过将数据分散到多个分区,可以并行处理更多的数据,从而提高整体的吞吐量。提高可伸缩性:分区使得 Kafka 可以水平扩展,通过增加分区数量或 Broker 节点数量来应对更大的数据量。简化管理:每个分区独立存在,可以单独进行管理和维护,而不会影响其他分区。提高可靠性。

qq_33240556的博客 639

从X86到ARM:全面解析服务器CPU架构的演变与未来趋势

本文深入解析了服务器CPU架构从X86到ARM的演变历程与未来趋势。文章从CISC与RISC两种设计哲学切入,分析了X86凭借生态建立的帝国地位及其面临的功耗挑战,并重点阐述了ARM架构凭借其卓越的能效比优势,正从移动端向数据中心市场发起冲击。未来,异构计算、软硬协同与专用芯片将成为服务器CPU发展的核心方向。

gold的博客 1129

【C语言】一文搞懂C语言文件操作

读写文件、文件相关库函数详解、文件缓冲区介绍

StackFrame 5666

Kafka分区机制介绍与示例

Kafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件(.index),这使得Kafka的吞吐率可以水平扩展。 生产者在生产数据的时候,可以为每条消息指定Key,这样消息被发送到broker时,会根据分区规则选择被存...

mnasd的博客 175

odom反算成经纬度

这个转换系统能够将局部坐标(相对于原点的X, Y, Z坐标)转换回全球坐标系统。将局部里程计数据反算成经纬度坐标的过程涉及几个关键步骤,主要是将相对于某个局部参考点的坐标(例如在机器人、无人车或无人机的导航系统中使用的坐标)转换回全球GPS坐标系统(WGS-84经纬度)。为了能够将局部里程计数据转换为经纬度,首先需要知道局部坐标系统的原点(即参考点)在全球坐标系统中的位置。对于从里程计获得的每个局部坐标点,使用步骤2中设置的坐标转换系统将其转换为经纬度。使用转换模型将局部坐标转换为全球坐标。

如果想成为中心,那么就到中心去吧。 651

kafka其他方式的多分区顺序消费(待补充)

原理:通过自定义分区分配策略,将具有特定顺序关系的消息分配到不同分区,并确保每个分区由特定的消费者实例或线程处理。例如,在一个电商系统中,可根据店铺ID分配分区,每个店铺的消息按顺序处理。同时,使用单线程消费者或线程安全的消费逻辑,保证每个分区内消息消费顺序。实现步骤自定义分区分配器:在Java中,可继承类并实现相关方法。例如,根据消息的某个属性(如店铺ID)分配分区。示例代码如下:i ++) {

T2_phage的博客 1049

SY6982C 7.4V锂电池1A充电模块原理图设计,已量产

在手持设备、便携工具与小型无人机等场景中,7.4V(2S)锂聚合物电池的应用愈发广泛。这类电池对充电系统的安全性、效率与兼容性提出了明确要求:需支持 USB 5V 输入、1A 安全充电,同时具备多重保护机制。本文将结合一款基于 SY6982C 的充电原理图,深入解析其电路设计与技术亮点。

不脱发的程序猿 368

第 9 篇:TMC2240 速度调节实战|STEP 信号生成 + 平滑调速算法(无抖动)

摘要:本文详细介绍了TMC2240电机调速方案,重点解决调速时电机抖动、丢步等问题。核心原理是通过STEP信号频率控制转速,结合平滑加减速算法避免电流冲击。文章从速度与STEP频率的数学关系入手,提供了定时器生成固定频率STEP信号的实现代码,并给出不同转速下的频率参数表。针对42步进电机+256微步细分场景,详细讲解了定时器初始化、中断处理及固定转速设置方法,帮助开发者实现稳定调速。全文包含可直接复用的代码片段,适合嵌入式开发者快速实现电机平滑调速功能。

BackCatK Chen的博客 1036

Kafka 保证多分区的全局顺序性的设计方案和具体实现

单一分区路由:简单易实现,适合低吞吐量场景。外部排序:适合需要高吞吐量但全局顺序的场景,需关注缓冲区管理。:适合复杂流处理,需额外计算资源。主题级顺序控制:折衷方案,适合已有单一分区主题的系统。通用建议使用 Kafka 监控工具(如 Prometheus + Grafana)跟踪分区负载、延迟和消费者 lag。配置重试机制和死信队列(DLQ)处理异常消息。定期测试故障恢复,确保顺序性和一致性。

goTsHgo的博客 1735

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Kafka 的重平衡问题详解及解决方案

重平衡(Rebalance)是 Kafka 在消费者组内部重新分配分区(Partition)的过程。Kafka 的消费者组是一个逻辑概念,它允许多个消费者实例(Consumer)共同消费一个或多个主题(Topic)的分区。每个分区只能被一个消费者组中的一个消费者消费。因此,重平衡的目的是确保分区在消费者组中的消费者之间合理分配。Kafka 提供了多种分区分配策略,但在某些业务场景中,开发者可以根据需求实现自定义的分区分配策略,确保分区分配的灵活性和均衡性。// 实现自定义分区分配策略@Override。

lssffy的博客 3349

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

深入解析 Kafka 消费者组与分区分配机制

Kafka 的消费者组(Consumer Group)机制是其核心特性之一,它允许多个消费者实例协同工作,共同处理一个主题(Topic)的消息。本文将通过实例详细解析 Kafka 的消费者组如何与主题分区(Partition)进行分配,以及不同场景下的消息消费行为。当多个消费者订阅同一个主题时,Kafka 会根据消费者组内的实例数量和主题的分区数量,将分区分配给不同的消费者实例。如果消费者实例数量与主题分区数量相等,每个消费者将被分配一个分区。如果消费者实例数量少于分区数量,某些消费者会被分配多个分区;

m0_74337424的博客 1196

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 操作es
下一篇: HAProxy+Keepalived的配置(二)(及重要问题说明)
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值