kafka生产者客户端实现自定义分区器

最新推荐文章于 2025-01-31 19:22:43 发布

原创最新推荐文章于 2025-01-31 19:22:43 发布

· 397 阅读

1 ·

版权

Kafka 专栏收录该内容

19 篇文章

订阅专栏

本文介绍如何在Kafka中实现自定义分区器，通过继承Partitioner接口并重写partition方法，使用MurmurHash2算法进行hash，实现自定义的分区逻辑。在生产者客户端中指定自定义分区器，以控制消息发送到特定的分区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka中实现自定义分区器：


import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.utils.Utils;

import java.util.List;
import java.util.Map;
import java.util.concurrent.atomic.AtomicInteger;

public class MyPartitioner implements Partitioner {
    private final AtomicInteger counter = new AtomicInteger(0);
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List<PartitionInfo> parts = cluster.partitionsForTopic(topic);
        int partitionSize = parts.size();
        if(key == null ){
            return counter.getAndIncrement() % partitionSize;
        }else{
            //默认分区器DefaultPartitioner采用了MurmurHash2算法进行hash
            return Utils.toPositive(Utils.murmur2(keyBytes)) % partitionSize;
        }
    }

    @Override
    public void close() {
    }
    @Override
    public void configure(Map<String, ?> map) {

    }
}

然后在生产者客户端中增加如下配置：

 properties.setProperty(ProducerConfig.PARTITIONER_CLASS_CONFIG, MyPartitioner.class.getName());

这样，生产者客户端就指定了自定义分区器来实现自定义的分区逻辑