kafka的consumerConnector.createMessageStreams 方法源码分析

最新推荐文章于 2025-01-23 22:00:02 发布

bigdatar

最新推荐文章于 2025-01-23 22:00:02 发布

阅读量9.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：实时计算

本文链接：https://blog.youkuaiyun.com/sinat_27545249/article/details/78118525

本文深入探讨了Kafka的consumerConnector.createMessageStreams方法，重点关注其在ZookeeperConsumerConnector中的实现，包括consume方法的调用流程，以及getConsumerThreadIdsPerTopic方法如何通过TopicCount进行消费线程分配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Consumer.create(consumerConfig)
val topicMessageStreams = consumerConnector.createMessageStreams(
topics, keyDecoder, valueDecoder)
这里的createMessageStreams调用的是子类ZookeeperConsumerConnector 的实现：

  def createMessageStreams[K,V](topicCountMap: Map[String,Int], keyDecoder: Decoder[K], valueDecoder: Decoder[V])
      : Map[String, List[KafkaStream[K,V]]] = {
   
   
    if (messageStreamCreated.getAndSet(true))
      throw new MessageStreamsExistException(this.getClass.getSimpleName +
                                   " can create message streams at most once",null)
    **consume**(topicCountMap, keyDecoder, valueDecoder)
  }

consume方法：