logstash kafka多台机器取数据，只有一个实例消费【logstash2.3.4】

最新推荐文章于 2025-08-17 22:46:56 发布

原创最新推荐文章于 2025-08-17 22:46:56 发布 · 5.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#ruby #数据 #logstash #kafka

大数据可视化同时被 2 个专栏收录

24 篇文章

订阅专栏

电商金融风控

9 篇文章

订阅专栏

本文描述了一种Logstash消费Kafka数据时的问题及解决方案。当多台Logstash服务机器配置相同的topic和groupId时，只有最后启动的一台机器能够消费数据。通过分析logstash的输入模块代码，发现在特定条件下会删除Zookeeper中消费者的记录，导致其他实例无法继续消费。通过禁用此行为可以解决该问题。

描述：首先kafka的partition数量为6，多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时，只有一台机器在消费kafka数据，并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果，最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。

首先介绍logstash的input-kafka模块的代码结构

kafka.rb -- logstash-2.3.4/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-2.0.8/lib/logstash/inputs/
group.rb -- logstash-2.3.4/vendor/bundle/jruby/1.9/gems/jruby-kafka-1.5.0-java/lib/jruby-kafka

主要的代码逻辑集中在这两个ruby文件上，kafka.rb主要接收配置参数，并调用group.rb对kafka数据进行消费，这个过程是调用的kafka java api，大体流程于java代码类似。
仔细读下去会发现group.rb的代码有点问题：

  def run(a_num_threads, a_queue)
    begin
      if @reset_beginning == 'from-beginning'
        Java::kafka::utils::ZkUtils.maybeDeletePath(@zk_connect, "/consumers/#{@group_id}")
      end

      @consumer = Java::kafka::consumer::Consumer.createJavaConsumerConnector(create_consumer_config)
    rescue ZkException => e
      raise KafkaError.new(e), "Got ZkException: #{e}"
    end

    thread_value = a_num_threads.to_java Java::int
    streams = get_streams(thread_value)

    @executor = Executors.newFixedThreadPool(a_num_threads)
    @executor_submit = @executor.java_method(:submit, [Java::JavaLang::Runnable.java_class])

    thread_number = 0
    streams.each do |stream|
      @executor_submit.call(Kafka::Consumer.new(stream, thread_number, a_queue, @consumer_restart_on_error, @consumer_restart_sleep_ms))
      thread_number += 1
    end
    @running = true
  end

在定义的run方法中，

if @reset_beginning == 'from-beginning'
        Java::kafka::utils::ZkUtils.maybeDeletePath(@zk_connect, "/consumers/#{@group_id}")
      end

主要含义是删除zk目录下，该groupId的信息。就因为有这句话，原来logstash实例的消费信息就会被移除了，所以会出现上述现象（具体这样做的含义，因为时间原因没有过多的调研）

————–这里是解决方法———————
logstash-2.3.4/vendor/bundle/jruby/1.9/gems/jruby-kafka-1.5.0-java/lib/jruby-kafka 目录下，打开group.rb文件，找到代码片，用#注释掉即可

#if @reset_beginning == 'from-beginning'      #Java::kafka::utils::ZkUtils.maybeDeletePath(@zk_connect, "/consumers/#{@group_id}")
 #end