Kafak --- Consume

 Kafak --- Consume

package com.ws.kafka

import java.util
import java.util.Properties

import org.apache.kafka.clients.consumer.{ConsumerRecords, KafkaConsumer}
import org.apache.kafka.common.serialization.StringDeserializer

object KConsumer {
  def main(args: Array[String]): Unit = {
    val prop = new Properties()
    // 指定kafka的server地址
    prop.setProperty("bootstrap.servers","dream1:9092,dream2:9092,dream3:9092")
    // 设置反序列化组件 一下两种方式都可以
    prop.setProperty("key.deserializer",classOf[StringDeserializer].getName)
    prop.setProperty("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer")
    // 指定该消费者所在的消费者组
    prop.setProperty("group.id","1")
    // 指定消费者从哪开始消费[latest,earliest]
    // earliest 从头开始消费，--from beginnig
    // latestb 从该消费者启动之后开始消费
    prop.setProperty("auto.offset.reset","earliest")
    // 是否自动提交偏移量，默认是true，就是每消费一条数据后，就向kafka报告当前消费的偏移量，来控制消费果的数据不再重复消费
    // 我们一般设置为false，自己手动更新偏移量
    prop.setProperty("enable.auto.commit","true")
    //-------------------以上是消费者的配置代码-------------------------------
    // 创建一个消费者
    val kafkaConsumer = new KafkaConsumer[String, String](prop)
    // 指定要订阅的topic
    val topic: util.List[String] = util.Arrays.asList("test")
    kafkaConsumer.subscribe(topic)
    // 监听数据产生，并拉取数据
    import scala.collection.JavaConversions._
    while (true) {
      // 超过2000就放弃
      val msg: ConsumerRecords[String, String] = kafkaConsumer.poll(2000)
      msg.foreach(ms=>println(ms))
    }
  }
}