spark与kafka连接测试

最新推荐文章于 2025-05-21 15:52:24 发布

原创最新推荐文章于 2025-05-21 15:52:24 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #spark #scala

spark 同时被 2 个专栏收录

21 篇文章

订阅专栏

kafka

4 篇文章

订阅专栏

本文介绍如何使用Scala 2.11.8与JDK 1.7.79在Maven工程中集成Apache Spark Streaming与Kafka，实现从Kafka消费数据并进行实时处理。文中展示了具体的依赖配置及示例代码，包括设置Spark配置、创建流处理上下文、从Kafka读取数据、执行窗口操作等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试环境：scala版本为2.11.8,jdk版本为java1.7.79
搭建的工程为maven工程，所需要的依赖有：

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.0.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
            <version>2.0.1</version>
        </dependency>

scala代码有：

package sparkStreaming__

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Minutes, Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.KafkaUtils

/**
  * Created by xiaopengpeng on 2016/12/12.
  *
  */
/*class Spark_kafka_123 {

}*/
object Spark_kafka_123{
  def main(args: Array[String]): Unit = {
    if (args.length!=4){
      System.err.println("Usage:Spark_kafka<zkQuorum><group><topic><numThreads>")
      System.exit(1)
    }
    val Array(zkQuorum,group,topic,numThreads) = args
    val conf = new SparkConf().setAppName("Spark_kafka").setMaster("local[*]")
    val ssc = new StreamingContext(conf,Seconds(5))
    ssc.checkpoint("checkpoint")
    val topicMap = topic.split(",").map((_,numThreads.toInt)).toMap
    val lines = KafkaUtils.createStream(ssc,zkQuorum,group,topicMap).map(_._2)

    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x=>(x,1L)).reduceByKeyAndWindow(_+_,_-_,Minutes(10),Seconds(20),5)
    wordCounts.print
    ssc.start()
    ssc.awaitTermination()
  }
}