示例：Spark Streming+Kafka整合 (spark-streaming-kafka-0-8_2.11)

最新推荐文章于 2024-12-19 16:41:25 发布

原创

最新推荐文章于 2024-12-19 16:41:25 发布 · 2.3k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何将Spark Streaming与Kafka进行整合，详细阐述了Receiver和Direct两种方式的启动流程，包括启动Zookeeper、Kafka、生产者，以及编写和运行相关代码来实现数据流处理。最后，提供了官方文档链接供深入学习。

文章目录

- - Receiver
  - Direct

Receiver

import org.apache.log4j.{
   
   Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{
   
   Seconds, StreamingContext}

object kafka_Receiver_streaming {
   
   
  Logger.getLogger("org").setLevel(Level.WARN)
  def main(args: Array[String]): Unit = {
   
   
    val sparkConf = new SparkConf().setAppName(