Struct streaming +kafka 时间窗操作

坚持，再坚持一下

于 2019-06-24 09:59:41 发布

阅读量1.1k

点赞数

分类专栏： spark struct streaming kafka

本文链接：https://blog.youkuaiyun.com/sinat_38648388/article/details/93464506

版权

本文介绍了如何在Spark Structured Streaming中结合Kafka进行时间窗口操作。首先，强调了Spark和Scala版本匹配的重要性，避免报错。接着，列出了对应的Maven依赖项，以便于构建项目。然后，详细阐述了程序实现步骤，并说明了如何将打包后的jar文件部署到Spark集群上进行运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.引进jar包
spark版本一定要严格一致，否则会报错
spark与scala版本

<scala.version>2.11</scala.version>
   <spark.version>2.4.3</spark.version>

maven依赖

 <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.s