《深入理解Spark》之spark2.3结构化(Structured Streaming)的流之Streaming+streaming join

最新推荐文章于 2024-01-05 09:34:39 发布

原创

最新推荐文章于 2024-01-05 09:34:39 发布 · 2.4k 阅读

4 ·

CC 4.0 BY-SA版权

本文详细探讨了Spark 2.3中的Structured Streaming，重点讲解了如何进行Streaming+Streaming Join操作。在没有Kafka Topic ACL权限认证的情况下，提供的代码示例能正常运行。参考了两篇专业文章，深入介绍了高级Spark结构化流处理，包括聚合、Join和检查点设置。

pom文件如下


<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
<