《深入理解Spark》之spark2.3结构化(Structured Streaming)的流之Streaming+streaming join

最新推荐文章于 2024-01-05 09:34:39 发布

lyzx_in_csdn

最新推荐文章于 2024-01-05 09:34:39 发布

阅读量2.4k

点赞数 1

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/lyzx_in_csdn/article/details/81172299

版权

本文详细探讨了Spark 2.3中的Structured Streaming，重点讲解了如何进行Streaming+Streaming Join操作。在没有Kafka Topic ACL权限认证的情况下，提供的代码示例能正常运行。参考了两篇专业文章，深入介绍了高级Spark结构化流处理，包括聚合、Join和检查点设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pom文件如下


<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
    <version>2.3.0</version>
</dependency>
<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.5</version>
</dependency>

下面的代码在kafka的Topic上没有ACL权限认证时运行良好