SPARK 笔记 (八) sparkstreaming与kafka整合 (一)

最新推荐文章于 2022-05-03 15:56:42 发布

Anssin_索隆三刀流

最新推荐文章于 2022-05-03 15:56:42 发布

阅读量260

点赞数

分类专栏：笔记 SPARK 文章标签： spark

本文链接：https://blog.youkuaiyun.com/m0_46570085/article/details/107530349

版权

本文介绍了如何在Spark3.0.0中进行SparkStreaming与Kafka的整合，重点关注与旧版本的区别。文章指出，由于使用了Scala 2.12版本，依赖导入和API可能会有所不同。作者提到了可以在Spark官方网站上查找相关整合资料，并且建议使用Kafka 0.10以上版本的API，特别是直接连接底层源码的最新API。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sparkstreaming与kafka整合(一)

anssin用的是spark3.0.0 ,与kafka整合会和以前版本有些出入

首先我们导入sparkstreaming的依赖,scala版本是2.12的

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.12</artifactId>
    <version>${spark.version}</version>
</dependency>

有关一些sparkstreaming和kafka的整合在官网(spark.apache.org)我们可以找到相关资料