Spark Streaming读取kafka中数据详解

最新推荐文章于 2022-02-18 14:38:50 发布

天ヾ道℡酬勤

最新推荐文章于 2022-02-18 14:38:50 发布

阅读量994

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/zp17834994071/article/details/108455209

版权

本文详细介绍了Spark Streaming从Kafka中读取数据的两种方式，重点讲解了基于Direct方式的优势，如简化并行读取、高性能、强一致语义和降低资源消耗，并对比了其不足，如需要用户自行维护offset和监控不便。同时，也提到了基于Receiver方式的优缺点，包括数据可靠性与资源管理的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

话不多说今天就给大家说下Spark Streaming如何读取Kafka中数据
先导依赖包到pom.xml

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
  <version>2.3.4</version>
</dependency>

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.11</artifactId>
  <version>2.3.4</version>
</dependency>

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>2.1.1</version>
</dependency>

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11<