在Java中使用Spark与Kafka进行连接,你可以使用Spark Streaming来处理实时流数据。以下是一个简单的示例,展示了如何使用Spark Streaming从Kafka读取数据并进行处理。
1. 引入依赖
首先,在你的pom.xml
文件中添加必要的依赖项(假设你在使用Maven):
<dependencies>
<!-- Spark Core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.4.0</version>
</dependency>
<!-- Spark Streaming -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.12</artifactId>
<version>3.4.0</version>
</dependency>
<!-- Spark Streaming Kafka Integration -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
<version>3.4.0&l