Spark Streaming整合kafka实战简单一看就会

最新推荐文章于 2024-05-06 19:24:56 发布

原创

最新推荐文章于 2024-05-06 19:24:56 发布 · 591 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Spark Streaming整合kafka实战一看就会

本篇博客介绍如何将Spark Streaming与Kafka进行整合，通过新建Scala Maven项目，添加相关依赖，启动Zookeeper和Kafka集群，创建并配置Topic、生产者和消费者。在验证消费者成功接收生产者消息后，编写Spark Streaming应用程序并运行，最终在控制台查看到数据处理结果，实现简单易懂的实战教程。

首先新建一个由maven管理的scala的项目
在pom文件中添加以下依赖

  <properties>
        <scala.version>2.11.8</scala.version>
        <hadoop.version>2.7.4</hadoop.version>
        <spark.version>2.0.2</spark.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!--sparkSql 需要引入的包-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${s