Spark Streaming整合kafka实战

最新推荐文章于 2024-05-06 19:24:56 发布

cuiyiyinga

最新推荐文章于 2024-05-06 19:24:56 发布

阅读量228

点赞数 1

本文链接：https://blog.youkuaiyun.com/cuiyiyinga/article/details/96441657

版权

本文档详细介绍了如何在Spark Streaming中整合Kafka，从pom.xml文件添加依赖，到启动Zookeeper和Kafka集群，创建并验证topic，以及在遇到NoClassDefFoundError时解决依赖版本问题。提供了关键的命令行操作和问题排查提示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、pom.xml文件中的依赖

<groupId>groupId</groupId>
<artifactId>day142.0</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
    <scala.version>2.11.8</scala.version>
    <hadoop.version>2.7.4</hadoop.version>
    <spark.version>2.0.2</spark.version>
</properties>
<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>${scala.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>${spark.version}</version>
    </dependency>
    <!--sparkSql 需要引入的包-->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11<