SparkStreaming直连方式读取kafka数据，使用MySQL保存偏移量

最新推荐文章于 2025-06-05 21:05:58 发布

原创

最新推荐文章于 2025-06-05 21:05:58 发布 · 5k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#SparkStreaming #直连方式读取kafka #MYSQL #大数据

本文介绍了如何使用SparkStreaming直接读取Kafka数据，并利用ScalikeJDBC库与MySQL交互，将Kafka的偏移量保存到数据库中，确保数据处理的可靠性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过MySQL保存kafka的偏移量，完成直连方式读取数据
使用scalikeJDBC,访问数据库

1、什么是 ScalikeJDBC

ScalikeJDBC 是一款给 Scala 开发者使用的简洁 DB 访问类库，它是基于 SQL 的，使用者只需要关注 SQL 逻辑的编写，所有的数据库操作都交给 ScalikeJDBC。这个类库内置包含了JDBC API，并且给用户提供了简单易用并且非常灵活的 API。并且，QueryDSL(通用查询查询框架)使你的代码类型安全的并且可重复使用。我们可以在生产环境大胆地使用这款 DB 访问类库。
2、新建配置文件

//配置数据库信息
//使用IDEA，在resources文件夹下新建文件File文件名为application.conf
db.default.driver="com.mysql.jdbc.Driver"
db.default.url="jdbc:mysql://hadoop01:3306/kafkaOffset?characterEncodeing=utf-8"
db.default.user="root"
db.default.password="root"

在这里插入图片描述
3、在数据库中新建一张表Offset,表结构设计如图

4、导入依赖的jar包

<!--Maven依赖-->

<!--通过mysql保存偏移量-->

        <dependency>
            <groupId>com.typesafe</groupId>
            <artifactId>config</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.scalikejdbc</groupId>
            <artifactId>scalikejdbc_2.11</artifactId>
            <version>2.5.0</version>
        </dependency>
        <dependency>
            <groupId>org.scalikejdbc</groupId>
            <artifactId>scalikejdbc-core_2.11</artifactId>
            <version>2.5.0</version>
        </dependency>
        <dependency>
            <groupId>org.scalikejdbc</groupId>
            <artifactId>scalikejdbc-config_2.11<