Structured Streaming流数据Sink到Mysql

最新推荐文章于 2024-01-17 22:22:39 发布

原创

最新推荐文章于 2024-01-17 22:22:39 发布 · 3.6k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#Structured #Streaming #Sink #Mysql

本文详细介绍如何使用StructuredStreaming结合自定义MysqlSink类将实时数据流写入MySQL数据库，包括代码实现及运行示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Structured Streaming写入Mysql

Structured Streaming在Write的过程，并没有提供jdbc的写入format格式。所以需要自己通过foreach自己实现。具体实现代码如下：

StructuredWriteMysql类

package com.test

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession


object StructuredWriteMysql {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

    val spark = SparkSession.builder()
      .master("local")
      .appName("Test")
      .getOrCreate()

    val lines = spark.readStream
      .format("socket")
      .option("host", "localhost")
      .option("port", 9998)
      .load()

    lines.createOrReplaceTempView("tmp1")

    val lines2 = spark.sql("select split(value,',') as a from tmp1")

    lines2.createOrReplaceTempView("tmp2")

    val result = spark.sql("select a[0] as name, a[1] as age, a[2] as sex,a[3] as uuid from tmp2")

    val mysqlSink = new MysqlSink("jdbc:mys