SparkSQL读取本地文件写入MySQL

最新推荐文章于 2025-05-03 19:58:01 发布

NBA首席形象大使阿坤

最新推荐文章于 2025-05-03 19:58:01 发布

阅读量1.4k

点赞数 10

分类专栏： Java开发项目实战文章标签： mysql csv java sql 数据库

本文链接：https://blog.youkuaiyun.com/qq_44491709/article/details/118568688

版权

unit1：LoggerLevel

思路在main代码中，读取的文件要注意格式。

package com.units

import org.apache.log4j.{
   Level, Logger}

trait LoggerLevel {
   
  Logger.getLogger("org").setLevel(Level.ERROR)
}

unit2：getLocalSparkSession

package com.units

import org.apache.spark.sql.SparkSession

object SparkUnit {
   

  /**
   * 一个class参数
   **/
  def getLocalSparkSession(appName: String): SparkSession = {
   
    SparkSession.builder().appName(appName).master("local[*]").getOrCreate()
  }

  def getLocalSparkSession(appName