spark 日期参数传递

原创

已于 2022-04-27 11:04:23 修改 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

于 2022-04-27 10:53:54 首次发布

该博客展示了如何使用Scala和Spark SQL将数据从table1插入到table_df的指定日期分区。通过设置日期参数（默认为昨天），脚本实现了数据迁移操作，确保了数据的一致性和管理效率。

从table1中导数据到table_df昨天的分区。

package com.zz.spark.dm.tag

import org.apache.spark.sql.{DataFrame, SparkSession}
import java.text.SimpleDateFormat
import java.util.{Calendar, Date}

object Demo1 {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder()
                .appName("Demo1")
                .master("local")
                .getOrCreate()

        var dt = ""
        if (args.length != 0){  // 没有传递参数时，默认日期为昨天
            val dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd")
            val cal: Calendar = Calendar.getInstance()
            // val today = dateFormat.format(cal.getTime())   // 今天
            cal.add(Calendar.DATE, -1)  // 昨天
            dt = dateFormat.format(cal.getTime())
            println(dt)
        } else {
            dt = args(0)
        }

        import spark.implicits._
        // is_credit_loan_user_dm
        spark.sql(s"insert overwrite table zz.table_df partiti