2023大数据技能竞赛模块B数据抽取Task1_1(电商)

十套样题之第一套

任务一

编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)

第一题

1. 抽取shtd_store库中user_info的增量数据进入Hive的ods库中表user_info。根据ods.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；

代码实现：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object Task1_1 {
  def main(args: Array[String]): Unit = {

    // 连接 Spark
    val conf = new SparkConf().setAppName("Task1_1").setMaster("spark://master:7077")
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    spark.sparkContext.setLogLevel("OFF")
    spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")

    // 连接数据库
    val mysqldf = spark.read.format("jdbc")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("url", "jdbc:mysql://master:3306/shtd_store?useSSL=false")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "user_info").load()
    // 创建临时表
    spark.sql("select * from ods.user_info").createOrReplaceTempView("ods")
    mysqldf.createOrReplaceTempView("user_info")

    // 筛选数据
    val df1 = spark.sql(
      """
        |select
        |a.*
        |from
        |user_info a
        |left join
        |ods b
        |on
        |a.id = b.id
        |where
        |greatest(a.create_time,a.operate_time) > greatest(b.create_time,b.operate_time)
        |or
        |a.id not in (select id from ods)
        |""".stripMargin
    )

    // 获取插入之前的表行数
    val rowCountBefore = spark.sql("select count(*) from ods.user_info").first().getLong(0)
    val time = java.time.LocalDate.now().minusDays(1).format(java.time.format.DateTimeFormatter.ofPattern("yyyyMMdd"))

    // 添加分区
    val df2 = df1.withColumn("etl_date", lit(time))

    // 插入数据
    df2.write.format("hive")
      .mode("append")
      .partitionBy("etl_date")
      .saveAsTable("ods.user_info") // 修改为正确的数据库和表名
    println("==========-----写入成功-----==========")

    // 获取插入之后的表行数
    val rowCountAfter = spark.sql("select count(*) from ods.user_info").first().getLong(0)

    println("----------数据展现----------")
    df1.show()

    // 计算抽取的增量数据量
    val incrementCount = rowCountAfter - rowCountBefore
    println(s"抽取的增量数据量为: $incrementCount")

    spark.sql("show partitions ods.user_info").show()
    spark.stop()
  }
}

以上代码如有错误，请各位大佬指正