Spark中DF落地到hive中进行动态分区以及小文件问题

最新推荐文章于 2024-03-21 00:10:19 发布

zdsg1024

最新推荐文章于 2024-03-21 00:10:19 发布

阅读量1.7k

点赞数 1

分类专栏：计算引擎文章标签： spark落地到hive的分区表 spark导入hive自动分区 spark导入hive小文件问题

belongs-to-zdsg

本文链接：https://blog.youkuaiyun.com/qq_44170834/article/details/103295940

版权

计算引擎专栏收录该内容

5 篇文章

订阅专栏

五个注意点

hive的动态分区需要开启非严格模式

set hive.exec.dynamic.partition.mode=nonstrict

insertInto方式不支持分区表数据导入

saveAsTable与insertInto的区别

指定的分区列必须为当前表中的某个列

比如一张主题表中想保留Long类型的ct字段,又想根据ct转化为String类型的bdp_day来进行分区，
就需要在当前表中既有ct这一列，又要有bdp_day这一列

落地到hdfs上每个分区中可能会有很多小文件

需要在落地之前将DF.repartition(xx)      //根据实际文件大小,减少分区数即可

hive中的表不需要存在

如果想手动在hive中创建目标表,则需要将分区的列名创建到表中
其次,不需要创建分区表,只要将需要分区的列名添加到建表语句中即可

举个例子:


df.map(perline => {
    val release_session: String = perline.getAs[String]("release_session")
    val release_status: String = perline.getAs[String]("release_status")
    val device_num: String = perline.getAs[String]("device_num")
    val device_type: String = perline.getAs[String]("device_type")
    Long = perline.getAs[Long]("ct")
    val bdp_day: String = new DateTime(ct.toString().substring(0, 10)
    (release_session, release_status, device_num, device_type, ct,bdp_day)
  }).toDF("release_session", "release_status", "device_num", "device_type","ct","bdp_day")
  .sort(asc("ct")).cache()
.repartition(2).write.mode(SaveMode.Overwrite).format("parquet").partitionBy("bdp_day").saveAsTable("dw_release.dw_release_customer")