spark写hive按照partition overwrite

最新推荐文章于 2024-08-08 17:31:50 发布

库伯

最新推荐文章于 2024-08-08 17:31:50 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark partition overwrite 覆盖分区覆盖

本文链接：https://blog.youkuaiyun.com/iKuboo/article/details/102974751

大数据专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一个关于Spark写入Hive时遇到的问题，即使用`overwrite`会导致整个表被删除并重新插入，从而丢失所有分区数据。作者通过研究找到了一个可行的解决方案，实现了按分区进行覆盖，而不是全表覆盖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚发现spark写hive的是用overwrite后会把整个表删了，在执行插入，导致所有的partition都被删除了。期望是能按照partition去覆盖，而不是全表覆盖。研究了一下，以下方法亲测可行：

建表语句：

CREATE TABLE `student_table`( 
  `id` string,    
  `name` string
) 
PARTITIONED BY (  
  `dt` string
) 
ROW FORMAT SERDE  
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'   
STORED AS INPUTFORMAT  
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'  
OUTPUTFORMAT  
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

spark代码：


import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;


public class ClearData {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("test")
                .config("hive.exec.dynamici.partition", true)
                .config("hive.exec.dynamic.partition.mode", "nonstrict")
                .enableHiveSupport()
                .getOrCreate();

        String dt = "20191108";
        //准备要插入的数据集
        Dataset<Row> datasetOri = spark.sql("select id,name from xxxxx");

        datasetOri.createOrReplaceTempView("dataset_view");
        spark.sql("insert overwrite table student_table partition(dt='" + dt + "') select * from dataset_view");
        spark.stop();
    }
}