Spark SQL——Parquet数据源之合并元数据_parquet会进行数据汇总么-优快云博客

本文链接：https://blog.youkuaiyun.com/wangzhangni/article/details/103129173

本文介绍了Spark SQL如何处理Parquet文件的元数据合并。Parquet数据源支持元数据合并，允许用户在业务扩展时添加更多列。虽然默认在Spark 1.5.0及以后版本关闭此功能，但可以通过设置`mergeSchema`选项为true或调整`spark.sql.parquet.mergeSchema`配置来启用。这包括读取文件时设置选项和使用SQLContext的配置方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。
因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性：
1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true
2、使用SQLContext.setConf()方法，将spark.sql.parquet.mergeSchema参数设置为true

代码示例

package cn.spark.study.sql

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}

/**
  * parquet数据源之元数据合并
  */
object ParquetMergeScheam_8 {

  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME", "root")
    val conf = new SparkConf()
      .setMaster("local")
      .setAppName("RDD2DataFrameProgrammatically")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    //创建一个dataFrame作为学生的基本信息，并写入hdfs的parquet文件中
    import sqlContext.implicits._
    val sNameAndAge = Array(("xiaoming",20),("liubang",67))
    sc.parallelize(sNameAndAge,2)
    val sNameAndAgeDF: DataFrame = sc.parallelize(sNameAndAge,2).toDF("name","age")
    sNameAndAgeDF.save("hdfs://hadoop1:9000/spark-study/students/","parquet",SaveMode.Append)


    val sNameAndGrade = Array(("xiangyu","A"),("lvbu","B"))
    val sNameAndGradeDF: DataFrame = sc.parallelize(sNameAndGrade,2).toDF("name","grade")
    sNameAndGradeDF.save("hdfs://hadoop1:9000/spark-study/students/","parquet",SaveMode.Append)

//
    //第一组数据与第二组数据的DataFrame的元数据不同
    //自动合并两个文件的元数据，查询是的形式是：name,age,grade
    //使用mergeSchema合并元数据
    val students: DataFrame = sqlContext.read.option("mergeSchema","true").parquet("hdfs://hadoop1:9000/spark-study/students/")

    students.show();
    students.printSchema()
  }
}