org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not su

原创于 2021-07-21 17:58:01 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

hdfs 专栏收录该内容

3 篇文章

订阅专栏

博客讲述了在使用Spark处理数据时，尝试将CSV文件转换为Parquet格式遇到的错误：`org.apache.parquet.schema.InvalidSchemaException:Group type cannot be empty.` 作者发现该问题是由于parquet包的版本冲突导致，删除了非Spark依赖的parquet包后问题得到解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.读取cvs文件数据写入parquet文件

	val spark =SparkSession.builder().appName("test").master("local").getOrCreate()
	val file = "hdfs://clusters/test/demo.csv"
    val frame = spark.read.option("header","true").csv(file)
    frame.printSchema()
    val newfile = file.split("\\.")(0)+".parquet"
    frame.write.parquet(newfile)

报错提示：

org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not support empty group without leaves. Empty group: spark_schema

网上找了一大堆资料，大体解释都是说dataframe的schema结构问题，但本文并非此问题。
经过N次尝试，最终确定问题所在是 .parquet(newfile)。代码程序查询，发现此parquet方法调用的parquet包存在两个，默认使用了第一个包，而然这个包并非是spark-sql下的parquet包。
然后，就抱着试试的心态删除了版本1.8.1的parquet包，留下和spark依赖中的parquet包，重新运行代码，直捣黄龙。

在这里插入图片描述