java操作parquet文件，添加字段

最新推荐文章于 2025-05-20 21:55:03 发布

yingkongshi99

最新推荐文章于 2025-05-20 21:55:03 发布

阅读量6.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：分布式 hadoop java

本文链接：https://blog.youkuaiyun.com/yingkongshi99/article/details/51590825

java 同时被 2 个专栏收录

8 篇文章

订阅专栏

分布式 hadoop

1 篇文章

订阅专栏

本文介绍了如何从Parquet文件中读取Schema，并演示了如何创建并合并新的字段到现有Schema中。文中还提供了Type的继承关系说明，包括基本类型字段（PrimitiveType）、schema（MessageType）及嵌套列类型（GroupType）。这对于理解Parquet文件结构及其元数据处理非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、从原parquet文件中读出schema

    Configurationconfiguration = new Configuration(true);    

    ParquetMetadata readFooter = null;

    ParquetFileReader parquetFileReader = null;

    readFooter =ParquetFileReader.readFooter(configuration, parquetFilePath,ParquetMetadataConverter.NO_FILTER);

    schema =readFooter.getFileMetaData().getSchema();

2、创建一个MessageType（一个schema），里面填充自己的字段，然后将两个schema合并，union方法的返回值就是合并后的schema

    Type type = newPrimitiveType(Repetition.OPTIONAL, PrimitiveTypeName.DOUBLE,"HOT_SCORE");

    MessageType mySchema = newMessageType("root", type);

    extendedSchema = schema.union(mySchema);

parquet中Type的继承关系