java操作parquet文件，添加字段

最新推荐文章于 2025-11-14 05:15:57 发布

原创最新推荐文章于 2025-11-14 05:15:57 发布 · 6.8k 阅读

0 ·

CC 4.0 BY-SA版权

java 同时被 2 个专栏收录

8 篇文章

订阅专栏

分布式 hadoop

1 篇文章

订阅专栏

本文介绍了如何从Parquet文件中读取Schema，并演示了如何创建并合并新的字段到现有Schema中。文中还提供了Type的继承关系说明，包括基本类型字段（PrimitiveType）、schema（MessageType）及嵌套列类型（GroupType）。这对于理解Parquet文件结构及其元数据处理非常有用。

部署运行你感兴趣的模型镜像

1、从原parquet文件中读出schema

    Configurationconfiguration = new Configuration(true);    

    ParquetMetadata readFooter = null;

    ParquetFileReader parquetFileReader = null;

    readFooter =ParquetFileReader.readFooter(configuration, parquetFilePath,ParquetMetadataConverter.NO_FILTER);

    schema =readFooter.getFileMetaData().getSchema();

2、创建一个MessageType（一个schema），里面填充自己的字段，然后将两个schema合并，union方法的返回值就是合并后的schema

    Type type = newPrimitiveType(Repetition.OPTIONAL, PrimitiveTypeName.DOUBLE,"HOT_SCORE");

    MessageType mySchema = newMessageType("root", type);

    extendedSchema = schema.union(mySchema);

parquet中Type的继承关系