Java 写parquet格式数据到hdfs

最新推荐文章于 2025-10-31 17:36:15 发布

原创

最新推荐文章于 2025-10-31 17:36:15 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#java #hive #hadoop

本文介绍了如何在Hive 2.1.1版本与Hadoop 3.0.0环境中，通过Fastjson、Parquet和Hive JDBC，实现接口数据的接收、Parquet文件的append写入、分区表创建，并最终将数据加载到HDFS的Parquet文件并导入Hive分区表的过程。

场景：将接口数据接入数仓

hive 版本：2.1.1

hadoop 版本： 3.0.0

引入maven 依赖：

 <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.60</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <ve