ORC 文件层 API 读写

最新推荐文章于 2025-02-12 16:19:30 发布

原创

最新推荐文章于 2025-02-12 16:19:30 发布 · 4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#ORC

本文介绍了如何使用ORC文件层API进行数据的读写操作，包括设置POM依赖、ORC文件的数据写入以及利用投影和过滤进行数据查询。通过示例展示了Java中对ORC文件的高效处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://codecheese.wordpress.com/2017/06/13/reading-and-writing-orc-files-using-vectorized-row-batch-in-java/

目标：

orc 各种数据类型写入
orc 查询，带过滤条件，带投影

pom 依赖

	<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.7.7</version>
    </dependency>
    <dependency>
      <groupId>org.apache.orc</groupId>
      <artifactId>orc-core</artifactId>
      <version>1.5.4</version>
    </dependency>

ORC 写入

package test.test;

import java.util.UUID;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hive.ql.exec.vector.BytesColumnVector;
import org.apache.hadoop.hive.ql.exec.vector.DoubleColumnVector;
import org.apache.hadoop.hive.ql.exec.vector.LongCo