Java API 写 Hive Orc文件

最新推荐文章于 2025-11-02 17:43:35 发布

原创

最新推荐文章于 2025-11-02 17:43:35 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop基础教程

本文展示了如何使用Java API将数据写入Hive的Orc文件中。通过创建自定义的`MyRow`类，实现了数据的序列化，并使用`OrcOutputFormat`写入HDFS。最后在Hive中创建外部表并验证数据正确性。

下面的代码将三行数据：

张三,20

李四,22

王五,30

写入HDFS上的/tmp/lxw1234/orcoutput/lxw1234.com.orc文件中。

package com.lxw1234.test;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat;
import org.apache.hadoop.hive.ql.io.orc.OrcSerde;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.OutputFormat;
import org.a

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hadoop基础教程

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Java API 读取Hive Orc文件

hadoop基础教程

02-03

1286

Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。在实际业务场景中，可能需要使用Java API，或者MapReduce读写Orc文件。本文先介绍使用Java API读取Hive Orc文件。在Hive中已有一张Orc格式存储的表lxw1234: 该表有四个字段：url、word、...

java读写orc文件_Java API连接HDFS并创建Orc文件

weixin_36300831的博客

02-26

1202

static String ClusterName = "nsstargate";private static final String HADOOP_URL = "hdfs://"+ClusterName;public static Configuration conf;static {conf = new Configuration();conf.set("fs.defaultFS", HAD...

参与评论您还未登录，请先登录后发表或查看评论

写ORC 格式文件，HIVE 工具类

11-16

写ORC 格式文件的工具类，可以用于写hive orc 的格式，

Java写本地ORC文件(Hive2 API)

Make progress step by step everyday.....

08-18

8146

Java写本地ORC文件(Hive2 API) Hive2.0以后，使用了新的API来读写ORC文件（https://orc.apache.org）。本文中的代码，在本地使用Java程序生成ORC文件，然后加载到Hive表。代码如下： package com.lxw1234.hive.orc; import org.apache.hadoop.conf.Configurat

JAVA生成ORC格式文件

空城的博客

10-18

1225

基于此可以根据实际业务场景可以生成ORC格式数据并上传到HDFS上提供Hive查询。

使用Java API将txt文件转换为orc文件

weixin_51091087的博客

04-08

1923

orc文件是hive里面重要的文件格式，它是将准备列式存储的普通文件转换为二进制的orc文件。关于orc文件的格式详解，请参考

Java中的数据湖集成：Parquet/ORC文件格式的读取与写入性能优化

最新发布

weixin_41455464的博客

11-02

1015

首先，我们来简单了解一下Parquet和ORC的特性。它们都是列式存储格式，这意味着数据按列而不是按行存储。这种存储方式特别适合分析型查询，因为可以只读取查询所需的列，从而大幅减少I/O操作。

Java API连接HDFS并创建Orc文件

无一技之长

06-05

987

Java API连接HDFS并创建Orc文件

java逐行读取hdfs上orc文件,如何在hadoop流中读取ORC文件？

weixin_32273559的博客

03-16

1309

这是我使用ORC分区Hive表作为输入的示例之一：hadoop jar /usr/hdp/2.2.4.12-1/hadoop-mapreduce/hadoop-streaming-2.6.0.2.2.4.12-1.jar \-libjars /usr/hdp/current/hive-client/lib/hive-exec.jar \-Dmapreduce.task.timeout=0 -Dma...

hive表的存储格式; ORC格式的使用

yangbosos的博客

04-19

1882

hive表的源文件存储格式有几类： 1、TEXTFILE 默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看 2、SEQUENCEFILE 一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩等特点。 SEQUENCEFILE将数据以<key,value&g...

java获取hadoop目录结构_Hadoop Map-Reduce程序读取OrcStruct类型的文件

weixin_42516967的博客

02-26

258

表结构: map-reduce程序(只要map阶段,没有reduce):Driver:import java.time.LocalDate;import java.time.format.DateTimeFormatter;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;imp...

Hive ORC数据格式的MapReduce Shuffle

数据人生

03-03

1572

1，mr代码如下package com.test.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apach

大数据：Hive - ORC 文件存储格式

weixin_33810302的博客

10-16

2926

一、ORC File文件结构　　ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描...

大数据学习 -- 利用Java API 将文件写入HDFS

zl202111的博客

12-14

2906

利用Java API写入HDFS文件

ORC文件存储格式和数据写入过程

半日闲的博客

05-16

8716

文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法写数据WriterImpl addRow程序入口StringTreeWriter : void w...

ORC文件写入java代码实现汇总（开发笔记）

冷心笑看丽美人 ~ blog

03-19

3958

ORC文件写入java代码实现汇总（开发笔记）

借助hive命令或ORC官网的Java Tools查看ORC文件的元数据

lucyLee的博客

04-04

7571

1. 絮絮叨叨 Apache ORC官网，把ORC文件的结构讲的那么精妙，甚至让人云里雾里如果不借助工具查看ORC文件的元数据或者阅读源码，你可能无法在脑海中形成ORC文件结构本文将基于一张前10列加密、后10列不加密的Hive表test.tmp_hgs_orc_xxx，介绍如何查看ORC文件的元数据，以帮助大家更好地理解ORC文件的存储结构很多方式都可以查看ORC文件的元数据，本文将介绍hive命令和Java Tools两种方式官网在Spark DDL和C++ Tools部分，也介绍了如何查看O

Hive文件操作与注册表管理详解

开发者可以使用Java API或Thrift客户端库，对Hive表的元数据进行增删改查操作。 6. 使用Hive文件读写时的优化：了解Hive文件的存储结构和数据格式对于优化Hive的查询性能至关重要。例如，合理使用分区表...