Java API 写 Hive Orc文件

最新推荐文章于 2025-02-12 16:19:30 发布
最新推荐文章于 2025-02-12 16:19:30 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop基础教程 文章标签： hadoop基础教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hadoop01478/article/details/104162496
本文展示了如何使用Java API将数据写入Hive的Orc文件中。通过创建自定义的`MyRow`类，实现了数据的序列化，并使用`OrcOutputFormat`写入HDFS。最后在Hive中创建外部表并验证数据正确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下面的代码将三行数据：

张三,20

李四,22

王五,30

写入HDFS上的/tmp/lxw1234/orcoutput/lxw1234.com.orc文件中。

  1. package com.lxw1234.test;
  2.  
  3. import java.io.DataInput;
  4. import java.io.DataOutput;
  5. import java.io.IOException;
  6.  
  7. import org.apache.hadoop.fs.FileSystem;
  8. import org.apache.hadoop.fs.Path;
  9. import org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat;
  10. import org.apache.hadoop.hive.ql.io.orc.OrcSerde;
  11. import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
  12. import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
  13. import org.apache.hadoop.io.NullWritable;
  14. import org.apache.hadoop.io.Writable;
  15. import org.apache.hadoop.mapred.JobConf;
  16. import org.apache.hadoop.mapred.OutputFormat;
  17. import org.a
最低0.47元/天 解锁文章

200万优质内容无限畅学
Java API 读取Hive Orc文件
hadoop基础教程
02-03 1252
Orc是Hive特有的一种列式存储的文件格式，它有着非常高的压缩比和读取效率，因此很快取代了之前的RCFile，成为Hive中非常常用的一种文件格式。 在实际业务场景中，可能需要使用Java API，或者MapReduce读写Orc文件。 本文先介绍使用Java API读取Hive Orc文件。 在Hive中已有一张Orc格式存储的表lxw1234: 该表有四个字段：url、word、...
java读写orc文件_使用JAVA API 解析ORC File
weixin_29258297的博客
02-26 2316
使用JAVA API 解析ORC Fileorc File 的解析过程中，使用FileInputFormat的getSplits(conf, 1)函数，然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.NULL);解析ORCfile， 发现当ORC 文件的比较大的时候，超过256M时，不能读取所有的数据。比...
Java写本地ORC文件(Hive2 API)
Make progress step by step everyday.....
08-18 8078
Java写本地ORC文件(Hive2 API) Hive2.0以后，使用了新的API来读写ORC文件（https://orc.apache.org）。 本文中的代码，在本地使用Java程序生成ORC文件，然后加载到Hive表。 代码如下： package com.lxw1234.hive.orc; import org.apache.hadoop.conf.Configurat
JAVA生成ORC格式文件
空城的博客
10-18 1120
基于此可以根据实际业务场景可以生成ORC格式数据并上传到HDFS上提供Hive查询。
Java API连接HDFS并创建Orc文件
无一技之长
06-05 944
Java API连接HDFS并创建Orc文件
java读写orc文件_Java API连接HDFS并创建Orc文件
weixin_36300831的博客
02-26 1140
static String ClusterName = "nsstargate";private static final String HADOOP_URL = "hdfs://"+ClusterName;public static Configuration conf;static {conf = new Configuration();conf.set("fs.defaultFS", HAD...
使用Java API将txt文件转换为orc文件
weixin_51091087的博客
04-08 1842
orc文件是hive里面重要的文件格式，它是将准备列式存储的普通文件转换为二进制的orc文件。关于orc文件的格式详解，请参考
写ORC 格式文件，HIVE 工具类
11-16
写ORC 格式文件的工具类，可以用于写hive orc 的格式，
java逐行读取hdfs上orc文件,如何在hadoop流中读取ORC文件？
weixin_32273559的博客
03-16 1280
这是我使用ORC分区Hive表作为输入的示例之一：hadoop jar /usr/hdp/2.2.4.12-1/hadoop-mapreduce/hadoop-streaming-2.6.0.2.2.4.12-1.jar \-libjars /usr/hdp/current/hive-client/lib/hive-exec.jar \-Dmapreduce.task.timeout=0 -Dma...
hive表的存储格式; ORC格式的使用
yangbosos的博客
04-19 1817
hive表的源文件存储格式有几类： 1、TEXTFILE 默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看 2、SEQUENCEFILE 一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩等特点。 SEQUENCEFILE将数据以<key,value&g...
java获取hadoop目录结构_Hadoop Map-Reduce程序读取OrcStruct类型的文件
weixin_42516967的博客
02-26 241
表结构: map-reduce程序(只要map阶段,没有reduce):Driver:import java.time.LocalDate;import java.time.format.DateTimeFormatter;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;imp...
Hive ORC数据格式的MapReduce Shuffle
数据人生
03-03 1543
1，mr代码如下package com.test.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apach
大数据：Hive - ORC 文件存储格式
weixin_33810302的博客
10-16 2866
一、ORC File文件结构 　　ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描...
大数据学习 -- 利用Java API 将文件写入HDFS
zl202111的博客
12-14 2807
利用Java API写入HDFS文件
ORC文件存储格式和数据写入过程
半日闲的博客
05-16 8520
文章目录ORC 文件格式，配置参数及相关概念ORC 文件格式UML类图OrcFile writer 创建OrcFile Writer 配置参数相关概念动态数组 DynamicIntArray 和 DynamicByteArray初始化chunk 扩容OrcFile writer的 write()方法 写数据WriterImpl addRow程序入口StringTreeWriter : void w...
大数据Orc文件生成与读取
最新发布
song0394的专栏
02-12 653
高效压缩：ORC文件支持多种压缩算法，如Snappy、Zlib等，可以显著减少存储空间。快速读取：列式存储使得ORC文件能够快速读取特定列的数据，而无需读取整个行。结构化数据支持：ORC文件可以存储复杂的结构化数据，如嵌套结构、列表和映射等。在生成ORC文件之前，您需要定义数据的schema。schema定义了数据的结构，包括列的名称和类型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值