HIVE列式存储ORC

最新推荐文章于 2023-12-26 09:52:12 发布

科学的N次方

最新推荐文章于 2023-12-26 09:52:12 发布

阅读量763

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/117793945

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了列式存储与行式存储的区别，重点解析了ORC File格式，包括其在Hive中的作用、优点，如高效的数据存储和查询性能，以及文件结构、Stripe细节。ORC File支持复杂数据类型，使用轻量级索引和压缩技术，提供快速的数据处理能力。

在这里插入图片描述
1 什么是列式存储和行存储
列式存储是说，按照表的列依次一列一列的按顺序存储在内存中。而行式存储是说，按照表中的行依次一行一行的按顺序存储在内存中。
2 列式存储相比于行存储的优点
列式存储天然的支持索引。另外，查询的时候，只需要关心感兴趣的列，查询更快。
列式存储的缺点，针对某一行的插入和更新比较麻烦。
行式存储时候，查询某一列需要全表扫描。

一、ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。
和RCFile格式相比，ORC File格式有以下优点：
　　(1)、每个task只输出单个文件，这样可以减少NameNode的负载；
　　(2)、支持各种复杂的数据类型，比如： datetime, decimal, 以及一些复杂类型(struct, list, map, and union)；
　　(3)、在文件中存储了一些轻量级的索引数据；
　　(4)、基于数据类型的块模式压缩：a、integer类型的列用行程长度编码(run-length encoding);b、String类型的列用字典编码(dictionary encoding)；
　　(5)、用多个互相独立的RecordReaders并行读