Parquet_4. 列式存储总结 -- 待完善

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 707平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄12年

关注

原创最新推荐文章于 2026-08-11 07:58:54 发布 707 阅读 AI 写同款· GEO 优化 ›

Parquet与ORC：高性能列式存储格式背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析阅读详情

整理于》Columnar storage

具体内容将会在后续进行完善，敬请期待

收录于

Parquet

当前文章被收录于：

Parquet

16 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

Apache Parquet实战：大数据列式存储最佳实践数据规模与存储成本的矛盾随着数据采集渠道的多元化（IoT设备、日志文件、社交媒体、传感器网络等），企业数据量呈现爆炸式增长。据IDC预测，到2025年全球数据圈将增长至175ZB。这种增长速度使得存储成本成为企业沉重负担，传统存储格式在空间效率上的不足日益凸显。处理性能与延迟需求的冲突业务决策周期不断缩短，要求数据分析从"T+1"向实时分析演进。传统存储格式在大规模数据扫描时的性能瓶颈，无法满足现代业务对低延迟分析的需求。数据多样性与查询复杂性的挑战。阅读详情

相关推荐

parquet :开源的列式存储文件格式

Parquet凭借列式存储、高效压缩、Schema强约束成为大数据生态的核心存储格式：技术价值：通过减少I/O和计算冗余，实现分析查询数量级加速。生态兼容性：与50+数据处理框架（Spark/Flink/Presto）无缝集成。演进趋势：从Hadoop向云原生（如DuckDB、SageMaker）扩展

kcarly的专栏 1561

新一代列式存储格式Parquet

Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，

Hello World 3万+

HDFS列式存储Parquet与行式存储（Avro）性能测试-Benchmark(hadoop, Spark, Scala)

HDFS列式存储Parquet与行式存储（Avro）Benchmark(hadoop, Spark)

MZ的专栏 1万+

parquet列式存储格式

一、历史背景 Parquet是Hadoop生态圈中主流的列式存储格式，它使用 Google 的 Dremel 论文中概述的技术，列式存储嵌套的数据结构（传说中3秒查询1PB的数据）。最早是由Twitter和Cloudera合作开发，当时Twitter的日增压缩的数据量达到100TB+，存储在HDFS上，他们会使用多种计算框架（例如MapReduce、Hive、Pig等）对这些数据做分析和挖掘；日志结构是复杂的嵌套数据类型，例如一个典型的日志schema有87列，嵌套了7层。所以需要设计一种列式存储格式，既能

Tangor小屋 1680

高效数据存储：列式存储、分区、索引优化（Parquet、ORC、数据分桶）

列式存储（Parquet/ORC）：适用于 OLAP 查询，提高 I/O 效率。数据分区：减少扫描范围，加快查询。数据分桶：提高 Join 和聚合效率。索引优化：加速查询，提高查询性能。在实际应用中，需要根据业务需求选择合适的存储优化策略，以提升大数据处理的性能和可扩展性。

晴天彩虹雨的博客 1357

Hive的Parquet存储与LZO压缩

在Hive中，为我们提供了五种文件存储格式 1、Textfile 2、Sequencefile 3、Rcfile 4、Orcfile 5、Parquet 这里主要介绍一下Parquet，列式存储一、概念 1、Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Mapreduce、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera合作

H_hello_world的博客 4055

hive--ORC、Parquet等列式存储的优点

ORC、Parquet等列式存储的优点前言Parquet：ORC：前言 ORC和Parquet都是高性能的存储方式，这两种存储格式总会带来存储和性能上的提升。 Parquet： 1）Parquet支持嵌套的数据模型，类似于Protocol Buffers，每一个数据模型的schema包含多个字段，每一个字段有三个属性：重复次数、数据类型和字段名，重复次数可以是以下三种：required(只出现1次)，repeated(出现0次或多次)，optional(出现0次或1次)。每一个字段的数据类型可以分

qq_46893497的博客 3349

ORC与Parquet存储格式对比

ORC与Parquet均为列式存储结构，那么他们有什么不同呢？ Apache Parquet 源自google Dremel 系统,Parquet 相当一Dremel中的数据存储引擎,而Apache顶级开源醒目 Drill正式Dremel的开源实现. Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等将这类数据存储成列式格式以方便对其高效压缩和编码, 且使用更少的IO操作取出需要的数据,也是Parquet 相比于ORC的优势,它能

欲望以提升热忱毅力以磨平高山 3954

两种列式存储格式的比较：ORC VS Parquet

列式存储 ORC VS Parquet关于列式数据库的一些说明列式存储格式的适用场景行列存储的优缺点ORC VS Parquet二者的文件结构图选择哪一种列式存储较好欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程

pengcheng4451的博客 2461

Claude Code长期记忆：优雅的上下文管理

ClaudeCode的上下文管理系统采用三层架构设计，通过智能压缩和优化策略在记忆容量与性能间取得平衡。系统包含短期记忆（高速工作区）、中期记忆（智能蒸馏器）和长期记忆（持久化知识库）。当Token使用率达到92%阈值时启动wU2压缩器，采用8段式结构化摘要保留关键信息，并配合智能文件恢复和渐进式预警机制。该系统通过分层处理、优雅降级和透明化交互，为AI应用提供了高效可靠的上下文管理方案，展现了在有限资源下实现智能记忆的艺术。

m0_53117338的博客 3817

[前沿技术] AMD FSR 1.0源码解析：EASU算法实现细节与优化策略

本文深入解析了AMD FSR 1.0技术的核心——EASU（边缘自适应空间升频）算法。通过剖析其源码，详细阐述了EASU如何利用12-tap采样窗口、基于Lanczos滤波器的多项式近似以及自适应的边缘检测机制，在无需AI模型的情况下实现高质量图像放大。文章重点揭示了其极致的GPU优化策略，包括寄存器利用、采样优化和避免动态分支，为理解高性能图形算法提供了绝佳范例。

docker7nomad的博客 540

hadoop列式存储和行式存储

weixin_47467016的博客 3064

Ubuntu24.04LTS上Ollama GPU加速配置指南：从驱动安装到多卡均衡负载

本文详细介绍了在Ubuntu24.04LTS系统上配置Ollama GPU加速的完整指南，包括NVIDIA驱动安装、CUDA Toolkit配置、Ollama在线与离线安装方法，以及多GPU负载均衡优化策略。通过实战案例和性能调优建议，帮助开发者充分利用硬件资源提升大型语言模型的运行效率。

weixin_29255731的博客 760

Airframe Parquet：Scala中处理列式存储文件的终极指南

Airframe Parquet是Scala生态中一款强大的列式存储文件处理库，它为开发者提供了简洁高效的API，用于读写Parquet格式文件。作为Airframe项目的重要组成部分，该库让Scala开发者能够轻松处理大规模数据集，实现高效的数据存储与查询。 ## 为什么选择Airframe Parquet？在当今数据驱动的世界，高效处理大规模数据集变得越来越重要。Parquet作为一种列

gitblog_00232的博客 1049

利用HipSTR从二代测序数据中精准解析短串联重复序列（STR）的遗传多态性

本文详细介绍了如何利用HipSTR工具从二代测序(NGS)数据中精准解析短串联重复序列(STR)的遗传多态性。通过三步走策略，HipSTR能够高效识别STR区域、估算重复次数并判定基因型，适用于法医鉴定、疾病研究和细胞系鉴定等多个领域。文章还提供了实战操作指南和常见问题解决方案，帮助研究者充分利用NGS数据开展STR分析。

weixin_28702105的博客 482

高斯-约当（Gauss-Jordan）消元法——c++代码实现

具体算法的详细原理请参照此篇博客：高斯-约当（Gauss-Jordan）消元法下面是具体c++代码，不保证程序最优化，提供一个可行的程序，供大家改进，同时感谢大家提意见。——大神勿喷呀，我是一个小菜鸟~void Guss_Jordan(int n,double *a)//阶数n 系数矩阵a { double*a_temp = new double[n*n * 2];//a与单位矩阵的组合

zwz的学习之路 6873

Parquet文件格式详解（含行、列式存储区别）

行、列式文件存储详解，parquet文件详解

喻师傅的学习笔记 4170

混响效果的编程实现：Schroeder混响模型与Moorer型混响

Schroeder混响模型是由Manfred R. Schroeder在1962年提出的，它基于一系列串联的反射器（Allpass Comb Filters）和并联的反射器（Feedback Comb Filters）构成。Schroeder混响模型是由Manfred R. Schroeder在1962年提出的，它基于一系列串联的反射器（Allpass Comb Filters）和并联的反射器（Feedback Comb Filters）构成。通过调整各个反射器和全通滤波器的参数，可以实现不同的混响效果。

2301_79326857的博客 1082

列式存储格式的优点：ORC与Parquet分析

列式存储是一种将数据按列而非按行进行存储的方式。在传统的行式存储中，数据记录是以行的方式存储的，每一行包含了所有列的值。而在列式存储中，同一列的数据会被存储在一起，这使得对特定列的读取更加高效。列式存储格式，如ORC和Parquet，因其独特的存储方式和高效的性能，在大数据处理和分析中展示了显著优势。通过更高的存储效率、优化的查询性能、灵活的数据处理能力和良好的容错性，列式存储格式已成为现代数据仓库和大数据分析的核心组件。

My_wife_QBL的博客 1278

沙猫群优化算法（SCSO）详解：从沙漠生存智慧到全局优化引擎

本文详细介绍了沙猫群优化算法(SCSO)，这是一种新型元启发式优化算法，灵感来源于沙猫在沙漠环境中的卓越狩猎行为。SCSO通过模拟沙猫的低频探测能力和精确攻击策略，将优化问题转化为搜索和捕获"猎物"的过程。算法核心包括探索阶段(全局搜索)和开发阶段(局部精细搜索)，通过灵敏度范围模型和自适应控制参数实现两者的平衡。SCSO具有参数简单、收敛性能好等优点，适用于解决复杂全局优化问题。

qq_42212808的博客 201

PINN：当深度学习遇上朗伯-比尔定律

光谱数据处理中引入PINN的三种架构设计

qq_53529450的博客 154

深入分析 Parquet 列式存储格式

Parquet 是面向分析型业务的列式存储格式，由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 的孵化器里毕业成为 Apache 顶级项目，最新的版本是 1.8.0。列式存储列式存储和行式存储相比有哪些优势呢？可以跳过不符合条件的数据，只读取需要的数据，降低 IO 数据量。压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如 Run Length Encoding 和 Delta Encoding）进一步节约存储空间。

pichcar1982的博客 1297

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

Parquet 列式存储格式

Parquet 列式存储格式参考文章： https://blog.csdn.net/kangkangwanwan/article/details/78656940 http://parquet.apache.org/documentation/latest/ 列式存储的优势把IO只给查询需要用到的数据，只加载需要被计算的列列式的压缩效果更好，节省空间 parquet只是一种存储格式，与上...

weixin_30527551的博客 869

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候提示IE WebControls 不通过，这个工具可以欺骗u8的检查。跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。

列式存储parquet

介绍： 1.定义： Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language 无...

breakout_alex的博客 343

最新的sdio 4.0 spec 协议标准带书签高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准带书签高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

列式存储简介

业务背景关系表结构是被人们普遍接受的数据模型，通常一行数据由多个属性组成，每个属性是一列。但是磁盘是一维的，文件只能顺序写，那么先写谁后写谁呢？不同的写文件顺序就对应了不同的存储模型。传统数据库通常采用行式存储，即先存一行数据，再存下一行数据。在大数据时代，一个常见分析型场景是在数据仓库中进行分析，如商店的商品信息，有商品号，进货日期，价格等包含多个属性，这就是一个很常见的数据模型。而查询...

乔的博客 1万+

上一篇： Parquet_3. 在 Impala, Hive, Pig, MR中使用 Parquet File -- 待完善

下一篇： Parquet_5. SequenceFile vs ORC File vs Parquet File -- 待完善

parquet :开源的列式存储文件格式

kcarly的专栏

06-04

1561