iceberg简介003_特性_存储和计算引擎插件化_流批一体_模式演化(字段变更)_列顺序演化_分区演化_时间旅行_支持事物_并发---数据湖Apache Iceberg工作笔记0003

添柴程序猿

已于 2023-10-10 22:09:39 修改

阅读量179

点赞数

CC 4.0 BY-SA版权

分类专栏：开源&回归和&数据库文章标签： iceberg数据湖 iceberg特性 iceberg时间旅行 iceberg支持事物 iceberg支持各种演化

于 2023-10-09 10:32:31 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/133689326

开源&回归和&数据库专栏收录该内容

125 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

Apache Iceberg是一个支持流批一体、模式和分区演化、时间旅行特性的数据湖解决方案。它允许在不重新插入数据的情况下进行表结构变化，通过为每个列分配唯一ID实现。相比Hive，Iceberg更灵活，能自动处理分区变化和列顺序变化。此外，Iceberg支持数据的时间旅行，允许查询历史状态，同时提供事务处理能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里存储引擎常见的hdfs还有亚马逊的S3云存储服务,计算引擎常见的flink和spark,以及presto和doris都支持

Amazon Web Services的云存储服务 。S3是Amazon Web Services的云存储服务
，被广泛应用于云计算、大数据、备份恢复等领域。S3存储服务使用的是对象存储模式，
将文件存储为对象。S3支持多种接口，包括Web、AWSSDK、命令行工具等，
支持多种存储类型，如标准桶、智能桶、低频访问桶等。S3无需预定义存储容量，
可以按需随时调整存储容量，满足个人和企业不同的存储需求1

Presto是一个Facebook开源的分布式SQL查询引擎，适用于交互式分析查询，
数据量支持GB到PB字节。

Presto的架构由关系型数据库的架构演化而来，因此Presto集群的硬件必须满足大内存，
万兆网络和高计算能力特点。Presto集群包含两种服务器进程，分别是Coordinator服务进程
、Worker服务进程。

Doris是一个基于大规模并行处理技术的分布式SQL数据库。

Doris主要集成了谷歌Mesa和ApacheImpala技术，基于一个面向列的
存储引擎，可以通过MySQL客户端进行通信，非常容易上手，使用上和
mysql一样。产品定位是MPP架构的关系型分析数据库，PB级别大数据集，
秒级/毫秒级查询，主要用于多维分析和报表查询。D