常见数据湖的优劣对比

详见表格：

特性/技术	Hadoop HDFS	Amazon S3	Apache Hive	Delta Lake	Apache Iceberg	Apache Hudi
存储模型	分布式文件系统，支持大数据存储	对象存储，无限扩展，低成本	数据仓库，依赖 HDFS 或 S3	表格式数据湖，基于 Parquet	表格式数据湖，基于 Parquet/ORC	表格式数据湖，基于 Parquet/ORC
事务支持	不支持	不支持	不支持	支持 ACID 事务	支持 ACID 事务	支持 ACID 事务
版本控制	不支持	不支持	不支持	支持多版本（Time Travel）	支持多版本（Snapshot Isolation）	支持多版本（Incremental Snapshots）
Schema 演进	需要手动管理	不支持	支持，但较复杂	支持 Schema 自动演进	支持 Schema 自动演进	支持 Schema 自动演进
增量更新	不支持	不支持	不支持	支持 MERGE INTO	支持增量更新（MERGE）	支持增量更新（MERGE/UPSERT）
文件格式	任意格式（通常使用 Parquet/ORC）	任意格式（Parquet、CSV、JSON）	基于 HDFS/S3，支持 ORC/Parquet	支持 Parquet/ORC/JSON	支持 Parquet/ORC	支持 Parquet/ORC
性能优化	依赖于手动分区和索引	依赖于分区和外部加速机制（如 S3 Select）	依赖 HDFS 性能	支持数据跳跃读取（Z-order）	支持数据跳跃读取和分区裁剪	支持索引和分区裁剪
数据一致性	依赖应用程序控制	事件最终一致性	依赖 HDFS 或对象存储	强一致性，支持 ACID 语义	强一致性，支持 ACID 语义	强一致性，支持 ACID 语义
兼容工具	Hadoop 生态（Spark、MapReduce）	与多种大数据工具兼容	Hive Query Engine、Spark	Spark、Presto、Hive、Flink	Spark、Trino、Presto、Flink	Spark、Presto、Flink、Hive
适用场景	大规模数据存储，传统大数据分析	低成本对象存储，大规模数据湖	ETL 和批处理查询，数据仓库方案	实时数据湖，复杂查询和事务处理	数据湖管理，事务型操作	实时数据处理，增量和批量更新
优点	- 高度成熟，兼容 Hadoop 生态	- 成本低，存储弹性	- 兼容 Hive SQL 和大数据生态	- ACID 事务，时间旅行功能	- 高效增量处理，ACID 事务支持	- 实时处理，低延迟，高效的增量更新
缺点	- 不支持事务，需外部工具配合	- 不支持事务和 Schema 演进	- 性能相对较低，不支持事务	- 依赖 Spark，需额外调优	- 实现复杂度高	- 实现复杂，写操作开销大