超级会员免费看
本文详细介绍了Hudi的Append模式写入过程，该模式每次写操作生成新的Parquet文件，不涉及数据修改或去重，从而提供更高的写入性能。在0.13.1版本后，无论是COw+insert还是MOR+insert都统一采用Append写流程。整体流程中，AppendWriteFunction作为入口，BulkInsertWriterHelper处理数据并根据checkpoint或数据大小创建新文件。然而，这可能导致大量小文件的生成，需要配合Clustering和Cleaning服务进行优化。
前言
Append模式每次都生成新的parquet文件，不涉及数据修改、去重。cow+insert一直是append模式，mor+insert在0.13.1后也统一走append写流程(HUDI-6045)
在0.13.1之前，mor+insert存在着写parquet和写log两种情况：
- 写parquet：
compaction.schedule.enabled = false&clustering.async.enabled = true，这时是append模式 - 写log：
compaction.schedule.enabled = true&clustering.async.enabled = false，这时走upsert写过程
append写过程比upsert简单直接得多，因此写入性能远优于upsert.
整体流程
- 与
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
