【博学谷学习记录】超强总结，用心分享| Hudi核心概念

1.TImeline元数据

Instant由3个部分组成： （1）Timestamp，时间戳，什么时候做的操作

（2）Action，操作，具体做了什么操作，COMMIT（提交，COW）、DELTA_COMMIT（提交，MOR）、CLEAN（清理）、COMPACTION（压缩）

（3）State，这一个操作具体到哪个步骤了（REQUESTED（请求发起）、INFLIGHT（请求进行中）、COMPLETED（请求完成））

Data Format数据格式

Hudi提供了两种类型的文件格式来管理数据：

• avro，日志文件，log文件
• parquet，压缩文件，base文件

• 层级关系如下：

  Hudi表 -> partition（分区）-> FileGroup（文件组）->FileSlice（文件片）->1或1个log+1个parquet文件组成

2.index索引

Hudi提供了多种索引，如下：

• Bloom Index（布隆索引，默认）
• HBase Index（HBase索引）
• Simple Index（简单索引）
• Custom Index（自定义索引）

  Bloom Filter介绍：

  A Bloom filter, named for its creator, Burton Howard Bloom, is a data structure which is designed to predict whether a given element is a member of a set of data. A positive result from a Bloom filter is not always accurate, but a negative result is guaranteed to be accurate.

  布隆过滤器，用创建者的名字命名，是一个用来判定元素是否在集合中的一种数据结果。返回值有两种：

  正数：元素可能在集合中

  负数：元素一定不在集合中

  小结：

  布隆过滤器，可能会出现误判，但是官网也在尽量减少误判。

3.读取数据的方式

计算模型有三种：

• 批量模型（Batch）
• 流式模型（Stream）
• 增量模型（Incremental）

Batch

• 延迟较高
• 数据完整度较好
• 资源消耗低

Stream

• 延迟较低

• 数据完整度较差

• 资源消耗较高

Incremental

Uber公司根据自身业务场景，并且结合了批量处理和流式处理的优点。提出了增量模型。

• 相比批而言，更加高效（降低延迟）

• 相比流而言，更加经济（省资源）

具体就是以Mini-batch来实现的。