大数据之Hudi数据湖_基本概念_hudi中的查询类型_不同表的查询类型_快照查询原理_增量查询原理_读优化查询原理_官方原理解读---大数据之Hudi数据湖工作笔记0009

然后我们再来看一下hudi支持的三种查询类型,这里

首先有快照查询,这里其实我们就记住,全量最新就可以了,就是说,他会把全量的,最新的数据返回,

对于MOR表读时合并的表中:你读取的时候,他会即时的把最新文件片中的.parquet这个文件和增量文件.log文件合并起来,然后提供给你,接近实时的表,大概有几分钟的时间.

对于COW这种表来说,其实就直接把最新的.parquet文件直接返回就可以了,因为COW写时复制表,里面最新的.parquet文件就包含了最新的数据了.

我们看一下这个而是COW表,写时复制表,这里面可以看到,

这里的fileid1 fileid2 3 4这个是一个个的文件组,然后10.00的时候来了一批数据,这个时候

数据设计到fileid1文件组和fileid2文件组的更新,然后还有

10.05的时候涉及到fileid1和fileid2文件组的更新和fileid3文件组的新数据的插入.

10.10分的时候,又来了一批数据,涉及到,fileid1文件组和fileid2文件组的更新和fileid4文件组的插入