超级会员免费看
本文介绍了Hudi中的COW（Copy On Write）表和MOR（Merge On Read）表的基本概念及工作原理。COW表在写入时复制原有数据，适合批处理；MOR表在读取时合并增量数据，适合流数据处理。两种表各有优缺点，如COW写放大问题和MOR读取延迟。
然后我们来认识hudi中的表，首先第一个COW，是写时复制
来理解一下，比如现在我们有一个文件组，那么在这个文件组中，有FileSlice1 这样一个文件片，这个文件片中存了1,2,3，这样一组数据,这个数据就是一个列式的一个parquet文件存储的,然后又来了4,5这两个数据,这个时候,他就会重新合并,原来的1,2,3这个FileSlice1,把1,2,3这个数据复制过来,和新来的4,5数据进行合并,合并以后组成一个新的FileSlice2,一个新的文件片.这个新的文件片包含了原来的FileSlice1这个文件片, 这个COPY ON WRITE 这个copy就是指的把原来的数据copy过来.
这样就产生了两个FileSlice，两个文件片，以后可以用来做时间旅行
订阅专栏 解锁全文
扫一扫
552
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
