- 博客(2)
- 收藏
- 关注
RSS订阅原创 Clickhouse数据增量预聚合--Append适合
-------------------------------------------3创建聚合表，自定义的聚合逻辑------------------------------------------------------------------------------------------3创建聚合表，自定义的聚合逻辑----------------------------------------------
2024-12-23 16:42:34
784
原创 通过hudi的cdc功能构建离线增量数仓
1.ods层采用实时抽取到hudi表的方式，生成cdc文件2.dw层在处理大表关联大表的时候，通过ods表的cdc文件获取ods的增量信息，然后进行增量关联，关联完毕后生成dw表的结果和cdc文件3.dws层的hudi表，定义聚合的payload，在处理dw层表的聚合的时候，先处理增量部分的聚合再将结果与历史的做整合处理即可。
2024-06-05 17:04:47
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人