面对大宽表关联问题，Flink SQL 的状态管理可能导致OOM。解决方案是使用Doris，通过Agg模型创建大宽表，处理多流插入并解决主键冲突。Flink CDC 可直接将数据写入Doris，但维表主键生成与数据延迟是挑战。TiDB虽有类似功能，但成本较高。
还没整理好，别慌。
一，业务问题：
多个表关联join（涉及时间维度跨度很长），几乎等同于全量关联，这个时候flink sql join没法做，因为state会无线增大，然后OOM。
二，解决方案 ：
使用doris去做大宽表。
方案1，数据写入ods层，然后sql语句关联定时写入dws层，类似离线批处理。
这种就是替代hive离线计算的方案。
方案2,数据写入大宽表，利用doris特性。
https://cloud.baidu.com/doc/DORIS/s/3kmealtpc
1）创建doris大宽表 -Agg模型
可以尝试自己去创建一个表，相同的主键数据 后者字段值会覆盖前者，而不是想unqi模型一样是相同主键 整行数据替换。
2) 插入对应的数据
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
