
flink总结
文章平均质量分 88
flink
岁月的眸
认定学习目标,不断提升自我!
展开
-
Apache Flink 1.12.0 on Yarn(3.1.1) 所遇到的問題
Flink on yarn提交任务报错ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster原创 2023-11-04 13:36:29 · 1147 阅读 · 0 评论 -
Flink电商数仓项目复盘笔记-01
Flink电商数仓项目笔记电商实时数仓分层介绍 普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以当面对大量实时需求的时候,计算的复用性较差,开发成本随着需求增加直线上升。 实时数仓基于一定的数据仓库理念,对数据处理流程进行规划、分层,目的是提高数据的复用性。例如下图:例如:我们在普通实时SparkStreaming项目中,直接从数据源获取后通过过滤然后获取新增数据和变化数据,之后进行GM原创 2022-04-07 09:21:26 · 3537 阅读 · 0 评论