Flink实时数仓落地方案

Monstar_L

已于 2022-04-15 18:59:34 修改

阅读量2.8k

点赞数

分类专栏： Flink 文章标签：实时大数据

于 2022-03-23 23:18:21 首次发布

本文链接：https://blog.youkuaiyun.com/Monstar_L/article/details/123699312

版权

实时数仓架构图：

说明：

数据采集层：原始数据目前分三种，由中台生成的埋点日志用于主流，RDBMS则是获取业务库表，通常用于维表关系所需，binlog日志通过cdc方式进入kafka进行消费，用于大维表的增量更新。

数据计算层：数据计算层的计算引擎是Flink，通过较上层的FlinkSQL实现数据的ETL加工，其中HDFS作用于大维表初始化到Hbase过程所用，再通过Flinksql消费binlog日志进行增量更新。

数据共享层：通过Flinksql对主流表进行打宽后输出到dw层kafka为最终的结果明细数据，Clickhouse支持通过这个Kafka进行批量插入操作，可通过Flinksql多维度轻度汇总写入到RDBMS，也可接入Skyeye平台进行配置计算结果输出到wtable。

数据应用层：数据应用层为OLAP分析工具，通过接入数据共享层数据即可进行实时报表展现，实时播报，即席查询等功能。

数据流程图：

v1.0

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Monstar_L

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Doris实战——结合Flink构建极速易用的实时数仓

爱吃辣条的博客

02-25

6576

Doris实战——结合Flink构建极速易用的实时数仓

实时数仓：网易严选基于Flink的实时数仓实践

GIS摆渡人

07-28

908

未来展望从三个方面第一，性能方面。模型用MySQL效率不高，后期迁移到ES上；维度表落地到Redis上进一步提高吞吐量。第二，开发效率。开发是SQL和API两种并存，开发效率不高，后期往SQL迁移，由于SQL本身局限，进行UDF扩展。第三，数据质量。目前主要是侧面辅助决策，希望对舒适数据准确性校验实现比较通用的规范，开发一些工具完成这些工作。httpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...

1 条评论您还未登录，请先登录后发表或查看评论

数据仓库架构落地方案.pptx

05-16

架构能力和演进能力演化的不同阶段落地关键数据仓库构建数据处理过程数据清洗、转换、集成小数据场景解决方案技术工具选型/架构思考 大数据场景解决方案等

flink实时数仓(一):项目架构设计以及需求

张不帅

01-06

2266

文章目录架构设计数据同步-解决方案mysql数据库建模HBase数据库建模架构设计数据同步-解决方案 mysql数据库建模 HBase数据库建模

Flink实时数仓搭建：日均百亿级数据处理

最新发布

水务人

03-28

2047

本文系统阐述基于Apache Flink构建企业级实时数仓的完整方法论，重点解析高吞吐场景下的架构设计范式、性能调优策略与运维保障体系。通过某头部电商平台真实案例，展示如何实现日均处理125亿条事件数据、端到端延迟控制在8秒内的实战经验。

【Flink】基于Flink构建全场景实时数仓

菜鸟叔叔的博客

06-12

4007

虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：早期实时计算如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这个环节拆开来看，数据源端会重复引用相同的数据源，后面进行清洗、过滤、扩维等操作，都要重复做一遍，唯一不同的是业务的代码逻辑是不一样的。随着产品和业务人员对实时数据需求的不断增多

基于Flink的资讯场景实时数仓

Steven

03-26

1709

基于Flink的资讯场景实时数仓 1. 实时数仓介绍1.1.什么是实时数仓1.2.实时数仓技术架构2. 资讯场景介绍与技术架构设计2.1.业务场景2.2.业务目标2.3.技术架构4. 实时数仓搭建4.1.数据采集 ) 1. 实时数仓介绍 1.1.什么是实时数仓 数据仓库定义：https://en.wikipedia.org/wiki/Data_warehouse，本质是把各种业务系统产生的数据通过一定的方式（数仓构建方法论）统一处理，从而产生更大的业务价值。数据仓库的价值：Successful ent

Flink——芒果TV的实时数仓建设实践

爱吃辣条的博客

02-29

1768

Flink——芒果TV的实时数仓建设实践

Doris实战——结合Flink构建极速易用的实时数仓_flink doris

2301_82243558的博客

04-27

1103

原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。

Flink实时数仓实战工具集：函数与工具类详解

- 在Flink实时数仓中，可能会用到ClickHouse作为数据的落地存储解决方案，用于分析报告和数据可视化。 2. **日期格式化工具** - 在处理实时数据时，对日期时间的处理是一个常见的需求。 - 此工具可能是用于解析...

flink sql udf jar包_应用案例 | Flink 在同程艺龙实时计算平台的研发与应用实践

weixin_39708737的博客

11-23

344

本文主要介绍 Apache Flink 在同程艺龙的应用实践，从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验，供大家参考。1.背景介绍在 2015 年初，为了能够采集到用户在 PC，APP 等平台上的行为轨迹，我们开始开发实时应用。那时可选的技术架构还是比较少的，实时计算框架这块，当时比较主流的有 Storm 和 Spark-s...

数据仓库建设方案-2018-3-28.pdf

10-15

数据仓库建设方案、数据仓库整体架构、数据挖掘、数据清洗、转换

数据仓库两种解决方案

热门推荐

似水流年

07-08

1万+

http://lxw1234.com/archives/2015/08/471.htm http://lxw1234.com/archives/2016/02/609.htm

大数据环境下数据仓库的实践（五）—— ETL之落地层同步

langcaiye的专栏

07-02

964

准确地来说，在大数据里很多时候是ELTL，但是我们仍然保留历史的称呼用ETL来描述从抽数到提供应用之间的所有数据处理步骤。 ETL的第一步总是避不开从业务源系统抽取数据到落地层(Staging)。实践中，大部分时候大厂都用ODS来命名，歪果仁通常称为STG，这里只是叫法不同，作用是一样的——一次读取以缓冲对源系统数据的访问。 EL工具市面上比较常用的是sqoop和dataX，也有通过binlog消...

Flink在米哈游的落地实践

cdfunlove的博客

03-28

559

摘要：本文是来自米哈游大数据部对于Flink在米哈游应用及实践的分享。本篇内容主要分为四个部分： 1.背景介绍 2.实时平台建设 3.实时数仓和数据湖探索 4.未来发展与展望作者：实时计算负责人张剑背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。公司陆续推出了多款高品质人气产品，包括《崩坏学园2》、《崩坏3》、《未定事件簿》、《原神》，动态桌面软件《人工桌面》以及社区产品《米游社》，并围绕原创IP打造了动画、漫画、音乐、小说及周边等多元产品。总.

数据仓库梳理方案

try

03-15

1457

第一步：对sql进行建模 1、经过对抽取数据的sql进行观察和通用化建模,发现规律如下： Sql格式: insert into 结果表 select ….. Select 后面只有三种种情况①from元表表名②leftjoin(链接) 表名或者(select语句) 元表名③union all (select语句)，如下图：第二步：对sql进行解析 1、 sql格式要求：符合抽取

基于 Flink 构建大规模实时风控系统在阿里巴巴的落地

大数据星球-浪尖

10-12

1884

目前 Flink 基本服务于集团的所有 BU ，在双十一峰值的计算能力达到 40 亿条每秒，计算任务达到了 3 万多个，总共使用 100 万+ Core ；几乎涵盖了集团内的所有具体业务，比如：数据中台、AI 中台、风控中台、实时运维、搜索推荐等。01基于 Flink 构建风控系统风控是一个很大的话题，涉及到规则引擎、NoSQL DB、CEP 等等，本章主要讲一些风控的基本概念。在大数据侧，我们把...

畅捷通基于Flink的实时数仓落地实践

Ververica的博客

08-09

851

本文整理自畅捷通总架构师、阿里云MVP专家郑芸老师在 Flink Forward Asia 2023 中闭门会上的分享。

Flink实践:跨境电商 Shopee 的实时数仓之路

ytp552200ytp的博客

07-09

449

问题导读： 1、为什么要建立实时数仓？ 2、Flink 在实时数据数仓建设中结合 Druid、Hive 有哪些应用场景？ 3、实时任务监控如何实现？ 4、Streaming SQL 如何平台化？导读：本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 ...