本文介绍了美团点评如何利用Flink构建实时数仓，包括实时数仓的建设目的、应用场景和建设方法。建设重点包括面向主题、集成性和稳定性，与离线数仓相比，实时数仓层次更少，主要应用于实时OLAP分析、实时数据看板、实时特征和业务监控。建设过程涉及ODS层、DW层、维度数据建设和汇总层的构建，以及仓库质量保证措施，如元数据和血缘管理以及数据质量验证。
前言
本文根据 Apache Flink 系列直播整理而成，由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下：
-
实时数仓建设目的
-
如何建立实时数仓
-
仓库质量保证
实时数仓建设目的
实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把 PPT 黑色的背景变得更白一样，从传统的经验来讲，我们认为数仓有一个很重要的功能，即能够记录历史。通常，数仓都是希望从业务上线的第一天开始有数据，然后一直记录到现在。
但实时处理技术，又是强调当前处理状态的一门技术，所以我们认为这两个相对对立的方案重叠在一起的时候，它注定不是用来解决一个比较广泛问题的一种方案。于是，我们把实时数仓建设的目的定位为解决由于传统数据仓库数据时效性低解决不了的问题。
由于这个特点，我们给定了两个原则：
-
传统数仓能解决的问题，实时数仓就不解决了。比如上个月的一些历史的统计，这些数据是不会用实时数仓来建设的。
-
问题本身就不太适合用数仓来解决，也不用实时数仓解决。比如业务性很强的需求，或者是对时效性要求特别高的需求
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
