实时数仓到底是什么呢？与传统数仓有什么区别？

数仓，即存放数据的仓库，包括全量数据、历史数据。类型上又分为实时数仓、离线数仓，所谓实时数仓是指数据的实时性更高、延迟性低，一般是统计一天以内的数据，支持毫秒级的统计，在建设工具上一般采用Flink，而离线数仓则统计历史数据，在建设工具上一般采用Hive。对于实时性要求比较高的场景，如实时的交易分析、实时数据看板（比如双十一的成交额看板）、实时业务监控、实时数据接口服务等，我们就需要实时数仓了。

在数仓的开发实现中包含四个模块，即物理存储、数据抽象、runtime作业执行、编程接口。那么离线数仓和实时数仓有什么区别呢？在物理存储模块，离线数仓一般使用HDFS存储，实时数仓使用Kafka消息队列进行存储，在数据抽象模块，离线数仓使用HIve表，实时数仓使用streamtable。在作业执行模块，离线数仓使用mapreudce，而实时数仓使用FlinkStreaming。在编程模块，离线数仓使用HiveSQL进行开发，实时数仓使用FlinkSQL 进行开发。这就是实时数仓和离线数仓在开发实现上的区别了。

介绍完了数仓概念、实时数仓和传统数仓的区别之后，我们再来看看技术选型。

在实时数仓的建设中对于大规模数据的处理架构有Lambda架构、Kappa架构，从业界使用情况、灵活性、容错性、成熟度、迁移成本、批/流处理代码来看，Lambda都是最佳的方案。在实时计算引擎上，Flink是最佳的选择方案，因为比较准确、延时低、业界内使用多、易用性高。在实时存储引擎上，综合业务维度索引、高并发情况、高性能查询特征，一般推荐ClickHouse。

介绍完技术选型之后，我们来看看实时数仓和实时存储两块如何实现？

在实时数仓中包含四层，即数据接入层ODS、数据明细层DWM、数据汇总层DWS、数据应用层APP。如下图所示，ODS层是数据的源头，包含系统的消息队列数据、系统日志、流量埋点数据、系统消息，不同业务线可能采用的方式存储数据，但是在接入数仓时需要统一来源接入，这样可以方便数据的处理以及数据一致性。在数据明细层，一般分两类进行数据建设，一类是业务数据明细、一类是按维度进行数据拆分，比如在美团中，商家的