本文详细介绍了如何使用阿里云搭建离线和实时数据仓库。离线数仓部分涉及用户行为日志的Flume采集、DataHub导入、Hive的UDTF函数及数仓分层，数据通过DataWorks进行处理并使用DataV和QuickBI进行可视化。实时数仓部分讲解了数据流程架构，利用DTS和FlinkSQL在DataWorks中的实时计算。
离线数仓：
数据流程
- 主要分为两部分：用户行为数仓和业务数仓
- 用户行为数仓的来源是埋点的用户行为日志文件，通过Flume（Source–channel- datahubSink）采集导入至DataHub中；埋点数据本质上是K-V形式JsonObject所组成的JsonArray；
- DataHub：数据总线（topic形式，可类比kafka）；
- MaxCompute/DataWorks：数据处理平台，dataWorks 是IDE
Hive的UDTF函数
- 用户定义函数(user-defined function)UDF；
- 用户定义聚集函数（user-defined aggregate function，UDAF）；
- 用户定义表生成函数（user-defined table-generating function
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
