第3章 实时数仓项目(面试 重中之中)

随着业务发展,实时数仓成为必要,项目采用与离线相同的架构和服务器选型。通过数据调研和建模,构建ODS、DWD、DIM和DWS层。数据量大,如用户行为数据达1亿条。项目中遇到FlinkCDC选择、状态后端问题、数据倾斜等挑战。使用Kafka、Maxwell进行数据采集,Hbase存储维度数据,ClickHouse进行聚合分析,同时关注一致性问题。

第3章 实时数仓项目

3.1 为什么做这个项目

随着公司不断业务不断发展,产品需求和内部决策对于数据实时性要求越来越迫切,传统离线数仓T+1模式已经不能满足,所以需要实时数仓的能力来赋能。

3.2 项目架构

3.3 框架版本选型

和离线保持一致。

3.4 服务器选型

和离线保持一致。

3.5 集群规模

1

2

3

4

5

6

7

8

9

10

nn

nn

dn

dn

dn

dn

dn

dn

dn

dn

rm

rm

nm

nm

nm

nm

nm

nm

nm

nm

zk

zk

zk

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一凡888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值