阿里云ACP认证-实时数据仓库

数据仓库

Kappa架构：将实时和离线代码统一（优化lambda架构），但是不好修正数据，开发周期长，成本浪费，对于历史数据的高吞吐量力不从心
原一代数据仓库：

• 离线：hive+maxcompute
• 实时：clickhouse+driud
• 整合离线和实时：drill+presto
• 保存：mysql+redis
• 最后API

下一代：

• 要实时，很实时
• 离线和实时一体化，减少数据移动
• 通用性，要解耦
• 云原生，标准且生态

特点	数据库	缺点
支持事务+ACID	Mysql+presetSQL	弹性伸缩难做到PD级别，且不能做复杂查询
分析加速,分布式	presto+druid+hive+clickhouse…	面向分析师
面向服务产品，高并发，查询简单	hbase+redis+casandra

既可以支持分析也可以支持事务：HTAP混合事务分析系统

• 需要事务机制保证ACID + 适合模型简单，简单分析场景，TP解决AP问题

既可以分析也可以服务：HSAP服务/分析一体化：Hologres

• 无事务开销（分布式锁、同步）
• 以数据仓库模型（抽象、服用、标准）解决数据服务问题

Hologres

产品特性：

• 分析服务一体化：point（点查询hbase/redis遇到的） /Ad-hoc（即席分析clickhouse）/OLAP（联机分析） 分析
• 以实时为中心：很快，数据实时写入和更新，与Flink原生集成，写入即可见
• 计算存储分离：存储资源和计算资源分离部署并独立扩展+和Maxcompute无缝打通
• 开放生态：兼容PF生态+对接PG开发工具+对接BI

Flink+hologres组合：实时大屏等

hologres：报表等离线加速

Flink+hologres+maxcompute：数据中台+精准营销+多维分析

Hologres架构原理

计算和存储相分离

计算:

• 接入节点Frontend（FE）：SQL认证解析和优化，可以包含多个，兼容postgres11
• worker：执行引擎HQE（hologres query engine，极致查询）/PQE（postgres query engine，兼容postgres）/SQE（对接maxcompute，本地兼容访问maxcompute）+存储引擎（SH，shard，CURD）+缓存+调度（HOS轻量级）
• MetraService（管理元数据信息，同时提供给FE）+Holo Master（拉起Worker）

存储：

• 盘古文件系统
• 数据湖

SQL发送请求-frontend解析分发-worker执行-走不同路径-SE存储获取数据，合并后返回给FE
（点查直接搜Fixed FE）

HSAP挑战和Hologres应对策略

存储计算分离：三种
存储使用盘古

流批统一：底层支持行（PK）、列（OLAP）、行列共存

执行引擎+优化器

名词解释：

hologres开发工具：