qq_35338741的博客

数据模型设计数据模型基本原则高内聚低耦合核心模型与扩展模型分离公共初处理逻辑下沉成本与性能平衡数据可回滚数据一致性命名清晰易于理解...

Dass层也就是我们常说的数仓，数据集市层。数仓架构演进经典数仓架构----------------------->1990年提出的数仓概念随着数据量急速增多演变如下离线大数据架构-------------------->互联网时代数据量爆炸，且诞生了很多大数据工具随着实时需求的增加演变如下lambda架构------------------------->在原有功能上增加了实时的功能因为业务需求以及希技术栈统一演变如下kappa架构------------

设计背景当企业发展到一定规模时候有了不同的业务线以及数据规模，因为业务的快速发展。这个时候一些数据问题就会出现。 问题点 1:数据脏乱差，各部门生产线数据重复冗余，还不可:复用用存在数据孤岛 2：数据开发部门的业务来自各部门各产品线，需求不明确，每天业务量繁复，日常工作可能成了sqlboy到处捞数据，而且在业务方面还没有业务部门了解的深入，有点缘木求鱼的意思。 这个时候数据中台也就应运...

目录1. 什么是OLAP2.OLAP引擎的常见操作3. OLAP分类MOLAP 的优点和缺点ROLAP 的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5. OLAP引擎的主要特点5.2 Spark SQL、Flink SQL5.3Clickhouse5.4Elasticsearch5.5 Presto5.6 Impala5.7 Doris5.8 Druid5.9 Kylin综上所述:1. 什么是OLAPOLAP（O...

数仓架构方案背景随着公司业务深入，需要打造几个精品级产品，精品级产品不仅要满足用户统计需求，还须兼顾分析，但现状是业务数据存储多样且分散，大部分数据无法直接取用，需要管理和重组数据，而且与业务相关的标签类设置数据和部分初级汇总数据统计偏复杂，无法适应业务多样性统计需求。这个时候数据仓库就应运而生数据仓库数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，