zhangliushi的博客

介绍数据仓库开发全流程中可以遵循的各类规范，供各位小伙伴参考。

记录本人对数据仓库存储成本管理，持续更新中。

记录数据仓库模型报表设计过程中遇到的坑及其设计可以遵循的规则。持续更新中。

记录本人实际工作中接触到的各类主题域和数据域，结合自身的经验和对主题域的理解谈谈其划分标准。

介绍数据仓库指标体系极其在实际生产中的应用，持续更新中。

本文主要分享我在数仓开发过程中应用层报表的设计经验，供大家参考，如有不正确之处，请评论指正，我们共同进步。

本文主要分享我在数仓开发过程中汇总分析表的设计经验，供大家参考，如有不正确之处，请评论指正，我们共同进步。

了解数据库的小伙伴应该都知道，数据库表的设计需要遵循范式，这主要是为了让表更加规范，减少冗余。而目前主流的数据仓库表设计方式是维度建模，为了让表使用起来更方便，通常情况下会主动引入冗余。这是数据库和数据仓库的不同之处。本文主要分享我在数仓开发过程中维度表的设计经验，供大家参考，如有不正确之处，请评论指正，我们共同进步。...

从数据仓库到数据中台，再到数据湖，最后到现在新提出的湖仓一体，存算分离。大数据的生态越来越丰富，新技术层出不穷。其中批处理这个分支，是指将各类数据归一到数据仓库，定时处理后给下游各种应用场景使用，而维度建模正适用于这种大数据量，复杂的场景，通过构建庞大的重型模型，提高复用率，这就是所谓的用空间换时间。本文主要分享我在数仓开发过程中事务事实的设计经验，供大家参考，如有不正确之处，请评论指正，我们共同进步。...

文章目录前言一、Sqoop增量接入二、Sqoop全量接入总结前言当我们将关系型数据库数据接入到集群时，一般会考虑选择增量接入还是全量接入，这两种接入方式会影响数据源在数仓ods层结构。一、Sqoop增量接入增量接入一般可以根据数据更新时间字段来筛选数据库表新增的数据，只将只部分数据接入到集群，对于历史数据直接一次性接入放在第一个分区。这种方式更加节省资源，但需要仔细确认好数据源的更新规则，避免出现数据缺漏的情况。二、Sqoop全量接入全量接入是直接将数据库的数据全部接入到集群，相当于全量复

文章目录前言一、数据仓库是什么二、数据中台是什么总结前言记录作者本人对于数据仓库和数据中台的理解。随着经验积累会不断完善更新。一、数据仓库是什么数据仓库是一套设计理念，区别于数据库，甚至很多方面和数据库的设计理念相反。它的主要作用是方便下游做数据分析，因此主动引入冗余，用空间换时间，进行预计算以达成此目的。二、数据中台是什么我理解的数据中台，应该是一个非常成熟的数据产品，上能接入各类数据源，下能给予前台各类数据并提供各种接口，以界面的形式提供接口让小白用户能够拿到需要的数据并保证数据安全。

文章目录前言一、什么是数据仓库二、数据仓库和数据库的区别三、数据仓库分层架构（一）ODS（二）DIM（三）DWD（四）DWS（五）ADS四、数据仓库建模方法（一）星型模型（二）雪花模型前言分享本人在数据仓库开发工作中遇到的问题及经验总结。一、什么是数据仓库因为数据库中的数据繁多、关系复杂且不能保证数据质量，为解决这样的问题，就诞生了数据仓库的概念。数据仓库是指将各种来源的数据统一接入到某个单一环境，对数据进行清洗，汇总并妥善保存以便支撑相关数据应用的方式。二、数据仓库和数据库的区别数据仓库与