以hadoop 作为基础生态，从0到进行数仓建设，主要分为基础篇和实战篇两部分，基础篇主要是各种组件的学习和案例，实战篇主要是三家企业的数仓设计案例，最后是扩展篇主要是实时数仓。

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发。宽表主要出现在dwd 层和报表层，当然有的人说dws 层也有，宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dwd 表关联在一起形成的一张数据表。由于把不同的内容都放在同一张表存储，宽表已经不符合范式设计的模型设计规范

简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结

时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。时间就是一把尺子，它能衡量奋斗者前进的进程；时间就是一架天平，它能衡量奋斗者成果的重量；时间就是一架穿梭机，它能带我们遨游历史长河,今天我们看一下数仓架构的发展，来感受一下历史的变迁，回头看一下那些曾经的遗迹。准备好了吗 let's go!

这篇文章中，我们主要介绍了以下知识点什么是数仓，其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了数仓的特点和定义，我们为什么要去做数据仓库。

说到大语言模型，不得不提OpenAI。作为行业的开创者，OpenAI用ChatGPT展示了大语言模型的惊人潜力。但有趣的是，在技术发展道路上，OpenAI选择了一条相对封闭的路线。Deepseek选择了一个与众不同的姿态——开放共享。当笔者深入研读Deepseek的技术文档时，不禁为其披露技术细节的诚意所打动。相比之下，回想前几年研究OpenAI发布的论文时，核心技术细节往往语焉不详。

全名主要亮点覆盖面最广：从数据治理、架构、质量、安全到元数据、主数据、数据仓库等等，几乎所有数据管理主题都能在DMBOK里找到相应章节。概念权威统一：帮助组织建立通用术语和知识基础，减少“部门之间说法不一致”的沟通成本。适用场景：如果你所在公司（或团队）正准备系统梳理数据管理的方方面面，DMBOK是一份非常全面的指导手册，尤其适合培养新人或为整个组织统一认知。需要注意：DMBOK偏“知识指引”，不直接提供成熟度模型或实施路线图。想要落地，还需要结合其他评估模型或项目管理方法。小案例举例：某。

通过以上六个步骤，我们已经完成了基于 DeepSeek 的企业数据治理体系的搭建。1.试运行：选择一个小规模的数据集进行试运行，验证整个流程的可行性。2.优化调整：根据试运行的结果，优化数据清洗、分类和关联的规则。3.全面推广：将整个流程推广到企业的所有业务系统中。

首先要学会识别维度，维度是相对稳定的、可抽象具有共性的、固有的（天然的）描述度量或事实的上下文属性信息，失去维度信息的度量信息是没有意义的或者说是失去维度信息的事实表是没有意义的。其次要掌握维度表的设计原则和设计流程，从而更加科学的设计维度表，其实这些东西都是术，我们一直都说一句话大道至简，其实如果你掌握了精髓，抛开这些术也可以做到得心应手，这就像张无忌练太极剑一样，忘记了才能达到道的境界，也就是无我，如果做不到就记住这些原则加以应用从而达到术的境界。

为了方便理解我们使用一些例子来说明DMP可以理解为巨大的流量池，在这个池子里可以投放广告，选择潜在客户，CDP 可以理解为私域流量池，可以再次营销，也可以理解为老用户流量池DMP可以理解为一个获取精准流量的工具，CDP 可以理解为一个维护精准客户信息的工具，想象一下那些电销的都是告诉你你上个月在我们这里买了多少多少，应该快用光了，这个月我们有活动，或者是你马上过生日了，我们送你什么什么。

引言：在这个 AI 技术飞速发展的时代，我们有能力更深入地发掘数据潜在的价值，而数据处理不应当成为阻碍。云原生分布式 Data Warebase 将开启处理数据的新范式，它让数据的使用返璞归真，不论是存储还是查询，一个系统满足业务全方位数据需求。打破复杂数据架构的束缚，大大降低数据的使用门槛，释放数据潜能，让数据涌现智能。2002 年我加入 Microsoft SQL Server 引擎团队。那时的数据库市场相对简单，主要有三个厂商：Oracle、IBM（DB2）和 Microsoft（SQL Server

确定适用于数据集的存储类型后，就可以评估基础架构是否存在任何安全漏洞，以及是否可对数据进行各种不同类型的处理，例如数据加密和数据转换，以保护企业免受恶意行为实施者的威胁。一个出色的 DLM 流程提供针对企业数据的结构和组织，帮助实现流程中的关键目标，包括数据安全性和数据可用性。任何所存储数据的副本都作为备份，以防出现数据删除或数据损坏等情况，防止对数据的意外更改以及包括恶意软件攻击在内的蓄意破坏。特定的数据所经历的⽣命周期由实际的业务场景所决定，并⾮所有的数据都会完整的经历六个阶段。

对于数据的安全流转，建议不提供原始数据，而是封装为数据服务，插入可唯一定位到具体业务的追踪字段，提供脱敏的数据查询接口，为其他业务建立相应的账号并为其授权、限定查询频率、记录查询日志等。要最大程度的发挥数据的价值，根本在于促进其流动，无论何种主体以何种方式开展数据治理，其核心都是要推动数据自由、安全的流动，以最大程度的挖掘和释放数据的价值。● 数据的展示，有的数据是不能展示的，比如口令、用于身份认证的生物特征等，有些数据是需要脱敏展示的，比如姓名、手机号码、地址、银行卡号等。

DAMA数据架构识别企业的数据需求，并设计和维护总蓝图以满足需求，使用总蓝图来指导数据集成、控制数据资产、并使数据投资与业务战略保持一致。主要包括数据模型、数据流设计、数据安全。华为数据之道数据架构是指以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范。主要包括数据资产目录、数据标准、数据模型及数据分布。DCMM数据架构通过组织级数据模型定义数据需求,指导对数据资产的分布控制和整合，部署数据的共享和应用环境，以及元数据管理的规范。

2015年左右，企业兴起了大数据平台的建设，并且到2018年，数据中台概念流行，数据中台中包含统一资产管理、统一数据元管理等与数据治理相关的内容。按IBM的定义，数据治理是企业通过不同的策略和标准，提高组织数据的可用性、质量和安全性的一整套制度与管理活动，数据治理的目标是维护安全且易于访问的高质量数据，以获取更深入的业务洞察。在包括金融、通信、能源、制造等数据治理开展相对成熟的行业，较多企业都已设置数据治理的专职部门和岗位，而且越是数据治理成熟的企业，专职部门越是靠近业务侧，且专职部门级别越高。

在国内，不论传统公司还是互联网公司，都开始利用OLAP技术分析挖掘大数据的价值，国内除BAT等大厂会自研OLAP产品外，其他中小互联网公司普遍拥抱开源，会使用Kylin、Presto、impala、Druid和Greenplum等开源技术来实现OLAP分析查询业务。在调研了市面上主流的开源OLAP引擎后发现，目前还没有一个系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。

DAMA-DMBOK2指南》为数据管理提供了系统的方法和框架，涵盖了从数据治理到数据质量管理的各个方面。它强调数据作为企业资产的重要性，并提供了详细的指导原则、活动、角色和技术工具，以确保数据管理的有效性和成功。环境要素为数据管理提供了必要的背景和支持，确保各知识领域的活动能够顺利进行并取得成功。。CDMP考试：CDMP（Certified Data Management Professional）认证是数据管理领域的权威性认证，由DAMA国际组织推出。

建设指标体系，需要回答以下几个问题为什么建设数据指标体系如何评价数据指标体系，一个好的数据指标体系是要需要回答两个问题，它是不是有助于业务发展，以及说这个指标体系拆解是不是可具备、可落地、可实操的可能性。如何建设数据指标体系，这就需要我们的建设方法论了如何维护和管理指标，指标的维护和管理是有套路的，最简单的指标管理方法——指标字典，我们在此基础上可以做指标管理系统指标分类我们可以将其理解为纵向分类，指标分级我们可以理解为横向分类。

指标体系的关键一次在体系上面，也就是说我们要站在全局的角度体系化的建设，也就是将繁多的指标体系化的组织管理起来，这里的组织管理方式常见的就是分级分类。分级上我们要保证层次不要太多，并且保证公司不同层级的人都能找到自己想要的信息，例如老板要知道公司的经营现状，不同部门领导人要知道部门的业务现状和目标，一线员工要知道自己的执行方向。分类上我们要保证不遗不漏不重复，也就是MECE原则。

这里我们需要理解的一个东西是什么呢，就是为什么要指标呢，指标是干嘛的，一个指标是为了说清楚一个问题，这个问题往往只需要一个数字就能说明，例如你有多少钱(钱包里的钱不是你的资产)，你今年几岁了，你的房子有多大，你有几套房。例如你在国外旅游的时候你说，中国很大，那别人就不清楚到底多大，也就是这个问题没有说清楚，那这个时候你怎么办呢，你可以这样说我们国家的面积是960万平方公里，可能这个时候这个问题就已经很清楚了，但是你可以再补充一句，是你们国家面积的3倍。

日常需求管理更多的是对团队开发规范以及个人的软技能养成方面的要求。项目需求管理这五个步骤的逻辑性是非常强的，如果大家在BI项目上遇到过类似的问题不妨对比这几个步骤去看看是不是这么走的。如果是这么走的，还有问题，大概率就是业务方或者甲方的问题。比如指标范围迟迟不能圈定、指标业务规则迟迟不能确认，这个是什么问题，这是企业自身业务管理的问题，这个问题外部的团队是解决不了的。像这种问题只能通过加强沟通来解决。

虽然ChatGPT在BI领域有着潜在的积极影响，但也需要注意其局限性，包括对于复杂技术领域的理解限制以及对于领域特定术语的处理不足。在实际应用中，结合ChatGPT与专业数据分析工具和技术是更为理想的做法，以充分发挥各自的优势。

市面上各种写数字化转型的文章已经非常的多了，各种观点都是围绕技术实现层面上的，没有对企业数字化转型真正的内在动因做深入分析。企业在实现数字化建设或转型的过程中也没有深入思考数字化建设或者转型最终的目标是什么，站位和高度不够。很多是为了数字化而数字化，或者过于追求技术的实现而忽略了企业经营的本质。第一篇文章先开个头，不要让企业忽略根，客户价值才是数字化转型的逻辑起点。后续文章再围绕数字化转型的实现和过程再深入探讨。

数据地图作为元数据应用的一个产品，聚焦于数据使用者的“找数”场景，实现检索数据和理解数据的“找数”诉求。我们通过对离线数据集和在线数据集的元数据刻画，满足了用户找数和理解数的诉求，通过血缘图谱，完成物理表到产品的血缘建设，消除用户人肉评估的痛苦。在数据标准方面，我们制定了业务标准、技术标准、安全标准、资源管理标准，从而保障了数据生产、管理、使用合规。在数据架构方面，我们通过桥接表、时间刻度化、业务口径下沉等手段提升模型灵活性，并保障数据一致性，消除跨层引用和模型冗余等问题。

DCMM是国家标准《GB/T36073-2018 数据管理能力成熟度评估模型》（Data management Capability Maturity Model）的英文简称。DCMM（Data Management Capability Maturity Assessment Model，数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，将组织内部数据能力划分为八个重要组成部分，描述了每个组成部分的定义、功能、目标和标准。

构建数据资产是一个持续的过程。随着您的分析需求随着时间的推移而变化，架构也必须进行调整。将数据建模视为一次性活动是不现实的。想想那些因为源系统之一的数据结构发生变化而不得不更改列名、数据类型，甚至重建整个表的情况。以同样的方式，您可以构建一个完全适合特定时间用例的模式。但是，当数据持续增长或源系统发生变化（新的 ERP、CRM、PIM 系统）时，由于下游工作负载或性能优化的必要变化，设计工作仍将继续。

这是一种有效的方式，可以为每个人提供业务案例，让他们开始思考客户的需求或用户体验，以更好地了解他们的需求和偏好，并最终提高采用率和客户忠诚度。以客户为中心的企业将其战略、精力和预算集中在与客户的互动上，卓越的客户体验只会对您的产品战略变得更加重要。收集有关您的客户或最终用户及其工作流程的数据，并与他们实际交谈，可以帮助您发现他们的需求、他们的痛点，以及如何改进数据产品来解决这些需求和痛点。使用数据和见解不仅可以了解您的客户以及如何发展您的产品和他们的体验，还可以为您的产品注入为客户提供价值的见解。

总之，数据模型就是数据组织和存储方法，它强调从业务、资源的角度进行合理地存取数据。它的价值体现在：数据质量、健壮水平、服务响应速度、资源消耗,转化成对企业数仓的要求就是：强稳定、高质量、高效率、低成本。

信息化是数字化的基础，数字化是信息化的高阶阶段。信息化解决的是效率问题，而数字化则是业务价值导向，也就是通常说的给业务赋能。数字化必定包含信息化且不能否定信息化，同时数字化转型一定要返回到业务本身，因为数字化转型本质上是业务问题，其与信息化又彼此关联、彼此驱动。

如今，企业产生大量数据，需要以正确的方式进行分析才能做出重要决策。数据可能来自多个来源并采用不同的格式，这使得清楚地了解其含义和重要性成为一项挑战。这就是语义层的用武之地。语义层存在于数据仓库和最终用户使用的应用程序之间。它为用户提供了简化且一致的数据视图，无论其基础数据源的复杂性如何。该逻辑层有助于映射物理数据结构以创建概念数据模型。它定义了数据元素之间的所有规则和关系，并以业务术语提供了数据的通用词汇表。然后，用户可以轻松地与数据进行交互，而无需了解其数据源的技术知识。

综上所述，大数据建模是一个复杂且多样化的过程，需要结合业务需求和技术能力来设计和实施有效的数据模型。大数据建模其实本质上是为了解决数据量大的问题，所以我们要将数据量大、数据价值密度低、数据来源多样等特点考虑进去，但是我们在使用大数据工具建设数仓的时候还是会使用到维度建模，这是因为维度建模本身通过维度冗余,可以减少连接操作，提高查询性能，和大数据建模的思维相辅相成。

物理数据模型指定如何在数据库中构建数据模型。它概述了所有表结构，包括列名、数据类型、列约束、主键和外键以及相关表列的索引、表之间的关系、存储过程和视图。创建物理数据模型的责任通常由数据库管理员和开发人员承担。信息系统和软件应用程序严重依赖于与物理数据库的交互。物理数据模型需要正确设计和实现。一旦现有应用程序的数据被插入到数据库中，修改物理数据模型就具有挑战性。

在我们深入研究 LDM 之前，我们先来了解一下什么是数据模型以及数据建模根据IBM 的说法，它是“创建整个信息系统或部分信息系统的可视化表示，以传达数据点和结构之间的连接的过程”。能够可视化数据结构之间的这些关系使组织能够确定哪些业务领域需要改进。数据模型分为三种类型：概念型、逻辑型和物理型。通常，数据架构师和业务相关者是创建概念数据模型的用户。构建这些类型的目的是组织和定义业务概念和规则。它们具有不同类型的子模型，例如语义数据模型和业务数据模型。其实我们在数仓建模—建模流程。

在详细探讨数据模型之前，我们需要明确什么是数据。从本质上讲，数据由收集、存储、分析和用于制定未来决策的事实、数字和统计数据组成。在当今的数字世界中，我们不断生成大量此类数据 - 如果它要具有任何功能，就需要以有效的方式进行处理。这就是数据模型的用武之地。数据模型是指用于组织和管理数据库或信息系统中的数据的数据结构的抽象表示。它定义了数据元素（代表现实世界的对象）之间的关系以及它们的组织、存储和检索方式。想象一下数据模型下的构建计划会很有帮助，整个系统将在此基础上构建。

上述的这些方法都有自己的优点和局限性，在创建自己的数据仓库模型的时候，可以参考使用上述的三种数据仓库得建模方法，在各个不同阶段采用不同的方法，从而能够保证整个数据仓库建模的质量。方法论仅仅停留在理论层面上，落地实现的才真正决定了数仓设计的好坏，当然再好的方法，只有在合适的阶段使用，才有意义，才能发挥它最大的价值Inmon 方法的强调的是“数据集市”， Kimball 提倡的“集中式的数据仓库”。数据集市是将数据分为各类主题，对应到各个业务部门，以提供信息查询、报表生成。

一个成功的数据架构系统确保数据得到正确维护，并支持公司的业务需求。为了实现这一目标，我们需要了解数据架构的组件是如何协同工作的，并实现某些原则或标准以确保成功在本文中，我们将重点讨论现代数据架构。让我们看看它的基本模式：你可能熟悉的数据库、应用程序和工具构成了大型数据架构系统的不同组件。每个组件的目的是什么？它们如何相互作用？让我们把它一块一块地分解。数据架构将集成、质量改进和成功的数据交付结合在一起。了解数据收集过程以及数据如何在组织内流动使未来的业务决策与基础数据战略保持一致。

按照Dan Linstedt的定义，Data Vault模型是面向细节的、可追踪历史的、一组有连接关系的规范化的表的集合。它综合了三范式建模和星型模型的优点，其设计理念是满足企业对数据模型灵活性、可扩展性、一致性和对需求的适应性要求，是专门针对企业级数据仓库需要的一套建模方法。Data Vault模型只按照业务数据的原始状态存储数据，不做任何过滤、清洗、转换，比如：同一客户在不同系统有不同地址，Data Vault模型会存储多个不同版本的客户地址数据。

实体是现实世界中可区分的、有实际存在意义的事物或对象，如人、物、地点、事件等。在ER模型中，实体通常用矩形框表示，矩形框内写明实体名。每个实体都有属性，属性描述了实体的特征或属性。ER模型是一种用于描述现实世界中实体、属性和关系之间关系的数据模型。通过ER模型，可以直观地表示数据结构，帮助分析和设计数据库和系统。ER模型提供了一种有效的方式来理解和描述现实世界中的复杂问题，并在设计数据库时提供了指导。

针对传统集中化数据平台的困境，Zhamak Dehghani 于 2019 年 5 月撰写了一篇论文，提出了数据网格的概念。在这篇文章中，Thoughtworks 顾问描述了集中式、单体式和与域无关的数据平台的局限性。

数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。要回答数据中台是什么，首先要探讨一下中台到底是什么。中台，通过对业务、数据和技术的抽象，对服务能力进行复用，构建了企业级的服务能力，消除了企业内部各业务部门、各分子公司之间的壁垒，适应了企业特别是大型企业集团业务多元化的发展战略。基于中台，可快速构建面向最终消费者和客户的前台应用，从而满足各种个性化特征的前台需求，为企业的数字化转型提供明确的道路。