数据仓库主题域概念与划分详解

「数仓建设篇」数仓主题域划分 数仓建设是遵循纵向分层开发,横向划分主题域设计。本篇来聊聊数仓主题域划分 阅读详情
AI摘要

本文详细介绍了数据仓库中主题域的概念,它是最高层次的逻辑数据分组。阐述了划分依据,包括核心业务职能、关键业务实体等。合理划分主题域有提升业务理解、增强可管理性等诸多优势。还给出不同行业划分示例,强调其是数据仓库架构基石,连接业务与技术。

我们来详细解释一下数据仓库中的主题域。

1. 概念 (Concept)

主题域是数据仓库中最高层次的逻辑数据分组,它将与企业特定业务主题或功能领域密切相关的数据和业务流程组织在一起。它代表了对企业核心业务活动或关注点的高层抽象。

  • 核心思想: 围绕业务概念(如“客户”、“产品”、“销售”、“财务”)而不是应用程序、部门或技术来组织数据。
  • 目的: 提供一种结构化的方式来理解、设计和管理庞大复杂的数据仓库环境,使其更贴近业务视角。
  • 类比: 想象一个大型图书馆。主题域就像图书馆的主要分类区,比如“文学区”、“科技区”、“历史区”。这些大区域(主题域)下面再细分为具体的书架(主题/数据集市)和书籍(数据表/实体)。

2. 划分依据 (Basis for Partitioning)

主题域的划分不是随意的,主要依据以下方面:

  1. 核心业务职能:
    • 这是最主要的划分依据。识别企业最核心、最稳定的业务活动领域。
    • 例如:销售、市场营销、客户服务、财务管理、供应链管理、人力资源、产品管理、风险管理、合规等。
  2. 关键业务实体:
    • 围绕企业运营中最重要的实体对象进行划分。
    • 例如:客户、产品/服务、供应商/合作伙伴、员工、资产、地理位置等。
  3. 主要业务流程:
    • 按照端到端的业务流程来组织数据。
    • 例如:订单到现金(Order-to-Cash)、采购到付款(Procure-to-Pay)、招聘到退休(Hire-to-Retire)、线索到回款(Lead-to-Cash)等。
  4. 分析需求:
    • 考虑高层管理者和分析师最常关注的业务分析视角。
    • 例如:绩效分析(销售绩效、财务绩效、员工绩效)、客户分析、产品分析、风险分析等。
  5. 数据源的自然分组:
    • 虽然理想情况是业务驱动,但实际操作中,源系统数据的结构和内容也会影响划分(尤其在初期)。需要找到业务视角和数据现实之间的平衡点。
  6. 管理便利性与规模:
    • 主题域应该足够大以包含一个完整业务领域,但又不能过于庞大导致难以管理。目标是划分成逻辑清晰、规模可控的几个(通常5-15个)主要领域。

3. 优点 (Advantages)

合理划分主题域带来显著优势:

  1. 提升业务理解与沟通:
    • 使用业务熟悉的术语(客户、销售、财务)组织数据,使业务用户和技术团队更容易理解数据仓库的结构和内容,沟通更顺畅。
  2. 增强可管理性:
    • 将庞大数据仓库分解为逻辑清晰、边界明确的主题域,极大简化了设计、开发、维护和治理的复杂度。每个主题域可以相对独立地演进。
  3. 指导模型设计:
    • 主题域是概念模型和逻辑模型设计的基础框架。它清晰地界定了每个业务领域的数据范围,指导后续的主题(数据集市)设计和维度建模(如星型/雪花模型)。
  4. 促进数据集市建设:
    • 主题域是构建面向特定业务主题的数据集市(如销售数据集市、客户数据集市)的理想容器。数据集市通常在一个主题域内或跨越少量紧密相关的主题域构建。
  5. 优化查询性能:
    • 相关数据(同一主题域内)在物理存储上可能更靠近,或者查询更容易限定在特定主题域范围内,减少跨大范围的数据扫描,提升查询效率。
  6. 支持迭代式开发:
    • 允许数据仓库项目按主题域分阶段、迭代式地开发和交付价值。可以优先实现业务价值最高或最紧急的主题域。
  7. 提高数据一致性:
    • 在主题域内部明确定义核心业务实体(如“客户”)及其关键属性,有助于确保该实体在不同主题或应用中的定义和使用保持一致(通过一致性维度实现)。
  8. 便于数据治理:
    • 主题域为数据所有权、数据质量规则、安全策略和数据血缘管理提供了自然的治理边界。

4. 划分举例 (Partitioning Examples)

以下是不同行业常见的主题域划分示例:

示例 1:零售/电商企业

主题域名称描述包含的核心实体/概念举例
客户所有与客户相关的信息和互动客户档案、会员信息、客户细分、客户满意度、服务记录
产品所有销售的商品或服务产品目录、SKU、品类、品牌、价格、库存
销售销售交易、订单、渠道表现订单、订单行项、购物车、销售渠道(线上/线下)、促销
市场营销营销活动、线索、广告投放、客户获取与维系营销活动、广告渠道、线索、营销响应、客户旅程
供应链/库存采购、供应商管理、仓储、物流、库存水平采购订单、供应商、仓库、库存变动、配送
财务收入、成本、利润、应收应付、总账发票、付款、总账科目、成本中心、利润中心
网站/APP行为用户在数字平台上的浏览、点击、搜索等行为数据页面浏览、点击流、会话、搜索词、设备信息

示例 2:商业银行

主题域名称描述包含的核心实体/概念举例
客户个人客户、对公客户信息、关系管理客户基本信息、KYC资料、客户分群、客户经理、联系方式
账户各类存款账户、贷款账户活期账户、定期账户、贷款账户、账户状态、余额、利率
产品银行提供的金融产品和服务存款产品、贷款产品(房贷、车贷、信用卡)、理财产品、服务
交易账户间的资金流动记录存款、取款、转账、支付(卡/移动)、清算、手续费
信贷/风险贷款申请、审批、额度管理、信用评分、风险敞口、抵押品贷款申请、征信记录、评分卡、风险评级、担保物、违约记录
财务/绩效银行自身的财务核算、预算、成本收入分析、机构/产品/客户经理绩效总账、损益表、资产负债表、预算科目、成本分摊、收入、利润
渠道客户接触和服务的途径网点、ATM、网上银行、手机银行、呼叫中心、客户经理
合规与风控反洗钱、反欺诈、监管报告、操作风险管理可疑交易报告、欺诈规则、监管指标、操作风险事件

示例 3:电信运营商

主题域名称描述包含的核心实体/概念举例
客户/用户个人用户、企业用户、家庭账户信息用户档案、套餐订阅、联系方式、账单地址、信用等级
产品/服务提供的通信套餐、增值服务、终端设备语音套餐、数据套餐、短信包、增值业务、手机型号、固网宽带
服务使用用户的通话、上网、短信等详细使用记录CDR(通话详单)、上网流量记录、短信记录、使用时间、位置
网络/资源网络基础设施、设备、资源状态基站、交换机、路由器、核心网元、IP地址、端口状态、故障
订单/服务开通客户订购产品、服务开通、变更、退订的流程订单、工单、服务开通状态、资源分配
计费/账务费用计算、账单生成、收款、欠费管理费率、账单周期、账单明细、支付记录、信用控制
客户服务客户咨询、投诉、故障申告、服务请求的处理服务请求单、投诉记录、解决状态、满意度调查
市场营销营销活动、客户获取、客户维系、交叉销售营销方案、目标客户群、活动响应率、离网率

重要提示:

  • 非唯一标准: 没有绝对“正确”的划分标准,最佳方案取决于企业的具体业务模式、战略重点和组织结构。
  • 相对稳定: 主题域应该反映企业最核心、最稳定的业务概念,避免因组织架构或短期项目变动而频繁调整。
  • 边界清晰: 主题域之间应有明确的业务边界,尽量减少重叠。核心实体(如客户、产品)通常会作为“一致性维度”被多个主题域引用。
  • 层次结构: 主题域是最高层。其下通常会细分为更具体的主题,主题下再设计具体的逻辑模型和物理模型。

总而言之,主题域是数据仓库架构的基石,它从业务视角出发,为复杂的数据环境提供了清晰、有序、可管理的组织结构,是连接业务需求与技术实现的关键桥梁。

数据仓库主题域的划分 记录本人实际工作中接触到的各类主题域和数据域,结合自身的经验和对主题域的理解谈谈其划分标准。 阅读详情

相关推荐

数据仓库建设——主题和主题域的划分

数仓主题是什么 数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。也是指企业中某一分析领域具体的分析对象,这样一来,每一个数仓分析领域都有一个数仓主题相呼应。 分析对象是一个较为主观的选择过程,说它主观是因为不同的企业有不同的业务重心,没有办法统一分析得出一个普遍适用的结论。但这也让数据仓库的主题类型拥有了更多可能性,分析活动也变得更加灵活,具有针对性。 图片来源:派可数据 就拿企业分析时经常用到的生产系统举例,它并不能帮你直接获取.

派可数据的博客 1万+

数据治理之主题域(一)

主题域是对实体的逻辑分组,我们以上帝视角去看企业的业务系统,梳理企业的业务实体,实体与实体之间的关系,将企业中的数据进行逻辑划分。相同主题域中的数据联系紧密,不同主题域之间的数据相互独立。所以主题域的划分没有任何的技术含义,只是一种概念,能帮助数据使用者快速找到数据的一种分类方法。就像图书馆的图书分类一样,图书分类共分为22个大类:分为军事、文学、艺术等,比如文学又包含:小说、散文、诗歌、戏剧等。这些就是图书的主题域。

kabbk的博客 5727

数据仓库【主题域划分】

1.关于主题 数据仓库中的数据是面向主题的,主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。如财务分析就是一个分析领域,因此这个数据仓库应用的主题就为“财务分析”。 2.关于主题域 主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域(也说是对某个主题进行分析后确定的主题的边界。) 3.关于主题域的划分 主题域的确定必须由最终用户和数据仓库的设计人员共同完成的, 而在

程序员学习圈 2062

数据仓库建设之确定主题域

一、什么是主题?二、什么是主题域?三、如何划分主题域?1、按照系统划分2、按业务过程划分3、 按需求方划分4、 按部门划分 5、按功能或应用划分6、按行业经验划分一、什么是主题? 主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。主题域是业务对象高度概括的概念层次归类,目的是便于数据的管理和应用。二、什么是主题域? 主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域(也说是对某个主题进行分析后确

ImezZ 3151

大数据环境下数据仓库的实践(四)—— 主题域的划分及任务和工作流的组织方式

主题域的划分 由于数据仓库跨部门,所以必然存在某些数据关系密切,而某些数据相互比较独立。于是相关的一组数据往往被划成一个个主题域。主题域是为了更好地组织数据仓库。 我们以一个普通的买卖为例,这里的主题域可以划分为:卖家(商家)、买家(客户)、商品、交易等。每个域下面还可以根据业务的复杂程度设置自己的子域,例如交易域下还可以设置正向交易、逆向交易(退款)。 主题域和维度的迷惑 主题域和维度经常容易被...

langcaiye的专栏 4663

数据仓库主题域划分与数据模型设计实践

数据仓库作为企业数据资产的核心载体,其设计质量直接影响数据分析的效率和准确性。本文旨在系统性地阐述数据仓库设计中最为关键的环节——主题域划分与数据模型设计,涵盖从理论到实践的完整知识体系。本文将从基础概念入手,逐步深入到主题域划分方法论、数据模型设计技术,最后通过实际案例展示完整实施过程。每个章节都包含理论讲解和实践指导,确保读者能够学以致用。数据仓库(Data Warehouse): 面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策主题域(Subject Area)

AI天才研究院 1120

数据百问系列之六:数据仓库中的主题域是如何划分的?

本次讨论的主题是: 数据仓库中的主题域是如何划分的? 问题: 你在工作中和交流中,有主题域划分的例子可以分享吗? 分析: 本话题是一个发散性的话题,并没有限制太多的内容,主要是想跟大家讨论一下在工作和交流中大家都是怎么划分主题域的。 对于这个话题,我觉得群友们的讨论已经很极致了,所以下面的文章中我就根据大家讨论的情况对这个话题进行一个整理与补充一点个人的理解(站在巨人们的肩上看问题~) 关...

qq_43315928的博客 1万+

发那科FOCAS 1/2文档——核心库文件

在开始开发前,明确目标 CNC 的具体型号、连接方式(HSSB/TCP/IP)、软件版本和配置(如轴数、程序号位数),并据此正确配置开发环境和编译选项。开发时需要包含相应的头文件。这是开发跨平台应用时需要特别注意的地方。这是开发应用时必须了解的核心文件。

snailiot的博客 1019

数据仓库、主题域、主题概念与定义

一、数据仓库 关于数据仓库概念的标准定义业内认可度比较高的,是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出: 中文定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 英文定义:A data warehouse is a subject-oriented, integrated, nonvolatile, and ...

Mr.pan felix的专栏 6871

避开这些坑!baostock获取股票数据时最容易犯的5个错误(Python实战)

本文针对使用Python和baostock库获取股票历史数据时常见的五大陷阱,提供了实战解决方案。重点剖析了登录状态验证、参数配置、数据解析、批量操作效率及数据一致性校验等关键环节,帮助开发者构建稳健高效的数据获取流程,避免因细节疏忽导致的数据错误或性能瓶颈。

websocket5live的博客 1439

【G4基础08】GPS-2-Macro Commands宏命令

GPS-2

adelall的博客 3738

数仓的主题和主题域应该怎么划分?

数据仓库之父 Bill Inmon 将数据仓库描述为一个面向主题的、集成的、稳定的、反应历史变化的数据集合,用于支持管理者的决策过程。 一、前言 从上面的引言里面,我们其实可以知道主题在数仓建设里面绝对是很重要的一环,这的确是的。数仓在建设过程中,对数据的组织管理上,不仅仅要进行横向的分层,也需要根据业务情况进行纵向的主题域划分。 看到这里可能就有疑问了,上面明明说的是面向主题,怎么又突然说到主题域了,这里就延伸出主题和主题域的关系了。 下面我就围绕数仓主题、主题域以及两者之间关系、划分方式等,进行

m0_61607827的博客 4805

论文必备 - YOLOv12热力图可视化,支持指定模型,指定显示层,设置置信度,以及10种可视化实现方式

本文带来的是YOLOv12热力图可视化功能,支持,以及。我们经常看到一些论文里绘制了不同的热力图,一方面能够直观的感受其模型的有效性,另一方面也丰富了论文内容。特别是在使用了注意力模块的网络中,热力图就可以验证注意力机制是否真正聚焦到了预期的重要特征上,以便对模型的有效性和合理性进行评估。例如这篇文章中展示的,就很能够表达作者改进后的模型相比之前模型的优越性。

Limiiiing的博客 1705

一哥答疑:数据仓库如何确定主题域?

大家好,我是一哥,前几天跟一个朋友聊了一些数据中台建设的内容,针对数据仓库中主题域如何划分这个话题聊了很多。其实数据仓库建设的理论大家已经都知道了不少,也看过不少书,那么在实际建设数据仓...

数据一哥,公众号:数据社 1万+

ShowDoc item_id 未授权SQL注入漏洞复现

2024年6月,ShowDoc官方发布新版本修复了一个SQL注入漏洞。鉴于该漏洞无前置条件,易于利用,且默认情况下可暴破用户token获取系统后台权限,建议所有使用该系统的企业尽快升级修复,以确保系统安全。

0xSec 2357

RestFul API 详解

RESTful API 经常也被叫做 REST API,它是基于 REST 构建的 API。RESTful API 可以让你看到 URL+Http Method 就知道这个 URL 是干什么的,让你看到了 HTTP 状态码(status code)就知道请求结果如何。

wynn的博客 7580

数仓主题域划分

数据仓库主题域划分方法与实践 本文探讨了数据仓库建设中主题域与数据域的划分方法。主题域是从业务视角对数据进行分类的集合,可通过业务过程、部门或系统进行划分(如运输、操作等业务过程)。数据域则从技术视角管理数据。文章提出主题域划分应聚焦核心业务节点(如订单、运单等),并强调需与业务语言对齐,通过"业务大图"梳理关键流程。主题域建设需遵循"从业务中来,到业务中去"的原则,确保数据模型能反哺业务决策。合理的主题域划分能提升数据易用性、统一指标口径,并为数据仓库的分层架构提供

qq_71257020的博客 1105

【软考中级网络工程师】知识点之常用网络诊断和配置命令

本文聚焦软考中级网络工程师必备的网络诊断和配置命令,详细解析 ipconfig、ping、arp 等 11 类核心命令。涵盖各命令的功能、语法、常用参数及应用场景,如 ipconfig 查看配置、ping 测试连通性等。还通过图呈现命令执行逻辑与流程,助读者理解原理。最后结合软考考点回顾重点并提供真题练习,为备考和实际运维提供全面指导,是掌握网络命令的实用参考。

邓邓子的博客 1540

数据仓库之主题域

数据仓库的主题域(Subject Area)是按照特定业务领域或主题对数据进行分类和组织的方式。每个主题域集中反映一个特定的业务方面,使得数据分析和查询更加清晰和高效。主题域通常与企业的关键业务过程相关,能够帮助用户在数据仓库中快速找到所需的数据,进行分析和决策。

youziguo的专栏 2023

卸载python弹框报错:Could not set file security for file ‘D:\Config.Msi\abd5.rbf‘. Error: 5. Verify...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 6473

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

01 | 数据仓库主题域如何划分

主题域是面向业务分析、围绕某一核心业务过程或对象组织起来的数据集合,代表企业中一个相对独立、稳定的业务领域。主题域划分的本质,是将混沌的原始数据,转化为结构化的业务语言。✅好的主题域划分应做到业务人员能看懂(“这就是我们的交易数据”);开发人员能建模(“所有订单相关字段都在交易域”);分析师能自助(“我知道用户行为在用户域”)。通过科学的主题域设计,数仓才能真正成为企业的数据资产目录和分析基石。

走过冬季 1732

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

主题域、概念、逻辑、物理四种模型有什么区别与联系?

编辑:彭文华来 源:大数据架构师(ID:bigdata_arch)彭友萌好,我是你的老彭友。上周,有个彭友给我提了一个问题,说对主题域、概念、逻辑和物理模型不太理解,能不能解释一下。我趁...

weixin_52346300的博客 4090

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

数仓主题域与主题划分

说白了主要就是要识别出分析对象主体,做主题划分和主题域划分,个人建议是要站在全局的视角来看,然后先划分出主题域,再接着在主题域里面划分出各个主题,主题域的划分一般比较谨慎,一旦定下来了避免频繁变动,虽然数仓建设是迭代建设的,不能保证一次性初始化好,但我们的主题域划分和主题划分要尽可能地涵盖企业的所有业务,以及在新业务进来时能够无影响地被包含进来和可扩展主题域。:面向业务过程,将业务活动事件进行抽象的集合,如下单、支付、退款都是业务过程,针对公共明细层(DWD)进行主题划分。

cdfunlove的博客 1171

数据治理系列:数仓建模之数仓主题与主题域

数仓主题是什么?主题域又是什么?二者有什么区别和联系?主题与主题域如何划分?本文可以解答这些问题,

Alex的博客 5061

数据治理004-数据仓库中数据域和主题域的区别

数据域和主题域的区别

2400
上一篇: MySQL脏读不可重复读避免方法
下一篇: 数据倾斜问题及解决方法总结
走过冬季
博客等级 码龄9年 1609粉丝 341原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

走过冬季

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值