dataphin规范建模-维度

本文介绍了如何在Dataphin中创建和管理维度逻辑表,包括普通维度表的创建步骤,如业务对象的选择、字段的引入与配置、调度参数设置,以及后续的修改和关联其他维度表的操作。此外,还提及了维度表的四种类型及其应用场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

创建配置普通维度逻辑表

创建维度逻辑表

修改和关联维度表

小结


创建配置普通维度逻辑表

普通维度逻辑表用于描述实体对象,包含对实体对象的各方面描述。例如会员普通维度逻辑表,包含会员名称、 会员ID、会员邮件等数据

创建维度逻辑表

        1.在Dataphin首页,单击顶部菜单栏的研发研。 默认进入数据开发页面。

        2.在数据开发页面,按照下图操作指引,进入新建维度逻辑表配置页面

        3.新建维度页面如下所示,配置参数后,点击确定

        4.业务对象选择普通对象,点击新增

        5.创建普通对象,填写实体名称、编码,选择实体类型为“业务对象/普通对象”,选择主题域,点击确定.

         6.创建业务实体成功如下所示,点击发布,即可上线成功

        7.返回创建维度表页面,重新创建维度逻辑表模块,新建维度表,如下所示,填写相关配置,点击确定

        8.点击引入字段,选择区域的实体表,将所需的维度字段引入,点击添加

         9.按照提示配置计算逻辑,点击下一步

        10.调度和参数配置设置,可以点击自动解析,也可手动选择相应的上游依赖以及物理表,保存并且提交 

         11.最后提交并且发布该维度逻辑表,发不成功即可在维度逻辑表中看到自己创建的维度表

 

修改和关联维度表

        1.如下图所示点击维度表右上角,在点击编辑按钮,即可修改维度表.

         2.点击编辑,即可修改维度逻辑表,可以引入新的字段、自定义添加字段、删除原有的字段、配置字段类型及字段类别等数据,修改完毕之后重新保存发布即可

        3.添加关联维度,在编辑页面点击关联维度按钮

        4.选择需要关联的实体以及现有的维度逻辑表,点击确定即可

        5.保存,提交并且发不成功,即关联维度成功

小结

维度逻辑表主要包括普通对象、层级对象、枚举对象、虚拟对象4种类型,分别对应普通维度表、层级维度表、枚举维度表和虚拟维度表四种不同类型的维度表,具体需要哪种类型的维度表,依据项目过程中具体的需求来定,创建方式和普通维度表一致.

<think>好的,我现在需要帮助用户了解数据仓库建模的选择方法和最佳实践。首先,用户提到了Inmon和Kimball两种理论,我需要先回顾一下这两种方法的区别和适用场景。根据引用[2],Inmon是自上而下,按主题构建数据仓库,强调集成和稳定性;而Kimball是自下而上,使用维度建模,通过事实表和维度表快速构建数据集市。用户可能想知道在什么情况下选择哪种方法,以及如何结合使用。 接下来,用户需要选型指南和最佳实践。我应该结合引用中的内容,比如技术架构选型(引用[1])、分层设计(引用[3])、ETL/ELT(引用[4])等。可能需要分步骤说明,比如明确需求、选择建模方法、分层设计、技术工具选型、数据治理等。 还要注意用户提到的阿里云产品,如MaxCompute和DataWorks,这些在技术选型部分可以作为例子,说明如何应用理论到实际工具中。另外,数据仓库的分层结构,如ODS、DWD、DWS等,需要详细解释,并结合引用[3]中的分层案例。 最后,生成相关问题时要覆盖用户可能关心的点,如方法对比、工具选择、分层优化、性能提升和数据治理等。确保引用正确,比如Inmon和Kimball的不同点来自引用[2],分层参考引用[3],ETL部分来自引用[4]。 需要确保回答结构清晰,分点列出步骤和考虑因素,同时语言简洁,符合用户要求的中文回答。检查是否有遗漏的关键点,比如是否提到了混合方法,或者数据治理的重要性。另外,确保所有数学表达式或公式正确使用LaTeX格式,但根据用户当前的问题,可能数学内容不多,但如果有的话要正确应用。</think>### 数据仓库建模选型指南与最佳实践 #### 一、数据仓库建模方法选型 1. **Inmon范式建模(自上而下)** - **适用场景**:企业级统一数据视图、强调整合性和稳定性,适用于复杂业务体系和大规模数据治理需求[^2]。 - **核心步骤**: 1. 定义企业级主题域(如客户、产品、供应商); 2. 构建标准化3NF模型; 3. 基于主题逐步扩展数据集市。 - **优点**:数据冗余低、一致性高,适合长期迭代。 2. **Kimball维度建模(自下而上)** - **适用场景**:快速响应业务需求,面向分析场景(如销售分析、用户行为分析)。 - **核心要素**: - **事实表**:记录业务过程度量值(如订单金额),设计需明确粒度; - **维度表**:描述业务上下文(如时间、地点),支持上卷下钻分析。 - **优点**:查询性能高,开发周期短。 3. **混合模式** - **方法**:在核心层采用Inmon范式建模保障一致性,在应用层使用Kimball维度建模支持灵活分析[^3]。 - **典型案例**:阿里云Dataphin支持混合分层设计,底层使用规范化模型,上层构建宽表集市。 --- #### 二、数仓设计最佳实践步骤 1. **明确业务目标与技术需求** - 定义分析场景(如实时监控、历史趋势分析); - 评估数据规模(如每日增量、历史数据保留策略); - 确定技术架构(如阿里云MaxCompute + DataWorks的批处理体系)[^1]。 2. **分层架构设计** - **参考分层模型**: | 层级 | 作用 | 技术实现示例 | |---|---|---| | ODS | 原始数据接入 | MaxCompute表存储原始日志 | | DWD | 清洗与标准化 | 使用DataWorks进行脏数据过滤 | | DWS | 轻度汇总 | 构建跨主题的聚合宽表 | | ADS | 应用集市 | 按业务线输出分析结果 | 3. **建模工具与流程选择** - **ETL vs ELT**: - ETL(传统方式):在数据加载前转换,适合结构化数据处理[^4]; - ELT(现代方式):利用大数据平台计算能力(如MaxCompute SQL),适合非结构化数据。 4. **一致性维度管理** - 建立全局维度(如统一时间维度表); - 使用代理键替代业务主键,解决缓慢变化维问题。 --- #### 三、典型技术选型建议 | 需求类型 | 推荐方案 | 优势 | |---|---|---| | 企业级复杂建模 | Inmon + 混合分层 | 适应多业务线扩展 | | 敏捷分析场景 | Kimball + 星型模型 | 快速响应业务需求 | | 实时数仓 | Lambda架构 + 维度建模 | 平衡实时性与一致性 | ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值