数仓搭建第三步——建立规范

最新推荐文章于 2025-04-02 18:45:41 发布
最新推荐文章于 2025-04-02 18:45:41 发布
阅读量585 收藏
点赞数
分类专栏： 大数据之路 文章标签： 数据库 sql 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36418242/article/details/127536194
版权
本文详细介绍了数仓规范的建立，包括表名字段规范、SQL编写风格、安全、测试、报警等方面。表名遵循特定格式，字段类型统一，SQL语句强调一致性与可读性，提倡简洁的表连接和适当的注释。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

建立相关规范包括但不限于表名字段、sql、安全、测试、报警、依赖、建模等规范

1 数仓表概览管理

2 数仓表明细信息管理

3 数仓表依赖关系管理

4 指标字典管理

5 表名：

ods: ods_原始表名_更新频率增量/全量_是否分区<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据仓库学习笔记 --- 数据仓库中表的命令规范
杨鑫newlife的专栏
06-11 837
数据仓库中比较核心的一个关键设计就是数据表的分层以及数据表的命名规范： 该例，以流程图的方式来展示，更加直观和易懂，本图侧重dwm层表的命名规范，其余命名是类似的道理： 1.第一个判断条件是该表的用途，是中间表、原始日志还是业务展示用的表 2.如果该表被判断为中间表，就会走入下一个判断条件：表是否有group操作 3.通过是否有grouo操作来判断该表该划分在dwd层还是dwm和dws层 ...
数仓建模—表设计规范
热门推荐
12-16 6万+
表设计规范 前面我们介绍了一些数仓的设计规范，主要围绕着数仓整体的设计以及维度建模来的，你可以参考： 数仓建模—数仓开发规范 数仓建模—事实表和维度表设计规范 我们知道数仓本质上是一堆表的集合，所以我们今天就来看一些关于表本身的一些设计问题 表的概述 表本身其实就是一组文件的集合，只不过我们赋予了它结构的概念，最终演化成了数据的组织方式。在整个数仓中从数据源到数据集成再到数据开发以及到最后的数据应用，我们都是通过表来完成的，也就是说我们的整个过程都是围绕着表来的。 我们大致有下面几类表 表（Table
数仓-数仓建设规范
认真学代码的shell
11-22 908
1.分层规范 2.表规范：命名、注释、分区、存储格式规范、字符集、空值 表规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_粒度 表分区： 在数仓中建立分区表统一用静态分区，一般建立分区表时，将ymd作为一级分区，在dws、dwd层可根据具体业务逻辑，确定使用一级分区，或多级分区。 存储格式：在数仓中建表默认用的都是PARQUET存储格式 字符集： Hadoop和hive 都是用utf-8编码的，在建表时可能涉及到中文乱码问题，所以导入的文件的字符编码统一为utf-8格式。 约定：空值
数据仓库：规范
最新发布
2402_86289011的博客
04-02 344
数据规范涵盖的内容很多。
数据仓库(7)数仓规范设计
pythonxxoo的博客
04-20 981
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。 规范定义指以维度建模作为理论基础 构建总线矩阵，划分和定义数据域、业
数仓规范
weixin_43747427的博客
09-02 687
1 设计规范 埋点规范见 数仓技术架构这个博客 分层大家也都差不多，不过流量为主的数仓就比较千奇百怪的 2 命名规范 先把常用的术语抽出来，完了统一编个名字 2.1 表的命名规范 层_主题_名字_周期 ods的标记出源系统 2.2 字段命名 2.3 脚本命名 跟产出表同名 导入导出的也标记一下 导入导出的 这个导出的应该在exp后面加上目的地(BI)，这样同一个表导出多系统也不会重名了 3 开发规范 避免耦合，方便定位错误 sql脚本注意对齐，不用tab ...
数仓搭建第二步——根据第一步招揽相关人员
esun的博客
10-26 213
数仓搭建第二步——根据第一步招揽相关人员
数仓搭建第四步——主题域划分
esun的博客
11-01 987
那么数仓产生的方法论就是将具体问题步骤化，类别化，层次化。这其中就涵盖了主题域的划分，划分主题域有利于区分数据在某一种类别或渠道的不同，让整个数仓架构清晰化，便于后期对数据的利用与开发。
从零搭建数仓第一步——明确数仓用途与目的
esun的博客
10-26 479
从零搭建数仓第一步——明确数仓用途与目的
HAWQ取代传统数仓实践（二）——搭建示例模型（MySQL、HAWQ）
testguess的专栏
04-05 374
HAWQ取代传统数仓实践（二）——搭建示例模型（MySQL、HAWQ） 一、业务场景   本系列实验将应用HAWQ数据库，为一个销售订单系统建立数据仓库。本篇说明示例的业务场景、数据仓库架构、实验环境、源和目标库的建立过程、测试数据和日期维度的生成。后面陆续进行初始数据装载、定期数据装载、调度ETL工作流自动执行、维度表技术、事实表技术、OLAP和数据可视化等实验。目的是演示以HAWQ代替传统数据...
数仓建设规范指南
胜利的曙光的博客
01-29 567
数仓建设规范指南。
数据仓库建设规范
拉格朗日的学习笔记
07-19 3838
中间表一般出现在Job中，是Job中临时存储的中间数据的表，中间表的作用域只限于当前Job执行过程中，Job一旦执行完成，该中间表的使命就完成了，是可以删除的(按照自己公司的场景自由选择，以前公司会保留几天的中间表数据，用来排查问题)。ODS层，是最接近数据源中数据的一层，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即可，至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。又称数据集市或宽表。...
简单搞定数仓搭建:数仓规范
github_36444580的博客
06-15 1770
DMP数仓规范 1. 数据模型架构规范 1.1数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。 CDM：Common Data Model，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。 DWD：D
数字化时代，如何规范化搭建数据仓库？
派可数据的博客
05-25 327
发行稿，从大面上应该不会有啥问题，但细节上可能会有考虑不周的情况，在宣讲阶段、执行阶段遇到问题阻碍的时候，应该根据实际情况对规范做出调整，唯有经过实践检验才能愈发完善，相信经过一段时间的持续实践，规范会成为组织文化的一部分，进而降低沟通成本、提高开发效率、保证交付质量，从而实现团队和个人的双赢。用通俗的话来说就是数据仓库就像一个终端的大仓库，其他小仓库的各种货品会通过各种方式统一存储到这里，然后通过仓库位置的划分、货品的摆放进行归纳分类，实现规范、标准的从存放，到分类，再到使用的完整过程。
数仓规范详解文档（推荐收藏）
数据派THU
05-22 1082
来源：大数据研习社 本文约8000字，建议阅读20分钟本文介绍了大数据数仓开发的一些规范问题。规范约束的是数仓建设的全流程，以及后续的迭代和运维。事实上，数仓规范文档，应该随着架构设计文档，在数仓开发启动之前，分发给所有相关人员，且是所有人都必须严格遵守的约定。为什么要有规范？俗话说的好，无规矩不成方圆，没有规范岂不乱套了? 个人觉得，规范是为了解决团体作战中的效率和协同问题，是对最终交付质量的有...
Doris 数仓使用规范（经验版）
十八闲客的博客,专注于大数据运维
08-10 170
对于历史数据，如果数据量比较小我们可以创建历史分区（比如年分区，月分区），将所有历史数据放到对应分区里。类似这样通过Hint方式去设置Session 会话变量，不要设置全局的系统变量。【强制】数据库字符集指定utf-8，并且只支持utf-8。4. 使用PrepareStatement模板。
数仓入门基础-6-数仓规范
renzhixin1314的博客
07-24 1354
数仓规范，看似是无关紧要，实则是数仓实施最重要要素，也是衡量数仓标准的重要条件，有了规范，才能尽可能避免一些坑。 1.模型分层 数仓入门基础-5-数仓建模 2.表命名规范 ods层：数据引入层 日志类非结构化表：ods_[数据域]_ [自定义内容]_ [刷新频率] 业务库结构化同步表：ods_[数据域]_ [业务库名]_ [表名]_[刷新频率] dwd层：...
2.数据仓库之事实表设计规则
有信仰的蜗牛
09-14 2414
1.事实表特性 事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程度量来表达业务过程。包含了引用的维度和业务过程相关的度量。 事实表中一条记录所表达的业务细节程度被称之为粒度。通常粒度可以通过两种方式来表达：一种是维度属性组合所表达的细节程度；一种是所表示的业务具体含义。 作为度量业务过程的事实，一般为整型或浮点型的十进制的数值，有可加性，半可加性和不可加性三种...
数据库建表规范?
sinat_39393179的博客
11-14 574
（1）InnoDB禁止使用外键约束，可以通过程序层面保证。 （2）存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。 （3）整型定义中无需定义显示宽度，比如：使用INT，而不是INT(4)。 （4）不建议使用ENUM类型，可使用TINYINT来代替。 （5）尽可能不使用TEXT、BLOB类型，如果必须使用，建议将过大字段或是不常用的描述型较大字段拆分到其他表中；另外，禁止...
电商数仓用户行为数据仓库搭建与命名规范
总的来说，在本次大数据项目中，我们对电商数仓中的用户行为数据仓库进行了详细的规划和设计，包括了数仓分层概念的应用、数据集市和数据仓库的概念介绍、数仓命名规范的制定，以及数仓搭建环境的准备工作。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值