数仓开发和中间表的区别是什么？

最新推荐文章于 2024-05-31 17:25:17 发布
原创 最新推荐文章于 2024-05-31 17:25:17 发布 · 350 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数仓开发 #中间表

数仓开发和中间表的区别是什么？

‍

子清.
关注
数仓项目实战04:中间层和维表层
qq_28286027的博客
07-01 741
3.维表层 中文含义 MYSQL表名 HIVE表名 商品分类表 nshop.category dim_nshop.dim_pub_category 店铺表 nshop.supplier dim_nshop.dim_pub_supplier 商品表 nshop.product dim_nshop.dim_pub_product 页面布局表 nshop.page_dim dim_nshop.dim_pub_page 通用字典表 nshop comm_dim dim nshop d
京东数仓面试提问：数仓中应用层怎么设计？应用层和汇总层的区别是什么？
石榴姐yyds
06-11 331
特征汇总层 (DWS) -应用层 (ADS) -应用层 (ADS) -核心目标提供用户日粒度按类目订单行为的通用基础数据满足每日订单看板的最终展示需求满足风控模型对用户近7天订单明细行为特征的需求数据来源主要来自 DWD (订单, 用户, 商品) + DIM (类目)主要来自 DWS (跨主题：DWD (订单, 用户, 地址, 登录, 商品) +DWS(历史次数) + DIM (类目)模型特点星型/宽表，轻度汇总(用户+日+类目)，轻度去规范化高度聚合宽表 (日+类目)，极度去规范化，指标定制。
[数据库]关于数据库中间件与数据仓库的比较
weixin_30786657的博客
05-23 260
之前在一个数据库群里看到一个年轻人计划自己开发一个数据库中间件。 第一次看到中间件这个概念，感觉(事实上也)是个很高级的应用。 当时以为中间件会隐去对源数据库的访问，对外统一一个查询接口。这样就可以解决，对于异构数据库，每次索引都需要去对应数据库进行查询，然后再聚合的问题。 刚好今天看到数据仓库方面的内容，看到了对中间件(mediator)的说明，以及其与数据仓库概念的对比。 [原文...
（4）数仓建设-数据仓库命名规则
allensandy的博客
09-28 5712
目录 1.表属性规范-1 1.常规表 2.中间表 3.临时表 4.维度表 5.手工表 6.指标 2.表属性规范-2 1.ODS层表名　 2.DW事实表表名 3.DW/DM维度表表名 4.元数据表名 3.其他数据库对象 1.表属性规范-1 1.常规表 常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。 规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_粒度。 业务域、主题域我们都可以用词根的方式枚举清楚，不断完善，粒度也.
中间表是什么？和报表有什么关系？会带来怎样的问题？又如何解决？
rqgxy的博客
07-07 4634
在数据库中有一类用于保存中间计算结果的物理表，通常被称为“中间表”。中间表主要跟 OLAP（在线联机分析）业务有关，产生的原因主要有以下几方面。 中间表来源 1. 计算逻辑复杂 在 OLAP（报表或查询）业务中，有些计算逻辑很复杂，每次都从头写会导致报表开发过于繁琐，而且有的计算用 SQL 很难写出来。这时会采用中间表事先计算好，再基于预计算的中间结果开发报表。 计算逻辑复杂常见于报表业务中，以固定报表最为常见；多维分析则比较少见。 2. 查询性能差 当查询涉及的数据量很大或者计算逻辑很复杂时查
数据仓库建设过程的8个建议
ytp552200ytp的博客
03-31 518
问题导读1.数据仓库和数据平台有什么区别？2.为何提前规划你的数据仓库？3.文档有什么作用？前言大数据时代，作为数据的掌握者，我们不仅要更好地使用数据，也要更好地管理数据。而数据仓库正是这样一套管理和组织数据的解决方案。本文试图从一种经验的角度来描述在数据仓库建设中的会遇到的各种坑和需要注意的关键点，希望以此帮助踏上数据仓库之路的小伙伴们。注意：本文不会详细地解释数据仓库的各个概念，亦不会给出各种...
数仓建模—事实表和维度表设计规范
2401_84052244的博客
05-01 3143
建议对所有的表加上别名。一旦在SELECT语句中对表定义了别名，在整个语句中对此表的引用都必须以别名替代。考虑到编写代码的便捷性，约定别名尽量简洁，同时避免使用关键字。表别名采用简单字符命名。多层次的嵌套子查询，在别名之前要体现层次关系。SQL语句别名或分层的命名，从第一层次至第四层次，分别用P、S、U、D表示，取意为Part，Segment，Unit，Detail。也可用a、b、c、d来表示第一层次到第四层次。对于同一层次的多个子句，可以在字母后加1、2、3、4区分。必要时，为表别名添加注释。
离线数仓和实时数仓的区别
weixin_49880348的博客
02-27 6575
作者介绍 @车云祥 大宇无限 数据产品负责人 主要负责全公司底层数据治理，构建统一指标体系； 主导 BI 系统、用户画像系统、广告投放平台、广告流量优化等设计工作； 推动 Snaptube、LarkPlayer、Zapee 等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长； “数据人创作者联盟”成员。 01数仓架构演变 20世纪70年代，MIT(麻省理工)的研究员致力于..
数仓开发ETL实用脚本工具
04-01
这里提到的"数仓开发ETL实用脚本工具"集合是一系列用于优化数据开发流程的脚本，主要针对Hive数据仓库。这些脚本能够提升开发效率，解决常见问题，适应不同的项目需求。 1. **ods2dwd_batch.sh**：这是一个从操作...
数据仓库（三）：数仓开发
Trisyp的博客
05-31 1851
数仓开发
关于数据仓库分层设计
kuangfeng88588的博客
07-01 1003
前言： 不是做数仓的，但是也需要了解数仓的知识。 其实分层好多因人而异，问了同事好多分层的区别也不是很清晰。 所以后续有机会还是跟数仓的同事碰一下吧~ 一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净
Flink 实时数仓-思考与总结
qq_31866793的博客
02-12 7710
1，什么是Flink实时数仓。 大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。 实时数仓大家可以理解为数据都存储在kafka，Flink消费kafka的数据然后进行逻辑处理，然后再下发到kafka，这么延迟是秒或者分钟级别的，对于不同的业务效果更好，更实时。 2，为什么要做实时数仓呢？ 我的理...
场景下理解维度表，事实表，中间表
Saint
07-18 6821
今天详细介绍一下数据仓库中的维度表，事实表与中间表： 什么是数据仓库？ 数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。提数据仓库不得不提一下关系型数据库，关系型数据库主要是用来支撑即时操作，对数据库的性能和质量要求都比较高，通常设计操作型数据库的都要遵循3F范式的约束，具有ACID特性；而数据仓库的数据是来源于即时操作产生的数据，数据仓库的特征在于面向主题、集成性...
【数仓】数据仓库的建设（二）
lsr40的博客
04-20 2631
前言： 前文说了一些数据仓库的基础概念和模型，本文继续往下说吧！ 【数仓】数据仓库的思考（一）：https://blog.youkuaiyun.com/lsr40/article/details/105576047 1、数仓的目标（能完成什么事情） 当工作中遇到以下的事情： -1.数据分层混乱，不知道从何查起 -2.数据指标维度不统一，业务/数据分析部门要数据，只能找数据开发口口相传 -2...
数据表设计：中间表——多对多关系E-R图转换
热门推荐
vainfanfan的博客
06-04 7万+
设计数据表，遇到一个很常见的情况。一、中间表-多对多关系的转化实际中，经常存在多对多关系。以订单和商品为例，一个订单对应多个商品，一个商品也对应多个订单。此时在将E-R图转化为关系模型时，需要引入中间表（也叫做连接表）。中间表包含两个实体表的主键，建立两张表沟通。中间表也可以有普通字段。例如商品数量，和每种商品总和。注意：要把他们与实体表中字段含义区分开。参考连接：https://zhidao.b...
数仓之事实表和维度表（一）
weixin_42478648的博客
12-27 1万+
事实表： 事务事实表：（->明细事实表->聚合事实表） 记录的是事务层面的事实，保存的是最原子的数据，也叫做“原子事实表”。事务事实表中的数据在事务事件发生后产生，数据的粒度通常是每个事务一条记录。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。 明细事实表（单事件事实表，流程事实表）： 一般位于DWD层，该层事实表设计不进行聚合，汇总等动作，仅做数据规范化...
数据仓库的基本架构
我的Oracle DBA之路
05-14 2257
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 　　从图中可以看出数据仓库的数据来源
HiveSQL内部表和外部表有什么区别？
最新发布
09-10
<think> 嗯，用户想了解HiveSQL内部表和外部表的区别，这个问题在大数据领域很基础但非常重要。从用户提供的引用来看，ta可能正在学习Hive或准备数据处理工作，需要明确两者的核心差异。 用户引用的资料已经覆盖了关键点：引用[1][3]提到数据存储和生命周期差异，引用[2]强调设计决策的重要性，引用[4]具体说明操作语法，引用[5]则给出转换方法。不过用户可能更需要系统化的对比，而非零散的知识点。 考虑到用户上次的提问规范（要求中文回答、LaTeX格式等），我会把区别整理成结构化表格，这样更直观。特别要注意几个技术细节： - 元数据存储位置（Hive Metastore） - 数据生命周期（DROP TABLE时的行为差异） - 业务场景选择依据 用户可能隐含的需求是希望知道如何选择，所以除了基本区别，还需要补充典型应用场景。比如临时数据集用内部表，而数仓原始层用外部表会更安全。 对了，引用[4]提到外部表修改路径的语法（SET LOCATION），这个需要强调，因为实际运维中经常要迁移数据。还有转换操作（引用[5]）要单独说明，很多人不知道内部表和外部表可以互相转换。 最后生成的问题要侧重实操：优化、权限管理这些在文档里很少提及，但实际开发中经常遇到。特别添加了ACID支持的问题，因为Hive 3.x之后事务支持变化较大。 </think> Hive 内部表与外部表的本质区别在于数据的**生命周期管理权**和存储位置控制权，以下是核心区别及使用建议： --- ### **核心区别对比** | **特性** | **内部表 (Managed Table)** | **外部表 (External Table)** | |------------------------|------------------------------------|-------------------------------------| | **数据管理权** | Hive 完全管理数据生命周期 | Hive 仅管理元数据，数据由外部系统管理 | | **创建语法** | `CREATE TABLE table_name ...` | `CREATE EXTERNAL TABLE table_name ...` | | **DROP TABLE 行为** | **删除元数据+数据文件** [^1][^3] | **仅删除元数据，数据文件保留** [^3][^4] | | **数据存储位置** | 默认在 `hive.metastore.warehouse.dir` 路径 | 需手动指定路径（`LOCATION 'hdfs_path'`）[^4] | | **适用场景** | 中间表/临时表，生命周期短的数据 | 原始数据/多系统共享数据，需长期保留 [^2][^3] | --- ### **详细说明** 1. **数据删除风险** - **内部表**：执行 `DROP TABLE` 时，**HDFS 数据文件会被自动删除**。若未备份可能导致数据永久丢失 [^1][^3]。 - **外部表**：`DROP TABLE` 仅删除元数据（如表结构），**HDFS 数据文件仍然保留**，其他系统可继续使用 [^4]。 2. **数据共享与迁移** - **外部表**更适合多系统协作（如 Spark、Impala），数据路径由外部指定，避免重复存储 [^2][^3]。 - **内部表**数据迁移时需额外导出步骤，否则删除表会导致数据消失。 3. **转换操作** - **外部表 → 内部表**： ```sql ALTER TABLE external_table SET TBLPROPERTIES ('EXTERNAL'='FALSE'); ``` *（转换后 Hive 将接管数据生命周期）* [^5] - **内部表 → 外部表**： ```sql ALTER TABLE managed_table SET TBLPROPERTIES ('EXTERNAL'='TRUE'); ``` *（转换后需手动指定 `LOCATION` 以关联现有数据）* [^5] 4. **分区操作** 两类表均支持分区，但**外部表的分区数据需手动维护**（如 `ALTER TABLE ... ADD PARTITION` 需指定分区路径）[^4]。 --- ### **选择建议** - **优先外部表**： 原始数据（如日志、增量数据）、跨团队共享数据、需长期保留的数据 [^2][^3]。 - **使用内部表**： 中间计算结果、临时表、ETL 过程临时存储 [^3]。 > **案例**：假设 HDFS 已有 `/user/data/sales` 目录存储销售数据，需被 Hive 和 Spark 共用： > ```sql > CREATE EXTERNAL TABLE sales ( > product_id STRING, > amount DECIMAL > ) LOCATION '/user/data/sales'; -- 直接关联现有数据 > ``` --- **注意事项** - 修改外部表路径时使用： ```sql ALTER TABLE sales SET LOCATION '/new/data/path'; ``` 避免手动删除 HDFS 文件导致数据丢失 [^4]。 - 内部表误删无法恢复，**重要数据务必使用外部表**！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值