数据仓库——ODS/stg层数据漂移问题

最新推荐文章于 2025-10-13 17:34:21 发布
原创 最新推荐文章于 2025-10-13 17:34:21 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

数据漂移是ODS层常见的问题，表现为同一业务日期数据混入前后天数据或丢失当日更新。处理方法包括多获取后一天数据及利用时间戳字段精确限制时间。

数据仓库——ODS/stg层数据漂移问题

数据漂移是ODS数据的一个顽疾，通常是指ODS表的同一个业务日期数据中包含前一天或后一天凌晨附近的数据或者丢失当天变更数据。

数据漂移的处理方式：
1）多获取后一天的数据
2）通过多个时间戳字段限制时间来获取相对准确的数据。

数据仓库--通用的数据仓库分层方法？为何分层？ODS/ DW/DWD/DWS/APP
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-20 2378
0x00 概述 数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。 因此，本文将指出一种通用的数据仓库分层方法，具体包含如下内容： 介绍数据分层的作用 提出一种通用的数据分层设计，以及分层设计的原则 举出具体的例子说明 提出可落地的实践意见 0x01 数据分层？ “为什么要设计数据分层？” 这应该是数据仓库同学在设计
8.数据仓库之ODS层搭建
Mmj666的博客
07-14 1830
8.数据仓库之ODS层搭建
浅谈数据仓库 （三） 数据漂移处理
weixin_39714046的博客
06-25 7382
前言 我们是一个做传统会员管理CRM的团队，应用数据的级别比较高，过去会存在这样一种现象，T+1 财务报表，运营统计各类报表 的指标偶尔会和商户的自己记录用户消费储值记录会有出入，后来了解到，我们系统中存在很严重的数据漂移问题，这也是dw系统或者ods来说普遍存在的问题，今天我们好好聊下该如何解决数据漂移问题 数据漂移产生的原因 通常我们把从源系统同步进入数据仓库的第一层数据成为ODS层数据，我...
【数据仓库】数据漂移的处理
weixin_42496757的博客
11-23 3778
本文摘自《大数据之路：阿里巴巴大数据实践》。 数据漂移的处理 通常我们把从源系统同步进人数据仓库的第一层数据称为ODS或者staging层数据，阿里巴巴统称为ODS。数据漂移是ODS数据的一个顽疾，通常是指ODS表的同一个业务日期数据中包含前一天或后一天凌晨附近的数据或者丢失当天的变更数据。 由于ODS需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的ODS表按时间段来切分进行分区存储，通常的做法是按某些时间戳字段来切分，而实际上往往由于时间戳字段的准确性问题导致发生数据漂移。 通常
Python机器学习项目避坑大全（20年经验总结）：这8个致命错误你绝不能犯
ProceGlow的博客
10-13 404
避免踩坑，提升效率！本文总结20年经验，针对python机器学习项目中常见的8个致命错误，涵盖数据预处理、模型选择与部署等关键环节。实用解决方案助你少走弯路，项目更稳定高效，值得收藏。
对数据漂移的一些小思考
真新镇的涅法雷姆
08-03 5931
一、前言 最近在ETL工作中遇到了一些数据漂移的问题，写在这里权当做一个记录以及自己的一些思考。 二、什么是数据漂移 通常我们把从源系统同步进入数据仓库的第一层数据成为ODS层，数据漂移是一个很容易发生的现象。通常指ODS的表在同一个业务日期数据中包含前一天或者后一天凌晨附近的数据或者丢失当天的变更数据。 在大数据领域有另外一个东西名字很相近，叫数据倾斜。当然他们完全不是一码事，关于数据倾斜的问题...
数仓 数据漂移问题解决
在知识的海洋里冲浪
03-03 1982
Flume与HDFS落盘时数据漂移问题
大数据面试之离线数仓--数据零点漂移问题
tianxingcheng的博客
08-25 1790
数据零点漂移问题是指数据在时间上出现了偏差，导致数据的准确性受到影响。在离线数仓中，数据的零点通常是指ETL（抽取、转换、加载）过程中的时间点，即数据被抽取到数仓的时间点。1. ETL过程中的延迟。如果ETL过程花费的时间超过了预期，那么数据的零点就会向后移动，从而导致数据零点漂移问题。如果数据源本身存在延迟，那么数据会比数仓中的零点时间晚到达，从而导致数据零点漂移问题。如果数据源和数仓所处的时区不同，那么就可能导致数据零点漂移问题。规范数据源和数仓所处的时区，避免时区差异导致的数据零点漂移问题。
数据仓库分层设计：ODS/DWD/DWS/ADS总结
DataLaneYoker
09-05 1475
数据分层架构设计是数据仓库建设的核心环节，采用ODS（原始数据层）、DWD（明细数据层）、DWS（汇总数据层）和ADS（应用数据层）四层结构。各层职责明确：ODS保留源系统原始数据，仅做技术处理；DWD进行业务清洗和维度退化；DWS按主题聚合通用指标；ADS面向具体应用场景。关键原则包括严格单向数据流动、指标口径一致性和分层边界把控，避免过度分层和层间耦合。随着技术发展，分层架构正与DataMesh、实时计算等新范式融合，需要在标准化与灵活性间保持平衡。良好的分层设计应像城市规划，功能区划分清晰且具备扩展弹
数据仓库ODS层详解- 功能、设计与最佳实践
热门推荐
一个8年大数据开发工程师的碎碎念
07-28 1万+
数据仓库ODS层是大数据分析的基石,为企业决策提供可靠数据源。本文深入探讨ODS层设计原则、实施要点和最佳实践,涵盖金融、零售等行业应用。重点关注云环境下ODS层部署策略,以及实时数据集成、数据湖技术等创新趋势。文章还分析了数据体量增长、实时性需求等挑战,提供实用解决方案。whether助您构建高效、安全、可扩展的ODS层,为数字化转型奠定坚实基础。#数据仓库 #ODS层 #大数据分析 #云计算 #数据湖
一文读懂数据仓库ODS层
oOBubbleX的博客
06-21 2740
数据仓库一般分为三层，分别为数据贴源层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。其中CDM层又分为DWD明细层、DWS轻度汇总层和DIM维度层。本文从设计思路、主要作用、面临挑战等方面对数据仓库ODS层进行了介绍和说明。
实时数仓ETL高级特性实战-采集漂移数据到Hive和Impala
daydaylearn的专栏
04-26 493
数据漂移，即数据结构和语义不断的计划外改变，是数据工程师长期面临的问题。模式更改可能会破坏集成，在最坏的情况下，会无声地在系统中传播坏数据，并导致基于错误分析做出决策。 在过去，数据工程师必须手动对漂移做出反应——在输入的模式中寻找变化，手动修改Hive表，并重新提交修改过的数据接入作业。StreamSets数据收集器漂移同步特性通过近乎实时地自动创建和修改表来解决模式漂移问题，使数据立即准备好供终端用户使用。本教程将带领您为一个简单的用例设置漂移同步。 场景是这样的:我们想要从关系数据库中的一个表中获
数据仓库：如何解决ODS数据零点漂移问题
学习记录
04-28 4283
数据零点漂移指的是数据同步过程中，ODS表按时间字段分区时，同一个业务日期(分区)包含前一天的数据或丢失了当天的数据、或者包含后一天凌晨附近的数据。由于ODS需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的ODS表按时间段来切分进行分区存储，通常的做法是按某些时间戳字段来切分，而实际上往往由于时间戳字段的准确性问题导致发生数据漂移。1）这里讲的漂移是指ODS表按照某个字段分区会存在数据漂移现象，如果是全量抽取数据数据会存在该问题吗？全量抽取是否是延迟零点过几分去执行抽取？
数据漂移的理解
qq_43118086的博客
05-17 7386
数据漂移的概念： 同一业务日期下的数据包含了不属于该业务日期的数据（上一天数据漂移到当天，或者当天数据漂移到下一天）或者缺失了该业务日期数据或该业务日期下的数据非最新 数仓常用4个时间介绍 （1）数据库表中用于记录具体业务过程发生时间的时间戳字段（假设这类字段叫create_time）； （2）数据库表中用来表示数据记录更新时间的时间戳字段（假设这类字段叫update_time）； （3）数据库日志表中用来表示数据记录更新时间的时间戳字段（假设这类字段叫log_time）； （4）标识数据记录被抽取到时间的
对数据漂移处理的一点理解
weixin_41608066的博客
05-20 3681
《大数据之路》一书中对数据漂移的处理是这么说的： 数据漂移的处理 通常我们把从源系统同步进人数据仓库的第一层数据称为 ODS或者staging 层数据，阿里巴巴统称为 ODS 。数据漂移是 ODS 数据的一个顽疾，通常是指 ODS 表的同一个业务日期数据中包含前一天或后凌晨附近的数据或者丢失当天的变更数据。 由于 ODS 需要承接面向历史的细节数据查询需求，这就需要物理落地到数据仓库的 ODS 表按时间段来切分进行分区存储 ，通常的做法是按某些时间戳字段来切分，而实际上往往由于时间戳字段的准确性问题导致发生
dataframe pandas 取得当前时间段的后一个时间点数据
a5601564的博客
09-28 2916
数据从星期一到星期五的日线数据形成周线数据，然后想定位到所对应的周线数据的情况，就可以通过 backfill参数实现。 data_day_df.index.get_loc(current_kline.open_time, method='backfill') open_time为当前的日线级数据。运算后得到周线数据。 ...
马蜂窝数据中台起步建设：数仓的架构、模型与应用
CarloPan的博客
11-04 819
转载自：https://www.donews.com/news/detail/4/3088345.html 一、马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台化的思路，将数据更好地进行整合与统一，以组件化的方...
existed hive ods_数据仓库之Hive快速入门 - 离线&实时数仓架构
weixin_39658474的博客
12-21 422
数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL(Extract(抽取)、Transform(转换)、Load(加载))理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计...
创建ods/dw/dm层账号，模拟三层数据仓库；
最新发布
10-24
<think>我们正在模拟三层数据仓库架构：ODS层（操作数据存储）、DW层（数据仓库，可能包括DWD明细层和DWS汇总层）、DM层（数据集市）。需要创建三层账号，并模拟数据在这些层之间的流转。 根据引用[1]和[2]，我们可以了解到： - ODS层存储原始数据，接近源系统。 - DW层（可能包含DWD和DWS）进行数据整合、清洗和汇总。 - DM层是为特定业务需求构建的数据集市，通常从DW层加工而来。 我们需要创建三层账号，并模拟数据从ODS->DW->DM的流转。 步骤： 1. 创建三个账号（或三个数据库）分别代表ODS、DW、DM层。 2. 在ODS层创建表，模拟源数据。 3. 在DW层创建表，从ODS层抽取、转换、加载数据（ETL）。 4. 在DM层创建表，从DW层汇总数据，面向业务分析。 模拟示例： 假设我们有一个简单的业务：记录国家、城市、人口（参考引用[4]的表结构）。 具体步骤： 1. 创建三层账号（或三个数据库）： - 创建ods_account，拥有ODS数据库的权限。 - 创建dw_account，拥有DW数据库的权限。 - 创建dm_account，拥有DM数据库的权限。 2. 在ODS层（ods_db）中创建表country_city_people，并插入模拟数据（模拟源系统数据）： ```sql CREATE DATABASE IF NOT EXISTS ods_db; CREATE TABLE ods_db.country_city_people ( country VARCHAR(255), city VARCHAR(255), people INT ); INSERT INTO ods_db.country_city_people VALUES ('China', 'Beijing', 21540000), ('China', 'Shanghai', 24240000), ('USA', 'New York', 8419000); ``` 3. 在DW层（dw_db）中创建表，这里我们假设DW层需要存储清洗后的数据，并增加一个区域字段（例如，将国家归类到洲）： ```sql CREATE DATABASE IF NOT EXISTS dw_db; CREATE TABLE dw_db.dim_location ( country VARCHAR(255), city VARCHAR(255), people INT, continent VARCHAR(50) -- 新增字段，表示洲 ); ``` 然后编写ETL脚本（这里用SQL模拟），将ODS层数据转换并插入DW层。注意：实际ETL过程可能更复杂，这里简化。 ```sql -- ETL过程：从ODS层抽取，转换（这里我们根据国家设置洲），加载到DW层 INSERT INTO dw_db.dim_location SELECT country, city, people, CASE WHEN country = 'China' THEN 'Asia' WHEN country = 'USA' THEN 'North America' ELSE 'Other' END AS continent FROM ods_db.country_city_people; ``` 4. 在DM层（dm_db）中创建表，面向业务分析，例如：按国家汇总人口： ```sql CREATE DATABASE IF NOT EXISTS dm_db; CREATE TABLE dm_db.country_summary ( country VARCHAR(255), total_people INT, continent VARCHAR(50) ); -- 从DW层汇总数据 INSERT INTO dm_db.country_summary SELECT country, SUM(people) AS total_people, MAX(continent) AS continent -- 假设同一个国家在同一洲 FROM dw_db.dim_location GROUP BY country; ``` 5. 账号权限分配： - ods_account：授予对ods_db的读写权限，用于接收源系统数据。 - dw_account：授予对dw_db的读写权限，同时授予读取ods_db的权限（用于ETL抽取）。 - dm_account：授予对dm_db的读写权限，同时授予读取dw_db的权限（用于从DW层抽取数据）。 创建账号并授权的SQL示例（以MySQL为例）： ```sql -- 创建ODS层账号 CREATE USER 'ods_user'@'%' IDENTIFIED BY 'ods_password'; GRANT ALL PRIVILEGES ON ods_db.* TO 'ods_user'@'%'; -- 创建DW层账号 CREATE USER 'dw_user'@'%' IDENTIFIED BY 'dw_password'; GRANT ALL PRIVILEGES ON dw_db.* TO 'dw_user'@'%'; GRANT SELECT ON ods_db.* TO 'dw_user'@'%'; -- 允许从ODS层读取 -- 创建DM层账号 CREATE USER 'dm_user'@'%' IDENTIFIED BY 'dm_password'; GRANT ALL PRIVILEGES ON dm_db.* TO 'dm_user'@'%'; GRANT SELECT ON dw_db.* TO 'dm_user'@'%'; -- 允许从DW层读取 ``` 这样，我们就模拟了三层数据仓库的账号创建和数据流转过程。 注意：实际环境中，ETL过程可能使用专门的ETL工具（如DataX、Kettle、Flink等）或编写Spark任务等，这里用SQL模拟。 根据引用[2]，我们还可以考虑使用Iceberg这样的表格式来构建湖仓一体，但这里我们使用传统的关系型数据库（如MySQL）来模拟。 总结：我们通过创建三个数据库（ods_db, dw_db, dm_db）和对应的三个账号（ods_user, dw_user, dm_user）来模拟三层数据仓库。数据从ODS层经过ETL进入DW层，再从DW层汇总进入DM层。 §§相关问题§§ 1. 数据仓库分层中，ODS层和DW层的主要区别是什么？ 2. 如何优化从ODS层到DW层的数据抽取过程？ 3. 在数据仓库中，数据集市（DM层）通常服务于哪些业务场景？ </think>### 创建ODS、DW、DM层账号及模拟数据仓库流程 #### **1. 创建三层账号（MySQL示例）** 分层账号需遵循最小权限原则： ```sql -- ODS层账号（仅操作原始数据） CREATE USER 'ods_user'@'%' IDENTIFIED BY 'ods_password'; GRANT SELECT, INSERT, UPDATE ON source_system.* TO 'ods_user'@'%'; -- 仅限源系统库[^3] -- DW层账号（数据处理与整合） CREATE USER 'dw_user'@'%' IDENTIFIED BY 'dw_password'; GRANT SELECT ON ods_db.* TO 'dw_user'@'%'; -- 读取ODS层 GRANT ALL ON dw_db.* TO 'dw_user'@'%'; -- 全权操作DW层 -- DM层账号（集市层数据分析） CREATE USER 'dm_user'@'%' IDENTIFIED BY 'dm_password'; GRANT SELECT ON dw_db.* TO 'dm_user'@'%'; -- 读取DW层 GRANT ALL ON dm_db.* TO 'dm_user'@'%'; -- 全权操作DM层 FLUSH PRIVILEGES; ``` #### **2. 模拟三层数据流转** **ODS层** → **DW层** → **DM层**： ```sql -- Step1: ODS层存储原始数据（模拟源系统） CREATE TABLE ods_db.sales_ods ( order_id INT PRIMARY KEY, product_id VARCHAR(20), sale_amount DECIMAL(10,2), order_date DATE ); INSERT INTO ods_db.sales_ods VALUES (1001, 'P2023', 899.00, '2023-10-01'), (1002, 'P4567', 1299.50, '2023-10-01'); -- Step2: DW层清洗整合（示例DWD明细层） CREATE TABLE dw_db.dwd_sales_dw AS SELECT order_id, product_id, sale_amount, order_date, CASE WHEN sale_amount > 1000 THEN '高价订单' ELSE '普通订单' END AS order_type -- 数据加工 FROM ods_db.sales_ods; -- 从ODS层抽取[^1] -- Step3: DM层聚合分析（面向业务） CREATE TABLE dm_db.dm_daily_sales AS SELECT order_date, SUM(sale_amount) AS total_sales, COUNT(order_id) AS order_count FROM dw_db.dwd_sales_dw -- 从DW层读取 GROUP BY order_date; -- 生成日报 ``` #### **3. 数据验证查询** ```sql -- DM层用户查询结果 SELECT * FROM dm_db.dm_daily_sales; -- 输出示例： -- | order_date | total_sales | order_count | -- | 2023-10-01 | 2198.50 | 2 | ``` #### **4. 关键设计说明** 1. **权限隔离** - ODS账号仅能读写原始数据，防止污染源数据[^3] - DW账号拥有ETL权限，可跨层抽取清洗 - DM账号专注分析，禁止修改底层数据 2. **分层职责** - ODS：存储未加工的源数据（如`sales_ods`） - DW： - DWD（明细层）：字段清洗、维度退化（如`dwd_sales_dw`新增`order_type`） - DWS（汇总层）：轻度聚合（示例省略）[^2] - DM：主题域聚合（如`dm_daily_sales`日报）[^1] 3. **扩展建议** - 使用**Iceberg表**实现湖仓一体：`CREATE TABLE ... USING iceberg`[^2] - 添加**调度任务**自动化ODS→DW→DM流转 - 在DW层实施**数据质量监控**（如非空校验） > 通过账号权限控制+分层ETL流程，实现数据从原始层（ODS）→ 整合层（DW）→ 应用层（DM）的安全流转[^1][^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值