保障数仓数据质量

最新推荐文章于 2025-12-13 14:59:19 发布
原创 最新推荐文章于 2025-12-13 14:59:19 发布 · 178 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

小收藏：https://mp.weixin.qq.com/s/rAT9_nvmlLjIEooreUGRSA

数仓-数据质量实践
爱吃辣条的博客
01-21 2162
数仓-数据质量实践
数仓建模—数据质量
热门推荐
11-08 6万+
数据质量 今天我们看一下数据质量，其实我们在学习数仓的时候提到过如何评价一个数仓的好坏，我们一般是从稳定性、数据质量、及时性 这三个角度去衡量，当然关于这个怎么去量化我们前面提到过，数仓最终是为了支撑决策，决策的前提要保证数据的准确性也就是我们的数据质量，也就是说其实这三个指标中，最重要的就是数据质量。 例如如何衡量稳定性，我们可以使用出错任务数/任务的个数，当然这个不太合理就是我们的任务是有权重和优先级的，所以可以将权重考虑进去，从而可以得到数仓的稳定性指标。 数据质量评估 数据质量可以从完整性、准确性、
如何保障数仓数据质量？
yuan_more的博客
06-07 2619
有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、 4.后续规划这四个方面展开。首先介绍有赞的数据总体架构图：自顶向下可以大致划分为应用服务层、数据网关层、应用存储层、数据仓库，并且作业开发、元数据管理
数仓数据质量保障方案参考
Sunny的专栏
09-06 869
该文章简单通俗讲述了有赞保障数仓数据质量的实时方案，可以作为数仓数据质量方案设计的一些有用参考，同时文章中很多不同层次的方案设计可以直接借鉴使用。参考资料：1.微信公众号（数据治理体系）-《如何保障数仓数据质量？》
如何保障数仓数据质量？(建议收藏)
大数据星球-浪尖
05-20 1032
导读文｜傅宇康有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、...
数仓数据质量保障方法
ytp552200ytp的博客
06-14 1159
数仓数据质量保障方法
数仓-数据质量体系建设
爱吃辣条的博客
02-05 1446
数仓-数据质量体系建设
【数仓】数据质量监控
每天更新大数据面经和技术
08-03 2612
数据质量监控
数仓数据质量管理
weixin_42921390的博客
05-11 826
一.数据资产等级划分 1.等级定义 根据“当数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度大小”来划分数据的资产等级。 毁灭性：数据一旦出错，会引起巨大的资产损失，面临重大收益受损等。标记为L1 全局性：数据用于集团业务、企业级效果评估和重要决策任务等。标记为L2 局部性：数据用于某个业务线的日常运营、分析报告等，如果出现问题会给该业务线造成一定的影响或影响其工作效率。标记为L3 一般性：数据用于日常数据分析，出现问题的带来的影响很小。标记为L4 未知性质：无法追溯数据的应用场景。标记为
精选资源
如何保障数仓数据质量.pdf
04-10
### 如何保障数仓数据质量 #### 一、有赞数据链路 1. **数据链路介绍** 在有赞数据链路的整体架构中，主要包括应用服务层、数据网关层、应用存储层、数据仓库等层次，并且包含了作业开发、元数据管理等平台。...
hive获取数据中位数函数
zahuali的博客
05-20 3559
当数据为小数时 percentile_approx（字段名，0.5） 当数据为整数时 percentile（字段名，0.5）
hive 内外部表加载hdfs数据位置情况
zahuali的博客
02-23 1005
hive 表加载hdfs数据 情况1： 创建内部表 create table if not exists tmp.testa (merchant_id string) stored as parquet; 加载前hdfs数据 导入数据 LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-01’ INTO TABLE tmp.testa 总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hive表目录/user/hi
hive 创建日期的udf函数（获取昨天今天明天）
zahuali的博客
05-15 474
创建udf函数的全流程 pom文件 <name>g6-hadoop</name> <properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <project.build.sourceEncodi
hive数据格式
zahuali的博客
07-08 418
1 textfile 行式存储 数据不进行压缩 网络开销比较大 ·2 sequencefile 二进制文件 二进制文件，它将数据(key,value)的形式序列化到文件里 ·3 ORC file 1. ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。 2. 文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减...
hive优化
zahuali的博客
07-09 178
1hive整体架构的优化 （1）根据日期进行分区 进行动态分区 参数：hive.exec.dynamic.partition=ture （2）为了减少数据磁盘的存储及i/o的次数 将数据进行压缩： 各种压缩进行对比 textfile：160M （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split SequenceFil...
小聊：银行数据仓库项目中 DEV → SIT → UAT → PRE-PROD → PROD​
qq_37679639的博客
12-12 524
银行数据仓库项目通常包含DEV→SIT→UAT→PRE-PROD→PROD五级环境。其中PRE-PROD环境作为上线前的最后防线，必须与生产环境(PROD)保持完全一致，包括硬件配置、软件版本、网络策略、数据量级等。若两者存在差异，可能导致"测试通过但上线失败"的问题，如性能不足、权限错误或作业超时等。银行通常通过基础设施即代码、配置管理、数据同步等方法来确保环境一致性。PRE-PROD环境的严格验证是避免上线风险的关键环节，需进行全流程测试、性能压测和安全验证，确保测试结果真实反映生产
数据仓库中保障数据质量的关键环节：任务发布后数据校验
最新发布
weixin_40266856的博客
12-13 1358
在数据仓库的生命周期中，任务发布不是终点，而是数据质量保障的新起点。通过系统性地开展完整性、一致性、准确性三大维度的校验，能够有效防范数据问题蔓延至下游，提升数据可信度与团队协作效率。“宁可慢一点发布，也不要快一点出错。随着数据驱动决策的深入，构建自动化、标准化、可持续的数据校验体系，已成为企业数据治理能力的重要体现。附录：常见数据校验场景速查表场景推荐校验方式新任务首次上线行数比对 + 抽样核对 + 主外键检查字段逻辑变更准确性验证 + 趋势对比历史数据重跑完整性 + 一致性 + 去重检查。
电商数仓数据质量监控：Shell与HQL实践
数据质量管理涵盖了数据的健康标准量化、监控和保障，确保数据满足使用预期。 数据质量标准通常分为三个主要类别： 1. 数据完整性：这是指数据不应存在大量缺失值，所有关键维度（如日期、部门或地点）都应完整。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值