保障数仓数据质量

最新推荐文章于 2025-12-16 09:54:17 发布
原创 最新推荐文章于 2025-12-16 09:54:17 发布 · 178 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

小收藏：https://mp.weixin.qq.com/s/rAT9_nvmlLjIEooreUGRSA

数仓-数据质量实践
爱吃辣条的博客
01-21 2162
数仓-数据质量实践
数仓建模—数据质量
热门推荐
11-08 6万+
数据质量 今天我们看一下数据质量，其实我们在学习数仓的时候提到过如何评价一个数仓的好坏，我们一般是从稳定性、数据质量、及时性 这三个角度去衡量，当然关于这个怎么去量化我们前面提到过，数仓最终是为了支撑决策，决策的前提要保证数据的准确性也就是我们的数据质量，也就是说其实这三个指标中，最重要的就是数据质量。 例如如何衡量稳定性，我们可以使用出错任务数/任务的个数，当然这个不太合理就是我们的任务是有权重和优先级的，所以可以将权重考虑进去，从而可以得到数仓的稳定性指标。 数据质量评估 数据质量可以从完整性、准确性、
如何保障数仓数据质量？
yuan_more的博客
06-07 2621
有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、 4.后续规划这四个方面展开。首先介绍有赞的数据总体架构图：自顶向下可以大致划分为应用服务层、数据网关层、应用存储层、数据仓库，并且作业开发、元数据管理
数仓数据质量保障方案参考
Sunny的专栏
09-06 869
该文章简单通俗讲述了有赞保障数仓数据质量的实时方案，可以作为数仓数据质量方案设计的一些有用参考，同时文章中很多不同层次的方案设计可以直接借鉴使用。参考资料：1.微信公众号（数据治理体系）-《如何保障数仓数据质量？》
如何保障数仓数据质量？(建议收藏)
大数据星球-浪尖
05-20 1032
导读文｜傅宇康有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、...
数仓数据质量保障方法
ytp552200ytp的博客
06-14 1160
数仓数据质量保障方法
数仓-数据质量体系建设
爱吃辣条的博客
02-05 1446
数仓-数据质量体系建设
【数仓】数据质量监控
每天更新大数据面经和技术
08-03 2613
数据质量监控
数仓数据质量管理
weixin_42921390的博客
05-11 826
一.数据资产等级划分 1.等级定义 根据“当数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度大小”来划分数据的资产等级。 毁灭性：数据一旦出错，会引起巨大的资产损失，面临重大收益受损等。标记为L1 全局性：数据用于集团业务、企业级效果评估和重要决策任务等。标记为L2 局部性：数据用于某个业务线的日常运营、分析报告等，如果出现问题会给该业务线造成一定的影响或影响其工作效率。标记为L3 一般性：数据用于日常数据分析，出现问题的带来的影响很小。标记为L4 未知性质：无法追溯数据的应用场景。标记为
精选资源
如何保障数仓数据质量.pdf
04-10
### 如何保障数仓数据质量 #### 一、有赞数据链路 1. **数据链路介绍** 在有赞数据链路的整体架构中，主要包括应用服务层、数据网关层、应用存储层、数据仓库等层次，并且包含了作业开发、元数据管理等平台。...
hive获取数据中位数函数
zahuali的博客
05-20 3559
当数据为小数时 percentile_approx（字段名，0.5） 当数据为整数时 percentile（字段名，0.5）
hive 内外部表加载hdfs数据位置情况
zahuali的博客
02-23 1005
hive 表加载hdfs数据 情况1： 创建内部表 create table if not exists tmp.testa (merchant_id string) stored as parquet; 加载前hdfs数据 导入数据 LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-01’ INTO TABLE tmp.testa 总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hive表目录/user/hi
hive 创建日期的udf函数（获取昨天今天明天）
zahuali的博客
05-15 474
创建udf函数的全流程 pom文件 <name>g6-hadoop</name> <properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <project.build.sourceEncodi
hive数据格式
zahuali的博客
07-08 418
1 textfile 行式存储 数据不进行压缩 网络开销比较大 ·2 sequencefile 二进制文件 二进制文件，它将数据(key,value)的形式序列化到文件里 ·3 ORC file 1. ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。 2. 文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减...
hive优化
zahuali的博客
07-09 178
1hive整体架构的优化 （1）根据日期进行分区 进行动态分区 参数：hive.exec.dynamic.partition=ture （2）为了减少数据磁盘的存储及i/o的次数 将数据进行压缩： 各种压缩进行对比 textfile：160M （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split SequenceFil...
ETL、数据仓库与数据湖详解
weixin_41312759的博客
12-16 497
至目标系统的过程，是数据集成与预处理的核心环节。：ETL 指将数据从来源端。数据湖 // 原始数据存储。数据科学 // 探索性分析。数据仓库 // BI报表。传感器/日志/业务DB。
python-3.13.11-amd64.exe
最新发布
12-16
python-3.13.11-amd64.exe
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值