保障数仓数据质量

最新推荐文章于 2025-07-30 14:38:15 发布
最新推荐文章于 2025-07-30 14:38:15 发布
阅读量165 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数仓 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zahuali/article/details/125209591

小收藏：https://mp.weixin.qq.com/s/rAT9_nvmlLjIEooreUGRSA

数仓-数据质量实践
爱吃辣条的博客
01-21 2005
数仓-数据质量实践
数仓建模—数据质量
热门推荐
11-08 6万+
数据质量 今天我们看一下数据质量，其实我们在学习数仓的时候提到过如何评价一个数仓的好坏，我们一般是从稳定性、数据质量、及时性 这三个角度去衡量，当然关于这个怎么去量化我们前面提到过，数仓最终是为了支撑决策，决策的前提要保证数据的准确性也就是我们的数据质量，也就是说其实这三个指标中，最重要的就是数据质量。 例如如何衡量稳定性，我们可以使用出错任务数/任务的个数，当然这个不太合理就是我们的任务是有权重和优先级的，所以可以将权重考虑进去，从而可以得到数仓的稳定性指标。 数据质量评估 数据质量可以从完整性、准确性、
如何保障数仓数据质量？
yuan_more的博客
06-07 2473
有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、 4.后续规划这四个方面展开。首先介绍有赞的数据总体架构图：自顶向下可以大致划分为应用服务层、数据网关层、应用存储层、数据仓库，并且作业开发、元数据管理
数仓数据质量保障方案参考
Sunny的专栏
09-06 787
该文章简单通俗讲述了有赞保障数仓数据质量的实时方案，可以作为数仓数据质量方案设计的一些有用参考，同时文章中很多不同层次的方案设计可以直接借鉴使用。参考资料：1.微信公众号（数据治理体系）-《如何保障数仓数据质量？》
如何保障数仓数据质量？(建议收藏)
大数据星球-浪尖
05-20 1000
导读文｜傅宇康有赞数据报表中心为商家提供了丰富的数据指标，包括30+页面，100+数据报表以及400+不同类型的数据指标，它们帮助商家更合理、科学地运营店铺，同时也直接提供分析决策方法供商家使用。并且，每天在跑的底层任务和涉及的数据表已经达到千级别。面对如此庞大的数据体系，作为测试如何制定质量保障策略呢？这篇文章将从：1.有赞数据链路 、2.数据层测试、 3.应用层测试、...
数仓数据质量保障方法
ytp552200ytp的博客
06-14 1001
数仓数据质量保障方法
数仓-数据质量体系建设
爱吃辣条的博客
02-05 1338
数仓-数据质量体系建设
数仓治理-数据质量治理
爱吃辣条的博客
01-22 1845
数仓数据治理-数据质量治理
【数仓】数据质量监控
每天更新大数据面经和技术
08-03 2518
数据质量监控
如何保障数仓数据质量.pdf
04-10
### 如何保障数仓数据质量 #### 一、有赞数据链路 1. **数据链路介绍** 在有赞数据链路的整体架构中，主要包括应用服务层、数据网关层、应用存储层、数据仓库等层次，并且包含了作业开发、元数据管理等平台。...
hive获取数据中位数函数
zahuali的博客
05-20 3475
当数据为小数时 percentile_approx（字段名，0.5） 当数据为整数时 percentile（字段名，0.5）
hive 内外部表加载hdfs数据位置情况
zahuali的博客
02-23 974
hive 表加载hdfs数据 情况1： 创建内部表 create table if not exists tmp.testa (merchant_id string) stored as parquet; 加载前hdfs数据 导入数据 LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-01’ INTO TABLE tmp.testa 总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hive表目录/user/hi
hive 创建日期的udf函数（获取昨天今天明天）
zahuali的博客
05-15 448
创建udf函数的全流程 pom文件 <name>g6-hadoop</name> <properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <project.build.sourceEncodi
hive数据格式
zahuali的博客
07-08 405
1 textfile 行式存储 数据不进行压缩 网络开销比较大 ·2 sequencefile 二进制文件 二进制文件，它将数据(key,value)的形式序列化到文件里 ·3 ORC file 1. ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。 2. 文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减...
hive优化
zahuali的博客
07-09 166
1hive整体架构的优化 （1）根据日期进行分区 进行动态分区 参数：hive.exec.dynamic.partition=ture （2）为了减少数据磁盘的存储及i/o的次数 将数据进行压缩： 各种压缩进行对比 textfile：160M （1）hive数据表的默认格式，存储方式：行存储 。 （2） 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split SequenceFil...
HANA CTE 查询案例
u010398600的博客
07-30 301
HANA CTE 查询案例
基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化（三）
最新发布
wzy0623的专栏
07-30 6923
Impala OLAP 实例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值