数据探查

最新推荐文章于 2024-04-25 09:50:05 发布

nitbin007

最新推荐文章于 2024-04-25 09:50:05 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

文章标签：数据仓库大数据

本文链接：https://blog.youkuaiyun.com/nitbin007/article/details/112568060

本文探讨了数据探查的重要性，旨在理解数据形态，检查数据可靠性，发现潜在问题和风险，为项目决策提供依据。内容涉及源表的主键重复、空值异常统计、关联关系、数据格式和增量规则等，通过字段和表探查方法，结合ER图来构建数据探查报告。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据探查

概念

概念

了解数据形态，探索数据是否可靠，找出潜在问题与风险，并为开发提供指导。如果当前数据质量无法支撑需求实现，寻求新的替代方案或项目回退。

内容

源表数据主键字段重复数。
源表字段空值/异常值的统计数。
源表之间关联关系。
源表字段的数据格式。
源表增量规则。

探查方式

字段探查

// 数据探查
select	count(*)													as `总行数`
		,sum(decode(col, null, 1, 0))  								as `空值个数`
		,round(sum(decode(col, null, 1, 0)) / count(*), 2)  		as `空值比例`
		-- 小数据量非重复值数目查询
		,count(distinct col) 										as `唯一个数`
		-- 非重复值的近似数目，5%标准误差
		,approx_distinct(col) 										as `唯一个数` 
		,min(col)  													as `最小值`
		,max(col)  													as `最大值`
		,round(avg(col), 2)         								as `均值`
		,median(col) 												as `中位数`
		-- 小数据量分位数查询
		,percentile(col, 0.01) 										as `1%分位数`
		,percentile(col, 0.05) 										as `5%分位数`
		,percentile(col, 0.25) 										as `25%分位数`
		,percentile(col, 0.5)