数据治理检查填写注意事项

表概况填写说明
默认过滤条件	写上要加在所有sql语句的过滤条件，例如：delete_flag = 0 or del_flag = '' or del_flag is null
表概况检查项	填写数据量、空值率等
检查项填写说明
总体说明	1代表要检查，0代表不需要检查
重复性检查	重复性检查适用于检查该表的主要字段数据是否重复。针对全表，按多个字段去重，看是否每行记录是唯一的，填写0或1，0代表该字段忽略，不进行去重；
唯一性检查	唯一性检查适用于确定表的物理主键或业务主键，针对字段，单独检查该字段的值是否为唯一值，1代表要检查，0代表不需要检查
数据阈值检查	数据阈值检查适用于检查时间范围和数据范围，0代表不检查，如检查数值范围，用中括号和冒号表示：[1:100] ，如没有限定范围，只要查出最大值最小值表，则用函数名表示：max(), min() ；
枚举值数据检查	枚举值数据检查适用于确定枚举值类型字段的值，是否偏离预期。1代表查询出各种枚举值，0代表不需要查询
数据精度一致性	数据精度一致性主要是针对经纬度数据做检查，用于确定精度是否一致，精度是否符合要求，一般认为，经纬度数据要精确到小数点后6位。1代表检查，0代表不需要检查
字符长度一致性	字符长度一致性检查主要是针对字符串类型数据做检查，适用于字符长度应当一致的数据。1代表检查，0代表不需要检查。
数据自洽性检查	数据自洽性适用于2个字段存在关联的数据，假如A字段是由B字段处理得到的，例如：年龄字段是由身份证字段得到，则应验证2者之间的关系是否正确。用表达式表示：floor(abs(cast(months_between(current_date(), from_unixtime(unix_timestamp(substr(id_card, 7, 8),'yyyymmdd'),'yyyy-mm-dd'))as int))/12) = age
有效性检查	有效性检查会调用函数对字段进行查询，前提是必须先在hive库创建好对应的函数，例如：身份证有效性检查，则填写：id_check()，统一信用代码有效性检查，则填写：credit_code_check()