数仓数据治理主要做哪些内容

一、模型合规合规治理

1、数据标准重新制定
包括对当前数据域进行重构、重新制定元数据规范(表名、字段命名、字段数据格式等)
2、应用指标公共下沉复用
3、解决跨层级引用问题
4、烟囱数据表重构下线

二、计算资源治理

1、小文件治理
2、下线无用的DQC任务,避免占用资源
3、数据倾斜治理,这个属于高消耗任务

三、存储资源治理

1、统一设置表生命周期
2、无用表、临时表下线
3、存储格式、压缩格式优化
4、根据业务对表存储重新规划:对数据量较大的表可以全量转增量或者转拉链等

四、数据安全治理

1、角色权限管控:开发者权限、运维权限
2、数据脱敏
3、数据权限、表、字段增删改查需要走审批流程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值