大数据治理平台建设方案(文末附PDF下载)

该材料详述了一个大数据治理平台的建设方案,包括数据治理的意义、作用和价值,分析了某行的数据现状及问题,设定了数据治理阶段目标,如建立数据质量检核系统、推动数据标准建立和优化数据仓库。此外,还介绍了数据映射、ETL过程以及汇总层的目标,并阐述了合作公司在解决数据质量问题和管理系统建设方面的贡献。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这份材料我给满分!分享一份非常好的大数据治理平台解决方案材料,这份PPT将理论与实践相结合,值得仔细阅读,建议收藏。

文档目录主要包含了以下几点:

  1. 数据治理概述

  2. 某行数据现状及问题

  3. 数据治理阶段目标

  4. 成效和特点

  5. 数据管理系统建设情况

第一部分:数据治理概述

数据治理的意义、作用和价值有哪些?以及数据治理框架、数据架构及数据平台建设原则。

数据治理意义、作用和价值

  • 意义

  1. 是构建完善、共享、统一管理数据环境的基本保障和重要组成部分

  2. 是把数据作为资产来管理的有效手段

  • 作用

  1. 确定了一系列岗位角色和相应的责任及管理流程

  2. 保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性

  • 价值

  1. 企业进行数据治理的最大驱动力来自数据质量,通过提高数据质量实现更多的业务价值

  2. 将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性

第二部分:某行数据现状及问题

从数据应用现状分析-总体情况、数据架构方面以及数据应用难题和数据质量方面及总结分析。

第三部分:数据治理阶段目标

数据平台项目建设目标

1、发现数据质量问题,推动数据治理工作的开展,建立数据质量检核系统

  1. 对源系统进行数据质量检核,发现数据质量问题并统计影响到的报表

  2. 对数据质量问题进行归类总结,分析成因和改进建议

  3. 建设数据质量检核系统

2、分析、梳理业务系统,推动数据标准的建立,统一全行口径

  1. 建立基础标准和指标标准框架

  2. 确定标准化范围,对重要属性进行标准化

3、建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库

  1. 引进业内具有先进水平的金融数据模型,进行客户化改造后,建成符合某行特点的数据仓库横型框架

  2. 覆盖某行主要业务系统数据,以便快速高效的为应用系统提供数据

  3. 存储历史数据,解决新报表上线才有数的问题

  4. 汇总层建设(共性加工)

目标建设方法-发现数据质量问题

工作阶段:

1、源系统分析阶段

  • 全面分析主要源业务系统

2、数据质量问题检查阶段

  • 根据制定的检查规则编写程序,对源系统数据进行检查

3、数据质量问题分析阶段

  • 分析有质量问题数据对现有应用的影响;提出解决措施

逻辑模型设计-当事人主题:

当事人是一个独立的人或者一组人组成的机构、团体等,主要分为个人、机构和家庭,他们是和我行有往来或者出于营销、管理等各种需要希望关心和分析的个体或人群。从模型角度考虑,应该包括以下当事人信息 :

  • 在我行登记注册开立账户的对公普通客户

  • 我行担保客户

  • 和我行有业务往来的其他金融机构

  • 机构的内部组织( 如分支机构、部门等)

  • 机构的员工( 含我行柜员、员工等 )

数据映射和ETL开发:

  • 定义源:配置作业源表的表名、表结构等信息

  • 创建映射:根据作业详细设计中表与表之间及字段之间的映射关系使用相应的组件实现其数据转换逻辑

  • 定义目标:配置作业目标表的表名、表结构加载方式等信息

汇总层目标与定位

作为整合层和集市层的衔接,从业务的视角出发,提炼出对数据仓库具有共性的数据访问需求,抽取出公共指标,形成由维度和指标组成的维度模型,对符合要求的数据进行预汇总和预加工。

为集市层统一提供规范的、准确的数据。完成整个汇总层的逻辑模型、物理模型的设计并全部实现物理化。

并根据业务性质将业务数据,划分为以下七大类主题分类存放和管理

建设重点

  1. 协调业务系统开发商对系统进行讲解,了解具体的业务流程并对开发人员整理出的源业务系统调研提纲中所提出的问题进行解答

  2. 对源系统表对象调研

  3. 对源系统表字段调研

  4. 根据源系统数据验证调研结果

  5. 依据调研结果对模型进行属性的补充完善

第四部分:成效和特点

  • 合作公司解决数据“是什么”的问题

提供最新的完整的技术资料,主要包括操作手册和数据字典,对于调研过程当中的问题给予及时的答疑,这些问题主要包括

  • 业务问题

  1. 业务术语不明,比如在调研过程当中的“反担保贷款”等业务术语不明

  2. 业务关联不明,比如借据号和准贷证有什么业务联系

  3. 业务用途不明,比如对表和字段如何使用存在疑问(自定义标识、多个备注字段)

  • 数据质量问题

  1. 主外键关联不上

  2. 主键冲突

  3. 一致性、准确性、完整性、有效性问题

  • 资料缺失问题

  1. 数据字典中没有字段、表的描述信息

  2. 有外键,但是没有指名是关联哪张表,即无法确定外键信息

  3. 提供的资料或数据间相互矛盾

第五部分:数据管理系统建设情况

数据生命周期管理

  • 特点

  1. 实现数据生命周期策略的灵活配置和调整

  2. 实现数据仓库的自动分区扩展和自动数据迁移

  • 作用

  1. 控制在线数据规模

  2. 提高数据访问效率

因篇幅太长,以上仅截图pdf一部分,剩余内容请下载完整版阅读参考学习。

 访问原文:大数据治理平台建设方案(附PDF下载)  查看下载方式

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值