大数据资产管理架构设计篇-来自《数据资产管理核心技术与应用》一书的权威讲解

数据资产管理是一项系统而复杂的工程，涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面，为了更高效的管理好数据资产，因此在很多大型的企业或者组织中，通常会构建一个数据资产管理平台来管理这些各种各样的数据资产，数据资产管理平台通常会包含如下功能： 关注清哥聊技术公众号，获取更多权威技术文章。

• 元数据：主要负责元数据的维护和查看，让元数据成为数据资产的一个“电子目录”，方便外部用户查看和检索其需要的数据是存储在哪个数据库以及哪个表的哪个字段中，也方便外部用户知道数据资产中每个数据库、表、字段的具体含义。
• 数据血缘：主要负责数据与数据之间的血缘关系跟踪，以方便用户在使用数据时，能快速知道数据的处理过程以及来龙去脉。
• 数据质量：主要负责数据质量的监控与告警，当数据质量出现问题时，能够快速让相关的人员知道，数据质量的监控是持续提高数据质量的关键所在，也是数据资产持续优化、改进、提高质量的关键。
• 数据服务：主要负责数据服务的管理，包括服务的创建、开发、发布上线以及被业务请求调用。数据服务是数据对外使用和产生价值的最常见方式之一，所以数据服务的管理与维护至关重要。
• 数据监控：主要负责数据链路、数据任务、数据处理资源、数据处理结果等的监控与告警，当数据出现问题时，能够通过监控与告警，让数据问题得到及时快速的解决。
• 数据安全：主要负责数据安全的管理，数据安全是数据资产管理中最重要的环节，也是数据资产管理的基础。通过评估数据的安全风险、制定数据安全管理的规章制度、对数据进行安全级别的分类，完善数据安全管理相关规范文档，保证数据是被合法合规、安全地获取、处理、存储以及使用
• 数据权限：主要负责数据权限的分配与管理，通过数据权限的控制，能够更好的去保护数据资产中的隐私信息和敏感信息。

数据资产管理架构在设计时，通常需要考虑和解决如下问题：

• 数据冗余：一般指的是由于数据没有进行统一的管理，导致很多不同的平台或者系统都存储了相同的数据，特别是对于一些很多业务或者系统都需要共用的数据。
• 数据孤岛和数据分散：由于数据没有进行统一的集中式管理，所以数据很容易分散在不同的系统中并且容易产生数据孤岛。
• 数据口径无法统一：每个业务系统都有自己的数据管理和分析，导致数据计算的口径会存在不一致，这样的话，就导致在做数据决策时，不知道到底以那一份数据口径为准。

1、数据资产的架构设计

数据资产架构是指为了让数据资产管理更加信息化、高效化、平台化而构建的一套系统架构。通常来说数据资产架构会包含如下的一些方面：

1.1、数据获取层

数据获取层通常又叫数据采集层，主要负责从各种不同的数据源中去获取数据，如下图

数据获取层在获取数据时会存在多种不同类型的数据源，从每一种类型的数据源中获取数据的方式是不一样的，所以在数据获取层的架构设计中，需要考虑兼容多种不同数据源，并且在出现新的类型的数据源时，需要能够支持花最小的代码改造代价去做扩展。所以通常建议数据资产架构设计中数据获取层的架构可以设计成即插即用的插件类型，如下图所示，这种设计方式可以很好的解决数据源的可扩展性的问题。