读数据架构知识体系指南14数据编织

1. 数据编织

1.1. 数据编织是现代数据仓库构架(MDW)的进化

• 1.1.1. 构建在MDW上的更高级层，其提高了数据的可访问性、安全性、可发现性和可用性

1.2. 数据编织贯穿整个公司，累积了所有数据，将其提供给所有需要的人

1.3. 无论数据的大小、速度或类型如何，这种架构都能使用数据

1.4. 数据结构解决方案可以使用组织内的所有数据

1.5. 数据编织是一种设计理念，是数据和连接流程的集成层（结构）​

• 1.5.1. 利用对现有的、可发现的和可推断的元数据资产进行持续分析，以支持设计、部署和利用所有环境中集成的和可重用的数据，包括混合和多云数据以及多元平台

1.6. 数据编织是为云构建新方案的最广泛应用方案，尤其针对海量数据（超过10T）

1.7. 包含了所有MDW组件，增加某些特性

2. 关键组件

2.1. 数据访问策略

• 2.1.1. 数据访问策略是数据治理的关键

• 2.1.2. 由一系列指导方针、规则和程序组成，用于控制组织内谁有权访问哪些信息、如何使用这些信息以及何时允许或拒绝访问

• 2.1.3. 有助于确保敏感数据的安全性、隐私性和完整性，并遵守相关法律法规

• 2.1.4. 政策通常涵盖数据分类、用户认证和授权、数据加密、数据保留、数据备份和恢复以及数据处置等主题

• 2.1.5. 组织内的所有数据请求必须遵循其既定数据访问策略，并且必须通过API、驱动程序或数据虚拟化等相应机制进行处理，以确保符合法规

• 2.1.6. 为促进这种受控访问，该机构可能会实施与安全身份验证系统接口的API

2.2. 元数据目录

• 2.2.1. 包含元数据目录：存储数据资产信息（包括其结构、关系和特征）的存储库

• 2.2.2. 提供了一种集中、有序的方式来管理和发现数据，使用户更容易找到和理解所需的数据

• 2.2.3. 目录的一个重要部分是数据血缘(data linage)，即任何给定数据的历史记录：包括数据来源、转换方式和存储位置

  • 2.2.3.1. 数据血缘用于遵守数据隐私法等法规

  • 2.2.3.2. 可借此追溯数据的来源及转换过程，这是了解数据创建方式及其可靠性的重要部分

2.3. 主数据管理

• 2.3.1. MDM

• 2.3.2. 是收集、整合和维护来自公司内部各来源的一致准确数据的过程，以创建单一权威的主数据来源

• 2.3.3. 数据通常是非跨部门的，描述公司的关键实体

• 2.3.4. 可帮助公司做出明智决策，避免重复记录、不一致和信息错误等与数据相关的问题

2.4. 数据虚拟化

• 2.4.1. 是一种软件架构，它允许应用程序和最终用户访问来自多个数据源的数据，*就像这些数据存储在单一位置一样

• 2.4.2. 虚拟化数据存储在一个逻辑层中，作为终端用户和数据源之间的中介

• 2.4.3. 虚拟层是一个单一的访问点，它抽象了底层数据源的复杂性，使最终用户可以轻松地实时访问和组合来自多个数据源的数据，而无须复制或物理集成数据

• 2.4.4. 使用数据虚拟化，这代表无须连接所有数据源

• 2.4.5. 在多数情况，数据虚拟化只用于少量场景中，大多数数据仍被集中管理

2.5. 实时处理

• 2.5.1. 是一旦数据可用，就立即处理数据并生成结果，不会有任何明显的延迟

2.6. 应用程序接口

• 2.6.1. 与依赖连接字符串不同，应用程序接口(API)以标准化的方式从各种来源提供数据，而无须共享数据所在位置的具体细节

• 2.6.2. 数据位置发生变化，你只需更新API内部代码，调用该API的任何应用程序都不会受到影响

  • 2.6.2.1. 更容易利用新技术

• 2.6.3. 采用多种类型的安全措施

  • 2.6.3.1. 其具有安全过滤的灵活性，对相应的用户可访问对应的数据进行更细致控制

2.7. 服务

• 2.7.1. 可以以“块”的形式构建，这样更易重用

2.8. 产品

• 2.8.1. 整个数据编织可捆绑成一个产品并销售

• 2.8.2. 如果专为某一行业（如医疗保健行业）制造，这种产品将特别具有吸引力

3. 迁移到数据编织的理由

3.1. 数据编织在设计时就考虑到了可扩展性

3.2. 其固有的灵活性使其能够随时适应各种数据类型和来源，从而适应当前的数据需求，并在一定程度上面向未来

3.3. 数据编织可以将不同的数据源无缝地编织在一起，提供单一、统一的数据视图，使处理多方面数据流变得更加容易和高效

3.4. 在瞬息万变的商业环境中，实时处理数据并立即获得洞察力的能力至关重要

• 3.4.1. 数据编织通过支持实时数据处理来满足这一需求，使企业能够即时访问最新数据

• 3.4.2. 保持实时更新不仅仅是优势还是必需品

• 3.4.3. 支持实时数据处理从而使商业保持敏捷、明智并随时准备做出调整

3.5. 随着对数据泄露担忧增长以及对数据法规遵守的重视日益增强，数据安全和管理变得日益重要

• 3.5.1. 数据编织通过高级访问策略解决这些问题，提供了更安全数据环境

• 3.5.2. 通过限制授权用户访问方式增加了数据管理，保护敏感信息免受潜在威胁

4. 潜在缺陷

4.1. 从MDW过渡到数据编织可能会耗费大量资源，初期会遇到成本、培训和集成方面的问题

4.2. 并非所有企业都需要数据编织的高级功能

• 4.2.1. 对于数据源有限、处理需求简单的小型企业来说，MDW可能就足够了

4.3. 数据结构固有的复杂性也会增加故障排除的难度

• 4.3.1. 在迁移前，应确保组织内部拥有或可通过合作伙伴获得所需的专业知识

4.4. 虽然数据编织为现代数据管理提供了先进的解决方案，但每个企业都必须评估各自需求、潜在投资回报和长期战略目标，而后才能进行迁移

• 4.4.1. 每个组织在采用这种前沿解决方案之前，都应仔细评估自身需求和能力