93、数据集成与数据湖：概念、架构与应用

数据集成与数据湖：概念、架构与应用

数据集成的定义与概述

数据集成系统的目标是为一组异构数据源提供统一的访问方式。这些数据源在数据模型（如关系型、层次型、半结构化）、模式级别或查询处理能力等方面可能存在差异。在数据集成架构中，通过使用全局模式（也称为中介模式）来查询这些数据源，该模式为底层数据源提供了一个虚拟视图。

在现实生活的许多应用中，不同数据源之间的数据集成是至关重要的一步。随着网络上可用的结构化数据源的增加，这一问题变得更具挑战性。例如，在一个Web应用中，用户可能需要查询特定日期的体育赛事信息。在传统的数据管理应用中，信息通常存储在具有固定模式的数据库（如关系型数据管理系统）中，并通过查询进行检索。然而，在许多情况下，信息存储在多个独立的数据库中，这些数据库可能具有异构的模式和不同的逻辑组织。数据集成系统通过采用虚拟方法解决了这个问题。

数据集成架构

典型的数据集成架构包含以下几个部分：
1. 数据源 ：位于架构的底层，提供数据。数据源的示例包括网站的HTML页面、关系型数据库、XML或JSON文件等。每个数据源都有不同的模式，需要不同的查询。
2. 包装器（Wrappers） ：为了便于从数据源中提取数据，需要一组包装器。每个包装器的目标是将数据源的查询结果转换为易于处理的形式。例如，Web表单的包装器将输入查询转换为一组HTTP事务，以收集HTML页面形式的结果，最后将这些页面转换为结构化格式（如关系元组）。创建包装器可以采用手动方法，也可以依靠自动和半自动技术进行推断。
3. 中介模式（Mediated Schema）