32、生物数据集成与质量驱动的数据源协商

生物数据集成与质量驱动的数据源协商

在分布式多源环境中，数据和数据源的质量维护是一项具有挑战性的任务。尤其是在生物信息学领域，众多半结构化数据库提供的生物信息缺乏质量信息，数据集成面临着诸多困难。本文将探讨生物数据集成的相关问题，并介绍一种基于质量合同和数据源协商的技术。

1. 引言

在数据库或数据仓库系统中，评估数据质量是数据使用和分析的初步阶段。在数据集成场景下，多个数据源提供的信息可能存在冗余、矛盾，且质量参差不齐。在生物信息学领域，超过五百个半结构化数据库存储着潜在冗余和错误的生物信息，数据清洗和中介问题至关重要，但尚未得到有效解决。

传统的数据质量管理方法包括确保语法正确性和语义正确性，衍生出了完整性约束、并发控制和模式集成等技术。然而，数据跟踪、清洗和质量控制等技术成本高，难以适应特定应用领域。在多源环境中，集成数据的质量往往受到本地数据库数据质量的影响，目前针对多源数据质量控制和丰富元数据管理的研究较少。

2. 相关工作

2.1 多源数据的中介与清洗

关于中介系统的研究主要有两种方法：
- 基于查询的方法 ：依赖于一个通用的半结构化数据模型来表示来自异构源的数据，并使用通用查询语言表达查询。例如TSIMMIS使用OEM模型和LOREL语言，Strudel和YAT等。通过特殊的基于逻辑的面向对象语言为包装器和中介器定义适当的集成视图，以处理资源的结构和语义差异。
- 基于领域模型的方法 ：依赖于在中介层描述的通用领域模型（元数据模式），捕获本地数据库中信息描述的基本词汇。如Information Manif