7、生物信息学中的数据仓库与挖掘

生物信息学中的数据仓库与挖掘

1. 生物信息学数据现状与挑战

生物信息学领域中，数据呈指数级增长，而知识仅呈线性增长。生物数据库社区面临的终极挑战是缩小数据增长与知识增长之间的差距。例如，随着基因测序技术的发展，每天都会产生海量的基因序列数据，但对这些数据背后生物学意义的理解却相对滞后。

2. 数据仓库在生物信息学中的出现

KDD（知识发现与数据挖掘）技术的出现，一定程度上解决了数据与知识差距的问题。然而，KDD在很大程度上依赖于干净、最新且组织良好的数据集。由于生物数据的多样性和分布性，实际操作中需要进行繁琐的数据清理和集成工作。数据仓库应运而生，以支持生物知识的发现。

目前，并非所有的数据仓库概念都应用到了生物信息学中。例如，基于关系表的维度数据模型，由于实际数据的复杂性，在生物信息学中并不常见。传统上，数据仓库主要使用关系数据库系统开发，但在生物信息学中的应用并不广泛。

在商业领域，数据仓库的出现是由于业务数据规模和复杂性的增长，导致数据管理和分析困难。多年来，数据仓库领域发展迅速，其概念已广泛应用于商业智能和重要商业决策。类似的趋势也在生物信息学中显现。随着数据的持续增长，未来对大规模数据管理和分析系统的需求将不断增加。目前，数据库开发大多使用平面文件格式，未来可能会出现基于可扩展关系的管理系统（具有蛋白质、DNA、结构、参考文献等数据维度）。数据仓库原理在医疗/临床领域也有成功应用。

将其他领域的数据仓库经验转移到生物信息学中，对于设计一个有组织的生物数据搜索环境（基因、蛋白质和结构）、操作数据集子集并进行复杂分析非常重要。虽然在仓库层面管理生物信息学数据需要大量努力，但发现效率的提高将证明这些投资是值得的