9、可扩展参考基因组组装：分布式并行处理方案

可扩展参考基因组组装：分布式并行处理方案

1. 基因组分析工具简介

在基因组分析领域，有多个重要的软件工具被广泛应用：
- GATK ：由博德研究所开发的用于高通量测序（HTS）数据分析的软件包，为人类基因组提供了最佳实践的变异发现流程。当前的GATK4版本部分基于Apache Spark开发，以实现分布式并行化，用于快速的探索性基因组研究。此外，还建立了开源的FireCloud平台，用于管理、共享和分析基因组数据。
- ADAM ：加州大学伯克利分校开发的基于Apache Spark的基因组分析工具包，包含用于基因组文件转换、k - mer计数和等位基因频率计算的基本工具，可在Apache Spark集群上运行。
- Halvade ：基于Hadoop MapReduce框架的分布式读取比对流程，旨在与GATK结合实现更高效的变异调用。它使用MapReduce将BWA读取比对分布在读取块上，与参考基因组进行比对。
- Seal ：由CRS4开发的基于Hadoop框架的软件套件，用Python编写，提供用于并行和分布式读取解复用、读取比对、识别重复读取、排序读取和读取质量控制的基本工具。

2. 基因组学中的分布式和并行数据处理

传统的计算基因组分析算法和流程是为集中式计算机中的顺序数据处理而开发的。然而，当前高性能计算的发展趋势是向并行算法和分布式数据存储方向发展，以实现对海量数据的高效计算和分析。

目前的基因组分析工具和流程通常由研究人员根据现有的顺序算法按需开发，