BWT和LF算法（压缩和解压缩）加快序列比对运算速度 | 生物人最值得看的哈佛生信课05

本文链接：https://blog.youkuaiyun.com/nixiak2020/article/details/144671636

BWT算法

在DNA序列比对中使用了多种算法,特别是BWT(Burrows Wheeler Transform)算法。BWT算法是一种将字符串进行排列变换的算法，其主要思想是将字符串通过一系列的旋转和排序操作，转化为一种特殊的矩阵形式，从而实现对字符串的高效查找。在生物信息学中，BWT算法被广泛应用于序列比对，如Burrows-Wheeler Aligner（BWA）工具。

from：揭秘BWT比对算法：破解生物信息大数据的密码利器 - 云原生实践

基于BWT的生物信息学软件

最常见的就是bwa和bowtie了，可以看到相关的文章引用数量已经到达数万次了。BWA和Bowtie是生物信息学中用于将高通量测序的短序列（reads）快速且准确地比对到参考基因组上的工具，它们通过使用Burrows-Wheeler变换和FM索引技术，提高了比对效率。

但是bwa不能直接用于转录组的分析，我之前在学转录组分析的时候，老师和我说bwa在把reads比对到genome上时，不能很好地跨越内含子（因为RNA-seq的测序是将mRNA反转录成cDNA，然后测序的）。转录组比对还是得用专门的软件，如STAR、HISAT2或Salmon。

from：google scholar

Burrows-Wheeler Transform算法步骤

构建bwt矩阵：将待变换的字符串末尾添加一个特殊字符（通常是’$'），这个字符在字符串中不应该出现。然后将这个字符串的所有循环移位（circular shifts）按照字典序排列形成一个矩阵。每一行都是原字符串的一个循环移位。
排序：将所有循环移位按照字典序排序。
取最后一列为bwt序列：从矩阵中取出最后一列字符，这些字符组成了BWT的输出字符串。

from：14.stat115 chapter 3.5.1 bwt and lf mapping_哔哩哔哩_bilibili

通过Burrows-Wheeler变换（BWT）得到BWT序列的意义主要体现在以下几个方面：

**压缩数据：**BWT是一种前缀压缩算法，它通过重新排列字符串的字符来创建一个更加压缩的形式。这种变换通常会产生一个包含许多重复字符的序列，这使得后续的压缩更加有效。
**便于搜索：**BWT的一个关键特性是它能够将字符串转换为一个形式，使得字符串搜索变得高效。特别是，BWT与FM索引（Ferragina-Manzini索引）结合使用时，可以实现对字符串的快速搜索，包括模式匹配和子字符串查询。
**减少存储需求：**由于BWT序列中的重复字符，它通常比原始序列更短，因此可以减少存储空间的需求。
**加速比对：**在生物信息学中，BWT序列可以用于加速基因组比对过程。例如，在序列比对工具如BWA中，BWT序列被用来快速找到与参考基因组匹配的读段位置。

LF mapping：把bwt序列还原为原本的序列

LF映射（Last-to-First映射）是Burrows-Wheeler变换（BWT）中的一个关键概念，它允许我们从BWT序列恢复出原始序列。以下是使用LF映射将BWT序列还原为原始序列的步骤：

**理解LF映射：**LF映射是一个函数，它将BWT序列中的每个字符映射到原始字符串中的相应位置。这个映射基于BWT矩阵的最后一列（即BWT序列）和第一列之间的关系。
**构建LF映射表：**为了使用LF映射，你需要构建一个表，这个表告诉你对于BWT序列中的每个字符，它在第一列中出现的次数（包括自身）。

统计BWT序列中每个字符的出现次数，包括每个字符在序列中的位置。
对于BWT序列中的每个字符，计算它在第一列中出现的累积次数。

初始化：选择BWT序列中的最后一个字符作为起始点。在大多数实现中，这个字符是一个特殊的字符，比如 $ ，它表示字符串的结束。
迭代恢复：使用以下步骤迭代恢复原始字符串：

from：14.stat115 chapter 3.5.1 bwt and lf mapping_哔哩哔哩_bilibili

在BWA（Burrows-Wheeler Aligner）中，上述步骤涉及到的文件主要包括以下几种：

参考基因组索引文件：

这些文件是通过对参考基因组执行BWT和其他相关步骤而生成的。

使用命令bwa index reference.fa就可以建立下面的这些索引：

.amb ：存储BWT和SA（后缀数组）的辅助信息
.ann ：存储参考基因组的注释信息
.bwt ：存储BWT变换后的参考基因组
.pac ：存储参考基因组的压缩后缀数组（PAC）
.sa ：存储后缀数组（SA）
序列比对结果文件：
当BWA比对读段到参考基因组时，会产生SAM（Sequence Alignment/Map）或BAM（Binary Alignment/Map）格式的文件，这些文件包含比对结果。

bwa mem reference.fa reads.fq > aligned.sam 这一步是开始比对，实际上后面还要用samtools转换成.bam文件，运行速度更快，下次有机会再介绍啦。