BWT和LF算法(压缩和解压缩)加快序列比对运算速度 | 生物人最值得看的哈佛生信课05

BWT算法

在DNA序列比对中使用了多种算法,特别是BWT(Burrows Wheeler Transform)算法。BWT算法是一种将字符串进行排列变换的算法,其主要思想是将字符串通过一系列的旋转和排序操作,转化为一种特殊的矩阵形式,从而实现对字符串的高效查找。在生物信息学中,BWT算法被广泛应用于序列比对,如Burrows-Wheeler Aligner(BWA)工具。

from:揭秘BWT比对算法:破解生物信息大数据的密码利器 - 云原生实践

基于BWT的生物信息学软件

最常见的就是bwa和bowtie了,可以看到相关的文章引用数量已经到达数万次了。BWA和Bowtie是生物信息学中用于将高通量测序的短序列(reads)快速且准确地比对到参考基因组上的工具,它们通过使用Burrows-Wheeler变换和FM索引技术,提高了比对效率。

但是bwa不能直接用于转录组的分析,我之前在学转录组分析的时候,老师和我说bwa在把reads比对到genome上时,不能很好地跨越内含子(因为RNA-seq的测序是将mRNA反转录成cDNA,然后测序的)。转录组比对还是得用专门的软件,如STAR、HISAT2或Salmon。



from:google scholar

Burrows-Wheeler Transform算法步骤

  1. 构建bwt矩阵:将待变换的字符串末尾添加一个特殊字符(通常是’$'),这个字符在字符串中不应该出现。然后将这个字符串的所有循环移位(circular shifts)按照字典序排列形成一个矩阵。每一行都是原字符串的一个循环移位。

  2. 排序:将所有循环移位按照字典序排序。

  3. 取最后一列为bwt序列:从矩阵中取出最后一列字符,这些字符组成了BWT的输出字符串。


from:14.stat115 chapter 3.5.1 bwt and lf mapping_哔哩哔哩_bilibili

通过Burrows-Wheeler变换(BWT)得到BWT序列的意义主要体现在以下几个方面:

  • **压缩数据:**BWT是一种前缀压缩算法,它通过重新排列字符串的字符来创建一个更加压缩的形式。这种变换通常会产生一个包含许多重复字符的序列,这使得后续的压缩更加有效。

  • **便于搜索:**BWT的一个关键特性是它能够将字符串转换为一个形式,使得字符串搜索变得高效。特别是,BWT与FM索引(Ferragina-Manzini索引)结合使用时,可以实现对字符串的快速搜索,包括模式匹配和子字符串查询。

  • **减少存储需求:**由于BWT序列中的重复字符,它通常比原始序列更短,因此可以减少存储空间的需求。

  • **加速比对:**在生物信息学中,BWT序列可以用于加速基因组比对过程。例如,在序列比对工具如BWA中,BWT序列被用来快速找到与参考基因组匹配的读段位置。

LF mapping:把bwt序列还原为原本的序列

LF映射(Last-to-First映射)是Burrows-Wheeler变换(BWT)中的一个关键概念,它允许我们从BWT序列恢复出原始序列。以下是使用LF映射将BWT序列还原为原始序列的步骤:

  1. **理解LF映射:**LF映射是一个函数,它将BWT序列中的每个字符映射到原始字符串中的相应位置。这个映射基于BWT矩阵的最后一列(即BWT序列)和第一列之间的关系。

  2. **构建LF映射表:**为了使用LF映射,你需要构建一个表,这个表告诉你对于BWT序列中的每个字符,它在第一列中出现的次数(包括自身)。

  • 统计BWT序列中每个字符的出现次数,包括每个字符在序列中的位置。
  • 对于BWT序列中的每个字符,计算它在第一列中出现的累积次数。
  1. 初始化:选择BWT序列中的最后一个字符作为起始点。在大多数实现中,这个字符是一个特殊的字符,比如 $ ,它表示字符串的结束。

  2. 迭代恢复:使用以下步骤迭代恢复原始字符串:

    from:14.stat115 chapter 3.5.1 bwt and lf mapping_哔哩哔哩_bilibili

在BWA(Burrows-Wheeler Aligner)中,上述步骤涉及到的文件主要包括以下几种:

参考基因组索引文件:

这些文件是通过对参考基因组执行BWT和其他相关步骤而生成的。

使用命令bwa index reference.fa就可以建立下面的这些索引:

  • .amb :存储BWT和SA(后缀数组)的辅助信息
  • .ann :存储参考基因组的注释信息
  • .bwt :存储BWT变换后的参考基因组
  • .pac :存储参考基因组的压缩后缀数组(PAC)
  • .sa :存储后缀数组(SA)
    序列比对结果文件:
    当BWA比对读段到参考基因组时,会产生SAM(Sequence Alignment/Map)或BAM(Binary Alignment/Map)格式的文件,这些文件包含比对结果。

bwa mem reference.fa reads.fq > aligned.sam 这一步是开始比对,实际上后面还要用samtools转换成.bam文件,运行速度更快,下次有机会再介绍啦。

  • .sam :文本格式的比对结果
  • .bam :二进制格式的比对结果,通常比SAM文件更紧凑
  • .bai :BAM文件的索引,用于快速访问特定的区域
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值