3 基于Hadoop基因测序数据处理关键技术的研究

Java 大视界 -- 基于 Java 的大数据分布式计算在基因测序数据分析中的性能优化(161) 本文围绕基于 Java 的大数据分布式计算在基因测序数据分析中的性能优化展开,剖析基因测序数据特点与传统方法的局限,阐述性能优化策略,结合案例和代码给出实操方案。 阅读详情

[返回主目录]


3 基于Hadoop基因测序数据处理关键技术的研究

3.1 测序处理流程与MapReduce结合

基因测序处理流程中有gVCF和VCF文件生成两个阶段,而MapReduce恰好是一种分阶段处理的编程模型,它拥有Mapper和Reducer两个处理阶段,因此将MapReduce框架和测序流程结合在一起,既能保证测序流程的有序进行,又能在MapReduce框架中进行并行调度,提升测序数据处理的效率。

3.1.1 测序流程与MapReduce结合的可行性分析

MapReduce是一种可用于数据处理的编程模型,可以将数据分析处理流程分为映射阶段和归约阶段1。在映射阶段,各个Map程序在不同的Container中运行彼此互不干扰,即各个Mapper阶段的程序本质上是并行运行的;而到了Reducer规约阶段,将各个Mapper阶段产生的中间结果做规约整合得到最终的处理结果。因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心,也正是因为其强劲的数据分析和并行处理能力,所以选择其和测序处理流程作整合。

在原本传统的基因测序流程中,是将多个样本放在一台高性能服务器中,通过编写的测序分析脚本串行处理每一个样本数据,最终得到变异检测的结果。虽然这个过程能得到最终的结果,但需要配置高性能服务器,而且往往需要耗费大量的处理时间,这其中大部分时间花在测序比对上面。后期要想提升测序效率的话,需要进一步配置性能更高的服务器,这样一个高时间花费和昂贵开销,不利于基因测序的低成本普及和个性化医疗的推广应用。

因此,我们需要一种高效并行的处理平台,达到使原本串行处理多个样本的测序过程,能够以一个样本为测序处理单位细分为多个Map任务达到并行处理分析,再通过Reduce任务的到最终的结果。

3.1.2 测序流程与MapReduce框架的结合

要想将测序处理流程与MapReduce框架结合,首先要将对多个样本的测序切分为多个Map任务,在运行MapReduce任务的时候,将基因测序的各个流程封装在shell脚本中,而这个shell脚本是以脚本模版的形式呈现。另一方面,主要的测序分析流程是固定的,而只有分析样本对象的信息是动态传入的。这样可以通过编写一个特定的Map程序,再通过调用MapReduce驱动程序来运行作业,对于传入的不同样本名生成不同的Map任务,即各个基因测序脚本,达到基因测序的并行化处理。

在得到以样本为单位的单变异检测的文件后,通过一个Reduce任务合并所有的gVCF变异文件,从而得到最总对于整个样本数据的变异检测VCF文件。

一个集群中有三台机器,总共有九个样本数据,那么可以并行三次可以分析完所有的数据,但是若是通过传统的流程分析过程的话,需要串行分析九次才能完成整体的测序处理流程。因此,通过流程处理逻辑的MapReduce化,可以成倍的提升样本测序的处理效率,使基因测序更加高效。

3.2 不同格式数据的访问与存储

3.2.1 数据访问于存储面临的问题

在进行MapReduce处理程序时,通过shell脚本的方式处理数据,由于不同样本的处理流程需要拉取不同的数据源,并且输出的中间结果也是不同的。这个时候,我们需要一个统一的数据存储和访问规则来统一管理这些数据源以及中间结果等。

3.2.2 数据的存储与访问分析

首先,对于参考序列这一部分数据源,因为其涉及的处理流程比较固定,可以事先在机器的本地环境先搭建好。而MapReuce程序是在集群中的不同机器上运行的,因此数据是在MapReduce程序中动态获取的,我们需要事先上传到HDFS上,这也是MapReduce计算框架常用来获取数据源的方式,其他方式还包括通过访问Amason S3等。

将所有的样本数据存储在HDFS上之后,通过在Map程序的输入数据中指定样本名称和存储的位置信息,可以轻松访问到指定的样本数据,从而实现不同的Map程序访问并处理不同的样本数据。而对于中间其他剩余几个测序流程,如排序、标记重复、创建索引以及变异检测这几步,上一步的结果是下一步处理流程的输入数据,这些处理流程所得到的中间数据都可以本地化存储,既能节省网络传输的开销,也能最大程度保证数据的完整性,不会由于网络中断导致数据不完整存储。

在所有的样本并行化处理完成之后,每个Map程序最终得到的是该样本数据的gVCF变异检测文件,对每个样本变异检测数据作一个合并得到最终VCF格式文件,这时需要用到Reduce归约操作,因此需要对Map程序最终得到的结果再上传到HDFS上,供接下来的Reduce程序使用。
而最终得到的VCF文件,也是需要上传到HDFS上存储,保证结果文件的容错性和完整性。

3.3 分析流程的完整性

3.3.1 分析流程面临的问题

WGS分析处理流程中主要的问题是如何判定并以一个样本数据作为切分标准,对整体的多样本数据以样本为单位进行切分处理。因为只有以单样本为数据测序分析的单位,才能既保证数据处理流程完整性的同时,又能最大程度上保证并行化处理,从而提升整体的测序效率。

理论上对于不同样本的分析流程其实都是一样的,因此需要引入一套流程分析机制,保证分析流程的统一性,便于分析流程的统一操作和中间结果管理。

3.3.2 整体流程设计分析

在MapReduce框架中,其Mapper阶段和Reducer阶段的输入文件都是文本格式的文件,在我的整体流程搭建中,将测序的样本文件存于HDFS上,map和reduce的输入文件只是保存样本文件的列表,达到能够将不同的样本处理流程进行隔离和分批处理的目的。

具体是在Map任务的输入数据文本中,每一行指定一对R1和R2样本数据名称,在驱动程序中设置输入文件中的每一行数据用一个Mapper来处理,这样能够将每一个样本数据处理分到不同的Map任务中执行,从而达到流程设计的完整性以及流程处理的并行化。

考虑到基因测序的分析流程,像完成比对、重复标记和变异检测的大多数开源工具(如BWA、SAMtools和GATK)都提供了Linux命令行界面,所有各个MapReduce阶段中的map()和Reduce()函数将调用Linux Shell脚本,并提供适当的参数。要执行这些shell脚本,将使用FreeMarker模版语言。

3.4 FreeMarker引擎与测序流程的模版化

Apache FreeMarker2是一种模板引擎,目前是Apache基金会的一个孵化项目,模板是用FreeMarker模板语言(FTL)编写的,它是一种简单的专用语言。通常,使用通用编程语言(如Java)来准备数据(发布数据库查询,进行业务计算)。然后,FreeMarker使用模板显示准备好的数据。

在我们基因测序流程搭建中,先编写shell分析流程的脚本模板,其中分析对象用参数代替,再通过FreeMarker API将参数传入分析流程模版中,得到最终可执行的shell脚本文件。FreeMarker模版引擎如图3-1所示。


这里写图片描述
图3-1 FreeMarker模版引擎

3.4.1 构建FreeMarker模版引擎

在我们最终的处理流程中,通过FreeMarker模版引擎类把脚本模版转换为可执行的shell脚本后,最终通过调用shell脚本工具类执行该脚本3。在本节中,会分别对这两个工具类作出说明。

其中模版引擎类需要引入org.freemarker包来调用FreeMarker API方法,其中最主要的方法是createDynamicContentAsFile,它需要传入一个模版文件、一个存储着键值对的map对象和最终生成的shell脚本文件路径,通过map传入的对象信息映射到模版中,生成最终的WGS测序流程的分析脚本。下面是具体的模版引擎类方法:

/**
 * 这个类使用FreeMarker(http://freemarker.apache.org) FreeMarker是一个模板引擎,这是一个根据模板生成文本输出的通用工具
 * (从shell脚本到自动生成的源代码都是文本输出)
 */
public class TemplateEngine {
    // 日志记录
    private static Logger theLogger = Logger.getLogger(TemplateEngine.class.getName());
    // 通常在整个应用生命周期中只执行一次
    private static Configuration TEMPLATE_CONFIGURATION = null;
    private static AtomicBoolean initialized = new AtomicBoolean(false);
    // freemarker templates 存放目录
    protected static String TEMPLATE_DIRECTORY = "./wgs-templates";
    public static void init() throws Exception {
        if (initialized.get()) {
            return;
        }
        initConfiguration();
        initialized.compareAndSet(false, true);
    }
    static {
        if (!initialized.get()) {
            try {
                init();
            } catch (Exception e) {
                theLogger.error("在初始化阶段,模版引擎初始化错误...", e);
            }
        }
    }
    // 初始化配置
    private static void initConfiguration() throws Exception {
        TEMPLATE_CONFIGURATION = new Configuration();
        TEMPLATE_CONFIGURATION.setDirectoryForTemplateLoading(new File(TEMPLATE_DIRECTORY));
        TEMPLATE_CONFIGURATION.setObjectWrapper(new DefaultObjectWrapper());
        TEMPLATE_CONFIGURATION.setWhitespaceStripping(true);
        TEMPLATE_CONFIGURATION.setClassicCompatible(true);
    }
    /**
     * 通过模板和keyValuePairs动态创建shell脚本
     *
     * @param templateFileName 一个模板文件名,如:script.sh.template,其模板目录已在configuration中指定
     * @param keyValuePairs 存储数据模型的<K,V>Map
     * @param outputScriptFilePath 生成的脚本文件路径
     * @return 一个可执行的Shell脚本文件
     */
    public static File createDynamicContentAsFile(String templateFileName,
        Map<String, String> keyValuePairs, String outputScriptFilePath) {
        if ((templateFileName == null) || (templateFileName.length() == 0)) {
            return null;
        }
        Writer writer = null;
        File outputFile = null;
        try {
            Template template = TEMPLATE_CONFIGURATION.getTemplate(templateFileName);
            // 合并数据模型和模板,生成shell脚本
            outputFile = new File(outputScriptFilePath);
            writer = new BufferedWriter(new FileWriter(outputFile));
            template.process(keyValuePairs, writer);
            writer.flush();
        } catch (IOException e) {
            theLogger.error("创建文件失败...", e);
        } catch (TemplateException e) {
            theLogger.error("freeMarker动态创建shell脚本失败...", e);
        } finally {
            if (writer != null) {
                try {
                    writer.close();
                } catch (IOException e) {
                    theLogger.error("创建shell脚本,写入文件时出现IO异常...");
                }
            }
        }
        return outputFile;
    }
}

3.4.2 基因测序分析流程模版设计

用模版化的思想来构建全基因组分析流程,对要分析的样本对象用参数来代替,将整个分析流程分为Mapper阶段和Reduce阶段两个模版,在Mapper阶段模版主要完成基因测序的样本下载到本地机器、以及测序阶段中的比对、排序、标记重复、创建比对索引文件和对单个样本的变异检测生成中间阶段的变异检测gVCF文件,最后,将每个脚本生成的gVCF文件上传到上传到HDFS上,供Reduce阶段的分析流程使用。下面是Mapper阶段的分析模版:

#!/bin/bash
# 脚本所需的环境变量定义
export BWA=~/biosoft/bwa/0.7.12
export SAMTOOLS=~/biosoft/samtools/1.0/bin
export GATK=~/biosoft/gatk/3.6/GenomeAnalysisTK.jar
export PICARD=~/biosoft/picard/2.18.2/picard.jar
export HADOOP=~/hadoop/bin
# 定义参考序列
export REF=~/wgs/input/fasta/E.coli_K12_MG1655.fa
# 定义单个节点可利用的线程数
THREAD=4
# 定义单个节点可利用的内存资源
MEMORY=4G
# 定义RG INFO
INFO_RG='@RG\tID:${sample_name}\tPL:illumina\tSM:E.coli_K12_${sample_name}'

echo "############" `date "+%Y-%m-%d %H:%M:%S"` "############"
echo "--- 开始处理样本 ${sample_name} ---"

# 定义模板变量
INPUT_FILE_R1=${sample_name}_1.fastq.gz
INPUT_FILE_R2=${sample_name}_2.fastq.gz

cd /tmp
# 从HDFS上下载测序样本Block块
echo "###COMMAND LINE###:" >&2
echo "$HADOOP/hadoop fs -get /wgsv2/input/fastq/$INPUT_FILE_R1" >&2

time $HADOOP/hadoop fs -get /wgsv2/input/fastq/$INPUT_FILE_R1 && echo "" >&2

echo "###COMMAND LINE###:" >&2
echo "$HADOOP/hadoop fs -get /wgsv2/input/fastq/$INPUT_FILE_R2" >&2

time $HADOOP/hadoop fs -get /wgsv2/input/fastq/$INPUT_FILE_R2
echo "*** 从HDFS上下载样本数据块" && echo "" >&2

# ××××××  基因测序 ×××××××
# 步骤一 比对
echo "###COMMAND LINE###:" >&2
echo "$BWA/bwa mem -t $THREAD -R $INFO_RG $REF $INPUT_FILE_R1 $INPUT_FILE_R2 | $SAMTOOLS/samtools view -Sb - > ${sample_name}.bam" >&2

time $BWA/bwa mem -t $THREAD -R $INFO_RG $REF $INPUT_FILE_R1 $INPUT_FILE_R2 | $SAMTOOLS/samtools view -Sb - > ${sample_name}.bam && echo "*** 基因比对操作完成" && echo "" >&2

# 步骤二 排序
echo "###COMMAND LINE###:" >&2
echo "$SAMTOOLS/samtools sort -@ $THREAD -m $MEMORY -O bam -o ${sample_name}.sorted.bam ${sample_name}.bam -T PREFIX.bam" >&2

time $SAMTOOLS/samtools sort -@ $THREAD -m $MEMORY -O bam -o ${sample_name}.sorted.bam ${sample_name}.bam -T PREFIX.bam && echo "*** 基因数据排序完成" && echo "" >&2

#rm -f ${sample_name}.bam

# 步骤三 标记重复
echo "###COMMAND LINE###:" >&2
echo "java -jar $PICARD MarkDuplicates I=${sample_name}.sorted.bam O=${sample_name}.sorted.markdup.bam M=${sample_name}.sorted.markdup_metrics.txt" >&2

time java -jar $PICARD MarkDuplicates I=${sample_name}.sorted.bam O=${sample_name}.sorted.markdup.bam M=${sample_name}.sorted.markdup_metrics.txt 1>&2 && echo "*** 对BAM文件进行重复标记" && echo "" >&2

# 步骤四 创建比对索引文件
echo "###COMMAND LINE###:" >&2
echo "time $SAMTOOLS/samtools index ${sample_name}.sorted.markdup.bam" >&2

time $SAMTOOLS/samtools index ${sample_name}.sorted.markdup.bam && echo "*** 对BAM文件创建比对索引" && echo "" >&2

# 步骤五 变异检测 | 生成各个样本的中间变异检测文件gvcf
echo "###COMMAND LINE###:" >&2
echo "java -jar $GATK -T HaplotypeCaller -R $REF --emitRefConfidence GVCF -I ${sample_name}.sorted.markdup.bam -o ${sample_name}.g.vcf" >&2

time java -jar $GATK -T HaplotypeCaller -R $REF --emitRefConfidence GVCF -I ${sample_name}.sorted.markdup.bam -o ${sample_name}.g.vcf 1>&2 && echo "*** 生成样本${sample_name}的中间变异检测文件gvcf" && echo "" >&2

# 将各个样本分区的变异检测gvcf文件上传到HDFS上
echo "###COMMAND LINE###:" >&2
echo "$HADOOP/hadoop fs -put -f ${sample_name}.g.vcf /wgsv2/output/gvcf" >&2

time $HADOOP/hadoop fs -put -f ${sample_name}.g.vcf /wgsv2/output/gvcf && echo "*** 变异检测结果gvcf文件上传到HDFS上" && echo "">&2

rm -f rm -f $INPUT_FILE_R1 $INPUT_FILE_R2 ${sample_name}*

echo "--- 结束处理样本 ${sample_name} ---"
echo "############" `date "+%Y-%m-%d %H:%M:%S"` "############" && echo ""

对于Reduce阶段的分析模版,主要是对各个Mapper阶段产生的gVCF变异文件的合并,得到最终总的VCF文件,并将其创建tabix索引后上传至HDFS上存储。下面是具体的Reduce阶段分析模版:

#!/bin/bash

# Author: elon
# Description: 合并所有样本的GVCF文件的模板
# Time: 2018-4-5

# 该脚本需要完成的是对各个样本分区的VCGF文件做一个merge操作
export SAMTOOLS=~/biosoft/samtools/1.0/bin
export GATK=~/biosoft/gatk/3.6/GenomeAnalysisTK.jar
export HADOOP=~/hadoop/bin

# 定义参考序列
export REF=~/wgs/input/fasta/E.coli_K12_MG1655.fa

echo "############" `date "+%Y-%m-%d %H:%M:%S"` "############"
echo "--- 开始合并处理样本 ${sample_name1} ${sample_name2} ${sample_name3} ${sample_name4} ${sample_name4} ${sample_name5} ${sample_name6} ${sample_name7} ${sample_name8} ${sample_name9} ---"

# 定义模板变量
INPUT_FILE1=${sample_name1}.g.vcf
INPUT_FILE2=${sample_name2}.g.vcf
INPUT_FILE3=${sample_name3}.g.vcf
INPUT_FILE4=${sample_name4}.g.vcf
INPUT_FILE5=${sample_name5}.g.vcf
INPUT_FILE6=${sample_name6}.g.vcf
INPUT_FILE7=${sample_name7}.g.vcf
INPUT_FILE8=${sample_name8}.g.vcf
INPUT_FILE9=${sample_name9}.g.vcf

cd /tmp

# 从HDFS上download所有的GVCF文件
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE1
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE2
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE3
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE4
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE5
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE6
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE7
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE8
$HADOOP/hadoop fs -get /wgsv2/output/gvcf/$INPUT_FILE9
echo "*** 从HDFS上获取所有相关的gVCF文件"

# 合并所有的gVCF文件为VCF文件 -- E_coli_K12.vcf
echo "###COMMAND LINE###:" >&2
echo "java -jar $GATK -T GenotypeGVCFs -nt 4 -R $REF --variant $INPUT_FILE1 --variant $INPUT_FILE2 \
--variant $INPUT_FILE3 --variant $INPUT_FILE4 --variant $INPUT_FILE5 --variant $INPUT_FILE6 \
--variant $INPUT_FILE7 --variant $INPUT_FILE8 --variant $INPUT_FILE9 \
-o E_coli_K12.vcf" >&2

time java -jar $GATK -T GenotypeGVCFs -nt 4 -R $REF --variant $INPUT_FILE1 --variant $INPUT_FILE2 \
--variant $INPUT_FILE3 --variant $INPUT_FILE4 --variant $INPUT_FILE5 --variant $INPUT_FILE6 \
--variant $INPUT_FILE7 --variant $INPUT_FILE8 --variant $INPUT_FILE9 \
-o E_coli_K12.vcf 1>&2 && echo "*** 合并所有的gVCF文件为VCF文件" && echo "">&2

## 1.将vcf文件压缩
echo "###COMMAND LINE###:" >&2
echo "bgzip -f E_coli_K12.vcf" >&2

time bgzip -f E_coli_K12.vcf && echo "*** 将vcf文件进行压缩" && echo "">&2

## 2.构建tabix索引
echo "###COMMAND LINE###:" >&2
echo "$SAMTOOLS/tabix -p vcf E_coli_K12.vcf.gz" >&2
time $SAMTOOLS/tabix -p vcf E_coli_K12.vcf.gz \
&& echo "*** 给压缩文件构建tabix索引" && echo "">&2

## 3. 上传最终的VCF文件以及索引文件到HDFS上
echo "###COMMAND LINE###:" >&2
echo "$HADOOP/hadoop fs -f -put E_coli_K12.vcf.gz* /wgsv2/output/vcf" >&2

time $HADOOP/hadoop fs -f -put E_coli_K12.vcf.gz* /wgsv2/output/vcf \
&& echo "*** 变异检测结果vcf文件上传到HDFS上" && echo "">&2

#rm -f E_coli_K12.vcf* *g.vcf*

echo "--- 结束合并处理样本 ${sample_name1} ${sample_name2} ${sample_name3} ${sample_name4} ${sample_name4} ${sample_name5} ${sample_name6} ${sample_name7} ${sample_name8} ${sample_name9} ---"
echo "############" `date "+%Y-%m-%d %H:%M:%S"` "############" && echo ""

3.4.3 基因测序与模板引擎的结合

在我的项目框架中,对于不同的样本文件,都是采用同一套基因测序分析流程,而测序流程都是通过Linux命令行界面,因此需要通过一定的转换,将这一套分析流程提炼成一个Shell模版,对于不同的样本文件生成和它相应的分析脚本文件,这样就能达到不同的样本使用这同一套分析流程的目的,最后在不同的map任务中分别执行每个样本的分析脚本。测序流程与分析脚本的模版化如图3-2所示。

这里写图片描述
图3-2 测序流程与分析脚本的模版化

3.5 本章小结

在本章中,主要对基于Hadoop基因测序数据处理的关键技术作了一个剖析和研究,解决了测序流程如何与MapReduce程序结合的问题,以及对于测序流程中各个步骤产生的数据结果如何存储,是存储在本地还是分布式存储系统中的问题,以及对分析流程的完整行作了简要分析,提出了通过设置驱动程序的参数达到对每一行数据分为一个Map程序处理的设计方案,以及通过引入第三方FreeMarker框架来保证分析流程的统一性和完整性问题,最后构建FreeMarker引擎以及对测序流程进行模板化的设计等。

在下一章节中,对基于Hadoop大数据的基因测序平台的流程搭建进行设计与实现。

[返回主目录]


  1. Samy Ghoneimy, Samir Abou El-Seoud. A MapReduce Framework for DNA Sequencing Data Processing[D]. British University 2017. ↩
  2. Apache. Apache FreeMarker™[EB/OL]. https://freemarker.apache.org/, 2018. ↩
  3. Mahmoud Parsian. 数据算法(Hadoop/Spark大数据处理技巧)[M]. 苏金国,杨健康等译. 清华大学出版社 第四版 2016. ↩
医疗基因组数据存储与管理架构研究 本研究的意义在于通过对国内外医疗基因组数据存储与管理架构的深入分析,为不同应用场景提供架构选择参考,推动隐私保护技术的应用,优化成本效益,并为未来技术发展方向提供前瞻性指导。 阅读详情

相关推荐

Hadoop原理与代码实例讲解

Hadoop原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来,数据量的激增使得传统的单机数据库存储和处理方式面临瓶颈。面对海量数据的存储需求,人们开始寻求分布式存储解决方案。Hadoop正是在这种背景下应运而生,它提供

AI架构师小马 698

基于Hadoop的基因组测序大数据分析平台研究

首先要声明的是,基于Hadoop的基因组测序大数据分析平台研究是本人2018年的毕业设计课题,根据网络资源和自己的专业知识,独立完成整个流程设计、平台搭建和单元测试等工作。本系列文章是对该项目的一个整理总结和分享记录。 开发环境介绍:通过本人的2014年款ThinkPad开发,内存是8GB。 操作系统:Ubuntu16 开发平台:IDEA 开发时间:2018年2月~5月 【目...

Gamedev 5148

58、大数据技术在DNA测序与可视化中的应用

本文探讨了大数据技术在DNA测序与可视化中的关键应用。在DNA测序方面,介绍了复杂算法、特定压缩、并行处理和异构数据集成等技术,显著提升了数据处理效率与分析能力;在可视化方面,阐述了应对大数据挑战的现代系统架构,包括数据缩减、分层探索、渐进结果和用户协助等机制。文章还分析了测序与可视化的协同工作流程、实际应用案例、面临的挑战及未来发展趋势,强调了一体化解决方案和跨学科融合在精准医疗和生命科学研究中的广阔前景。

smartcontract5的博客 51

第一次基因数据处理从集群到数据处理结果---构建菌群物种丰度的图谱

第一次进行基因数据的处理 将测序出来的数据构建一个prifile 关于节点篇 一般的服务器集群都会分为登录节点和计算节点,为了能够选择到计算节点首先了解节点的情况 使用SSH切换到计算节点 ssh cngb-9 #cngb-9为一个计算节点,切换之后用户名@后面的部分会发生改变 #如果不知道节点怎么办,可以使用qstat来掉看节点状态 qstat -u \* | tail -n +3 | awk -F'[ @]+' '$5=="r" && $8=="st.q" {print $9}'

小白卤菜的博客 3276

基于Hadoop基因序列比对BWT索引方法

用于识别不同物种的同源性和变异性的基因序列比对是生物信息学的重要组成部分。 创建索引是基因序列比对算法的关键步骤。 通常的创建索引的算法分为两种。 第一种是基于哈希表的算法,另一种是基于后缀树或后缀数组的算法,其中BWT(Burrows-Wheeler变换)索引是重要的索引结构。 当前,BWT索引需要几个小时的串行计算才能构建大的基因组序列(例如人类基因组序列)。 提出了一种基于Hadoop并行计算方法,以建立后缀数组和BWT索引。 Map Reduce被用作一种数据处理功能,将后缀数组切成块,将单独处理。 最终,输出完全有序的后缀数组和BWT索引,从而减少了构建索引的时间。 同时,通过实验验证了算法的有效性。

华大HC32F460从零到200MHz:手把手教你配置时钟系统(附避坑指南)

本文详细解析了华大HC32F460 MCU的时钟系统配置,从启动过程、时钟树分析到实战配置200MHz系统时钟。文章手把手指导开发者如何正确配置外部晶振、MPLL锁相环及总线分频,并提供了硬件检查、代码解读及常见问题排查的避坑指南,帮助用户从零构建稳定可靠的高性能时钟环境。

net55的博客 298

Nature子刊:三代测序重构菌株水平宏基因组序列的计算框架iGDA

https://doi.org/10.1038/s41467-021-23289-42021年5月24日,美国西奈山伊坎医学院冯智星等在Nature Communications发文题为D...

刘永鑫的博客——宏基因组公众号 1239

Blender关于GIS安装及使用天地图

Blender下载安装及GIS插件的安装及使用

Miss_SQ的博客 6974

O&#39;Reilly精品图书推荐:数据算法:Hadoop/Spark大数据处理技巧

本书介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这本书还概要介绍了MapReduce、Hadoop和Spark。

OReillyData 789

前后端面试题【目录】

工作时候扭螺丝,面试时候造火箭,现状就是如此。不管是背八股文,还是掌握了知识的精华,对答如流才是硬道理。本专栏就是要集具前端精华,规范、算法、架构、封装、原理等一并汇集,让前端的小伙伴有个思路。, 欢迎一起交流,并非常期望您能够提供有价值的学习资料。

大剑师兰特的GIS世界 1840

车载摄像头EMC问题剖析

车载摄像头作为智能驾驶核心部件,其EMC问题日益突出。某案例中,摄像头在48MHz~175MHz频段辐射超标。通过控制变量法排查,发现网络变压器地环路和共模抑制不足是主因。整改措施包括优化接地隔离、增加共模滤波器和使用屏蔽网线,最终通过EMC测试。案例表明,EMC问题需从系统耦合角度解决,建议设计阶段预防地环路,在高速信号链中加入滤波隔离措施。全文150字。

硬核科技 273

绪论

1 绪论 1.1 论文的研究背景及意义 全基因组测序的英文是 Whole Genome Sequencing,简称WGS。它是将物种细胞里从第一个DNA开始一直到最后一个DNA的完整基因组序列,通过相关仪器和技术手段检测出来并排序好得到一种文本格式的文件,最后再将其和参考基因组做比对,鉴定出基因组上任何类型的突变。对于人类来说,全基因组测序能帮助我们更好的了解我们自身的基因位点信息,检测变...

Gamedev 7128

9篇3章7节:基于 R 语言的 FAERS 数据提取与合并

本文主要探讨了 FAERS 数据提取与合并的操作流程。首先,通过程序化方法从本地存储的 FAERS ASCII 文件中提取指定季度或范围内的单药报告数据,并可通过参数设置控制数据存储位置、处理方式、计算资源分配以及报告者职业类别等。随后,通过批量读取的方式对多个季度的 DRUG 文件进行循环处理,并将其合并为一个综合数据框。

MD Code 1269

hadoop医疗领域实践保存

小组作业Hadoop应用事件保存

takes1的博客 615

Q3D提取PCB走线RLCG参数

介绍一种提取PCB走线寄生电容和寄生电感的方法

sinat_15150363的博客 2934

高通Camx功能feature分析之十:高通NCS服务之注册和启动

本文介绍了高通NCS(非相机传感器)服务的注册与启动流程。NCS通过QMI接口访问陀螺仪等传感器,为相机EIS/AEC等功能提供辅助数据。文章详细解析了服务注册时的QueryCapabilites能力查询、RegisterService注册流程,以及通过StartNCSService启动服务线程的过程。重点包括:1)AF/EIS等节点通过NCSService创建传感器对象;2)注册时需校验传感器类型和接口;3)首次注册成功后会启动NCS服务线程;4)采样率变化时需重新配置会话。通过线程池管理实现传感器数据的

1264

基因数据处理47之ART基因序列数据生成器(仿真)

1.概念: ART基因序列数据生成器 详细请见论文:【1】 和官网【2】2.下载: ART-bin-GreatSmokyMountains-04.17.16-Linux64.tgzhttp://www.niehs.nih.gov/research/resources/assets/docs/artbingreatsmokymountains041716linux64tgz.tgz3.配置

Keep Learning 3162

STM32F103RCT6的FLASH读写操作

STM32F103RCT6是一款常用的32位微控制器,它具有内置的FLASH存储器,可以用于存储程序代码和数据。在本文中,我们将详细介绍如何进行STM32F103RCT6的FLASH读写操作,并提供相应的源代码。写入数据时,我们通过将数据直接写入FLASH地址来完成。通过使用适当的API和规则,我们可以有效地读取和写入数据。写入FLASH时,我们需要按特定的规则进行编程。首先,我们需要包含适当的头文件和定义相关的宏和变量,以便在代码中使用FLASH API。类型的指针,我们可以直接读取FLASH中的数据。

UplKubernetes的博客 1034

参 考 文 献

[1] Sanger, F. &amp; Nicklen, S. DNA sequencing with chain-terminating[P]. 74, 5463–5467 (1977). [2] Struster SC.Next-generation sequencing transform today’s biology[J].Nat Methods.5(1):16-18 (2008)....

Gamedev 1万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

基因组数据处理终极指南:10个高效工具与awesome-bigdata的完美结合 [特殊字符]

在生物信息学领域,基因组数据处理面临着前所未有的挑战。随着测序技术的飞速发展,单个基因组数据量已达到数百GB级别,而大规模基因组研究项目更是产生了PB级的海量数据。**awesome-bigdata**项目为您精心整理了一套完整的大数据处理工具生态,帮助您高效处理基因组学数据,加速生物医学研究进程。 ## 基因组数据处理的核心挑战与解决方案 基因组数据处理涉及序列比对、变异检测、基因表达分析等

gitblog_07922的博客 401

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

MaxCompute分布式计算如何提升基因大数据处理速率?

在2016杭州云栖大会首日,来自华大基因的基因组学数据专家黄树嘉在大数据专场分享了《基于数加MaxCompute的极速全基因组数据分析》,他主要从全基因组测序的背景与原理、传统单机分析流程的挑战、基于MaxCompute的方案三个方面进行了分享,详细介绍了华大基因运用阿里云处理海量的实践。 以下内容根据演讲PPT及现场分享整理。 什么是基因 基因是生命的基本因素,是人类和

bengsa2291的博客 778

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain&#39;s apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath(&#39;DeepLearnToolbox&#39;));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand(&#39;state&#39;,0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W&#39;); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand(&#39;state&#39;,0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = &#39;sigm&#39;;%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, &#39;Too big error&#39;);```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand(&#39;state&#39;,0)sae = saesetup([784 100]);sae.ae{1}.activation_function = &#39;sigm&#39;;sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)&#39;)% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;;nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, &#39;Too big error&#39;);```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x&#39;,28,28,60000))/255;test_x = double(reshape(test_x&#39;,28,28,10000))/255;train_y = double(train_y&#39;);test_y = double(test_y&#39;);%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you&#39;ll get around 1.2% errorrand(&#39;state&#39;,0)cnn.layers = { struct(&#39;type&#39;, &#39;i&#39;) %input layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 6, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %sub sampling layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 12, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, &#39;Too big error&#39;);```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, &#39;Too big error&#39;);%% ex2 neural net with L2 weight decayrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex3 neural net with dropoutrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex4 neural net with sigmoid activation functionrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex5 plotting functionalityrand(&#39;state&#39;,0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = &#39;softmax&#39;; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand(&#39;state&#39;,0)nn = nnsetup([784 20 10]); nn.output = &#39;softmax&#39;; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Elasticsearch-Hadoop 介绍

概述: 实现强强联合,助力实时分析 Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearch 实时搜索和 分析功能进行连接。它能够让您快速深入了解大数据,并让您在 Hadoop 生态系统中更好地开展工作。 对 Hadoop 数据进行交互分析 Hadoop 是出色的批量处理系统,但是要想提供实时结果则颇...

vkingnew 的技术博客 4093

Hadoop产生原因

本文从大规模传统系统的问题引出Hadoop,介绍了Hadoop的自身优势和适用背景,内容详实

dashujuedu的博客 2879

基因数据处理48之ART使用实例

相关参数请见上一篇1.使用实例1: hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ art_illumina -ss HS20 -i GRCH38chr1L3556522.fna -l 100 -f 20 -o G38L100F20Nhs20 ====================ART===================

Keep Learning 2万+
上一篇: 2 相关技术及原理
下一篇: 4 基于Hadoop的平台搭建与MapReduce作业设计
gamedev˚
博客等级 码龄12年 280粉丝 293原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值