绪论

Java基础 01绪论+语言基础 Java语言支持两种语法格式来定义数组,定义格式:A:数据类型[]数组名;B:数据类型 数组名[]; 阅读详情

[返回主目录]


1 绪论

1.1 论文的研究背景及意义

全基因组测序的英文是 Whole Genome Sequencing,简称WGS。它是将物种细胞里从第一个DNA开始一直到最后一个DNA的完整基因组序列,通过相关仪器和技术手段检测出来并排序好得到一种文本格式的文件,最后再将其和参考基因组做比对,鉴定出基因组上任何类型的突变。对于人类来说,全基因组测序能帮助我们更好的了解我们自身的基因位点信息,检测变异基因并应用在遗传病方面等。

1.1.1 全基因组测序原理及发展历程

基因测序技术经过四十多年的发展,作为二十一世纪的朝阳行业,已是时下热门。测序技术发展简史如图1-1所示,从图中可以看出,基因测序技术的开端在20世纪70年代中期,以当时英国生物化学家弗雷德里克·桑格(Sanger)开创的双脱氧链终止法1为开端。这是一种常用的核酸测序技术,主要用于DNA的测序分析。正因为此次的研究成果,将双脱氧链终止法与化学降解法以及其衍生方法统称为第一代DNA测序技术。

这里写图片描述
图1-1 测序技术发展简史

经过不断的技术开发和改进,在二十世纪初期随着人类基因组计划的完成,第二代测序技术诞生了。主要是以Illumina的Solexa/Hiseq技术和ABI的SOLID技术为代表,能够对一个物种的转录组或基因组进行深度测序2。第二代测序技术也使得DNA测序进入了高通量、低成本的功能基因组时代3。再后来,以PacBio的SMRT和ONT的纳米孔单分子测序技术为标志的第三代测序技术4。与之前的第一代和第二代测序技术相比,最大的不同点在于单分子测序技术的引入,测序过程不采用PCR扩增技术,并且可以进行超长读长,使得测序技术又有了进一步的提升。

对于人类的全基因组测序来说,人类的全基因组一共有23对染色体,包含超过30亿个碱基5,而目前仅有3%的碱基信息能从临床医学上给予解释,因此还有大量的测序工作值得我们去发掘。由测序服务公司提供的原始测序序列文件在经过系统地分析处理前,无法提供任何有效的信息进行疾病的分析和预测.因此要想能够解密人类基因组的奥秘,就必须建立更加高效快速的数据分析平台,并结合生物测序仪器,将生物的蛋白质物质提取并转换为文本序列格式的数据,对其进行质量剔除、序列比对和基因测序等一系列测序分析工作6。

纵观我国的基因组测序行业的状况,在2017年底,我国启动“中国十万人基因组计划”7,这是我国在人类全基因组测序领域的一个重大战略举措,也是目前世界最大规模的人类基因组计划,对我国的基因测序行业的发展有着深远的意义。

1.1.2 Hadoop分布式平台

Hadoop 是Apache基金会下的一个顶级项目,主要用于在商业硬件网络上进行大规模计算和数据处理,该项目发展到目前已有超过十年的时间。这个分布式计算平台是用Java编写,最初是由Doug Cutting创建的,可以通过一个简单的MapReduce编程模型8,跨集群地对大型数据集进行分布式存储和计算处理等,Hadoop1.x与2.x的比较如图1-2所示。

这里写图片描述

图1 2 Hadoop1.x与2.x的比较

如今Hadoop项目已经发展为了一个大数据处理的应用框架体系,但其中主要应用在数据处理模块的仍然是HDFS分布式存储系统和MapReduce计算框架。在Hadoop2.09之后,将集群的资源管理和任务调度的功能分离成了一个YARN服务模块。在其1.0版本中,原本计算、资源管理及调度是统一管理的,但由于调度任务的增多导致集群资源调度的性能瓶颈问题,为了打破原来的性能瓶颈,将任务调度和资源管理从原来的模块中分离出来。也正是因为这种改进,使得一些其他的计算框架如Spark 、HBase 等能够轻松应用在Hadoop集群中。

1.2 国内外研究现状

1.2.1 基因测序的研究现状

在基因测序服务方面,目前全球有上千家厂商提供测序服务,美国是基因测序服务发展较早的国家,因此大部分的服务产商都分布在美国。目前有超过200家分布在中国。在奥巴马政府于2015年初颁布“精准医疗计划” ;第二年中国国家科技部也将精准医疗列入重点研发计划 ,精准医疗受到中美两国政府的高度重视。政府机构对于个性化精准医疗的战略部署,直接反映了基因测序在当今时代的重要性。

随着全球市场对基因测序的需求不断提升,一些大型的测序产商也在快速更新自己的测序仪产品。如Illumina测序公司在2014年推出了HiSeqX Ten测序仪系统,是第一个每年处理20,000个基因组的高通量系统,每个成本为1,000美元,从2015年,Illumina开始提供该系统的缩小版本HiSeq X Five。由于测序成本的不断降低,恰好也推动着一些医院和科研机构纷纷加入个性化医疗的研究领域中来,使得个性化精准医疗能够快速发展10。

1.2.2 Hadoop与基因测序的研究现状

下图是每个DNA序列的测序费用,早在2007年末,测序费用已打破摩尔定律迅猛下降,而截止到2017年对于每条DNA序列的测序费用已低于0.01美元。这十年间测序技术的发展和世界各国科研的投入,使得基因测序的成本和门槛越来越低。

每段DNA序列的测序成本如图1-3所示,面对如此低廉的测序成本,使得个性化测序医疗的成本也会越来越低。普通人群也可以享受基因测序带来的红利,想通过基因测序了解自己的基因变异位点和遗传病的情况等。单随之而来的会面临大数据量的基因测序问题,因此我们必须寻求其他手段来高效并发的处理基因测序,在此可以利用Hadoop大数据批量处理的优势来并行化测序。在国外已经有科研机构或者公司进行这方面的尝试,如Broad Institute研究所,他们采用Hadoop、Spark的方式和基因测序结合起来,发挥Hadoop和Spark基于内存的实时分析能力,对基因测序和大数据结合的尝试。在GATK4.0的时候推出了“在Spark集群上启用Spark的GATK工具”等系列课题 。

这里写图片描述
图1 3 每段DNA序列的测序成本

1.3 论文的主要研究内容

通过全基因组测序流程分析并引入参考基因组,将测序样本进行一系列的处理操作如:
1. 原始数据质量控制
2. 数据预处理(包括:序列比对、排序、标记重复序列以及建立索引等)
3. 基因变异检测

接着通过Hadoop大数据分析平台,并引入第三方模板引擎来构建分析处理脚本,结合MapReduce计算处理框架和分布式存储系统HDFS来并行计算和存储基因数据,从而实现对基因测序进行并行化测序,最终完成全基因组测序的全过程,获得样本准确的变异基因位点的集合。最后可以将这个变异集合用来指导一些疾病的研究和精准化医疗的应用方面等。

1.4 章节安排

在第一章绪论中,主要介绍全基因组测序的研究背景及意义,其中包括对全基因组测序原理及发展历程的介绍,并对Hadoop分布式平台加以介绍,最后对国内外基因测序的研究现状和本论文主要的研究内容作了阐述。

第二章中,将会重点介绍基因测序所需要的Hadoop平台,包括HDFS组件和MapReduce组件的内部原理和相关特性。接着对全基因组测序所用到的相关流程模块及测序技术作整体介绍,主要包括三大模块:原始数据质控、数据预处理以及变异检测。最后对测序技术中出现的主要文件格式,如FASTA、FASTQ、gVCF和VCF这四种格式做了概述和格式说明。

第三章中,基于Hadoop平台基因测序的关键技术作了剖析和研究。其中包括测序逻辑与MapReduce的结合,不同格式数据的访问和存储,以及如何保证分析流程的完整性,最后引入FreeMarker模板引擎完成关键性的定制化脚本的搭建工作。

第四章中,基于Hadoop平台基因测序的流程处理和MapReduce计算框架的代码实现方面。首先是对Hadoop伪分布式环境和分布式环境的搭建和功能比较比较,其次实现Shell脚本执行引擎的构建,并分析Mappe阶段和Reduce阶段作业设计与分配,最后将对作业进行整体调度的实现。

第五章中,主要对第四章搭建的大数据处理平台的测试、优化及扩展。考虑到测试数据的易用性和分析平台测序流程的完整性,这里使用E.coli_K12的样本组数据。通过将该项目的样本数据引大数据分析平台,可以很好的对该平台进行测试和系统优化。最后对Hadoop分布式的基因测序效率与传统的脚本式的测序效率作比较,将系统平台进行扩展应用等。

第六章,对基于Hadoop的基因测序大数据平台研究与设计的总结,通过对基于Hadoop的基因组测序大数据分析平台的研究,实现自动并行化的样本数据的基因测序,大大改善传统串行处理的测序分析处理流程,从而有效的提升基因测序处理效率,并有望将该平台研究成果应用于实际基因精准化测序和个性化医疗领域中。

[返回主目录]


  1. Sanger, F. & Nicklen, S. DNA sequencing with chain-terminating[P]. 74, 5463–5467 (1977). ↩
  2. Struster SC.Next-generation sequencing transform today’s biology[J].Nat Methods.5(1):16-18 (2008). ↩
  3. 解增言,林俊华,谭军,舒坤贤. DNA测序技术的发展历史与最新进展[J]. 生物技术通报. 2010(08). ↩
  4. Rusk N. Cheap third-generation sequecing[J]. Nature. 6(4): 244-245 (2011). ↩
  5. J. Craig Venter, Mark D. Adams, Eugene W. Myers. The Sequence of the Human Genome[J]. Science, 2001, 291(5507): 1304-1351. ↩
  6. 高通量DNA测序技术及其应用进展[J]. 于聘飞,王英,葛芹玉. 南京晓庄学院学报 2010-05-20 (05). ↩
  7. 衣春翔. 哈工大牵头启动十万人基因组计划[N]. 黑龙江日报. 2017-12-29 (003). ↩
  8. Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters[C]. America:Google, Inc., 2004. 137-149. ↩
  9. Garry Turkington. Hadoop基础教程[M]. 张治起译. 人民邮电出版社 第1版, 2014. ↩
  10. 新一代基因组测序-通往个性化医疗[M]. 贾尼特编著,薛庆中等译. 科学出版社, 2012. ↩
27、目标识别的最新进展 本文综述了目标识别(OID)领域的最新进展,重点介绍了质量评估、预处理和搜索空间缩减等关键技术。文章分析了多种质量指标,如缩减率、对完整性、召回率和精确率等,并探讨了它们的适用场景。同时,详细介绍了预处理中自动学习转换规则的方法,以及传统阻塞、排序邻域索引等搜索空间缩减技术。此外,文章还讨论了动态选择缩减技术的方法,并展望了未来研究方向,如更智能的预处理、自适应的缩减技术和与人工智能的结合。希望这些技术和方法能够为目标识别领域的研究和实践提供参考和帮助。 阅读详情

相关推荐

AMD MI50 Linux ROCm 6.4 手动编译与大模型推理实战

GPU加速计算是现代AI推理的核心基础,其性能依赖于硬件架构、驱动栈与运行时环境的深度协同。ROCm作为AMD开源GPU计算平台,采用‘自下而上’的Linux生态集成路径,强调对上游内核、编译器与固件的强耦合。MI50基于Vega 20(gfx900)架构,虽具备32GB HBM2高带宽显存与14.7 TFLOPS FP16算力,但因ROCm官方支持策略转向CDNA架构,自6.5版本起被移出支持列表,仅ROCm 6.4仍提供实验性兼容——这使其成为Linux下部署私有大模型的关键‘最后一班船’。本文围绕MI

weixin_32770423的博客 371

文章引言写法

位于正文开头,紧随摘要之后,起到交代背景、直抒研究主题及研究目标的作用。撰写引言时,研究者可以先综述所在领域的既有发现,再过渡到目前研究尚存的不足或空白之处,最后说明本研究将如何填补这些空白。好的引言可以奠定全文的基调,并阐明研究的重要性,令论文的价值一目了然。简要概述研究主题、指出文章试图填补的研究空白。如果摘要中提及的数据会与正文内容有出入,则会影响研究的可信度。写作逻辑:介绍研究主题→说明选择该主题的原由→提出研究假设→展示研究结果。为研究提供背景信息,通过综述其他相关研究,引出研究假设。

2301_77182976的博客 1779

地平线旭日X3派(RDK X3)从开箱到联网:新手避坑指南

本文为地平线旭日X3派(RDK X3)新手提供从开箱到联网的完整避坑指南。详细讲解了硬件识别、系统镜像烧录、串口调试(波特率921600)、有线/无线网络配置以及SSH/VNC远程访问等关键步骤,帮助开发者快速搭建稳定的开发环境,为后续AI应用部署扫清障碍。

weixin_29174385的博客 964

【JavaSE入门 - 00】前言:关于编程的几个基本概念

【代码】【JavaSE入门 - 00】前言:关于编程的几个基本概念。

Lee's Blog 2026

别再手动上传了!用宝塔面板的‘Let‘s Encrypt’免费SSL证书,3分钟自动续期

本文详细介绍了如何利用宝塔面板的‘Let‘s Encrypt’功能实现SSL证书的自动申请和续期,3分钟完成配置即可永久免费使用。通过对比不同SSL证书方案,突出Let's Encrypt的免费、自动续期和高安全性优势,特别适合个人博客和中小企业官网。

weixin_30415113的博客 152

osgEarth添加线特征

部分关键代码: osgEarth::Annotation::FeatureNode* pathNode = 0; osgEarth::Symbology::Geometry* path = new osgEarth::Symbology::LineString(); Track*track = dynamic_cast<Track*>(entity->getProperty(PS_TRACK)); if (track == nullptr) { return; } st.

wb175208的专栏 2968

gvcf文件与vcf文件

gvcf文件与vcf文件都是vcf文件,不同之处在于gvcf文件会记录更多的信息,这里更多的信息指的是未突变的位点的覆盖情况,从下面的图我们可以直观的看出两者的区别 可以看到,gvcf文件也分两种,一种是-erc gvcf ,另一种是 -erc bp_resolution,这两种gvcf文件的区别在于前一种gvcf文件记录非突变位点的时候,以块的形式来记录,而后一种gvcf文件则是对非突变和...

qq_35696312的博客 1万+

西门子 标准程序解读---> 机器手抓取和涂胶控制程序

摘要 该程序实现机械手在OP70/OP90工位的自动化控制,核心功能包括: 流程控制:分段(Seg1-Seg11)管理抓件、涂胶、放件等动作,结合DB1050/DB1250数据块监控工位状态及变位机位置反馈。 安全机制:配置干涉区(FC124)、实时检测安全光/急停信号,防止碰撞;服务程序(FB191)支持维修位触发与安全隔离。 参数配置:通过DB块关联机器人速度、节拍(FB27)、车型编码(如空过=2)及手自动模式(DB70.DBX21.2)。 应用场景:适用于汽车焊接/装配线

工控智联驿站 1239

实操 | 合并VCF文件的几种方法及注意事项

背 景 在基因组分析领域的很多不同场景中,需要合并VCF文件。VCF文件。简单来说,就是记录样本基因型的文件。但多数VCF文件不只记录了基因型,也包含有关该基因型的来源的细节。其它文件。VCF文件的上游是BAM文件,主要记录Reads与参考基因组的比对信息;更上游的,就是FASTQ测序数据,以及物种的参考基因组。不同类型的VCF文件。VCF文件有单样本的、多样本的;也有普通VCF文件...

悟道西方 1万+

使用 MATLAB/Simulink + Simscape Electrical 构建一个他励直流电机的启动与制动过程仿真模型

直流电机在工业控制、电动车辆、自动化设备中广泛应用。其中,他励直流电机(Separately Excited DC Motor)因其励磁绕组与电枢绕组分别供电,具有良好的调速性能和启动特性,常用于需要平稳启动和精确控制的场合。在实际应用中,电机的启动过程和制动过程对电网、机械系统以及电机本身都具有重要影响。因此,仿真分析他励直流电机的启动与制动特性,是电机控制设计的重要环节。本文将详细介绍如何使用构建一个他励直流电机的启动与制动过程仿真模型,并通过仿真分析其动态响应。本文详细介绍了如何使用构建一个。

amy_mhd的博客 233

【Coppeliasim|轨迹规划(三)】机械臂逆解

文章目录一些设置导航点设置添加连接用于碰撞的设置代码实现终端输出 一些设置 导航点设置 关于如何添加设置 dummy 的细节建议参考官方手册,这里不再赘述。 添加连接用于碰撞的设置 按照序号点击(一个是机械臂,一个是所有的物体除了机械臂): 代码实现 getMatrixShiftedAlongZ=function(matrix,localZShift) local m={} for i=1,12,1 do m[i]=matrix[i] end

【人工智障 | 计算鸡视觉 | 机器孩】 1万+

本科论文摘要和绪论有什么区别

各位正在准备本科论文的盆友看过来,你是不是还在为论文写作而苦恼?是不是还在疑惑怎么自己写的摘要和绪论改了一遍又一遍就是不符合老师的要求?是不是就因为摘要和绪论让自己不能完稿?

weixin_42009785的博客 5658

Java 实现 MP3 音频合并工具类:摆脱 FFmpeg,高效低 CPU 的纯本地方案【需求已解决】

本方案充分发挥了 Java 音频 SPI 的潜力,实现了轻量、跨平台、低 CPU 消耗的 MP3 音频合并工具类。 对于希望在服务器或桌面应用中集成音频处理功能的开发者而言,这无疑是一个可行且优雅的解决方案。

一键难忘的博客 547

毕业论文的绪论应该怎么写?

毕业论文相信每一位上过大学的小伙伴都不陌生,它是决定你能否踏出校门跨入社会的一个重要指标,我有位任性学长曾经就因为毕业论文的问题真的就不被学校批准毕业,所以千万不要小瞧它。但此时问题来了:怎么写毕业论文?论文有很多个部分组成,同学们可能会被卡在任意一个部分,该怎么解决?本篇文章主要解决的是卡在绪论部分的同学的问题。

weixin_42009785的博客 3275

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

毕业论文的绪论怎么写?

本秘籍图文并茂,通俗易懂,只需短短几分钟,你就可以无痛修炼升级,从论文小白成长为武林高手。几分钟而已,买不了吃亏,买不了上当!还不快快停下你滑动地小手指,睁大你的卡姿兰大眼睛,打起精神来,和我一起打怪升级。

weixin_42009785的博客 4542

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

绪论和引言的区别

相比之下,“绪论”通常是论文开篇的第二部分,它更加详细地介绍研究的背景和相关研究,概述研究的目的、意义和研究方法,并提出假设或研究问题。“引言”通常是论文开篇的第一部分,它的主要作用是引导读者进入研究主题,介绍研究背景和研究问题,并说明研究的目的和意义。总体而言,引言和绪论都是论文的开篇部分,用于引导读者进入研究主题,但它们的重点和功能略有不同。引言更加简要地介绍研究主题和研究问题,而绪论则更加详细地介绍研究背景、研究方法和理论基础。“绪论”和“引言”是论文中两个常见的开篇部分,它们的功能和内容略有不同。

wgx_0504的博客 6895

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

研知有术论文辅导丨绪论是什么意思?学位论文的绪论要写什么内容?

绪论”,这个很多同学既熟悉又陌生的词。熟悉是因为我们写学位毕业论文开篇就是它,陌生是因为平时写小论文会写“引言”多一些。有些同学还会把它们两个搞混。

yanzhiyoushu618的博客 1796

毕业论文摘要和绪论怎么降重

通过选择合适的降重工具、重写重复内容、注意语法和拼写、增加引用和参考文献以及避免直接复制粘贴等技巧和建议,您可以有效降低毕业论文摘要和绪论的重复率。同时,要注意保持摘要和绪论的连贯性和可读性,确保修改后的摘要和绪论在语法和语义上都是正确的。最后,为了使摘要和绪论达到0%的重复率,我们还需要注意参考文献的引用格式和规范,避免间接引用或直接复制粘贴的情况发生。在修改摘要和绪论时,还要注意语法和拼写的正确性。摘要:本文将探讨毕业论文摘要和绪论如何进行降重,提供实用的技巧和建议,帮助您降低重复率,提高论文质量。

pingf123的博客 1261

论文ddl:记录设置绪论从页码一开始

今天写论文时候发现绪论不是从第一页开始的,是从第八也开始,那么如何设置绪论从第一页开始呢?设置如下:选择插入-页码-设置页码格式。不要选择续前节,选择起始页码1。

lakersssss24的博客 6672

毕业论文绪论怎么降重

🔄 其次,梳理研究动机和研究问题:在绪论中明确阐述研究动机和研究问题,说明研究的必要性和重要性。🔄 然后,概括研究方法和研究结构:简要说明研究采用的方法和整体结构,让读者对论文有一个大致的了解。🎓 毕业论文绪论怎么降重 🤔🤔 毕业论文的绪论部分是整篇论文的开篇,对于整个论文的结构和内容起到重要的引导作用。🔍 那么,如何降低毕业论文绪论部分的重复率呢?🔥 总之,降低毕业论文绪论部分的重复率需要我们深入理解论文主题,梳理研究动机和研究问题,概括研究方法和研究结构,规范引用文献,并借助降重工具进行检查。

gk12336的博客 614

用人工智能 AI 工具能写论文绪论?

人工智能 AI 工具能写论文绪论?查看本文,了解怎么用 Wordvice AI 的英文纠错校对工具/线上英语语法检查器(Proofreading Tool)和改写润色工具(Paraphrasing Tool)撰写出一篇论文绪论。

wordvicecn的博客 636

第一章 绪论

一、 微机发展经历的几个阶段

L_Y_J_F的专栏 478

数据结构绪论思维导图

数据结构绪论思维导图

Corleone1024的博客 296

第一章《绪论》 思维导图

Zhang_zw的专栏 5251

【写作技巧】绪论写作要点

所谓绪论,又称引言、前言、导言、序言等,它是一篇文章的开场白,由它引出文章的“来龙去脉”.引言与摘要的区别,摘要是按照“四要素”步骤顺序而写的摘录概要,引言强调的是“问题提出”与“下文过渡”。 绪论写作要点有四:一是阐明撰写本文的目的和背景,即问题的提出,用简述的方式把某一个问题交待清楚,无需赘言,这一部分可以看做是摘要第1部分的展开阐述。二是讲清与本文有关的方式方法,三是说明预期的结果及其作用和意义。二和三合起来是论文研究的主要内容,是对摘要第2、第3部分的展开阐述,四是言简意赅,重点突出,开门见山,不绕

bwwork的博客 1588
上一篇: 基于Hadoop的基因组测序大数据分析平台研究
下一篇: AWS服务资源可访问位置说明
gamedev˚
博客等级 码龄12年 280粉丝 293原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值