GIAB数据集NA12878与NA12777样本数据下载

基于ONT数据的乳腺癌BRCA1和BRCA2变异检测方法 阅读详情

在 GIAB 数据集中,NA12878对应 HG001,为女性样本;NA12777对应 HG004,为男性样本。

1. AWS CLI安装

AWS安装教程:https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html

# linux  
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip

sudo ./aws/install

2. 数据下载

HG001 和 HG004 的数据总量约为 100GB。

下载的文件列表:

  • CRAM 文件:这是经过压缩的比对文件
  • VCF 文件:包含变异检测结果
  • BED 文件:用于排除低复杂度区域
  • README 文件:其中包含变异调用的步骤说明
# 创建存放数据的目录 
mkdir GIAB && cd GIAB

# 下载HG001(NA12878)和HG004(NA12777)的数据 
# --recursive:此参数用于递归下载整个目录
# --no-sign-request: 无需进行身份验证下载
# --include: 参数筛选出仅包含 HG001 和 HG004 的文件
aws s3 cp s3://ultima-ashg-2023-reference-set/ . \
--recursive --no-sign-request \
--include "HG001*" --include "HG004*"

3. 参考基因组下载与CRAM解压

CRAM 文件需要参考基因组才能解压,下载hg38可将CRAM解压为BAM。

aws s3 cp s3://s3.amazonaws.com/ucsc - \
goldenPath/hg38/bigZips/hg38.fa.gz .

gunzip hg38.fa.gz

# 解压 CRAM 文件
samtools view -C -T hg38.fa HG001.cram -o HG001.bam

4. 变异评估

可使用hap.py工具(GitHub: https://github.com/illumina/hap.py ),将检测结果与 GIAB 的基准变异集合进行对比,以此评估变异检测的准确性。

git clone https://github.com/Illumina/hap.py.git

# 基本用法
# 将PG_NA12878检测结果与NA12878基准变异集合进行对比
/bin/hap.py  \
      example/happy/PG_NA12878_chr21.vcf.gz \
      example/happy/NA12878_chr21.vcf.gz \
      -f example/happy/PG_Conf_chr21.bed.gz \
      -o test
      
ls test.*
# test.metrics.json  test.summary.csv
一文详解VarScan肿瘤体细胞突变检测的的安装和实践 ​hello,大家好,今天为大家带来关于肿瘤体细胞突变检测工具VarScan的超详细安装及应用教程。 阅读详情

相关推荐

如何下载生物数据(三):GATK数据下载

欢迎订阅WX众号:基因学苑,更多精彩内容等你发掘! 基因学苑Q群:32798724 当前做人相关的基因组分析,包括全基因组WGS,全外显子WES以及目标区域测序TRS,基本上都采用GATK标准的Best Practise最佳实践指导。人的基因组分析与其他物种稍微有一些不同,处理下载参考序列,还需要下载已有信息,例如各种人类基因组计划累积的变异信息,这些信息可以用于先验的学习集,提高变异检测的准确性...

xxxie_的博客 6337

生信小白学习日记Day2-2——NGS基础 NGS分析

2019年5月26日下午,无意中看到hanli0902的关于NGS分析的博文https://blog.youkuaiyun.com/hanli1992/article/details/82790386有很多需要学习的地方,在这里贴一些并就不理解之处做些笔记,仅供参考。 NGS基础——NGS分析 NGS 分析步骤 1. 质量分析 fastqc、multiqc、SolexaQA 测序数据的质量好坏会影响我们的下...

weixin_42953727的博客 3919

NA12878:纳米Kong上NA12878基因组的数据和分析

牛津纳米Kong人类参考数据集 快速链接 资料可用性 有关下载文件的注意事项。 文件通常由Amazon Web Services托管。 尽管可以作为直接HTTP链接使用,但通过使用Amazon Web Services可以提高下载性能。 参考文献应修改为使用s3://寻址方案,即以s3://nanopore-human-wgs代替http://s3.amazon.com/nanopore-human-wgs/进行下载。 例如,要将rel3-nanopore-wgs-288418386-FAB39088到当前工作目录,请使用以下命令。 aws s3 cp s3://nanopore-human-wgs/rel3-nanopore-wgs-288418386-FAB39088.fastq.gz . 按照修改max_concurrent_requests等设置将进一步提高下载性能。 接触 请

「BioNano系列」下机原始数据过滤和评估

从这部分开始,就开始涉及一些软件的操作和数据分析,因此在进入正文之前,我们需要准备好环境。 环境准备 第一步:从 https://bionanogenomics.com/library/datasets/下载人类测试数据集,以及对应的NA12878人类基因组。 DLE数据集 wget http://bnxinstall.com/publicdatasets/DLS/20...

xuzhougeng blog 1186

giab-asm-benchmarking:GIAB管道用于对基因组组装进行基准测试

一般信息 GIAB组装基准测试管道(GABP)提供了Snakemake管道,用于对基因组组装进行基准测试,使用Dipcall进行变体调用,使用hap.py进行基准测试,以符合GIAB基准或用户定义的基准集。 管道工作流程 下图通常描述了管道中的步骤。 依存关系 Snakemake v5.18.0或更高版本(使用v5.18.0开发的管道) Docker和Docker容器docker://jmcdani20/hap.py:v0.3.12 在src/目录中找到了Dipcall(克隆repo时将下载该消息) bgzip get 入门 将工作流程克隆到工作目录中git clone https://github.com/usnistgov/giab-asm-benchmarking.git path/to/workdir cd path/to/workdir 根据需要调整用户输入(请参阅“管

giab_data_indexes, 在一个瓶子项目中,这个存储库包含来自NIST基因组的数据索引.zip

giab_data_indexes, 在一个瓶子项目中,这个存储库包含来自NIST基因组的数据索引 giab_data_indexes这个存储库包含来自nist的基因组项目中的数据索引。 序列和对齐的索引也在下面: ftp://ftp-trace.ncbi.nlm.nih.gov/giab/ftp/data_indexes/ 。A

vcf 格式文件详解

Vcf文件格式是GATK钟爱的表示遗传变异的一种文件格式。就拿GATK给出的vcf例子说明吧,下面这个文件只表示了一个完整vcf文件的前几个SNP。看上去确实有点复杂,那就把它分为两部分看吧,第一部分把他归为说明文件,就是每一列最前面有2个#符号的那些列所提到的就是为了解释下面“正文”INFO列中可能要出现的一些tags和和FORMAT列中对基因型的表示。第二部分可以归为下面的内容:#CHROM

黄飞的博客专栏 1万+

giab_remap_38:重新映射瓶中的基因组NA12878验证变异调用到人类基因组构建38

瓶中的基因组NA12878人类基因组38重新映射验证集 用于NA12878验证变种中重新映射脚本要求 。 这些使用重新映射将VCF调用和评估区域BED文件从版本37转换为版本38坐标。 我们出于测试目的采用多种重新映射方法: 带有 结果 GRCh37的瓶区域中的基因组映射到构建图38:GiaB_v2_19-37_prep_regions.bed 带有UCSC链文件,区域和VCF文件的交叉图hg38提升:GiaB_v2_19-38_crossmap-regions.bed,GiaB_v2_19-38_crossmap.vcf.gz NCBI重映射hg38区域和VCF文件:GiaB_v2_19-38_remap-regions.bed,GiaB_v2_19-38_remap.vcf.gz 使用验证VCF和统计信息:giab-hg38-validation-results.tar.gz

Sentieon | 每周文献-Benchmark and Method Study(基准与方法研究)-第八期

Sentieon为完整的纯软件基因变异检测二级分析方案,其分析流程完全忠于BWA、GATK、MuTect2、STAR、Minimap2、Fgbio、picard等金标准的数学模型。在匹配开源流程分析结果的前提下,大幅提升WGS、WES、Panel、UMI、ctDNA、RNA等测序数据的分析效率和检出精度,并匹配目前全部第二代、三代测序平台。

bio2s 257

手把手教你用三菱PLC控制JET伺服原点:从硬件接线到GXWORKS3程序调试

本文详细介绍了如何使用三菱PLC控制JET伺服系统实现原点回归功能,涵盖硬件接线、参数配置到GX Works3程序调试的全流程。通过实战指南,帮助工程师快速掌握伺服控制技术,提升工业自动化项目的实施效率。

weixin_30642561的博客 534

STM32 CAN发送丢包?3个邮箱轮询法实测有效(附代码)

本文深入分析了STM32 CAN总线发送丢包的根本原因,指出其内置CAN控制器的三个发送邮箱是硬件瓶颈。针对高负载场景,提供了实测有效的优化方案,重点介绍了非阻塞的邮箱状态轮询法,该方法通过主动轮询三个邮箱的空闲状态,充分利用硬件资源,显著提升发送稳定性并避免任务阻塞。文中附有可直接使用的示例代码。

weixin_29189381的博客 195

DeepVariant全基因组测序案例研究:从数据准备到结果评估

DeepVariant是Google开发的一款基于深度学习的变异检测工具,它能够从二代测序数据中准确识别单核苷酸变异(SNPs)和小片段插入缺失(INDELs)。本文将详细介绍如何在实际的全基因组测序(WGS)数据上应用DeepVariant,并通过基准测试评估其变异检测的准确性。 ## 实验设计 本案例研究使用以下数据: - 参考基因组:GRCh38无alt分析集 - 测序数据:HG003样...

gitblog_00564的博客 621

保姆级教程:在Zynq UltraScale+ EV系列FPGA上,用VCU IP核搞定4K60帧H265视频解码与HDMI2.0输出

本文提供在Zynq UltraScale+ EV系列FPGA上使用VCU IP核实现4K60帧H265视频解码与HDMI2.0输出的全流程指南。从开发环境准备、Vivado工程配置到PetaLinux系统定制,详细解析硬件选型、IP核参数设置及性能优化技巧,帮助开发者快速构建高效视频处理系统。

weixin_30800987的博客 431

基因数据处理2之ftp数据快速查找

基因数据处理2之ftp数据快速查找 linux下可以用grep: curl -s "ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/current.tree" | grep NA12878 运行结果: hadoop@Mcnode1:~/cloud/adam/xubo/testAdam34/TestBaiBas$ curl -s "ftp://f

Keep Learning 1937

飞腾D2000 BIOS编译避坑指南:PCIE拆分、S3电源与过温保护配置详解

本文详细解析飞腾D2000 BIOS编译中的关键配置技巧,包括PCIE拆分模式优化、S3电源管理适配及过温保护设置。通过实战案例和参数调优建议,帮助开发者规避常见陷阱,充分发挥国产高性能计算平台的硬件潜力。特别针对BIOS编译过程中的隐蔽问题提供解决方案。

weixin_33704234的博客 534

量子密钥分发系统的工程实践(四):FPGA在后处理中的核心实现与优化

本文深入探讨了FPGA在量子密钥分发(QKD)系统后处理中的核心实现与优化策略。文章详细拆解了FPGA如何高效完成原始密钥提取、误码协商和私密放大等关键任务,并分享了流水线设计、资源复用及存储器架构优化等工程实践“心法”,旨在解决高速、实时QKD系统中的性能瓶颈,提升密钥生成率。

t8u9v0的博客 387

基因数据处理1之mapping_to_cram

基因数据处理1之mapping_to_cram 参考资料: A Worked Example Obtain some public data We will use the first 100,000 read-pairs from a yeast data set. curl ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR507/SRR5077

Keep Learning 2977

Claude code-review 插件深度解析:AI 驱动的智能代码审查系统

Claude Code Review 插件深度解析:AI 驱动的智能代码审查系统 该插件通过多 Agent 并行工作方式自动审查 PR,采用置信度评分机制(80+分保留)过滤误报,确保高质量反馈。核心功能包括: 5个专业化 Agent 并行审查(规范合规性、bug检测、历史分析等) 8步工作流程:从资格检查到 GitHub 评论发布 创新性置信度评分系统(0-100分),严格过滤7类误报 结合 CLAUDE.md 规范和历史 PR 评论实现一致性审查 技术亮点: 多 Agent 架构(Haiku/Sonne

虚心若愚 2262

使用samtools来对sam/bam/cram相互转换

使用samtools来对sam/bam/cram相互转换 sam bam samtools view -h NA12878.bam >NA12878_2.sam samtools view -b -S NA12878.sam > NA12878_2.bam samtools view -C -T ref.fa aln.bam > aln.cram samtoo

Keep Learning 4万+

基于 YOLOv26 的车辆违规停车检测系统:实时监控

本文提出了一种基于YOLOv26的车辆违规停车实时检测系统。系统采用多模块架构,包括视频预处理、YOLOv26目标检测、DeepSORT目标跟踪、停车区域定义、行为分析和违规判定等功能模块。关键技术包括使用YOLOv26s模型进行车辆检测,结合DeepSORT算法实现车辆跟踪,支持多种停车区域定义方式(多边形、矩形、限时区域等)。系统通过边缘计算平台部署,实现了对道路边、禁止停车区等场景的实时监控,能够准确识别长时间停车、禁止区域停车等违规行为,并触发告警机制。实验结果表明,该系统在车辆检测准确率和违规判定

一键难忘的博客 772

[VT虚拟化驱动]利用EPT实现无痕HOOK

本章利用讲EPT无痕HOOK

吾无法无天的博客 1万+

VCF格式详解

1. 什么是VCF? CVF是用于描述SNP,INDEL和SV结果的文本文件。在GATK软件中得到最好的支持,当然SAMtools得到的结果也是CVF格式,和GATK的CVF格式有点差别。 2. VCF的主体结构 先给出一个VCF文件的范例: ##fileformat=VCFv4.0 ##FILTER= ##FORMAT= ##FORMAT= ##FORMAT= #

小猪打呼噜 5011

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

bcftools操作vcf文件

根据染色体提取vcf中的信息: bcftools view -r chr20,chr21,chr22 NA12878.vcf.gz -o NA12878.vcf.chr20_22.gz -O z 解释: 提取金标准变异NA12878.vcf.gz中20、21和22染色体的变异,保存到NA12878.vcf.chr20_22.gz文件中 -Oz:表示使用压缩形式保存文件 提取之后的文件作为其它软件输入时经常需要索引,可按如下建立索引: bcftools index -t NA12878...

bigcindy的博客 4096

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

基于大模型的需求分析技术及应用

基于大模型的需求分析,其工程价值不在于让模型“写出”需求,而在于将需求分析中可分解的比对、标注和初筛工作前置,使人的判断力集中在冲突裁决和语义协商上。技术路线的选择应服务于这一分工逻辑:提示工程提供基础控制力,RAG注入项目知识,多智能体在需要多视角张力时补充推理深度,而形式化校验守住逻辑底线。项目的经验也表明,校验和冲突处理机制的设计质量,比模型本身的能力更能决定大模型在需求工程中的实际效用。

ai_coder_ai的博客 260

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

【计算机毕设选题】基于Spark的全球企业邮件安全合规数据可视化分析系统 大数据毕设首选 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘

本系统基于Hadoop生态构建,集成Spark、Python、Django与Vue等技术,实现全球企业邮件安全合规大数据分析。通过SPF、DMARC、BIMI、MTA-STS等协议数据,从国家、行业、企业规模等维度开展多维可视化分析,涵盖合规总览、协议关系、聚类异常等模块,结合K-Means聚类与关联规则挖掘,直观呈现邮件认证态势,支持数据管理与账号维护,助力企业提升邮件安全合规水平。

weixin_19164791635 248
上一篇: 计算NIPT胎儿DNA片段大小分布与胎儿浓度(FF)
下一篇: 游离胎儿DNA检测(NIPT)及其与产前指标的相关性
生信与基因组学
博客等级 码龄9年 7202粉丝 257原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生信与基因组学

每一份鼓励是我坚持下去动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值