NCBI SRA数据预处理

文献RNA-seq复现第2期——sra数据转换、参考基因组及注释信息的准备 sra数据转换、参考基因组及注释信息的准备 阅读详情

SRA数据的的处理流程大概如下

一、SRA数据下载、

NCBI 上存储的数据现在大都存储为SRA格式。

下载以后就是以SRA为后缀名。

这里可以通过三种方式下载SRA格式的数据。

1.通过http方式,2.通过ftp方式,3.通过Aspera

Aspera可以在NCBI网站上下载。

参阅:http://www.ncbi.nlm.nih.gov/books/NBK47540/


二、SRA格式转换成FASTQ格式

./fastq-dump -O /path/  /data/GEO/SRA/SRR058977.sra

fastq-dump可以在ncbi官方网站下载,这里面包含一系列的转换工具;

参阅:http://www.ncbi.nlm.nih.gov/books/NBK56560/

http://eutils.ncbi.nih.gov/Traces/sra/?view=software

转换成FASTQ,SFF,lllumina native,AB SOLiD native等格式;


另,转换FASTQ以后要转换成FASTA 命令如下:

awk '{if(FNR%4==1) print ">",$0; else if(FNR%4==2) print $0;}' a.fastq >a.fasta


————————----------------------------------------------------------------

以上部分为预处理部分:

当然我做的方向是比对方向,就可以用fasta做比对工作了。

………………………………………………………………………………………………………………………………………………………………………………………………

后面还可以做其他反面的研究:

3.去接头(此步要注意是否有接头,一般RNA-SEQ数据应该是没有接头的)

4.用tophat寻找可变剪切

tophat -r 42 -G genome.fa -o PF genomeIndex SRR058977.fastq

5.用cufflinks找不同组织中的差异

cuffdiff genomeAnnotation.gff   ../BF/accept.bam ./accept.bam

来源:http://blog.sciencenet.cn/blog-565558-626137.html

…………………………………………………………………………………………………………………………………………………………


可能会用到的修改目录权限的linux命令

Linux改变分区权限(简单好用版)

原理:

1.在Linux和Unix世界里,一切都是以文件的形式存在的。文件夹是文件,文件是文件,设备也是文件。
2.分区在挂载后,会在 /media/ 下以文件夹的形式显现
3.chmod用于修改权限 而chmod ugo+rwx 用于给所有的用户和用户组添加所有的权限

步骤:
1.假设需要修改权限的分区名为x
2.挂载x
3.赋权

代码:
sudo chmod ugo+rwx /media/x




测序数据处理 —— SRA 数据检索 pysradb是用Python编写的工具,提供了许多简单的命令来访问SRA和ENA数据库的测序数据的元数据信息,也可以用它来下载数据。该软件提供的各种ID的转换很好用,对于批量下载数据并需要对应到测序数据的样本编号(GSMXXXXX)时很好用,下面简单介绍一下它的使用。 阅读详情

相关推荐

SRA Toolkit(从NCBI下载数据)

下载完成之后,当前文件夹下会生成一个。然后同级文件夹下会生成。

m0_46807718的博客 3561

从SRA数据下载开始学习ATACseq数据分析

第2行储存的是序列信息,正常情况都是用ATCG四个字母表示,但是当测序仪无法准确分辨该位置的序列信息时,会以N来代指此处的序列信息;第4行存储的就是第2行每一个碱基的测序质量信息,其中的每一个符号所对应计算机的ASCII值是经过换算的phred值,而phred值等于33-10*logP,这里的P代表该位置测序发生错误的概率,简单来说,如果某个位置测得的序列十分可信,那么意味着该位置发生错误的概率极小,所以phred值就很大,即该值越大,说明测序的质量越好。明码标价之ATACseq|生信菜鸟团。

crewkickse的博客 1837

生物信息学新手村任务:从NCBI SRA数据库到FASTQ文件的完整通关指南

本文为生物信息学新手提供从NCBI SRA数据库下载数据并转换为FASTQ文件的完整指南。通过游戏化任务设计,详细介绍SRA Toolkit安装、数据下载(包括wget和prefetch方法)、格式转换及质量评估等关键步骤,帮助初学者快速掌握测序数据处理流程。

weixin_30444105的博客 241

基于10X平台的scRNA-seq数据准备

基于10X平台的scRNA-seq数据准备

yangyongsan的博客 1674

高效获取SRA数据:基于EBI-ENA与ASpera的实战指南

本文提供了基于EBI-ENA与ASpera高效获取SRA数据的实战指南,涵盖数据检索、批量下载、格式转换及性能优化等关键步骤。通过详细的操作示例和脚本,帮助科研人员快速掌握SRA数据获取技巧,显著提升生物信息学分析效率。

weixin_29288313的博客 364

【R语言】Windows下SRA Toolkit高效下载与FASTQ转换实战指南

本文为使用R语言进行生物信息学分析的Windows用户提供了一份详尽的SRA Toolkit实战指南。文章详细讲解了在Windows系统下如何高效下载SRA数据并转换为FASTQ格式,涵盖了从安装配置、核心工具使用到批量处理与R语言整合的全流程,旨在帮助用户克服数据获取障碍,建立流畅的本地方案。

java5的博客 926

归一化(Normalization):一种常见的数据处理方法

归一化(Normalization)是一种常见的数据处理方法,用于将数据调整到特定的范围或标准化的形式。归一化方法的选择取决于具体的应用和数据特点。小数定标归一化(Decimal Scaling):通过移动数据的小数点位置来实现归一化,使数据落在 [-1, 1] 或 [-0.5, 0.5] 等区间内。归一化范数(Normalization by Norm):将数据向量除以其范数,使得数据向量的范数为1。Z-score归一化(Standardization):将数据转化为均值为0、标准差为1的标准正态分布。

qq_44010486的博客 4353

Aspera极速下载实战:从零部署到批量获取NCBI SRA数据的完整指南

本文详细介绍了Aspera在NCBI SRA数据下载中的极速优势与实战部署指南。通过FASP技术实现比传统FTP快20倍的传输速度,特别适合批量下载fastq文件。内容涵盖Linux系统安装、密钥配置、单文件与批量下载脚本开发,以及常见问题解决方案,为生物信息学研究人员提供完整的高效数据获取方案。

weixin_30480075的博客 370

SRA Tools完全指南:从安装到数据提取的终极教程

SRA Tools是处理NCBI Sequence Read Archive (SRA)数据的核心工具集,提供从数据下载、格式转换到高级分析的完整解决方案。本教程将帮助你快速掌握SRA Tools的安装配置与核心功能,轻松应对高通量测序数据处理需求。 ## 一、SRA Tools安装指南 ### 1.1 源码编译安装 通过源码编译可获得最新功能支持,适合需要定制化配置的用户: ```bas

gitblog_00378的博客 959

复信号的调制与解调(基带)

Digital modulation methods can be considered as digital-to-analog conversion and the corresponding demodulation or detection as analog-to-digital conversion. 数字调制可以看成是数字到模拟的变换,同样,数字解调也可以看作是模拟向数字的转换。

JonTargaryen的博客 1万+

Win10环境下VS2019离线部署OnnxRuntime的完整指南

本文提供了在Windows 10系统下,为Visual Studio 2019进行OnnxRuntime离线部署的完整教程。针对网络受限环境,详细讲解了如何获取正确的离线安装包、配置本地NuGet源,并逐步指导项目配置与测试,确保AI模型在C++环境中顺利运行。

weixin_29205061的博客 401

NCBI SRA Toolkit 完整指南:快速处理基因组测序数据的终极工具

NCBI SRA Toolkit 是生物信息学领域不可或缺的**基因组数据分析工具**,专门用于处理存储在Sequence Read Archive(SRA)中的高通量测序数据。无论您是研究癌症基因组学、微生物组分析,还是进行转录组研究,这套工具都能帮助您高效获取、转换和分析测序数据。🔬 ## 什么是SRA Toolkit? SRA Toolkit 是由美国国家生物技术信息中心(NCBI)开

gitblog_00195的博客 547

南京理工大学计算机预推免面试(双非重点关注)

南京理工大学总体来说对双非学校比较友好,上岸率比较高,而且面试形式是线上,在预推免的过程中,可以作为重点关注的学校,但是一定要注意南理报名截止的时间,部分学校可能保研名额公示的比较晚,对于保研边缘人来说很可能会错过,我的建议是,即使不确定能否拿到保研名额,先查一下截止时间,先在系统上报名!!一旦拿到了offer,就是铁的,保底专硕,而且有很大的技巧性,一定要认真看哈!!!每个人的情况可能都不一样,如果有需要帮忙可以私我~~~

D1379951481的博客 2019

从NCBI SRA数据库高效获取测序数据的3种实战方法

本文详细介绍了从NCBI SRA数据库高效获取测序数据的3种实战方法,包括SRA-Toolkit的智能下载、wget/curl的极速下载以及srapath的自动化方案。通过具体案例和优化技巧,帮助研究人员根据项目规模选择最适合的数据下载策略,提升工作效率。特别适合需要处理大量生物测序数据的研究人员参考。

weixin_29268385的博客 271

【深度学习新浪潮】什么是system 1和system 2?

System 1(快速生成)指大模型直接基于输入生成响应,无需显式中间推理步骤。例如,GPT-4等模型在默认状态下通过Transformer直接输出结果,擅长快速回答简单问题或生成连贯文本,但在复杂逻辑任务中可能出错。这类模型的内部计算以向量形式隐式进行,难以处理符号推理等需要离散决策的任务。System 2(慢速推理)指模型通过生成中间token(如思维链、分步推导)或多次调用LLM进行复杂推理。

专注:太空算力、AI infra、异构调度、大模型成本工程 929

[QMT量化交易小白入门]-九十五、多因子选股和趋势择时股票量化交易策略,年化收益率40.61%

本策略采用“双层过滤”机制:第一层基于多维度财务指标进行股票池筛选(多因子选股),第二层运用均线系统和MACD指标实施动态择时(趋势跟踪)。这种设计既保证了组合的质量下限,又能灵活应对市场波动。因子配置科学性:涵盖估值、成长、盈利、动量四大类因子风险控制精细化:设置动态止损与仓位管理机制信号验证严格性:多重条件交叉验证提升胜率。

木头大左的博客 801

Fastq文件的获取 (sratoolkit 工具)

SRA Toolkit 工具的目的是下载NCBI未处理的SRA数据,还能将SRA文件处理成fastq文件。建议使用后台下载:(如果是服务器,后台下载不会因为连接中断而中断,除非服务器网断了)2、下载后,使用fastq-dump拆分sra数据,转变为fastq格式数据。里面(好像在SRA Toolkit里,忘记了,上次找了好久)。工具有个命令可以稳定下载数据,就是有点慢,但是稳定。对于多个数据下载:(方法多种多样,可以自己写循环)比如,如果你需要将文件输出到其他地方,加个。1、使用命令下载感兴趣的数据,

qq_74093550的博客 2490

【本地部署实战】LM Studio深度使用指南:从环境搭建到模型调优

LM Studio通过极简的操作流程和强大的生态兼容性,让本地部署大模型成为可能。随着M4芯片的发布和CUDA 12.0的优化,未来本地化AI开发将迎来新的爆发点。建议开发者关注官方Discord社区(https://discord.gg/lmstudio)获取最新模型支持信息。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 8753

【亲测免费】 SRA-探索者:轻松访问Sequence Read Archive数据的工具

SRA-探索者:轻松访问Sequence Read Archive数据的工具 项目介绍 SRA-探索者(SRA-Explorer)是一个基于Web的小型应用程序,旨在简化对NCBI Sequence Read Archive(SRA)中数据集的访问。该工具无需任何后台设置,即可直接在用户的浏览器中工作,提供了一个直观界面来搜索和下载数据,无论是以SRA文件形式从NCBI获取还是通过EBI ENA获...

gitblog_00003的博客 1328

Flow Matching05:概率路径与插值【概率路径:线性插值路径(最简单)、高斯插值路径】【先尝试线性插值,看效果如何;若不够好,尝试高斯插值】

好的,我将从数学角度详细解释Flow Matching,从高中生能理解的基础知识开始,逐步深入到高级概念。

u013250861的博客 173

必知必会:DeepSeek-R1训练流程详解

必知必会:DeepSeek-R1训练流程详解

丨汀、的博客 287

NCBI数据库使用全攻略:从序列检索到批量下载与格式转换

生物信息学分析中,公共序列数据库是获取基因、蛋白及文献数据的基础设施。其核心原理在于通过标准化检索语法与多子库协同,实现序列、注释与分类信息的整合查询。掌握这些技能可显著提升数据获取效率,避免格式错误与重复劳动。典型应用场景包括引物设计、同源比对、进化分析及高通量测序数据下载。本文系统梳理了NCBI常用子库分工、检索语法、批量下载方案及数据格式转换技巧,并附常见报错处理与效率提升方法,帮助研究者建立规范的数据获取流程。

weixin_34006965的博客 398

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

SRA数据生态全景解析:从云端存储到本地分析的完整链路

本文全面解析SRA数据生态系统,从云端存储到本地分析的完整链路,涵盖NCBI、AWS和GCP三大平台的存储架构与访问策略。详细介绍SRA ToolKit的安装与使用技巧,包括高效下载协议选择、元数据管理及本地化处理流水线构建,助力生物信息学研究人员优化数据分析流程。

hill8的博客 341

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

生物信息学实战:从SRR号到FASTQ文件的完整下载与转换指南

高通量测序数据分析是生物信息学研究的核心基础,其首要环节是获取原始测序数据。数据通常以SRR号形式存储在NCBI的SRA数据库中,需要通过专用工具进行下载和格式转换。SRA Toolkit作为官方工具集,通过prefetch和fasterq-dump等组件,实现了从SRA归档到标准FASTQ格式的高效转换。这一过程不仅涉及数据搬运,更关乎后续分析的准确性与效率。在实际工程实践中,合理配置缓存目录、启用多线程加速、处理网络中断与磁盘空间管理等技术细节至关重要。本文聚焦于SRR号下载与FASTQ转换的完整工作流

weixin_30240349的博客 375

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: 【G-BLASTN 1.0正式发布】
下一篇: blast数据库含义
OpenHero
博客等级 码龄23年 2276粉丝 226原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值