悟道西方

经常会碰到列数特别多的文件，而屏幕又不足以放下这么多列；即便能放下，也不容易清晰的辨别出想提取的信息在第几列。（后台回复 环境变量 查看如何像运行一个系统命令一样运行脚本 Linux学习-环境变量和可执行属性）。根据我们前面的学习，可以用一行命令或简单的写一个bash脚本来处理这个问题。命令如下，命令的解释见 Linux学习-文件排序和FASTA文件操作。

Linux学习系列文章是生信宝典最开始主推的一块，力图从一个新额视角帮助初学者快速入门Linux系统，熟悉Linux下的文件和目录，文件操作， 文件内容操作。而且教程摒弃了完美操作，列举出常见错误和解决方式，管道、标准输入输出解惑Linux下多种信息输出方式。在文件排序和FASTA文件操作中简述了awk和sed的使用，作为一个引子。本篇则详细列举关于awk常用的操作和一些偏门的操作。

命令不全：在命令没有输入完 (引号或括号没有配对)，就不小心按下了Enter键，终端会提示出一个>代表命令不完整，这是可以继续输入，也可以ctrl+c终止输入，重新再来。(下面sed命令使用时，还有另外一种命令不全的问题)文件名输入错误: 多一个字母、少一个字母、大小写问题所在目录不对: 访问的文件不存在于当前目录，而又没有提供绝对路径, 或软连接失效。

grep的用法很多，支持正则表达式匹配，这里不展开，可以自己查阅资料，或在后期的教程涉及到时再学习。-f: 指定取出哪一列，使用方法为-f 2 (取出第2列)，-f 2-5 (取出第2-5列)，-f 2,5 (取出第2和第5列)。另外一个方式，去除HAHA，使用cut命令 (cut更适合与矩阵操作，去除其中的一列或者多列)。替换文件中的字符: sed是一个功能强大的文件内容编辑工具，常用于替换、取得行号等操作。常用的文件内容操作有文件压缩解压缩、文件大小行数统计、文件内容查询等。gzip: 压缩文件;

nano类似于Windows下记事本的功能，nano filename就可以新建一个文件，并在里面写内容；ctrl+x退出，根据提示按Y保存。vim 功能更强大的文本编辑器。vim filename就可以新建一个文件, 敲击键盘字母i，进入写作模式。写完后，敲击键盘Esc, 退出写作模式，然后输入:w (会显示在屏幕左下角)，回车保存。vim的常用方法，以后会单写一个，这里点到为止。

个人认为，Linux操作系统和类Linux操作系统的命令行界面是最适合进行生物信息分析的操作系统。原因有三点：长期运行的稳定性多数软件只有Linux版本强大的Bash命令简化繁琐的操作，尤其是大大简化重复性工作但对于初学者来说，接触和理解Linux操作系统需要一些时间和摸索。陡然从可视化点选操作的Windows进入到只有命令行界面的Linux，最大的陌生感是不知道做什么，不知道文件在哪？本文希望能通过几个示例帮助大家适应Linux系统。

生物信息的学习离不开Linux系统，不管自己写命令处理数据，还是使用现有的工具。Linux对我们来讲最重要的是它强大的命令行功能，可以快速、批量、灵活的处理数据的提取、统计和整理等耗时耗力的重复性工作。事实上在日常生信分析中，多数整理工作也都是用Linux命令的组合完成的，相比于写完整的Python或Perl程序更简便快捷；另外，生信分析用到的工具大都只在Linux下运行，而Linux发行版众多，更新速度不一，软件的安装是一个令人头大的事情。

NGS系列文章包括NGS基础、转录组分析 （Nature重磅综述|关于RNA-seq你想知道的全在这）、ChIP-seq分析 （ChIP-seq基本分析流程）、单细胞测序分析 (重磅综述：三万字长文读懂单细胞RNA测序分析的最佳实践教程 （原理、代码和评述）)、DNA甲基化分析、重测序分析、GEO数据挖掘（典型医学设计实验GEO数据分析 (step-by-step) ...

seq你想知道的全在这）、ChIP-seq分析 （ChIP-seq基本分析流程）、单细胞测序分析 (重磅综述：三万字长文读懂单细胞RNA测序分析的最佳实践教程 （原理、代码和评述）)、DNA甲基化分析、重测序分析、GEO数据挖掘（典型医学设计实验GEO数据分析 (step-by-step) - Limma差异分析、火山图、功能富集）等内容。2017年生信宝典发布了Linux学...

在NGS基础：测序原始数据下载一文中提到可以使用SRA-toolkit中的命令fastq-dump从NCBI下载原始测序数据，命令如下。nohup fastq-dump -v --split-3 --gzip SRR5908360 &nohup fastq-dump -v --split-3 --gzip SRR5908361 &这个代码，给我们4个提示：fastq-...

一文看懂PCA主成分分析中介绍了PCA分析的原理和分析的意义(基本简介如下，更多见博客)，今天就用数据来实际操练一下。（注意：用了这么多年的PCA可视化竟然是错的！！！）在公众号后台回复**“P****CA实战”**，获取测试数据。一、PCA应用# 加载需要用到的R包library(psych)library(reshape2)library(ggplot2)library(fac...

斯德哥尔摩时间10月3日11时45分（北京时间10月3日17时45分），2018年诺贝尔化学奖揭晓。Frances H. Arnoid因研究酶的定向功能改造而分享一半奖金；George P. Smith 和Sir Gregory P. Winter****噬菌体展示技术基于的抗体改进而共享另一半奖金。从1901年至2018年的诺贝尔化学奖历年获奖数据概览见下图所示，绘制方法见：networ...

之前搜集免费生物AI插图时简单提到了通路数据库Reactome（https://reactome.org/）， 那些精美的生物插图只能算是该数据库附赠的小礼品，他的主要功能还是作为一个开源的通路数据库，为相关领域的研究者提供直观的可视化生物信息学工具。在一定程度上，可以替代收费的KEGG数据库，而且拓展出很多新的通路。目前该库覆盖了19个物种的通路研究，包括经典的代谢通路、信号转导、基因转录调控...

生物信息的学习离不开Linux系统，不管自己写命令处理数据，还是使用现有的工具。Linux对我们来讲最重要的是它强大的命令行功能，可以快速、批量、灵活的处理数据的提取、统计和整理等耗时耗力的重复性工作。事实上在日常生信分析中，多数整理工作也都是用Linux命令的组合完成的，相比于写完整的Python或Perl程序更简便快捷；另外，生信分析用到的工具大都只在Linux下运行，而Linux发行版众多，...

三阴乳腺癌（TNBC）是乳腺癌的一种侵袭性亚型，常对化疗产生耐药性。而耐药性的产生到底是之前存在的稀有突变细胞受到选择还是新基因突变导致的，仍是一个谜团。为研究该问题，Charissa Kim等人利用混合细胞外显子测序以及单细胞DNA和RNA测序，对新辅助化疗（NAC）期间20名TNBC患者进行跟踪分析。深度外显子组测序结果显示10例病人化疗后原始突变消失，10例病人化疗后突变依然存在。对其中...

差异基因鉴定基因表达标准化不同样品的测序量会有差异，最简单的标准化方式是计算 counts per million (CPM)，即原始reads count除以总reads数乘以1,000,000。这种计算方式的缺点是容易受到极高表达且在不同样品中存在差异表达的基因的影响；这些基因的打开或关闭会影响到细胞中总的分子数目，可能导致这些基因标准化之后就不存在表达差异了，而原本没有差异...

http://blog.genesino.com/2018/03/ampliconseqsumamry/ 从2017年11月份到2018年3月份，共进行了5次培训研讨活动，内容依次为转录组高级分析、生物信息作图系列R、Cytoscape及图形排版、应用Python处理生物信息数据和作图、微生物组扩增子分析、应用Linux处理生物信息数据和分析流程。从培训网站的课程顺序可以看到，最开始设计是...

生物信息的学习离不开Linux系统，不管自己写命令处理数据，还是使用现有的工具。Linux对我们来讲最重要的是它强大的命令行功能，可以快速、批量、灵活的处理数据的提取、统计和整理等耗时耗力的重复性工作。事实上在日常生信分析中，多数整理工作也都是用Linux命令的组合完成的，相比于写完整的Python或Perl程序更简便快捷；另外，生信分析用到的工具大都只在Linux下运行，而Linux发行版众多，...

欢迎关注生信宝典微信公众号：http://mp.weixin.qq.com/s/rYjcsfHrbcAhaFpQI5Yc6g 爬虫是都不陌生的一个概念，比如百度、谷歌都有自己的爬虫工具去抓取网站、分析、索引，方便我们的查询使用。在我们浏览网站、查询信息时，如果想做一些批量的处理，也可以去分析网站的结构、抓取网页、提取信息，然后就完成了一个小爬虫的写作。网页爬虫需要我们了解URL的结构、HTML语法

欢迎关注天下博客：http://blog.genesino.com/2017/12/jupyter/ Jupyter notebook (Ipython notebook)是集代码、结果、文档三位一体的文学化可重复程序文档。支持40多种程序语言，Python为原生语言。如果安装了Anaconda，就会自动包含。Anaconda的安装见之前的文档Linux学习 - Conda软件安装方法](http

欢迎关注天下博客：http://blog.genesino.com/2017/12/ImageGP/ 生信宝典推出之前推出了一系列画图相关文章，包括多种形式的热图、线图、柱状图、箱线图、泡泡图、韦恩图、进化树、火山图、生存分析、共表达分析聚类如等(可点击文末链接直达)，都是基于R代码或简便封装的R脚本，便于学习和使用。另外还有Cytoscape和其它作图工具以及图形排版的介绍，是在家作图、出门收藏

欢迎关注天下博客：http://blog.genesino.com/2018/01/biological-numbers/ 对于我们做数据分析的人来说，需要关注很多数字，如软件安装时系统是64位还是32位，程序的运行时间多久，运行内存需求多大，测序原始文件多大，比对完之后的BAM文件多大，多少基因被检测到了，有多少是差异表达的等。生物体内也存在一些数据，对我们直观地了解生物体的大小、理解生物体内部

欢迎关注天下博客：http://blog.genesino.com/2100/01/shengxinbaodian/生信的作用越来越大，想学的人越来越多，不管是为了以后发展，还是为了解决眼下的问题。但生信学习不是一朝一夕就可以完成的事情，也许你可以很短时间学会一个交互式软件的操作，却不能看完程序教学视频后就直接写程序。也许你可以跟着一个测序分析流程完成操作，但不懂得背后的原理，不知道什么参数需...

欢迎关注微信公众号生信宝典：http://mp.weixin.qq.com/s/Ld2dNcaWR-jIzolHw_tkHA 十一之前，出了一期画图专辑：好色之旅-画图三字经简洁明快地总结了生信宝典推出的一系列画图相关文章，包括多种形式的热图、线图、柱状图、箱线图、泡泡图、韦恩图、进化树、火山图、生存分析等(点上面的链接还有美女相赠)，这些都是基于R代码或简便封装的R脚本，便于学习和使用。另外还

欢迎关注微信公众号生信宝典：http://mp.weixin.qq.com/s/2E1Y5-cEdptkQGVm0bxKbQ Circos是绘制圈图的神器，在http://circos.ca/images/页面有很多CIRCOS可视化的示例。Circos可以在线使用，在线使用时是把表格转为圈图，不过只允许最大75行和75列；做一些简单的示意图会比较好，最后时会介绍下在线的tableviewer的使

EXCEL是常用的查看表格的工具，提供了很好的数据筛选、绘图等功能，不少基因表达数据也会在EXCEL中打开查看、筛选和排序。还有 3 个超赞的 EXCEL 插件，让你 5 分钟从小白变大神。但是EXCEL也会出现比较尴尬的事情，如基因名字的转换。比如gene symbols SEPT2 (Septin 2)、MARCH1 [Membrane-Associated Ring Finger (C3H...

典型医学设计实验GEO数据分析 (step-by-step) - 数据获取到标准化介绍了实验的设计、数据获取、数据标准化和注释，下面是如何利用Limma和线性模型鉴定差异基因，并进行GO富集分析。线性模型为了分析发炎和未发炎组织的差异表达，我们需要构建一个线性模型。线性模式是实验数据分析的常用方法，适用于几乎任何复杂的实验设计。后面我们专门出文介绍，推荐Mike Love和Michael Ir...

自己的博客在Github上，访问不多。这篇文章竟然被别人发了出来，还是贴到优快云上，更方便检索吧。原文：<http://blog.genesino.com/2016/10/PCA/>This is generated by R knitr, please check https://github.com/Tong-Chen/notebook/blob/master/PC...

#!/bin/bashset -x##安装之后先更新updatesudo apt-get updatesudo apt-get upgrade##这是系统升级所用#sudo apt-get dist-upgrade#sudo apt-get -f install##安装压缩工具rar, 7zipsudo apt-get install p7zipsudo apt-get install rar unrarsudo ln -fs /usr/bin/rar /usr/

2017年生信宝典发布了Linux学习 - 又双叒叕一个软件安装方法，现在根据使用经验做一些更新，主要是增加了conda环境的复制、导入和导出功能。最开始是为了培训时，学员更方便搭建流程引入的，现在分享出来，方便更多人使用。Conda包管理系统Conda是一种通用包管理系统，旨在构建和管理任何语言的任何类型的软件。通常与Anaconda (集成了更多软件包，https://www.anacon...

今天在讨论群看到有群友提问 单基因GSEA怎么做？。之前也看到过这个概念，但一直不清楚这个单是什么含义，一直以为是用单个基因做GSEA。如果之前看过生信宝典的一文掌握GSEA，超详细教程，一定会特别熟悉GSEA的原理和操作流程。当然越是理解，越是想不明白单个基因怎么做GSEA。当然如果您不熟悉GSEA，建议先看上一篇文章。后来群友点拨理解了，不是对单个基因做GSEA，是拿单个基因 （一...

单细胞测序可以揭示单个细胞的微妙的变化并对细胞进行分型，在经历了动物单细胞的火热后，植物单细胞转录组的春天来了，Science, PC, PP, MP, bioRxiv各一个。本文详细解析了2019年4月，Brad Nelms和Virginia Walbot两位研究人员在Science期刊上通过单细胞转录组测序解释玉米减数分裂的进程。原文题目：Defining the developmental...

原来Rproj还可以这么使用在别人的电子书，你的电子书，都在bookdown中我们讲述了bookdown的应用。里面涉及到一个文件Rproj用于项目管理。本身是一个很简单的文件，里面的内容一般不需要修改，只是放置在每个项目目录下即可。比如我们有个内容如下的ysx.Rproj文件，配置了一些参数，看单词都应该明白这些参数是什么含义。Version: 1.0RestoreWorkspace...

生信宝典之傻瓜式推出过基于Cytoscape的插件literature search进行文献挖掘查找指定基因调控网络的方。近来发现一款神奇的在线工具 (Chilibot, chip literature robot, http://chilibot.net/)可以完成同样的分析，而且看上去功能还更强大。结果展示采用两个关键词cocaine和plasticity&...

往期系列Hemberg-lab单细胞转录组数据分析（一）Hemberg-lab单细胞转录组数据分析（二）Hemberg-lab单细胞转录组数据分析（三）Hemberg-lab单细胞转录组数据分析（四）Hemberg-lab单细胞转录组数据分析（五）Hemberg-lab单细胞转录组数据分析（六）Hemberg-lab单细胞转录组数据分析（七）-导入10X和SmartSeq2数据Tab...

往期系列亨贝格实验室单细胞转录组数据分析（一）亨贝格实验室单细胞转录组数据分析（二）亨贝格实验室单细胞转录组数据分析（三）亨贝格实验室单细胞转录组数据分析（四）亨贝格实验室单细胞转录组数据分析（五）亨贝格实验室单细胞转录组数据分析（六）Hemberg-lab单细胞转录组数据分析（七） - 导入10X和SmartSeq2数据Tabula Muris收藏|北大生信平台 “单细胞分析，染...

往期系列Hemberg-lab单细胞转录组数据分析（一）Hemberg-lab单细胞转录组数据分析（二）Hemberg-lab单细胞转录组数据分析（三）Hemberg-lab单细胞转录组数据分析（四）Hemberg-lab单细胞转录组数据分析（五）Hemberg-lab单细胞转录组数据分析（六）收藏|北大生信平台"单细胞分析、染色质分析"视频和PPT分享该如何自学入门生物信息学生...

Hemberg-lab单细胞转录组数据分析（一）Hemberg-lab单细胞转录组数据分析（二）Hemberg-lab单细胞转录组数据分析（三）Hemberg-lab单细胞转录组数据分析（四）收藏|北大生信平台"单细胞分析、染色质分析"视频和PPT分享该如何自学入门生物信息学生物信息之程序学习使用STAR比对read现在我们已经对测序原始数据进行了质控，获得了高质量的Clean d...

Hemberg-lab单细胞转录组数据分析（一）Hemberg-lab单细胞转录组数据分析（二）Hemberg-lab单细胞转录组数据分析（三）收藏|北大生信平台"单细胞分析、染色质分析"视频和PPT分享生信老司机以中心法则为主线讲解组学技术的应用和生信分析心得 - 限时免费测序文库拆分 (Demultiplexing)文库拆分因使用的前期Protocol不同或构建的流程不同需要有对应...

Hemberg-lab单细胞转录组数据分析（一）Hemberg-lab单细胞转录组数据分析（二）收藏|北大生信平台"单细胞分析、染色质分析"视频和PPT分享生信老司机以中心法则为主线讲解组学技术的应用和生信分析心得 - 限时免费scRNA-seq原始数据加工FastQC得到单细胞RNA-seq测序数据后，首先检查测序reads的质量。为了完成这个任务，我们使用的工具是FastQC。Fa...