awk 对固定长度文件的操作

最新推荐文章于 2022-09-18 07:00:02 发布

ak47jp

最新推荐文章于 2022-09-18 07:00:02 发布

阅读量851

点赞数

CC 4.0 BY-SA版权

分类专栏： linux 文章标签： shell awk

本文链接：https://blog.youkuaiyun.com/ak47jp/article/details/84702450

linux 专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何利用Shell脚本结合awk命令，从文件中筛选出年份大于2014的行，具体操作包括设置字段宽度、使用变量存储年份阈值并进行条件判断。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在shell里面，需要对输入文件进行一些比较复杂的逻辑判断的时候，就有可能用到awk了。

例如，如果某固定长文件，第86列开始的4个字节是年份，只抽出年份>2014的行的时候，代码如下

#!/bin/sh

in_file=/home/xxx/xxx.in
out_file=/home/xxx/xxx.out

year=2014

cat ${in_file} | awk -v day="$year" '{FIELDWIDTHS="85 4"} {F=$2; if (F > day) print $0;}' > ${out_file}

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ak47jp

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

awk 变量

千里之行始于足下

10-27

3149

awk 变量

使用awk随机截取细菌DNA基因组指定长度片段

XH生信和机器学习空间

11-04

999

要求：大约10000个细菌基因组序列，每个fasta文件1个基因组，可能有多个contig或者单个contig。要求在每个基因组上随机截取2000bp的片段，每个基因组截取10段。代码联合使用grep，awk，和awk的随机化种子rand #!/bin/bash # this code used for resample seg from a genome contigs files ...

参与评论您还未登录，请先登录后发表或查看评论

把较长的文字截取成指定长度...

zengcity的专栏

05-26

1242

//根据宽度而把文字截取前面部分和...号 //参数 str 要裁剪的字符 //参数 width 裁剪的宽度 //返回值剪裁后的字符串 String getSubString(String str, int width) { int fontWidth = 12;//每个字的宽度 int fontWidthHalf = 6; //宽度的一半,用于字母,数字 int w

awk print函数

xiyangyang052的专栏

04-07

3526

awk命令的操作部分被括在大括号内。如果未指定操作，则匹配到模式时， awk 会采取默认操作，即在屏幕上打印包含模式的行。print函数用于简单的输出。更为复杂的输出则要使用printf 和sprintf 函数。如果熟悉C语言，那么一定懂得如何使用printf和sprintf。

LINUX下截取字符串长度

infiltrators的博客

10-31

484

echo ${str} | wc -L 纯字符 exp length 'sdgsdg'

Shell脚本-使用awk实现取自定义参数值

smallfishy的博客

08-16

1183

编写脚本的时候有时候需要传入不同参数，比如名字、文件名、路径等等。这个时候如果有类似 -f 、-o 之类的参数就好了。编写shell脚本可以考虑使用下面这种用 awk 加循环的方式来简单实现，当然，也有别的更好的方式，比如getopts等。 #处理-f -s等 para=`echo $*|awk '{for(i=1;i<NF;i++) if($i~/-'$_ii'/) print $...

AWK Tutorial Guide

09-06

AWK的工作原理是通过扫描输入文件，对每一行执行预定义的规则或模式。这些模式由条件和动作组成，条件决定了何时执行动作。例如，你可以指定只对包含特定字符串的行进行操作。二、AWK的主要特点 1. 内置变量：AWK...

awk详细用法小结awk awk

01-21

在Linux/Unix环境中，awk是一个标准工具，其强大之处在于能够对输入文件的每一行进行模式匹配，并执行相应的操作。 awk最初由Alfred Aho、Brian Kernighan和Peter Weinberger在贝尔实验室开发，随后被GNU项目采用并...

【Linux进阶】使用grep、find、sed以及awk进行文本操作

weixin_37780776的博客

05-06

1261

【Linux进阶】使用grep、find、sed以及awk进行文本操作

AWK基础教程

qijigougou的博客

04-27

2079

前言之前针对WorkerHub小程序做的数据分析文章 XXX 收到了一些小伙伴的回复，点名要学习数据分析，其实我也是一知半解，想着来写几篇文章简单聊下我分析的过程。首先是数据清洗和统计了，这块我并没有用诸如Python之类的脚本语言，虽然Python提供了很多强大的数据分析库如Pandas、Numpy等，但是毕竟要麻烦一些，还要写个脚本，装一堆库(PS：其实就是懒)。我用的是一个老的Unix工具 AWK，虽然历史比较久远，但是它简洁和丰富的功能可以称之为神器，同时也是后台同学必须要掌握的一个工具，

告别重复造轮子| 利用单行awk，实现根据序列长度过滤fasta文件

刘永鑫的博客——宏基因组公众号

09-18

1027

个人认为，生物信息学本质上是利用多种交叉学科的思想和技术对大批量数据进行处理分析、最终筛选出有用信息的一个过程。在学习生信的时候，面对同样的数据我们可能有很多方法去处理它，但这一过程往往会产生一个问题，那就是重复造轮子。比如：「现在有一个包含数百条蛋白序列的fasta文件，可你只想要序列长度小于300的蛋白，该怎么处理手头的数据？」Python当然是一个很好的选择，但想要用python处理这样一个...

Linux awk命令的基本用法

释梦燃的博客

05-23

768

文件abc.txt内容：1 this is a file 2 apple orange banana pear grape 3 a test 10 There are orange,apple,mongo用法一：awk '{[pattern] action}' {filenames} # 行匹配语句 awk '' 只能用单引号1、每行按空格或TAB分割，输出文本中的1、2项实例1：awk '...

shell编程-字符截取命令-awk命令

董坤的博客

07-25

3181

文章目录前言1.awk命令1.1 BEGIN的作用1.2 END的作用1.3 FS内置变量的作用1.4 关系表达式作为条件2. 总结前言 awk标准输出就是printf命令。如下如这种情况下，用cut命令就不能解决，这是就需要awk命令来解决这个问题。 awk的功能比cut的功能要强大的多。那为什么还要有cut命令那？？？ awk是一个非常复杂的命令，不光能实现字符段的截取，还可以在awk命令当中进行编程调用，最常用的是可以定义函数，可以判断，可以调用流程控制等。当cut命令不能完成的时候再考虑awk

linux awk shell 左补0

_木子_简单_

05-02

9403

shell printf "%04d\n" 12 awk echo 12|awk '{printf("%03d\n",$0)}'

awk_强大功能：字符串长度/切割/正则匹配/大小写转化

m0_38034312的博客

08-29

6947

【1】https://blog.youkuaiyun.com/xibeichengf/article/details/51346632

linux基础只是之awk命令使用，统计最大长度

maixia24的专栏

08-28

8559

scan 'shortUrl',{COLUMN=>['su:customerId','su:postId'], LIMIT=>10} echo "scan 'foo'" | ./hbase shell > myText echo "scan 'registration',{COLUMNS=>'registration:status'}" | hbase shell | grep "^ "

文本三剑客之awk命令--截取

weixin_43880061的博客

07-08

5260

awk支持正则表达式，并且在匹配的过程中多次使用到正则，所以学习awk之前，我们先了解shell中正则的一些简单使用（其实python中使用正则跟Linux中使用正则的规则都差不多，想详细了解正则表达式，可以查看我之前一篇专门写正则的博客）https://blog.youkuaiyun.com/weixin_43880061/article/details/125265593?spm=1001.2014.3001.5502regular expression --》re 正则表达式，简称正则正则定义（用在哪里）：使用一

shell输出固定位数整数的方法

u013769481的博客

10-19

8477

如何使用shell输出例如0001和0025这种固定位数的方法呢？ answer：例如需要输出0001，则可以将变量设为10001，然后不输出第一位。 a="10001" && echo "${a:1}" 0001 ...

linux awk 数组和循环

轻轻草原

01-09

1167

awk 作为强大的文本处理工具，少不了数组处理。 awk 中数组叫做关联数组(associative arrays)，下标可以是数字也可以是字符串。awk 中的数组不必提前声明，也不必声明大小，初始化数组元素用 0 或空串，这根据上下文而定。一语法语法：awk '{pattern + action}' 或 awk 'pattern {action}' 其中 pattern 表示 AWK...

awk编程指南：解析与实践

awk 适用于处理具有固定格式或分隔符的数据，如CSV、TSV文件，或者日志文件。它特别适合于数据分析、报告生成、日志分析以及对文本文件进行特定行的搜索和替换。 2. 解题模式与特性： awk 的核心在于它的模式匹配...