linux shell文件处理：将文件内容的每行进行分割，按指定列匹配后输出

最新推荐文章于 2021-10-08 21:07:00 发布

原创最新推荐文章于 2021-10-08 21:07:00 发布 · 5.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#shell #awk

linux 专栏收录该内容

10 篇文章

订阅专栏

博客涉及shell和awk相关内容，shell是一种命令行解释器，可用于自动化脚本编写等；awk是强大的文本处理工具，能高效处理文本数据。二者在信息技术领域的文本处理、脚本编写等方面有重要应用。

cat device.csv |awk -F ',' '{ if(($3=="BDW1459")||($3=="BTR2026")||($3=="HKT1778")||($3=="HSH0292")||($3=="LCB2041")||($3=="MNC0433")||($3=="NFP2441")||($3=="TJM0328")) print $0 }'

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大模型发展与战略研究中心

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

linux shell 脚本入门到实战详解[⭐建议收藏！！⭐]

心有鸿鹄天地，不敢妄坠人间

09-28

33万+

文章目录shell 入门到实战详解[⭐建议收藏！！⭐]关于作者**作者介绍**一、shell 入门简介1.1 什么是shell1.2 shell 编程注意事项1.3 第一个shell 脚本 hello world二、shell 环境变量讲解2.1 shell 变量详解2.2 shell 系统变量介绍2.3 shell 环境变量介绍2.3.1 常见的系统环境变量2.4 shell 用户环境变量介绍2.4.1 自定义shell环境变量2.4.2 echo 打印菜单栏2.4.3 shell 中彩色输出 h

shell技巧-将单列显示转换为多列显示

解启超

03-22

1473

我们经常会在显示时将单行的输出，格式化为多行的输出，通常情况下，为了完成该操作，我们将加入更多的代码，将输出的结果存入数组或临时文件，之后再重新遍历它们，从而实现单行转多行的目的。在这里我们介绍一个使用xargs命令的技巧，可以用更简单、更高效的方式来完成该功能。 [root@xieqichao ~]# cat > test18.sh #!/bin/sh ...

参与评论您还未登录，请先登录后发表或查看评论

通过shell将一个文件划分为多个文件

坑底Z蛙

07-21

2079

有一个文件，内有20万行数据，每行数据不同字段使用||分隔，将第3列的数据筛选出来，并加以去重，然后打印

weixin_39757068的博客

03-25

386

PS：文件放置在工程内，如果别的路径下，最好添加绝对路径 from os import listdir fn = '20W.txt' origin = listdir('.') with open(fn) as f: # 读取文件 s = f.read() AllData = s.strip().split('\n') # 文件放置一个字符串内 AllString = [...

linux输出某一字符串所在列的内容,linux查找字符串所在行，输出行号

weixin_39704374的博客

05-01

4713

查找某个字符串所在行，可以用grep或awk来解决。二者最大区别是，grep的结果是输出匹配内容的同时输出其所在行号；awk可以仅输出行号，不输出匹配内容。按需选择。【模糊匹配】输出行号grep# 输出内容同时输出行号grep -n "要匹配的字符串" 文件名awk# 输出行号，并不输出内容# 注意是单引号awk '/要匹配字符串/{print NR}' 文件名【精确匹配(全匹配)】输出行号gr...

shell脚本字符串处理：对指定列数据进行处理，并输出每行数据

网络空间发展与战略研究

09-22

2199

目标：将如下数据的第一列数据加上2，并输出每行数据。 [cdh@node23 data]$ head valid_nodes.txt 30,0,cmp,opcode,3 30,1,rax,operan,3 30,2,0x50,operan,3 30,3,jnbe,opcode,3 30,4,0x3e,operan,3 30,5,jle,opcode,0 30,6,0xffffffffffffff3b,operan,0 30,7,jle,opcode,3 30,8,0xffffffffffffff3b,o

Shell脚本对文件中的行、单词、字符进行迭代输出示例

09-15

一旦能够迭代文件中的每一行，下一步就是进一步细化处理，例如迭代每行中的每一个单词。在Shell脚本中，我们可以使用`for`循环来完成这个任务： ```bash read line; for word in $line; do echo $word; done ``` ...

linux-shell脚本命令：awk命令简介

07-27

在处理过程中，它首先将文件的一行内容读取到内存中，然后对这行内容按照默认的空格或制表符进行分段。通过指定分隔符，awk可以改变默认的分段方式。例如，通过在awk命令后面指定-F参数来设置字段分隔符。之后，awk...

深入Linux与UNIX Shell编程：文件处理与文本过滤技巧

- **tee**: 读取标准输入并将其内容输出到标准输出和文件。 - **标准输入、输出和错误**: 分别对应文件描述符0、1、2。 - **文件重定向**: 改变标准输入、输出和错误的默认位置。 - **重定向标准输出**: 如`command...

Linux shell命令大全：文件操作与系统管理

"这篇文章是关于Linux系统中常用的Shell命令的总结，主要涵盖了文件和目录的操作。" 在Linux操作系统中，Shell是一种命令行解释器，它允许用户通过输入指令来与系统进行交互。以下是一些在Mac终端中常用的Shell命令...

linux shell切割脚本,Linux Shell脚本编程 --split命令

weixin_31613447的博客

04-30

960

linux下文件分割可以通过split命令来实现，可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现，非常简单。在Linux下用split进行文件分割：模式一：指定分割后文件行数对与txt文本文件，可以通过指定分割后文件的行数来进行文件分割。命令：split -l 300 large_file.txt new_file_prefix模式二：指定分割后文件大小spl...

【shell】shell字符串分割|文件分割

小鱼菜鸟的博客

10-08

4717

目录一、字符串分割 1、awk分割 2、利用shell 中变量的字符串替换成空格分割 3、设置分隔符，通过 IFS 变量 4、利用tr 指令实现字符替换二、文件分割附录【转】linux下awk内置函数的使用(split/substr/length) 四、gsub函数五、正则表达式一、字符串分割 1、awk分割...

shell 分割文本_SEO优化实战小技巧：利用Shell语句一行命令快速分割文本

weixin_39570777的博客

11-20

338

SEO优化实战小技巧系列开更咯！shell语句命令：split -2000 2jzs.txt 2jzs-2000 //分割条件行数2jzs.txt //文件名称2jzs //分割后前缀应用背景：适合文本快速分割！不知道大家是否有使用过类似百度主动推送工具适合用来大量推送url给百度接口实现大量url抓取和收录。但是.txt 一次只能推送2000条url 当我们需要推送几十万的url 时候手动分割T...

linux shell cut按列切分文件

热门推荐

lufubo的专栏

06-03

1万+

linux cut按列切分文件 -f:选择的哪些列 --complement 补集运算例： [root@localhost test]# cat student.data NO Name Mark 1 lufubo 98 2 cbiao 88 [root@localhost test]# cut -f2,3 student.da

linux怎么比较两个csv,linux awk比较两个csv文件并使用标志创建一个新文件

weixin_39853968的博客

05-16

523

我有2个CSV文件,我需要比较并获得新格式化文件的差异.样品如下.旧文件DTL,11111111,1111111111111111,11111111111,Y,N,xx,xxDTL,22222222,2222222222222222,22222222222,Y,Y,cc,ccDTL,33333333,3333333333333333,33333333333,Y,Y,dd,ddDTL,4444444...

Linux Shell 分割文件

weixin_34242509的博客

07-19

153

#!/bin/bash ################################################### #Program: split #Discription: split big file #History: 2012/07/19 redkey ###############################################...

linux查看文件内容分行,linux文件系统结构及简单操作

weixin_31140863的博客

05-10

719

一、linux文件系统结构Linux文件系统中的文件是数据的集合，文件系统不仅包含着文件中的数据而且还有文件系统的结构，所有Linux 用户和程序看到的文件、目录、软连接及文件保护信息等都存储在其中。linux文件和目录被组织成一个单根倒置的树结构。文件系统从根目录下开始，用“/”表示。1、 /boot：引导文件存放目录，内核文件(linux)、引导加载器(bootloader，grub)都存放在...

linux特殊分割字符,Linux-shell特殊符_cut命令

weixin_42548752的博客

05-12

425

任意个任意字符? 任意一个字符. # 注释字符\ 脱义字符a=1 b=2 c=$a$becho $cc=12$a 调用这个变量若想ｃ=$a$b ,则需要ｃ='$a$b'通过脱义字符，c=\$a\$b| 管道符cut # 截取字符串例如：cat /etc/passwd | head #查看passwd文件，显示前十行cat /e...

笔记：shell 行转列

wangcg123的专栏

08-22

3718

cat source_file | awk '{print $1}' > tmp_file sed '1d' tmp_file| awk -F'\t' '{print $1}' | tr '\n' ',' | sed 's/,$/);/' | sed 's/^/(/' > ok.txt 解释： sed '1d' tmp_file //删除第一行，可能是标题 awk -F'\t' '{print $1}' //打印第一列 tr '\n' ',' //把第一列以逗号分隔 sed 's..