Shell脚本逐行读取文本内容并拆分,根据条件筛选文件

最新推荐文章于 2024-10-05 16:53:55 发布
转载 最新推荐文章于 2024-10-05 16:53:55 发布 · 3.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/jswl/p/9950833.html
文章标签：

#shell

这篇博客介绍了一个Shell脚本，用于读取文本文件adc.txt，按行分割并筛选出质量等级为1的产品测试数据。脚本逐行处理文件，通过分号分割获取产品编号、员工编号、测试日期和质量等级，然后根据这些信息在特定目录下查找并复制日志文件到result文件夹。
  • 时间：2018-11-13 整理：byzqy

需求：

　　最近帮朋友写了一段脚本，他的需求是根据一份产品清单，去服务器上捞取对应产品编号的测试Log，数量大概有9000~10000条左右。文本内容大致如下，数据有4列，分别表示：产品编号、员工编号、测试日期、质量等级。需要筛选出质量等级为“1”的产品的测试数据，数据存储在以各自员工编号命名的不同测试日期的文件夹下。log文件名中包含完整产品编号。

文件：adc.txt

 1 S0001L0001;TALLYMAN01;20180101;1
 2 S0001L0002;TALLYMAN01;20180102;0
 3 S0001L0003;TALLYMAN01;20180103;1
 4 S0001L0004;TALLYMAN01;20180104;0
 5 S0001L0005;TALLYMAN01;20180105;1
 6 S0002L0006;TALLYMAN02;20180106;0
 7 S0002L0007;TALLYMAN02;20180107;1
 8 S0002L0008;TALLYMAN02;20180108;0
 9 S0002L0009;TALLYMAN02;20180109;1
最低0.47元/天 解锁文章
acb3000
关注
Linux--Shell脚本逐行读文本处理并curl发送post请求json格式等问题
一只IT小小鸟
11-08 1万+
问题：Shell脚本逐行读取文本，字符串分割，Curl发送Post请求Json格式等相关问题 在linux中使用curl发送一个post请求时，带有json的数据，在发送时发现json中的变量没有解析出来: curl -d '{"Pin": "${line}"}' -H"tp-app-id:publicclouds" -H"tp-sig:e26fe2c1924d9b4d86d19145434...
shell脚本逐行读取文本内容并拆分,根据条件筛选写入不同文件
stdlibLOL的博客
05-29 3581
编写如下shell脚本 创建名为Organizer的shell脚本用以整理学生数据：假设有一名为Students的文本文件存放学生基本信息，每一行的格式为：“姓名；专业；省份”，该脚本能够将学生信息依据省份导入北方和南方个两个不同的文件（华北、东北、西北地区为北方，其余为南方），文件名分别是NorthStudents和SouthStudents，如果省份信息存在错误则放入另一个文件ErrStudentsInfo，内容保持不变。要求： a) 结果数据写入必须使用文件描述符。 b) 使用函数来判断学生信息应该导
shell IFS
小镜子~
08-15 990
#!/bin/bash # weirdvars.sh: Echoing weird variables. var="'(]\\{}\$\"" echo $var # '(]\{}$" echo "$var" # '(]\{}$" 和上面一句没什么不同. echo IFS='\' echo $var # '(] {}$" \字符被空白符替换
shell读取文件的每行并进行处理
Saber190919的专栏
07-26 2331
shell读取文件的每行并进行处理。
筛选出几列数据均等0的行 Linux,Shell cut命令：查找符合条件的行
weixin_29158047的博客
05-13 1059
grep 命令是在文件中提取符合条件的行，也就是分析一行的信息，如果行中包含需要的信息，就把该行提取出来。而如果要进行列提取，就要利用 cut 命令了。不过要小心，虽然 cut 命令用于提取符合条件的列，但是也要一行一行地进行数据提取。也就是说，先要读取文本的第一行数据，在此行中判断是否有符合条件的字段，然后再处理第二行数据。我们也可以把 cut 成为字段提取命令。命令格式如下：[root@loc...
举个栗子~Tableau 技巧（241）：用 Python 脚本提取文本内容中的关键词
weixin_45588393的博客
10-10 1158
经常有数据粉反馈：在处理文本内容的时候，是否有快速提取内容关键词的方法呢？ 方法有的，可以试试 Python。这里，我们来分享：如何在 Tableau 中利用 Python 脚本从文本内容提取关键词。
【SHELL】讲透shell条件语句 Shell条件语句使用指南和示例
最新发布
路过我的生活呀
10-05 1219
判断某需求是否满足，需要由测试机制来实现，专用的测试表达式需要由测试命令辅助完成。示例2：查询当前目录下的文件数是否大于10，如果大于，则进行提示。格式1：test [操作符选项] 条件表达式。示例1：test [操作符选项] 条件表达式。[ 表达式1 ] 操作符 [ 表达式2 ]测试当前用户是否有权限执行（eXcute）测试当前用户是否有权限写入（Write）格式2：[ 操作符 条件表达式 ]测试当前用户是否有权限读取（Read）示例2：[ 操作符 条件表达式 ]
Shell脚本逐行读取与死循环技巧详解
这种方式看似简洁，但存在严重缺陷：它会将整个文件内容一次性读入内存，并以空白字符（空格、换行、制表符）作为分隔符进行拆分，可能导致字段错乱，尤其不适用于包含空格或特殊字符的文本行。因此，这种方法仅建议...
Shell脚本中逐行读取文件的三种方法详解
本文围绕“Shell逐行读取文件方法”这一主题，深入探讨了三种常见的实现方式，并结合实际应用场景和潜在陷阱进行详细剖析，帮助开发者更好地理解不同方法之间的差异与适用条件。 第一种方法是使用 `while` 循环结合...
写一个shell脚本，逐行读取csv文件
06-12
好的，以下是一个逐行读取csv文件的shell脚本： ```shell #!/bin/bash # csv文件路径 csv_path="/path/to/csv/file.csv" # 逐行读取csv文件 while read line; do # 将每行以逗号为分隔符拆分为数组 IFS=',' ...
工作中的shell数据提取与操作
sf_jiang的博客
06-29 3369
问题一：有台正常运行的服务器，共有48个网口，并且网口号处于没有经过调整的混乱状态，怎样快速的找出eth0~eth47对应的物理网口位置？ shell命令# for i in `seq 0 47`; do ethtool -p eth$i 2; done 说明：遍历i=0~47，对每个 eth$i ， 执行 ethtool -p 命令，意思是点亮该网口2秒钟。 问题二：查看linux系......
Shell 脚本进阶，经典用法详解及其案例【条件选择判断、循环语句、循环用法、信号捕捉
2301_79987255的博客
04-26 752
done图片exp1只执行一次，相当于在for里嵌了while。
shell awk （按行切割、分析）的基本使用
热门推荐
猎人在吃肉
06-09 1万+
awk ，一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。 1. 基本用法 awk [选项参数] 'pattern1{action1} pattern2{action2}...' filename 选项参数说明： 选项参数 功能 -F 分隔符。指定输入文件的分隔符 -v 临时变量。赋值一个用户定义变量 patternN{actionN} 说明： pattern ：表示 awk 在数据中查找的内容，就是匹配模式； actio
shell一些常用命令提取指定的值
eighters的博客
10-20 761
适用与写shell脚本时，提前特定的过滤后的值
Shell脚本三剑客之grep、sed、awk
weixin_51099370的博客
05-08 1291
grep过滤 grep 命令用于查找文件里符合条件的字符串 grep [选项]... 查找条件 目标文件 ##参数如下： -E : 将样式为延伸的正则表达式来使用。 -c : 计算符合样式的列数。 -i : 忽略字符大小写的差别。 -n : 在显示符合样式的那一行之前，标示出该行的列数编号。 -o : 只显示匹配到的部分。 -v : 显示不包含匹配文本的所有行。 显示行数-c 不区分大小写-i 取反-v（选择不是root的） 取反将不是空行的内容输入指定文件 查找并显
【linux/shell实战案例】awk、sed提取数据常用的各种小技巧
qq_35902025的博客
10-05 4487
cat file | awk '{print substr($1,1,5)}' 分别是第1个字段，第1个字符到第5个字符。sed "/$x/d/" file 或 sed -n "$i"p file。整数比较： if [ "$a" -eq "$b" ] a,b为整数。按列: paste a b > c 将文件a b 以列的形式合并。字符串比较：if [ "$a" = "$b" ] a,b为字符串。:echo -n " " >> temp （不换行）按行:cat a>>b 将文件a追加到文件b的尾部。
shell 读取文件内容 不以空格换行 再把每行的字符串切分取一部分
每天进步一点点儿
05-09 1万+
最近有个需求，想读取一个文件中的每行数据，分别处理，用for循环的时候，会把每行的数据按照空格和回车进行循环，没法拿到整行数据，查了下网上资料，决定修改下分隔符号。 脚本及说明如下： IFS_old=$IFS # 记录老的分隔符 IFS=$'\n' # 以换行符作为分隔符 for line in `cat 要处理的文件`; do echo "$line...
shell命令按行分割文本文件
丶自定义
05-25 6315
windows环境下可以使用 Git Bash执行 split 命令 sed 常用的分割文本的方法都是通过sed -n 命令来操作 优点：是可以指定具体的行 缺点：每次分割要重新读取整个文本，效率比较低。 split 缺点：不能将结果一次放在指定的文件夹，此时可以已区别其他文件名的格式命名然后mv就行 用法: split [参数] 需要分割的文件 参数 -b size：对file进行切分，每个小文件大小为size。可以指定单位b、k、m。 -C size：与-b选项类似，但是切割时.
shell文件读取及字符串分隔符
kirrin的专栏
06-30 1万+
step1. 准备待处理的数据文件data.txt： abc;def 123;456 qwe;rty step2. 脚本文件 test.csh： #! /bin/bash #备份IFS OLD_IFS="$IFS" #设置新的分隔符为; IFS=";" #读取文件中的行 while read LINE do echo $LINE #将字符串$L
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值