《SED 单行脚本快速参考》的 awk 实现

34、Sed与Awk快速参考指南 本博客详细介绍了Sed和Awk这两个强大的文本处理工具。内容涵盖Sed的命令语法、模式寻址、正则表达式元字符,以及Awk的命令行调用方式、语言结构、记录与字段处理、正则表达式、表达式运算等核心知识点。通过操作示例与流程分析,帮助读者快速掌握Sed与Awk的实际应用技巧,并提供了常见问题解答与注意事项,以提升脚本编写能力与可移植性。 阅读详情
awk '/regexp/{F=1}{if(F)print}'

# 显示部分文本——指定行号范围(从第8至第12行,含8和12行)

sed -n '8,12p'                   # 方法1
sed '8,12!d' # 方法2
awk '{if(NR>=8 && NR<12)print}'

# 显示第52行

sed -n '52p'                     # 方法1
sed '52!d' # 方法2
sed '52q;d' # 方法3, 处理大文件时更有效率
awk '{if(NR==52){print;exit}}'

# 从第3行开始,每7行显示一次

gsed -n '3~7p'                   # 只对GNU sed有效
sed -n '3,${p;n;n;n;n;n;n;}' # 其他sed
awk '{if(NR==3)F=1}{if(F){i++;if(i%7==1)print}}'

# 显示两个正则表达式之间的文本(包含)

sed -n '/Iowa/,/Montana/p'       # 区分大小写方式
awk '/Iowa/{F=1}{if(F)print}/Montana/{F=0}'

选择性地删除特定行:

# 显示通篇文档,除了两个正则表达式之间的内容

sed '/Iowa/,/Montana/d'
awk '/Iowa/{F=1}{if(!F)print}/Montana/{F=0}'

# 删除文件中相邻的重复行(模拟“uniq”)
# 只保留重复行中的第一行,其他行删除

sed '$!N; /^/(.*/)/n/1$/!P; D'
awk '{if($0!=B)print;B=$0}'

# 删除文件中的重复行,不管有无相邻。注意hold space所能支持的缓存大小,或者使用GNU sed。

sed -n 'G; s//n/&&/; /^/([ -~]*/n/).*/n/1/d; s//n//; h; P'  #bones7456注:我这里此命令并不能正常工作
awk '{if(!($0 in B))print;B[$0]=1}'

# 删除除重复行外的所有行(模拟“uniq -d”)

sed '$!N; s/^/(.*/)/n/1$//1/; t; D'
awk '{if($0==B && $0!=l){print;l=$0}B=$0}'

# 删除文件中开头的10行

sed '1,10d'
awk '{if(NR>10)print}'

# 删除文件中的最后一行

sed '$d'

#awk在过程中并不知道文件一共有几行,所以只能通篇缓存,大文件可能不适合,下面两个也一样

awk '{B[NR]=$0}END{for(i=0;i<=NR-1;i++)print B[i]}'

# 删除文件中的最后两行

sed 'N;$!P;$!D;$d'
awk '{B[NR]=$0}END{for(i=0;i<=NR-2;i++)print B[i]}'

# 删除文件中的最后10行

sed -e :a -e '$d;N;2,10ba' -e 'P;D'   # 方法1
sed -n -e :a -e '1,10!{P;N;D;};N;ba' # 方法2
awk '{B[NR]=$0}END{for(i=0;i<=NR-10;i++)print B[i]}'

# 删除8的倍数行

gsed '0~8d'                           # 只对GNU sed有效
sed 'n;n;n;n;n;n;n;d;' # 其他sed
awk '{if(NR%8!=0)print}' |head

# 删除匹配式样的行

sed '/pattern/d'                      # 删除含pattern的行。当然pattern可以换成任何有效的正则表达式
awk '{if(!match($0,/pattern/))print}'

# 删除文件中的所有空行(与“grep ‘.’ ”效果相同)

sed '/^$/d'                           # 方法1
sed '/./!d' # 方法2
awk '{if(!match($0,/^$/))print}'

# 只保留多个相邻空行的第一行。并且删除文件顶部和尾部的空行。
# (模拟“cat -s”)

sed '/./,/^$/!d'        #方法1,删除文件顶部的空行,允许尾部保留一空行
sed '/^$/N;//n$/D' #方法2,允许顶部保留一空行,尾部不留空行
awk '{if(!match($0,/^$/)){print;F=1}else{if(F)print;F=0}}' #同上面的方法2

# 只保留多个相邻空行的前两行。

sed '/^$/N;//n$/N;//D'
awk '{if(!match($0,/^$/)){print;F=0}else{if(F<2)print;F++}}'

# 删除文件顶部的所有空行

sed '/./,$!d'
awk '{if(F || !match($0,/^$/)){print;F=1}}'

# 删除文件尾部的所有空行

sed -e :a -e '/^/n*$/{$d;N;ba' -e '}'  # 对所有sed有效
sed -e :a -e '/^/n*$/N;//n$/ba' # 同上,但只对 gsed 3.02.*有效
awk '/^.+$/{for(i=l;i<NR-1;i++)print "";print;l=NR}'

# 删除每个段落的最后一行

sed -n '/^$/{p;h;};/./{x;/./p;}'

#很长,很ugly,应该有更好的办法

awk -vRS= '{B=$0;l=0;f=1;while(match(B,//n/)>0){print substr(B,l,RSTART-l-f);l=RSTART;sub(//n/,"",B);f=0};print ""}'

特殊应用:

# 移除手册页(man page)中的nroff标记。在Unix System V或bash shell下使
# 用’echo’命令时可能需要加上 -e 选项。

sed "s/.`echo ///b`//g"    # 外层的双括号是必须的(Unix环境)
sed 's/.^H//g' # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
sed 's/./x08//g' # sed 1.5,GNU sed,ssed所使用的十六进制的表示方法
awk '{gsub(/./x08/,"",$0);print}'

# 提取新闻组或 e-mail 的邮件头

sed '/^$/q'                # 删除第一行空行后的所有内容
awk '{print}/^$/{exit}'

# 提取新闻组或 e-mail 的正文部分

sed '1,/^$/d'              # 删除第一行空行之前的所有内容
awk '{if(F)print}/^$/{F=1}'

# 从邮件头提取“Subject”(标题栏字段),并移除开头的“Subject:”字样

sed '/^Subject: */!d; s///;q'
awk '/^Subject:.*/{print substr($0,10)}/^$/{exit}'

# 从邮件头获得回复地址

sed '/^Reply-To:/q; /^From:/h; /./d;g;q'

#好像是输出第一个Reply-To:开头的行?From是干啥用的?不清楚规则。。

awk '/^Reply-To:.*/{print;exit}/^$/{exit}'

# 获取邮件地址。在上一个脚本所产生的那一行邮件头的基础上进一步的将非电邮地址的部分剃除。(见上一脚本)

sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'

#取尖括号里的东西吧?

awk -F'[<>]+' '{print $2}'

# 在每一行开头加上一个尖括号和空格(引用信息)

sed 's/^/> /'
awk '{print "> " $0}'

# 将每一行开头处的尖括号和空格删除(解除引用)

sed 's/^> //'
awk '/^> /{print substr($0,3)}'

# 移除大部分的HTML标签(包括跨行标签)

sed -e :a -e 's/<[^>]*>//g;/</N;//ba'
awk '{gsub(/<[^>]*>/,"",$0);print}'

# 将分成多卷的uuencode文件解码。移除文件头信息,只保留uuencode编码部分。
# 文件必须以特定顺序传给sed。下面第一种版本的脚本可以直接在命令行下输入;
# 第二种版本则可以放入一个带执行权限的shell脚本中。(由Rahul Dhesi的一
# 个脚本修改而来。)

sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode   # vers. 1
sed '/^end/,/^begin/d' "$@" | uudecode # vers. 2

#我不想装个uudecode验证,大致写个吧

awk '/^end/{F=0}{if(F)print}/^begin/{F=1}' file1 file2 ... fileX

# 将文件中的段落以字母顺序排序。段落间以(一行或多行)空行分隔。GNU sed使用
# 字元“/v”来表示垂直制表符,这里用它来作为换行符的占位符——当然你也可以
# 用其他未在文件中使用的字符来代替它。

sed '/./{H;d;};x;s//n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=//n/g'
gsed '/./{H;d};x;y//n//v/' file | sort | sed '1s//v//;y//v//n/'
awk -vRS= '{gsub(//n/,"/v",$0);print}' ll.txt | sort | awk '{gsub(//v/,"/n",$0);print;print ""}'

# 分别压缩每个.TXT文件,压缩后删除原来的文件并将压缩后的.ZIP文件
# 命名为与原来相同的名字(只是扩展名不同)。(DOS环境:“dir /b”
# 显示不带路径的文件名)。

echo @echo off >zipup.bat
dir /b *.txt | sed "s/^/(.*/)/.TXT/pkzip -mo /1 /1.TXT/" >>zipup.bat

DOS 环境再次略过,而且我觉得这里用 bash 的参数 ${i%.TXT}.zip 替换更帅。

下面的一些 SED 说明略过,需要的朋友自行查看原文。

{ Source . Thanks bones7456. }

C/C++关于VScode报错“终端将被任务重用,按任意键关闭”的解决方案 这其实不是一种报错,有这个提示的原因是本地端口是被共享的,所以必须关闭一个进程才能执行另一个,只需要对 tasks.json文件做一些修改即可。 报错时候 此时的tasks.json为: { "version": "2.0.0", "command": "g++", "args": ["-g","${file}","-o","${fileDirname}/${fileBasenameNoExtension}.exe"], // 编译命令参数 "problemMatche 阅读详情

相关推荐

LMS Virtual.Lab二次开发:声学仿真结果导出方法(VBScript、Python)

Siemens LMS Virtual.Lab 提供一套集成软件平台用以模拟机械系统的品质属性,如结构完整性、振动噪声、耐久性、系统动力学特性、驾驶的平顺性及操纵的稳定性等。

爱看书的小沐 6021

SED单行脚本快速参考[同时包含awk实现]

转自:http://sed.sourceforge.net/sed1line_zh-CN.html 和 http://linuxtoy.org/archives/sed-awk.html在以下地址可找到本文档的最新(英文)版本: http://sed.sourceforge.net/sed1line.txt http://www.pement.org/sed/sed1line.txt文本间...

weixin_33941350的博客 170

基于ESP32-S3的电子吧唧DIY:蓝牙传图、触摸交互与动态显示全解析

本文详细解析了如何利用ESP32-S3芯片DIY一个功能丰富的电子吧唧(智能徽章)。项目核心实现了通过蓝牙低功耗(BLE)接收手机小程序发送的图片,并存储至文件系统,最终在带触摸功能的TFT屏幕上进行动态显示与交互。教程涵盖了从硬件选型、软件开发环境搭建,到蓝牙通信、图片处理与触摸功能实现的完整步骤,并分享了实用的调试技巧,适合创客和嵌入式爱好者动手实践。

weixin_42510243的博客 677

sed awk 常用实例

一、文本间隔 1、在每一行后面增加一空行 sed G guo.sh awk '{printf("%s\n\n",$0 ) }' 2、将文件中原来的空行删掉,并在在每一行后边增加一空行 sed '/^$/d;G ' awk '!/^$/ {printf("%s\n\n",$0 ) }' 3在匹配式样的行前插入一空行 sed '/good/i\\' sed ...

weixin_33998125的博客 225

深入理解HTTPS:从SSLHandshakeException到证书链验证的完整解析

本文深入解析了HTTPS握手过程中常见的SSLHandshakeException异常,特别是由证书链验证失败引发的CertPathValidatorException。文章从TLS握手流程、证书链验证的数学原理出发,详细剖析了Java中TrustManager的工作机制,并提供了针对证书链不完整、自签名证书等典型问题的系统化排查流程与实战解决方案。

weixin_29313423的博客 232

UCIE Specification详解(八)

Logical Physical Layer(逻辑物理层)

Crazzy_M的博客 1608

sed和awk常用案例

替换sed 's/old/new/g'和vi里面%s/old/new/g一样根据关键字查询某行其上或其下插入一样sed '/关键字/i 添加内容' 文件案例:root@localhost soft]# cat test.txt abcd[root@localhost soft]# sed -i '/a/i new number'...

weixin_34404393的博客 210

深度学习实战12(进阶版)-利用Dewarp实现文本扭曲矫正

大家好,我是微学A1, 我们在生活中会看到一些拍摄扭曲的图片,我们在通过OCR识别的时候,因为扭曲的厉害,而无法识别,我们需要对图片进行处理。

微学AI的博客 3157

10个linux awk文本处理经典案例,【linux编程】文本处理-awk

awk介绍awk是Linux及Unix操作系统中非常优秀的数据及文本处理工具,它是一种编程语言。特点:功能强大完整语法进程控制简短高效作用自动化运维文本处理1.awk行处理方式与格式awk内嵌参数应用awk内嵌程序应用awk处理方式awk一次处理一行内容awk对每行可以切片处理awk格式命令行格式awk 'command' file(s)脚本格式awk -f awk-script-file fil...

weixin_39585617的博客 221

在 SAP BTP 中玩转工厂日历 Maintain Factory Calendars 实战指南

工厂日历是企业关键的时间主数据,基于国家假日历定义工作日与非工作日,广泛应用于生产计划、采购交期、财务结账等业务场景。SAP系统通过三类应用(维护节假日、假日历和工厂日历)实现分层配置。工厂日历作为顶层配置,支持工作日模式设定和例外规则添加。在多系统架构中,工厂日历可通过集成场景同步,确保数据一致性。应用支持创建、编辑和查看功能,包含有效期设置、例外规则管理和多语言文本维护。合理设置工厂日历对业务运营至关重要,需注意命名规范和有效期选择,避免历史数据问题。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 223

C#上位机实战:Modbus RTU串口通信(CRC校验+超时重发完整实现)

在工业自动化上位机开发中,Modbus RTU是串口通信的事实标准协议,SerialPort是 .NET 平台操作串口的原生类,无需依赖第三方库即可实现基础通信。实际项目中,工控现场存在电磁干扰、串口丢包、设备响应延迟等问题,CRC 数据校验用于保证报文完整性,超时重发机制用于提升通信稳定性。本文从零封装一套可直接落地的 Modbus RTU 通信组件,包含完整的校验算法、超时控制、重发逻辑,并配套 WinForm 演示界面。本文基于 C# 原生SerialPort类,实现了一套生产可用。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 389

10个linux awk文本处理经典案例,Linux awk命令常用案例

1. awk简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho...

weixin_42134144的博客 296

ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案

本文主要介绍了ERROR conda.core.link:_execute(502): An error occurred while installing package mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge::setuptools-65.5.1-pyhd8ed1ab_0.FileNotFoundError(2, 系统找不到指定的文件。, None, 2) 解决方案,希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 8万+

《SED 单行脚本快速参考》的 awk 实现(转)

原帖:http://linuxtoy.org/archives/sed-awk.html sed 和 awk 都是 Linux 下常用的流编辑器,他们各有各的特色,本文并不是要做什么对比,而是权当好玩,把《SED 单行脚本快速参考》这文章,用 awk 做了一遍~ 至于孰好孰坏,那真是很难评论了。一般来说,sed 的命令会更短小一些,同时也更难读懂;而 awk 稍微长点,但是 i

rainharder的专栏 780

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

脚本实现多条linux命令行,shell: SED单行脚本快速参考[同时包含awk实现]

在以下地址可找到本文档的最新(英文)版本:文本间隔# 在每一行后面增加一空行sed Gawk '{printf("%s\n\n",$0)}'# 将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文本中每一行后面将有且只有一空行。sed '/^$/d;G'awk '!/^$/{printf("%s\n\n",$0)}'# 在每一行后面增加两行空行sed 'G;G'awk '{printf("...

weixin_33891343的博客 317

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

sed & awk单行脚本快速参考

SED单行脚本快速参考[同时包含awk实现] 转自:http://sed.sourceforge.net/sed1line_zh-CN.html 和 http://linuxtoy.org/archives/sed-awk.html 在以下地址可找到本文档的最新(英文)版本: http://sed.sourceforge.net/sed1line.txt http:

maxxujun的专栏 375

sed-awk-cheatsheet:快速掌握sed与awk命令的实用指南

sed-awk-cheatsheet:快速掌握sed与awk命令的实用指南 在Linux和Unix系统中,sed与awk是两款极为强大的文本处理工具,它们能够高效地处理和分析文本数据。今天,我们将为大家推荐一个开源项目——sed-awk-cheatsheet,这个项目旨在帮助用户快速学习和掌握sed与awk的基本用法和技巧。 项目介绍 sed-awk-cheatsheet是一个开源的项目,它提供了...

gitblog_00520的博客 284

zz SED单行脚本快速参考 以及 AWK版本

SED单行脚本快速参考(Unix 流编辑器) 2005年12月29日 英文标题:USEFUL ONE-LINE SCRIPTS FOR SED (Unix stream editor) 原标题:HANDY ONE-LINERS FOR SED (Unix stream editor) 整理:Eric Pement - 电邮:pemente...

weixin_30455661的博客 172

SED单行脚本快速参考[增加个人注解]

个人注解,格式#:------------------------------------------------------------------------- SED单行脚本快速参考(Unix 流编辑器) 2005年12月29日英文标题:USEFUL ONE-LINE SCRIPTS FOR SED (Unix stream editor) 原标题:

学而不思则罔,思而不学则殆 1228
上一篇: 嫁给天蝎座老公的十大好处
下一篇: 分布计算环境学习笔记1——基本概念和发展历史
gnuhpc
博客等级 码龄18年 1555粉丝 588原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值