awk 常用函数

Copy From: http://blog.youkuaiyun.com/xgdofull/article/details/5429858

awk提供了许多强大的字符串函数,见下表:
awk内置字符串函数
gsub(r,s)    在整个$0中用s替代r
gsub(r,s,t)    在整个t中用s替代r
index(s,t)    返回s中字符串t的第一位置
length(s)    返回s长度
match(s,r)    测试s是否包含匹配r的字符串
split(s,a,fs)    在fs上将s分成序列a
sprint(fmt,exp)    返回经fmt格式化后的exp
sub(r,s)    用$0中最左边最长的子串代替s
substr(s,p)    返回字符串s中从p开始的后缀部分
substr(s,p,n)    返回字符串s中从p开始长度为n的后缀部分 详细说明一下各个函数的使用方法。
gsub函数有点类似于sed查找和替换。它允许替换一个字符串或字符为另一个字符串或字符,并以正则表达式的形式执行。第一个函数作用于记录$0,第二个gsub函数允许指定目标,然而,如果未指定目标,缺省为$0。
index(s,t)函数返回目标字符串s中查询字符串t的首位置。length函数返回字符串s字符
长度。match函数测试字符串s是否包含一个正则表达式r定义的匹配。split使用域分隔符fs将
字符串s划分为指定序列a。sprint函数类似于printf函数(以后涉及),返回基本输出格式fmt的
结果字符串exp。sub(r,s)函数将用s替代$0中最左边最长的子串,该子串被(r)匹配。
sub(s,p)返回字符串s在位置p后的后缀。substr(s,p,n)同上,并指定子串长度为n。
现在看一看awk中这些字符串函数的功能。
1.gsub
要在整个记录中替换一个字符串为另一个,使用正则表达式格式,/目标模式/,替换模式
/。例如改变学生序号4842到4899:
$ awk 'gsub('4842/, 4899) {print $0}' grade.txt
J.Troll 07/99 4899 Brown-3 12 26 26
2.index
查询字符串s中t出现的第一位置。必须用双引号将字符串括起来。例如返回目标字符串
Bunny中ny出现的第一位置,即字符个数。
$ awk 'BEGIN {print index("Bunny", "ny")} grade.txt
4
3.length
返回所需字符串长度,例如检验字符串J.Troll返回名字及其长度,即人名构成的字符个
数。
$ awk '$1=="J.Troll" {print length($1) " "$1}' grade.txt
7 J.Troll
还有一种方法,这里字符串加双引号。
$ awk 'BEGIN {print length("A FEW GOOD MEN")}'
14
4.match
match测试目标字符串是否包含查找字符的一部分。可以对查找部分使用正则表达式,返
回值为成功出现的字符排列数。如果未找到,返回0,第一个例子在ANCD中查找d。因其不
存在,所以返回0。第二个例子在ANCD中查找D。因其存在,所以返回ANCD中D出现的首位
置字符数。第三个例子在学生J.Lulu中查找u。
$ awk '{BEGIN {print match("ANCD", /d/)}'
0
$ awk '{BEGIN {print match("ANCD", /C/)}'
3
$ awk '$1=="J.Lulu" {print match($1, "u")} grade.txt
4
5.split
使用split返回字符串数组元素个数。工作方式如下:如果有一字符串,包含一指定分隔
符-,例如AD2-KP9-JU2-LP-1,将之划分成一个数组。使用split,指定分隔符及数组名。此
例中,命令格式为("AD2-KP9-JU2-LP-1",parts_array,"-"),split然后返回数组下标数,这
里结果为4。
还有一个例子使用不同的分隔符。
$ awk '{BEGIN {print split("123#456#678", myarray, "#")}'
3
这个例子中,split返回数组myarray的下标数。数组myarray取值如下:
Myarray[1]="123"
Myarray[2]="456"
Myarray[3]="789"
6.sub
使用sub发现并替换模式的第一次出现位置。字符串STR包含‘popedpopopill’,执行下
列sub命令sub(/op/,"op",STR)。模式op第一次出现时,进行替换操作,返回结果如下:
‘pOPedpopepill’。
假如grade.txt文件中,学生J.Troll的记录有两个值一样,“目前级别分”与“最高级别分”。只
改变第一个为29,第二个仍为24不动,操作命令为sub(/26/,"29",$0),只替换第一个出现
24的位置。
$ awk '$1=="J.Troll" sub(/26/, "29", $0)' grade.txt
L.Troll 07/99 4842 Brown-3 12 29 26
L.Transley 05/99 4712 Brown-2 12 30 28
7.substr
substr是一个很有用的函数。它按照起始位置及长度返回字符串的一部分。例子如下:
$ awk '$1=="L.Transley" {print substr($1, 1,5)}' grade.txt
L.Tan
上面例子中,指定在域1的第一个字符开始,返回其前面5个字符。
如果给定长度值远大于字符串长度, awk将从起始位置返回所有字符,要抽取L.Tansley的姓,只需从第3个字符开始返回长度为7。可以输入长度99,awk返回结果相同。
$ awk '{$1=="L.Transley" {print substr($1, 3,99)}' grade.txt
Transley
substr的另一种形式是返回字符串后缀或指定位置后面字符。这里需要给出指定字符串及其返回字串的起始位置。例如,从文本文件中抽取姓氏,需操作域1,并从第三个字符开始:
$ awk '{print substr($1, 3)}' grade.txt
Troll
Transley
还有一个例子,在BEGIN部分定义字符串,在END部分返回从第t个字符开始抽取的子串。
$ awk '{BEGIN STR="A FEW GOOD MEN"} END {print substr(STR,7)) grade.txt
GOOD MEN
8.从shell中向awk传入字符串 
awk脚本大多只有一行,其中很少是字符串表示的,这一点通过将变量传入awk命令行会变得很容易。现就其基本原理讲述一些例子。
使用管道将字符串stand-by传入awk,返回其长度。
$ echo "Stand-by" | awk '{print length($0)}'
8
设置文件名为一变量,管道输出到awk,返回不带扩展名的文件名。
$ STR="mydoc.txt"
$ echo $STR | awk '{print subst($STR, 1, 5)}'
mydoc
设置文件名为一变量,管道输出到awk,只返回其扩展名。
$ STR="mydoc.txt"
$ echo $STR | awk '{print substr($STR, 7)}'
txt

 

 

awk  内置时间函数:

mktime :

2013-08-23 18:39:53  时间转换成s

gsub("[:-]", " ", str);

ts = mktime(str);

strftime:

strftime("%c",tstamp);

systime:

当前秒数,从1970年开始

<think>我们被要求提供awk常用命令的使用方法和示例。根据之前的引用,我们可以总结出awk的基本语法、核心概念和常见用法。 引用[1]提到:awk [选项] '模式 {动作}' [输入文件...] 引用[2]和[3]提供了参数说明和内置变量,引用[4]则详细说明了常见用法示例。 因此,我们可以将回答组织成以下几个部分: 1. 基本语法 2. 常用选项(如-F, -v, -f) 3. 内置变量(如$0, $1, NF, NR等) 4. 常见用法示例(包括基础打印、条件过滤、计算统计、字符串操作等) 5. 高级用法(如数组、条件分支、自定义函数等)的简单示例 注意:用户要求“尽可能多的参考用户上一次的问题和你的回答”,但这里用户上一次的问题是关于find命令的,而当前问题是awk,所以主要参考提供的引用。 另外,根据系统指令,我们需要在行内数学表达式使用$...$,独立公式使用$$...$$,但awk命令中一般没有数学公式,所以可能用不到,但如果有计算表达式,比如在awk中进行算术运算,我们可以用行内数学表达式表示。 同时,我们需要在最后生成相关问题。 由于引用中已经提供了很多示例,我们可以从中选取常用且实用的例子。 步骤: 1. 介绍awk是什么 2. 基本语法 3. 常用选项 4. 内置变量 5. 常见用法示例(多个类别,每个类别给1-2个例子) 6. 高级用法(简要) 7. 注意事项 8. 相关问题 注意:用户要求“使用中文回答”,所以全部用中文。 由于引用[4]有详细的目录,我们可以参考其结构,但根据用户要求,我们只提取常用部分。 开始组织回答:</think>### awk 常用命令及使用示例 awk 是 Linux 中强大的文本处理工具,支持字段分割、模式匹配、数据计算等操作。以下为核心用法分类及示例,基于引用内容整理[^1][^3][^4]: --- #### 一、**基本语法** ```bash awk [选项] '模式 {动作}' 文件名 ``` - **模式**:条件表达式(如 `NR>1` 表示跳过第一行) - **动作**:处理命令(如 `{print $1}` 打印第一列) --- #### 二、**常用选项** | 选项 | 说明 | 示例 | |--------|-------------------------------|------------------------------------------| | `-F` | 指定字段分隔符 | `awk -F: '{print $1}' /etc/passwd` | | `-v` | 定义变量 | `awk -v n=5 '{print $n}' file` | | `-f` | 从脚本文件读取命令 | `awk -f script.awk data.txt` | --- #### 三、**核心内置变量** | 变量 | 说明 | 示例用法 | |-----------|-------------------------------|------------------------------| | `$0` | 整行内容 | `{print $0}` | | `$1,$2...`| 第 N 个字段 | `{print $1, $3}` | | `NF` | 当前行字段总数 | `{print NF, $NF}`(字段数+最后一列) | | `NR` | 当前处理的行号 | `NR==1 {print "Header:" $0}` | | `FS` | 输入字段分隔符(默认空格) | `BEGIN{FS=","}` | | `OFS` | 输出字段分隔符(默认空格) | `BEGIN{OFS="-"}` | --- #### 四、**常见用法示例** 1. **基础提取** ```bash # 打印文件第1列和第3列 awk '{print $1, $3}' data.txt # 以逗号分隔CSV文件并打印第2列 awk -F, '{print $2}' data.csv ``` 2. **条件过滤** ```bash # 打印第3列大于100的行 awk '$3 > 100 {print $0}' data.txt # 匹配包含"error"的行(支持正则) awk '/error/ {print NR, $0}' log.txt ``` 3. **数据计算** ```bash # 计算第2列总和 awk '{sum += $2} END {print "Total:", sum}' data.txt # 计算平均值 awk '{sum += $1; count++} END {print "Avg:", sum/count}' nums.txt ``` 4. **字符串操作** ```bash # 将第1列转为大写 awk '{print toupper($1)}' names.txt # 合并第1列和第2列(用"-"连接) awk 'BEGIN{OFS="-"} {print $1, $2}' data.txt ``` 5. **高级处理** ```bash # 统计不同IP出现的次数(数组用法) awk '{ip_count[$1]++} END {for (ip in ip_count) print ip, ip_count[ip]}' access.log # 使用BEGIN/END块添加头尾信息 awk 'BEGIN {print "Start Report"} /pattern/ {print} END {print "End Report"}' file ``` --- #### 五、**实战场景** 1. **分析 Nginx 日志** ```bash # 统计状态码404的请求 awk '$9 == 404 {print $7}' access.log | sort | uniq -c ``` 2. **处理 CSV 数据** ```bash # 提取第3列为"USD"的行并重排序 awk -F, '$3 == "USD" {print $2, $1, $4}' finance.csv ``` 3. **生成格式化报告** ```bash awk 'NR>1 {printf "Name: %-10s Score: %d\n", $1, $2}' scores.txt ``` --- ### ⚠️ 注意事项 1. **字段分隔**:复杂分隔符(如多个空格)可用 `FS=" +"` 或正则表达式。 2. **效率优化**:处理大文件时避免在循环中频繁打印,优先使用数组汇总。 3. **引号规则**:包含特殊字符的字段需用双引号包裹(如 `print "\""$1"\""`)。 > 示例:分析日志中的高频 IP > ```bash > awk '{ip[$1]++} END {for(i in ip) if(ip[i]>100) print i, ip[i]}' access.log > ``` > 此命令统计访问超过 100 次的 IP 地址[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值