AWK

awk 用法:awk ' pattern {action} ' 

变量名 含义

ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符,默认为一个空格
RS 输入记录分隔符
NF 当前记录里域个数
NR 到目前为止记录数
OFS 输出域分隔符
ORS 输出记录分隔符

1、awk '/101/'  file                     显示文件file中包含101的匹配行。
   awk '/101/,/105/'  file
   awk '$1 == 5'    file
   awk '$1 == "CT"'  file                注意必须带双引号
   awk '$1 * $2 >100 '   file 
   awk '$2 >5 && $2<=15'     file


2、awk '{print NR,NF,$1,$NF,}' file  

显示文件file的当前记录号、域数和每一行的第一个和最后一个域。   

 awk '/101/ {print $1,$2 + 10}' file 

显示文件file的匹配行的第一、二个域加10。

 awk '/101/ {print $1$2}'  file
   awk '/101/ {print $1 $2}' file 

显示文件file的匹配行的第一、二个域,但显示时域中间没有分隔符。


3、df | awk '$4>1000000 '         通过管道符获得输入,如:显示第4个域满足条件的行。

 
4、awk -F "|" '{print $1}'   file           

按照新的分隔符“|”进行操作。
    

awk  'BEGIN { FS="[: \t|]" } {print $1,$2,$3}'       file 

通过设置输入分隔符(FS="[: \t|]")修改输入分隔符。

 

 Sep="|"awk -F $Sep '{print $1}'  file         

按照环境变量Sep的值做为分隔符。   
    

awk -F '[ :\t|]' '{print $1}' file       

按照正则表达式的值做为分隔符,这里代表空格、:、TAB、|同时做为分隔符。


    awk -F '[][]'    '{print $1}' file          

按照正则表达式的值做为分隔符,这里代表[、]


5、awk -f awkfile  file                   通过文件awkfile的内容依次进行控制。
   cat awkfile  /101/{print "\047 Hello! \047"}       遇到匹配行以后打印 ' Hello! '.\047代表单引号。
{print $1,$2}                   --因为没有模式控制,打印每一行的前两个域。

 
6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行(记录)。


7、awk   'BEGIN { OFS="%"}{print $1,$2}'  file 

通过设置输出分隔符(OFS="%")修改输出格式。


8、awk   'BEGIN { max=100 ;print "max=" max}            

 BEGIN 表示在处理任意行之前进行的操作。

 {max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。
   (表达式1?表达式2:表达式3 相当于:
   if (表达式1)
       表达式2
   else
       表达式3
   awk '{print ($1>4 ? "high "$1: "low "$1)}' file 


9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行(记录)。


10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行(记录)。
    awk '{$7 %= 3; print $7}'  file 将第7域被3除,并将余数赋给第7域再打印。


11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。


12、awk '/tom/ {count++;}  三
         END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。


13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4; END {print "The total is $" cost>"filename"}'    file 

gsub函数用空串替换$和,再将结果输出到filename中。


    1 2 3 $1,200.00
    1 2 3 $2,300.00
    1 2 3 $4,000.00

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>1000&&$4<2000) c1+=$4;
    else if ($4>2000&&$4<3000) c2+=$4;
    else if ($4>3000&&$4<4000) c3+=$4;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过if和else if完成条件语句

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000&&$4<4000) exit;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过exit在某条件时退出,但是仍执行END操作。
    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000) next;
    else c4+=$4; }
    END {printf  "c4=[%d]\n",c4}"' file
    通过next在某条件时跳过该行,对下一行执行操作。


14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中,格式为
    打印文件并前置文件名。


15、awk ' $1!=previous { close(previous); previous=$1 }   
    {print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。


16、awk 'BEGIN {"date"|getline d; print d}'         通过管道把date的执行结果送给getline,并赋给变量d,然后打印。 


17、awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;print "\nYour name is",d,"\b!\n"}'
    通过getline命令交互输入name,并显示出来。
    

Awk 中的 where循环

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。
    awk '{ for(i=1;i<NF;i++) {print NF,$i}}'   file 通过for语句实现循环。    
    type file|awk -F "/" '
    { for(i=1;i<NF;i++)
    { if(i==NF-1) { printf "%s",$i }
    else { printf "%s/",$i } }}'               显示一个文件的全路径。
    用for和if显示日期
    awk  'BEGIN {
for(j=1;j<=12;j++)
{ flag=0;
  printf "\n%d月份\n",j;
        for(i=1;i<=31;i++)
        {
        if (j==2&&i>28) flag=1;
        if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;
        if (flag==0) {printf "%02d%02d ",j,i}
        }
}
}'
19、在awk中调用系统变量必须用单引号,如果是双引号,则表示字符串
Flag=abcd
awk '{print '$Flag'}'   结果为abcd
awk '{print  "$Flag"}'   结果为$Flag

 

awk中的split

awk的内置函数split能够将字符串拆分为词,然后保存在数组中。

格式:split(字符串,数组,字段分隔符)

1)name="76868&5676&435&43526&334&12312312&12321"

awk 'BEGIN {print split('"\"$name\""',filearray, "&")}'

 

说明:awk规定引用系统变量必须使用单引号加双引号,即'"$sysvar"'这样的格式,但是split函数也需要双引号来定界,但这个双引号又不能让sh解释,而应留给awk来解释,所以使用了\"和\"组成的双引号

 

07-09
<think>首先,用户的问题是:“请问awk 命令使用教程及示例”,翻译成英文是:“Please teach me the awk command tutorial and examples.” 所以,用户想了解awk命令的基本用法、教程和一些示例。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户可见层的指令: - 回答结构清晰,帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用: - 引用[1]: 解释了awk是模式扫描和处理语言,由模式和动作组成,awk是gawk的链接文件。 - 引用[2]: 提到awk由Alfred Aho、Brian Kernighan和Peter Weinberger开发,支持自定义函数和动态正则表达式,是强大的编程工具。 - 引用[3]: 描述了awk相对于grep和sed的优势,更擅长过滤和处理文本。 - 引用[4]: 提供了一个awk命令示例。 我的回答需要基于这些引用,但用户意图是学习awk命令的教程和示例,所以我应该构建一个结构清晰的教程。 结构回答: 1. **介绍awk**:简要解释awk是什么,基于引用。 2. **基本语法**:解释awk命令的格式。 3. **模式和动作**:详细说明模式和动作的概念。 4. **常用功能**:介绍awk的常见用途,如字段处理、变量、内置函数等。 5. **示例**:提供几个实用示例。 6. **相关问题**:在末尾生成相关问题。 确保使用中文回答。 生成相关问题:在回答末尾添加相关问题,类似于示例中的“§§相关问题§§”。 现在,构建回答大纲: - **开头**:介绍awk。 - **主体**: - 基本命令格式。 - 模式和动作的解释。 - 常用选项和内置变量。 - 示例代码块。 - **结尾**:总结并生成相关问题。 在回答中,自然地添加引用标识。例如,当引用信息时,在末尾加[^1]或[^2]。 例如: - 根据引用[1],awk是一种模式扫描和处理语言[^1]。 - 引用[2]提到awk支持自定义函数等[^2]。 对于示例,使用代码块,就像系统指令中的示例那样。 最后,生成相关问题: - 例如:1. awk如何处理文件输入?2. awk中的内置函数有哪些?3. awk在脚本中的应用? 确保回答真实可靠:基于标准awk知识,结合引用。</think>### awk 命令使用教程及示例 awk 是一种强大的文本处理工具,常用于 Linux/Unix 系统中进行模式扫描、数据过滤和处理。它由 Alfred Aho、Brian Kernighan 和 Peter Weinberger 开发,名称取自三人姓氏的首字母。awk 擅长处理结构化文本数据(如日志文件或 CSV),支持自定义函数、正则表达式和变量操作,使其成为脚本编程的利器[^2][^3]。下面我将逐步介绍 awk 的基本用法、核心概念和实用示例,帮助您快速上手。 --- #### 1. **awk 基本语法和结构** awk 命令的基本格式为: ```bash awk '模式 {动作}' 输入文件 ``` - **模式**:决定何时触发动作的条件(如正则表达式或逻辑判断)。如果省略模式,动作会应用到所有行。 - **动作**:在模式匹配时执行的命令(如打印输出或计算)。 - awk 处理文本时,默认按行读取数据,并将每行分割成字段(字段以空格或制表符分隔,字段变量为 `$1`, `$2`, ..., `$n`,其中 `$0` 表示整行)[^1][^3]。 常用选项: - `-F`:指定字段分隔符(默认是空格)。 - `-v`:定义变量。 - `-f`:从文件加载 awk 脚本。 例如,处理文件时: ```bash awk -F: '{print $1}' /etc/passwd # 使用冒号分隔符,打印每行的第一个字段 ``` --- #### 2. **核心概念:模式和动作** awk 脚本由模式和动作组成,两者缺一不可: - **模式**:可以是正则表达式(如 `/error/` 匹配包含 "error" 的行)、比较表达式(如 `$1 > 10`)或特殊模式(如 `BEGIN` 和 `END`,在脚本开始和结束时执行)。 - **动作**:用花括号 `{}` 包裹的语句,如 `print`, `printf`, 计算或函数调用。 - 在 Linux 中,`awk` 通常链接到 `gawk`(GNU awk),提供更丰富的功能[^1][^2]。 示例:打印文件行数(使用 `END` 模式)。 ```bash awk 'END {print NR}' filename.txt # NR 是内置变量,表示已读行数 ``` --- #### 3. **常用功能和内置变量** awk 提供多种内置变量和函数,简化文本处理: - **内置变量**: - `NR`:当前行号。 - `NF`:当前行的字段数。 - `FS`:字段分隔符(默认为空格)。 - `OFS`:输出字段分隔符(默认为空格)。 - **内置函数**: - 字符串函数:`length()`, `substr()`, `gsub()`(全局替换)。 - 数学函数:`sqrt()`, `int()`。 - 输入/输出函数:`getline`(读取下一行)。 - 支持用户自定义变量和逻辑控制(如 `if`, `while` 循环)[^2][^3]。 示例:计算文件第一列的总和。 ```bash awk '{sum += $1} END {print "总和为:", sum}' data.txt ``` --- #### 4. **实用示例** 以下示例基于常见场景,展示 awk 的灵活应用。所有命令可直接在终端运行。 **示例 1:过滤和打印特定行** 打印日志文件中包含 "error" 的行,并显示行号。 ```bash awk '/error/ {print NR, $0}' error.log # /error/ 是模式,匹配包含 "error" 的行 ``` **示例 2:字段处理和格式化输出** 处理 CSV 文件(分隔符为逗号),打印第二列大于 100 的行。 ```bash awk -F, '$2 > 100 {printf "行 %d: %s\n", NR, $0}' data.csv ``` **示例 3:使用变量和条件语句** 统计文件中数字列的平均值。 ```bash awk '{ total += $1 count++ } END { if (count > 0) { avg = total / count print "平均值:", avg } else { print "无数据" } }' numbers.txt ``` **示例 4:结合系统命令(如引用[4]所示)** 在 awk 中调用外部命令(如 `ls`),并处理输出。 ```bash echo "" | awk '{ cmd = "ls -l" while (cmd | getline line) { print "行数据:", line } close(cmd) }' ``` 此示例使用 `getline` 读取命令输出,并逐行打印[^4]。 **示例 5:自定义分隔符和输出** 处理 `/etc/passwd` 文件,打印用户名和 shell(字段以冒号分隔)。 ```bash awk -F: '{print "用户:", $1, "Shell:", $7}' /etc/passwd ``` --- #### 5. **进阶技巧** - **脚本文件**:将复杂 awk 代码保存为 `.awk` 文件,用 `-f` 加载。 ```bash awk -f script.awk input.txt ``` - **正则表达式**:使用 `~` 匹配字段,如 `$1 ~ /^a/` 匹配第一列以 "a" 开头的行。 - **性能优化**:awk 处理大文件高效,但避免在循环中频繁调用外部命令。 awk 的核心优势在于其简洁性和灵活性,适用于日志分析、数据报表生成或文本转换等场景[^3][^2]。通过练习这些示例,您能快速掌握基本操作。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值