AWK

AWK

格式:awk [options] ‘pattern{action}’ file

逐行处理,默认以“换行符”为标记识别每一行,以用户指定的“分隔符”将行分割成字段,字段按照顺序,分别对应到awk的内置变量中($1,$2,$3…),默认“分隔符”为空格,$0 表示整行

内置变量:
	FS:输入字段分隔符,默认为空白字符
	OFS:输出字段分隔符,默认为空白字符
	RS:输入记录分隔符(输入换行符),指定输入时的换行符
	ORS:输出记录分隔符(输出换行符),输出时用指定符号代替换行符
	NF:当前行的字段的个数(即当前行被分割成了几列),字段数量
	NR:行号,当前处理的文本行的行号
	FNR:各文件分别计数的行号
	FILENAME:当前文件名
	ARGC:命令行参数的个数
	ARGV:数组,保存的是命令行所给定的各参数
	
	自定义变量:1、[option]位置 -v var=value  2、{action}位置 { var1 = value1;var2=value2;print.....}
Action:
a、print 和 printf:printf动作与printf命令的区别:
	1、printf动作与需要格式化输出的文本字段之间需要用“,”隔开,printf命令不需要;
	2、printf命令只有一个“格式替换符”时,格式化输出的多个文本字段可以重复匹配使用这个“格式替换符”,printf动作需要相应个数的“格式替换符”
b、awk [option] '{if (条件1){动作1}elif(条件2){动作2}else{动作3}}'  file
c、awk  'BEGIN{for(i=1;i<=6;i++){print i}}'
d、awk -v i=1 'BEGIN{while(i<=5){print i ; i++}}'  
	或 awk 'BEGIN{i=1;while(i<=5){print i; i++}}' 
	或 awk BEGIN{i=1;do{print i; i++}while(i<=5)}'
e、continue、break、next、exit
Pattern
1、空模式
2、关系运算符模式: <,>,<=,>=,==,!=,~pattern(匹配正则为真),!~pattern(不匹配正则为真)
3、BEGIN/END模式
4、正则模式: awk '/正则表达式/{Action}' file
5、行范围模式:awk '/正则1/,/正则2/{Action}' file

ps: 
	1、Program中使用的是扩展正则表达式;
	2、当使用{x,y}这种次数匹配的正则表达式时,需要配合--posix选项或者--re-interval选项
数组:
awk中数组的下标默认从1开始
awk中允许数组的值为空,在引用了数组中一个不存在的元素后,数组会自动创建一个该元素,并将其赋值为空。
判断数组是否有某个下标的元素存在与否时,不应该用vars[N]=="",而应该用if(N in vars){action}else{action}这种方法
数组的下标不仅可以为“数字”,也可以为任意“字符串”
awk '{for(i=1;i<=NF;i++) {count[$i]++}}END{for(j in count){print j,count[j]}}' test
内置函数:
算数函数:rand、srand、int
	  awk 'BEGIN{srand();print int(rand()*1000)}'
字符串函数:
	sub("查找字符","替换为字符","字段")
	gsub,
	length("字段"),
	index("字符","字段")
	split("字符串","数组","分隔符") 		(split函数有返回值,值就是数组长度)
其他函数:
	asort(数组,\新数组)(不添加新数组的方式对asort函数对数组排序后,数组下标会被重置为数字,从1开始)
	asorti(数组,新数组)(对数组下标进行排序,生成一个下标组成的新数组)

三元运算符:
	判断条件?Action1:action2
打印奇数行:
	awk i=!i file
07-09
<think>首先,用户的问题是:“请问awk 命令使用教程及示例”,翻译成英文是:“Please teach me the awk command tutorial and examples.” 所以,用户想了解awk命令的基本用法、教程和一些示例。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户可见层的指令: - 回答结构清晰,帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用: - 引用[1]: 解释了awk是模式扫描和处理语言,由模式和动作组成,awk是gawk的链接文件。 - 引用[2]: 提到awk由Alfred Aho、Brian Kernighan和Peter Weinberger开发,支持自定义函数和动态正则表达式,是强大的编程工具。 - 引用[3]: 描述了awk相对于grep和sed的优势,更擅长过滤和处理文本。 - 引用[4]: 提供了一个awk命令示例。 我的回答需要基于这些引用,但用户意图是学习awk命令的教程和示例,所以我应该构建一个结构清晰的教程。 结构回答: 1. **介绍awk**:简要解释awk是什么,基于引用。 2. **基本语法**:解释awk命令的格式。 3. **模式和动作**:详细说明模式和动作的概念。 4. **常用功能**:介绍awk的常见用途,如字段处理、变量、内置函数等。 5. **示例**:提供几个实用示例。 6. **相关问题**:在末尾生成相关问题。 确保使用中文回答。 生成相关问题:在回答末尾添加相关问题,类似于示例中的“§§相关问题§§”。 现在,构建回答大纲: - **开头**:介绍awk。 - **主体**: - 基本命令格式。 - 模式和动作的解释。 - 常用选项和内置变量。 - 示例代码块。 - **结尾**:总结并生成相关问题。 在回答中,自然地添加引用标识。例如,当引用信息时,在末尾加[^1]或[^2]。 例如: - 根据引用[1],awk是一种模式扫描和处理语言[^1]。 - 引用[2]提到awk支持自定义函数等[^2]。 对于示例,使用代码块,就像系统指令中的示例那样。 最后,生成相关问题: - 例如:1. awk如何处理文件输入?2. awk中的内置函数有哪些?3. awk在脚本中的应用? 确保回答真实可靠:基于标准awk知识,结合引用。</think>### awk 命令使用教程及示例 awk 是一种强大的文本处理工具,常用于 Linux/Unix 系统中进行模式扫描、数据过滤和处理。它由 Alfred Aho、Brian Kernighan 和 Peter Weinberger 开发,名称取自三人姓氏的首字母。awk 擅长处理结构化文本数据(如日志文件或 CSV),支持自定义函数、正则表达式和变量操作,使其成为脚本编程的利器[^2][^3]。下面我将逐步介绍 awk 的基本用法、核心概念和实用示例,帮助您快速上手。 --- #### 1. **awk 基本语法和结构** awk 命令的基本格式为: ```bash awk '模式 {动作}' 输入文件 ``` - **模式**:决定何时触发动作的条件(如正则表达式或逻辑判断)。如果省略模式,动作会应用到所有行。 - **动作**:在模式匹配时执行的命令(如打印输出或计算)。 - awk 处理文本时,默认按行读取数据,并将每行分割成字段(字段以空格或制表符分隔,字段变量为 `$1`, `$2`, ..., `$n`,其中 `$0` 表示整行)[^1][^3]。 常用选项: - `-F`:指定字段分隔符(默认是空格)。 - `-v`:定义变量。 - `-f`:从文件加载 awk 脚本。 例如,处理文件时: ```bash awk -F: '{print $1}' /etc/passwd # 使用冒号分隔符,打印每行的第一个字段 ``` --- #### 2. **核心概念:模式和动作** awk 脚本由模式和动作组成,两者缺一不可: - **模式**:可以是正则表达式(如 `/error/` 匹配包含 "error" 的行)、比较表达式(如 `$1 > 10`)或特殊模式(如 `BEGIN` 和 `END`,在脚本开始和结束时执行)。 - **动作**:用花括号 `{}` 包裹的语句,如 `print`, `printf`, 计算或函数调用。 - 在 Linux 中,`awk` 通常链接到 `gawk`(GNU awk),提供更丰富的功能[^1][^2]。 示例:打印文件行数(使用 `END` 模式)。 ```bash awk 'END {print NR}' filename.txt # NR 是内置变量,表示已读行数 ``` --- #### 3. **常用功能和内置变量** awk 提供多种内置变量和函数,简化文本处理: - **内置变量**: - `NR`:当前行号。 - `NF`:当前行的字段数。 - `FS`:字段分隔符(默认为空格)。 - `OFS`:输出字段分隔符(默认为空格)。 - **内置函数**: - 字符串函数:`length()`, `substr()`, `gsub()`(全局替换)。 - 数学函数:`sqrt()`, `int()`。 - 输入/输出函数:`getline`(读取下一行)。 - 支持用户自定义变量和逻辑控制(如 `if`, `while` 循环)[^2][^3]。 示例:计算文件第一列的总和。 ```bash awk '{sum += $1} END {print "总和为:", sum}' data.txt ``` --- #### 4. **实用示例** 以下示例基于常见场景,展示 awk 的灵活应用。所有命令可直接在终端运行。 **示例 1:过滤和打印特定行** 打印日志文件中包含 "error" 的行,并显示行号。 ```bash awk '/error/ {print NR, $0}' error.log # /error/ 是模式,匹配包含 "error" 的行 ``` **示例 2:字段处理和格式化输出** 处理 CSV 文件(分隔符为逗号),打印第二列大于 100 的行。 ```bash awk -F, '$2 > 100 {printf "行 %d: %s\n", NR, $0}' data.csv ``` **示例 3:使用变量和条件语句** 统计文件中数字列的平均值。 ```bash awk '{ total += $1 count++ } END { if (count > 0) { avg = total / count print "平均值:", avg } else { print "无数据" } }' numbers.txt ``` **示例 4:结合系统命令(如引用[4]所示)** 在 awk 中调用外部命令(如 `ls`),并处理输出。 ```bash echo "" | awk '{ cmd = "ls -l" while (cmd | getline line) { print "行数据:", line } close(cmd) }' ``` 此示例使用 `getline` 读取命令输出,并逐行打印[^4]。 **示例 5:自定义分隔符和输出** 处理 `/etc/passwd` 文件,打印用户名和 shell(字段以冒号分隔)。 ```bash awk -F: '{print "用户:", $1, "Shell:", $7}' /etc/passwd ``` --- #### 5. **进阶技巧** - **脚本文件**:将复杂 awk 代码保存为 `.awk` 文件,用 `-f` 加载。 ```bash awk -f script.awk input.txt ``` - **正则表达式**:使用 `~` 匹配字段,如 `$1 ~ /^a/` 匹配第一列以 "a" 开头的行。 - **性能优化**:awk 处理大文件高效,但避免在循环中频繁调用外部命令。 awk 的核心优势在于其简洁性和灵活性,适用于日志分析、数据报表生成或文本转换等场景[^3][^2]。通过练习这些示例,您能快速掌握基本操作。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值