Awk

本文介绍了AWK脚本语言中的内置变量及其用途,包括ARGC、ARGV等,并详细讲解了字符串操作方法,如连接、切分及正则表达式的应用。

awk 内置变量

1.ARGC 命令行参数个数

2.ARGV 命令行参数排列

3.ENVIROV 支持队列中系统环境变量的使用

4.FILENAME awk浏览的文件名

5.FNR 浏览文件的记录数

6.FS 设置输入域分隔符,等于命令行 -F选项

7.NF 浏览记录的域个数

8.NR 已读的记录数

9.OFS 输出域分隔符

10.ORS 输出记录分隔符

11.RS 控制记录分隔符

 

字符串操作

连接: $1""$2  $1"-"$2

切分:$ awk '{BEGIN {print split("123#456#678", myarray, "#")}'

 

awk 正则

数组 [0-9]

多个 +

awk  '$1~/[0-9]+\.$/{print $0}' 第一个字段包含多个数字后接句号的

 

awk接收shell变量

#!/bin/sh
file=$1
file_number=$2
awk '{n=NR%"'$file_number'";print "'$file_number'", n}' $file

 

双引号中套单引号:"'var'"

 

random产生随机数

AWKSCRIPT=' { srand(); print rand() } '



时间日期

echo 1 | awk '{print strftime("%Y-%m-%d %H:%M:%S",1285145446)}'



http://gearbox.mst.edu/batch/awk.scripts.time1.html



Trim

In AWK, one can use regular expressions to trim:

ltrim(v) = gsub(/^[ /t]+/, "", v)

rtrim(v) = gsub(/[ /t]+$/, "", v)

trim(v) = ltrim(v); rtrim(v)

or:

function ltrim(s) { sub(/^[ /t]+/, "", s); return s }

function rtrim(s) { sub(/[ /t]+$/, "", s); return s }

function trim(s) { return rtrim(ltrim(s)); }


                
07-09
<think>首先,用户的问题是:“请问awk 命令使用教程及示例”,翻译成英文是:“Please teach me the awk command tutorial and examples.” 所以,用户想了解awk命令的基本用法、教程和一些示例。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户可见层的指令: - 回答结构清晰,帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用: - 引用[1]: 解释了awk是模式扫描和处理语言,由模式和动作组成,awk是gawk的链接文件。 - 引用[2]: 提到awk由Alfred Aho、Brian Kernighan和Peter Weinberger开发,支持自定义函数和动态正则表达式,是强大的编程工具。 - 引用[3]: 描述了awk相对于grep和sed的优势,更擅长过滤和处理文本。 - 引用[4]: 提供了一个awk命令示例。 我的回答需要基于这些引用,但用户意图是学习awk命令的教程和示例,所以我应该构建一个结构清晰的教程。 结构回答: 1. **介绍awk**:简要解释awk是什么,基于引用。 2. **基本语法**:解释awk命令的格式。 3. **模式和动作**:详细说明模式和动作的概念。 4. **常用功能**:介绍awk的常见用途,如字段处理、变量、内置函数等。 5. **示例**:提供几个实用示例。 6. **相关问题**:在末尾生成相关问题。 确保使用中文回答。 生成相关问题:在回答末尾添加相关问题,类似于示例中的“§§相关问题§§”。 现在,构建回答大纲: - **开头**:介绍awk。 - **主体**: - 基本命令格式。 - 模式和动作的解释。 - 常用选项和内置变量。 - 示例代码块。 - **结尾**:总结并生成相关问题。 在回答中,自然地添加引用标识。例如,当引用信息时,在末尾加[^1]或[^2]。 例如: - 根据引用[1],awk是一种模式扫描和处理语言[^1]。 - 引用[2]提到awk支持自定义函数等[^2]。 对于示例,使用代码块,就像系统指令中的示例那样。 最后,生成相关问题: - 例如:1. awk如何处理文件输入?2. awk中的内置函数有哪些?3. awk在脚本中的应用? 确保回答真实可靠:基于标准awk知识,结合引用。</think>### awk 命令使用教程及示例 awk 是一种强大的文本处理工具,常用于 Linux/Unix 系统中进行模式扫描、数据过滤和处理。它由 Alfred Aho、Brian Kernighan 和 Peter Weinberger 开发,名称取自三人姓氏的首字母。awk 擅长处理结构化文本数据(如日志文件或 CSV),支持自定义函数、正则表达式和变量操作,使其成为脚本编程的利器[^2][^3]。下面我将逐步介绍 awk 的基本用法、核心概念和实用示例,帮助您快速上手。 --- #### 1. **awk 基本语法和结构** awk 命令的基本格式为: ```bash awk '模式 {动作}' 输入文件 ``` - **模式**:决定何时触发动作的条件(如正则表达式或逻辑判断)。如果省略模式,动作会应用到所有行。 - **动作**:在模式匹配时执行的命令(如打印输出或计算)。 - awk 处理文本时,默认按行读取数据,并将每行分割成字段(字段以空格或制表符分隔,字段变量为 `$1`, `$2`, ..., `$n`,其中 `$0` 表示整行)[^1][^3]。 常用选项: - `-F`:指定字段分隔符(默认是空格)。 - `-v`:定义变量。 - `-f`:从文件加载 awk 脚本。 例如,处理文件时: ```bash awk -F: '{print $1}' /etc/passwd # 使用冒号分隔符,打印每行的第一个字段 ``` --- #### 2. **核心概念:模式和动作** awk 脚本由模式和动作组成,两者缺一不可: - **模式**:可以是正则表达式(如 `/error/` 匹配包含 "error" 的行)、比较表达式(如 `$1 > 10`)或特殊模式(如 `BEGIN` 和 `END`,在脚本开始和结束时执行)。 - **动作**:用花括号 `{}` 包裹的语句,如 `print`, `printf`, 计算或函数调用。 - 在 Linux 中,`awk` 通常链接到 `gawk`(GNU awk),提供更丰富的功能[^1][^2]。 示例:打印文件行数(使用 `END` 模式)。 ```bash awk 'END {print NR}' filename.txt # NR 是内置变量,表示已读行数 ``` --- #### 3. **常用功能和内置变量** awk 提供多种内置变量和函数,简化文本处理: - **内置变量**: - `NR`:当前行号。 - `NF`:当前行的字段数。 - `FS`:字段分隔符(默认为空格)。 - `OFS`:输出字段分隔符(默认为空格)。 - **内置函数**: - 字符串函数:`length()`, `substr()`, `gsub()`(全局替换)。 - 数学函数:`sqrt()`, `int()`。 - 输入/输出函数:`getline`(读取下一行)。 - 支持用户自定义变量和逻辑控制(如 `if`, `while` 循环)[^2][^3]。 示例:计算文件第一列的总和。 ```bash awk '{sum += $1} END {print "总和为:", sum}' data.txt ``` --- #### 4. **实用示例** 以下示例基于常见场景,展示 awk 的灵活应用。所有命令可直接在终端运行。 **示例 1:过滤和打印特定行** 打印日志文件中包含 "error" 的行,并显示行号。 ```bash awk '/error/ {print NR, $0}' error.log # /error/ 是模式,匹配包含 "error" 的行 ``` **示例 2:字段处理和格式化输出** 处理 CSV 文件(分隔符为逗号),打印第二列大于 100 的行。 ```bash awk -F, '$2 > 100 {printf "行 %d: %s\n", NR, $0}' data.csv ``` **示例 3:使用变量和条件语句** 统计文件中数字列的平均值。 ```bash awk '{ total += $1 count++ } END { if (count > 0) { avg = total / count print "平均值:", avg } else { print "无数据" } }' numbers.txt ``` **示例 4:结合系统命令(如引用[4]所示)** 在 awk 中调用外部命令(如 `ls`),并处理输出。 ```bash echo "" | awk '{ cmd = "ls -l" while (cmd | getline line) { print "行数据:", line } close(cmd) }' ``` 此示例使用 `getline` 读取命令输出,并逐行打印[^4]。 **示例 5:自定义分隔符和输出** 处理 `/etc/passwd` 文件,打印用户名和 shell(字段以冒号分隔)。 ```bash awk -F: '{print "用户:", $1, "Shell:", $7}' /etc/passwd ``` --- #### 5. **进阶技巧** - **脚本文件**:将复杂 awk 代码保存为 `.awk` 文件,用 `-f` 加载。 ```bash awk -f script.awk input.txt ``` - **正则表达式**:使用 `~` 匹配字段,如 `$1 ~ /^a/` 匹配第一列以 "a" 开头的行。 - **性能优化**:awk 处理大文件高效,但避免在循环中频繁调用外部命令。 awk 的核心优势在于其简洁性和灵活性,适用于日志分析、数据报表生成或文本转换等场景[^3][^2]。通过练习这些示例,您能快速掌握基本操作。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值