AWK

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

 

 

awk工作流程是这样的:先执行BEGING,然后读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。

$0就表示一个记录,$1表示记录中的第一个字段。
一般 print $0 就是打印整行内容

 

 

NR,表示awk开始执行程序后所读取的数据行数.
FNR,与NR功用类似,不同的是awk每打开一个新文件,FNR便从0重新累计.

07-09
<think>首先,用户的问题是:“请问awk 命令使用教程及示例”,翻译成英文是:“Please teach me the awk command tutorial and examples.” 所以,用户想了解awk命令的基本用法、教程和一些示例。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户可见层的指令: - 回答结构清晰,帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用: - 引用[1]: 解释了awk是模式扫描和处理语言,由模式和动作组成,awk是gawk的链接文件。 - 引用[2]: 提到awk由Alfred Aho、Brian Kernighan和Peter Weinberger开发,支持自定义函数和动态正则表达式,是强大的编程工具。 - 引用[3]: 描述了awk相对于grep和sed的优势,更擅长过滤和处理文本。 - 引用[4]: 提供了一个awk命令示例。 我的回答需要基于这些引用,但用户意图是学习awk命令的教程和示例,所以我应该构建一个结构清晰的教程。 结构回答: 1. **介绍awk**:简要解释awk是什么,基于引用。 2. **基本语法**:解释awk命令的格式。 3. **模式和动作**:详细说明模式和动作的概念。 4. **常用功能**:介绍awk的常见用途,如字段处理、变量、内置函数等。 5. **示例**:提供几个实用示例。 6. **相关问题**:在末尾生成相关问题。 确保使用中文回答。 生成相关问题:在回答末尾添加相关问题,类似于示例中的“§§相关问题§§”。 现在,构建回答大纲: - **开头**:介绍awk。 - **主体**: - 基本命令格式。 - 模式和动作的解释。 - 常用选项和内置变量。 - 示例代码块。 - **结尾**:总结并生成相关问题。 在回答中,自然地添加引用标识。例如,当引用信息时,在末尾加[^1]或[^2]。 例如: - 根据引用[1],awk是一种模式扫描和处理语言[^1]。 - 引用[2]提到awk支持自定义函数等[^2]。 对于示例,使用代码块,就像系统指令中的示例那样。 最后,生成相关问题: - 例如:1. awk如何处理文件输入?2. awk中的内置函数有哪些?3. awk在脚本中的应用? 确保回答真实可靠:基于标准awk知识,结合引用。</think>### awk 命令使用教程及示例 awk 是一种强大的文本处理工具,常用于 Linux/Unix 系统中进行模式扫描、数据过滤和处理。它由 Alfred Aho、Brian Kernighan 和 Peter Weinberger 开发,名称取自三人姓氏的首字母。awk 擅长处理结构化文本数据(如日志文件或 CSV),支持自定义函数、正则表达式和变量操作,使其成为脚本编程的利器[^2][^3]。下面我将逐步介绍 awk 的基本用法、核心概念和实用示例,帮助您快速上手。 --- #### 1. **awk 基本语法和结构** awk 命令的基本格式为: ```bash awk '模式 {动作}' 输入文件 ``` - **模式**:决定何时触发动作的条件(如正则表达式或逻辑判断)。如果省略模式,动作会应用到所有行。 - **动作**:在模式匹配时执行的命令(如打印输出或计算)。 - awk 处理文本时,默认按行读取数据,并将每行分割成字段(字段以空格或制表符分隔,字段变量为 `$1`, `$2`, ..., `$n`,其中 `$0` 表示整行)[^1][^3]。 常用选项: - `-F`:指定字段分隔符(默认是空格)。 - `-v`:定义变量。 - `-f`:从文件加载 awk 脚本。 例如,处理文件时: ```bash awk -F: '{print $1}' /etc/passwd # 使用冒号分隔符,打印每行的第一个字段 ``` --- #### 2. **核心概念:模式和动作** awk 脚本由模式和动作组成,两者缺一不可: - **模式**:可以是正则表达式(如 `/error/` 匹配包含 "error" 的行)、比较表达式(如 `$1 > 10`)或特殊模式(如 `BEGIN` 和 `END`,在脚本开始和结束时执行)。 - **动作**:用花括号 `{}` 包裹的语句,如 `print`, `printf`, 计算或函数调用。 - 在 Linux 中,`awk` 通常链接到 `gawk`(GNU awk),提供更丰富的功能[^1][^2]。 示例:打印文件行数(使用 `END` 模式)。 ```bash awk 'END {print NR}' filename.txt # NR 是内置变量,表示已读行数 ``` --- #### 3. **常用功能和内置变量** awk 提供多种内置变量和函数,简化文本处理: - **内置变量**: - `NR`:当前行号。 - `NF`:当前行的字段数。 - `FS`:字段分隔符(默认为空格)。 - `OFS`:输出字段分隔符(默认为空格)。 - **内置函数**: - 字符串函数:`length()`, `substr()`, `gsub()`(全局替换)。 - 数学函数:`sqrt()`, `int()`。 - 输入/输出函数:`getline`(读取下一行)。 - 支持用户自定义变量和逻辑控制(如 `if`, `while` 循环)[^2][^3]。 示例:计算文件第一列的总和。 ```bash awk '{sum += $1} END {print "总和为:", sum}' data.txt ``` --- #### 4. **实用示例** 以下示例基于常见场景,展示 awk 的灵活应用。所有命令可直接在终端运行。 **示例 1:过滤和打印特定行** 打印日志文件中包含 "error" 的行,并显示行号。 ```bash awk '/error/ {print NR, $0}' error.log # /error/ 是模式,匹配包含 "error" 的行 ``` **示例 2:字段处理和格式化输出** 处理 CSV 文件(分隔符为逗号),打印第二列大于 100 的行。 ```bash awk -F, '$2 > 100 {printf "行 %d: %s\n", NR, $0}' data.csv ``` **示例 3:使用变量和条件语句** 统计文件中数字列的平均值。 ```bash awk '{ total += $1 count++ } END { if (count > 0) { avg = total / count print "平均值:", avg } else { print "无数据" } }' numbers.txt ``` **示例 4:结合系统命令(如引用[4]所示)** 在 awk 中调用外部命令(如 `ls`),并处理输出。 ```bash echo "" | awk '{ cmd = "ls -l" while (cmd | getline line) { print "行数据:", line } close(cmd) }' ``` 此示例使用 `getline` 读取命令输出,并逐行打印[^4]。 **示例 5:自定义分隔符和输出** 处理 `/etc/passwd` 文件,打印用户名和 shell(字段以冒号分隔)。 ```bash awk -F: '{print "用户:", $1, "Shell:", $7}' /etc/passwd ``` --- #### 5. **进阶技巧** - **脚本文件**:将复杂 awk 代码保存为 `.awk` 文件,用 `-f` 加载。 ```bash awk -f script.awk input.txt ``` - **正则表达式**:使用 `~` 匹配字段,如 `$1 ~ /^a/` 匹配第一列以 "a" 开头的行。 - **性能优化**:awk 处理大文件高效,但避免在循环中频繁调用外部命令。 awk 的核心优势在于其简洁性和灵活性,适用于日志分析、数据报表生成或文本转换等场景[^3][^2]。通过练习这些示例,您能快速掌握基本操作。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值