awk、cut、sort和uniq

本文介绍了awk的强大功能,包括以行为单位处理文件、支持分支和循环结构等,并通过实例展示了其在搜索、统计等方面的使用。同时,还介绍了cut、sort、uniq等文本处理工具的基本用法。
一、awk
     sed以行为单位处理文件,awk不仅能以行为单位还能以列为单位处理文件。
     awk缺省的行分隔符是换行符,缺省的列分隔符是连续的空格和tab,而且行分隔符和列分隔符都可以重定义,比如/ect/passwd文件的每一行有若干字段以:分隔,则重新定义awk的分隔符为:并可以以列处理这个文件。
     awk可以像C语言一样支持分支和循环结构,基本语法和sed类似。
  • awk命令基本基本形式为:
          awk option 'script'  file1 file2
          awk option -f scriptfile file1 file 2
  • 编辑命令的格式为:
          /pattern/{action}          其中pattern为正则表达式,action为一系列操作。
     awk程序一行一行读出待处理文件,若某行与pattern匹配,或满足condition条件,则执行相应的action,若一条awk命令只有action部分,则action作用于待处理文件的每一行。
2.从栗子中学习

栗1


 

  • 自动变量$0、$1、$2分别表示当前行、第一列、第二列
  • printf是一条命令
  • 读到的一行数据称一条记录,每一条记录被列分隔符分成多个域
栗2

  • 支持脚本的动作判断
栗3  统计空行数与以E结尾的产品数

  • 对于每个待处理的文件,BEGIN后面的action在处理整个文件之间执行一次,后面的END后面的action在文件处理完成后执行一次
  • awk可以像C语言一样使用变量,不过不需要定义
  • BEGIN和END可写可不写,但是位置一定在最开头和最结尾,且只执行一次
栗4  awk搜索

  • NF即匹配最后一列,$(NF-1)表示最后一列的前一行
3、awk调用方式
     ①命令行模式
     awk [-F field-separator] 'commands' input-file
     其中,commands是真正的awk命令,[-F域分隔符可选],input-file是待处理文件
     ②shell脚本模式
     将所有的awk命令写入文件,并使awk程序可执行,然后awk命令解释器作为脚本的首行。
     #!/bin/awk -f    相当于shell脚本的#!/bin/sh
     解释时和shell脚本的步骤一样,先加权限,再运行。
4、awk调用正则表达式方法
  • awk语句
    • awk ‘/REG/{action}’ action为正则表达式
     例:awk '/^a.*n$/{print $0;}' file  在file里匹配以a开头、以n结尾的任意字符序列
  • awk正则运算语句
    • awk '{if ($0 ~ /^a.*n$/){print $0;}}' file   同上,不过里面加上了语句
  • awk内置使用正则表达式函数
    • gsub(Ere,Repl,[in])
    • sub(Ere,Repl,[In])
    • match(String,Ere)
    • split(String,A,[Ere])
     例:awk ‘{if (match($0,  "^a.*n$")){print $0;}}' file 
5.awk中的printf和print
     awk中同时提供print和printf两种打印输出语句。
     其中print函数的参数可以是变量、数值或者字符串。字符必须用双引号引用,参数用逗号分隔,若没有逗号,参数就串联在一起无法区分。这里,逗号的作用和文件的分隔符是一样的。
     printf函数,语法和c中的printf相似,可以格式化字符串,输出复杂时,printf更加好用,代码更易懂。
6、awk中的语句
  • 循环语句
    • while
    • do/while
    • for
    • break
  • 条件判断
    • if
    • if/else if
     基本和c中风格类似
二、cut
     cut负责在文件中剪切数据,cut以行为处理对象
1、cut命令的三个定位方法
  • 字节  -b

 一般汉字的byte大小不确定
  • 字符  -c

 其中中文字符和空格都算一个字符
  • 域  -f
     -d指定域风格符,-f指定要剪出哪几个域
     
三、sort
     sort将文件的每一行作为一个单位,相互比较,比较的原则是从首字符向后,依次按ASKII码直接进行比较,再肾虚输出
  • sort -u  在输出行中去除重复行
  • sort -r  sort默认升序,加r表示降序
  • sort -o  将排序好的写回源文件
  • sort -n  以数值来排序而不是以字符来排序
  • -t -k选项   后面可以设置间隔符,-k后面指定列数,以某一列来排序
  • 其他

四、uniq
     读取输入文件,并比较相邻的行,若相邻的行有重复则删去。一般都是先排好序,将相同的放到一起在进行删去重复。
     此外,该命令将加工后的结果写到输出文件中,输入的文件和输出的文件必须不同,否则将会丢失数据 。





### 使用 `sort` `uniq` 命令 #### 一、`sort` 命令详解 `sort` 是 Linux/Unix 中用于对文本文件的内容进行排序的强大工具。默认情况下,它会基于 ASCII 编码顺序对每一行数据进行排序[^1]。 以下是常用的参数及其功能: - `-b`: 忽略前导空白字符(如空格制表符)。 - `-c`: 检查输入是否已排序;如果未排序,则返回错误消息并退出。 - `-d`: 只比较字母数字字符空格字符,忽略其他字符。 - `-f`: 将所有的小写字母视为大写字母进行比较。 - `-n`: 按照数值大小而非字符串字典顺序进行排序。 - `-r`: 以相反的顺序排列输出结果。 - `-u`: 抑制重复行的显示,仅保留唯一的一份副本。 - `-k POS1[,POS2]`: 定义要排序的关键字段范围。 - `-t CHAR`: 设置字段分隔符为指定字符。 示例代码如下所示: ```bash # 对文件 data.txt 进行升序排序,并保存到 sorted_data.txt 文件中 sort -o sorted_data.txt data.txt # 数值降序排序 sort -nr file_with_numbers.txt ``` #### 二、`uniq` 命令概述 `uniq` 命令主要用于过滤相邻的重复行。需要注意的是,该命令只会移除连续相同的记录,因此通常需要先通过 `sort` 来预处理数据以便获得全局去重的效果[^2]。 主要选项有以下几个方面: - `-c | --count`: 统计每条不重复项的数量,在其左侧打印出现次数; - `-d | --repeated`: 仅仅展示那些存在多次实例的数据行; - `-i | --ignore-case`: 不区分大小写的匹配模式; - `-u | --unique`: 输出只发生过一次的独特项目列表。 实际操作例子: ```bash # 查找 log_file.log 中唯一的 IP 地址 cat log_file.log | cut -d &#39; &#39; -f 1 | sort | uniq # 显示访问日志里各 ip 的请求频次 awk &#39;{print $1}&#39; access_log | sort | uniq -c | sort -nr ``` #### 三、两者联合运用场景分析 当面对大量无规律的日志或者杂乱的信息集合时,单独依靠任何一个都不能达到理想效果。此时可以将这两个指令结合起来使用: 1. **去除完全相同的所有记录** 首先利用 `sort` 实现初步整理工作,接着再交给 `uniq` 处理掉多余的拷贝版本。 2. **统计频率最高的关键词组** 结合管道机制串联多个进程调用,最终得到我们关心的结果集。 综合应用案例演示: ```bash # 计算某个文档中最常使用的单词 tr -cs "A-Za-z0-9" "\n" < input_text | tr "[:upper:]" "[:lower:]" | grep -v "^$" | sort | uniq -c | sort -rn | head -n 10 ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值