shell中的awk 和sed及grep

最新推荐文章于 2025-03-26 19:15:15 发布
最新推荐文章于 2025-03-26 19:15:15 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： shell 文章标签： 正则表达式 awk sed shell regex

http://blog.youkuaiyun.com/chenhanzhun/article/details/44133789

http://coolshell.cn/articles/9070.html

http://coolshell.cn/articles/9104.html

一. grep 命令

1. grep命令基本语法

grep命令是打印匹配文本行，其全称为 Global Search Regular Expression and Print out the line；基本语法如下：

<code class="hljs css has-numbering"><span class="hljs-tag">grep</span> <span class="hljs-attr_selector">[OPTIONS]</span> <span class="hljs-tag">PATTERN</span> <span class="hljs-attr_selector">[FILE...]</span>
<span class="hljs-tag">grep</span> <span class="hljs-attr_selector">[OPTIONS]</span> <span class="hljs-attr_selector">[-e PATTERN | -f FILE]</span> <span class="hljs-attr_selector">[FILE...]</span>
</code>

其中，OPTIONS表示选项；PATTERN表示匹配模式，匹配模式可以是字符串、变量、正则表达式，若匹配模式中含义空格，则需要使用双引号将匹配模式引起来；FILE表示一系列文件；grep命令从文件中搜索满足指定匹配模式的文本行，并打印出来。

正则表达式的分类为：

  • 基本正则表达式（Basic Regular Expression）：Basic RegEx，简称 BRE
  • 扩展正则表达式（Extended Regular Expression）：Extended RegEx，简称 ERE
  • Perl 正则表达式（Perl Regular Expression）：Perl RegEx，简称 PCRE；

grep命令根据不同的参数支持不同的正则表达式：

  • grep命令后不跟任何参数（默认），则表示要使用“BRE”；
  • grep命令后跟-E参数，则表示要使用“ERE”；
  • grep命令后跟-P参数，则表示要使用“PCRE”；

常用OPTIONS选项如下表所示：

选项说明
-E指定 PATTERN 匹配模式为扩展正则表达式
-F指定 PATTERN 匹配模式为固定的字符串
-G指定 PATTERN 匹配模式为基本正则表达式
-P指定 PATTERN 匹配模式为 Perl 正则表达式
  
-e PATTERN指定 PATTERN 为一个或多个搜索模式
-f FILE指定包含搜索模式的 FILE
-i匹配是忽略字母大小写
-v显示所有与匹配模式不匹配的文本行（如grep -v "grep"或grep -v  grep 意思是不显示包含grep符串的那一行）
-w执行单词搜索
-x显示与指定模式精确匹配而不含其他字符的文本行
-y与选项 -i 相同功能
  
-c只打印匹配的文本行的行数，不显示匹配内容
-l只显示匹配文本行的文件名，不显示匹配内容
-n列出所有匹配的文本行，并显示行号
-r递归搜索目录(当前目录及其各级子目录)
-s

不显示错误信息

二. 流编辑器 sed

1. sed命令

元字符集：
^

锚定行的开始 如：/^sed/匹配所有以sed开头的行。

$

锚定行的结束 如：/sed$/匹配所有以sed结尾的行。

.

匹配一个非换行符的字符 如：/s.d/匹配s后接一个任意字符，然后是d。

*

匹配零或多个字符 如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。

[]

匹配一个指定范围内的字符，如/[Ss]ed/匹配sed和Sed。

[^]

匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。

..

保存匹配的字符，如s/ love able/\1rs，loveable被替换成lovers。

&

保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。

\<

锚定单词的开始，如:/\<love/匹配包含以love开头的单词的行。

\>

锚定单词的结束，如/love\>/匹配包含以love结尾的单词的行。

x\{m\}

重复字符x，m次，如：/0\{5\}/匹配包含5个o的行。

x\{m,\}

重复字符x,至少m次，如：/o\{5,\}/匹配至少有5个o的行。

x\{m,n\}

重复字符x，至少m次，不多于n次，如：/o\{5,10\}/匹配5--10个o的行。


先看几个实例：
删除：d命令

  • $ sed '2d' example-----删除example文件的第二行。

  • $ sed '2,$d' example-----删除example文件的第二行到末尾所有行。

  • $ sed '$d' example-----删除example文件的最后一行。

  • $ sed '/test/'d example-----删除example文件所有包含test的行。

替换：s命令

  • $ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。

  • $ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。

  • $ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加localhost，变成192.168.0.1localhost。

  • $ sed -n 's/ love able/\1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。

  • $ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

选定行的范围：逗号

  • $ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。

  • $ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。

  • $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。

多点编辑：e命令

  • $ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

  • $ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。

从文件读入：r命令

  • $ sed '/test/r file' example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。

写入文件：w命令

  • $ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。

追加命令：a命令

  • $ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面，sed要求命令a后面有一个反斜杠。

插入：i命令

$ sed '/test/i\\

new line

-------------------------' example

如果test被匹配，则把反斜杠后面的文本插入到匹配行的前面。

下一个：n命令

  • $ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。

变形：y命令

  • $ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令。

退出：q命令

  • $ sed '10q' example-----打印完第10行后，退出sed。

保持和获取：h命令和G命令

  • $ sed -e '/test/h' -e '$G example-----在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。

保持和互换：h命令和x命令

  • $ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。



sed命令从文件或者标准输入中一次读取一行数据，将该行数据复制到缓冲区，然后读取命令行或脚本的编辑子命令，对缓冲区中的文本行进行编辑。重复此工作，直到所有文本行都处理完毕。

sed命令编辑的是文件是原始文件在缓冲区中的副本，并不影响原始文件，但是可以把编辑结果通过输出重定向保存起来。

sed命令的基本语法如下所示：

<code class="hljs r has-numbering">sed [OPTION]<span class="hljs-keyword">...</span> {script} [input-file]<span class="hljs-keyword">...</span></code>

常用选项OPTION如下表所示：

选项说明
-n取消默认输出
-e script允许执行多个脚本
-f script-file从脚本文件中读取命令
-i直接修改原始文件
-l N指定行长度为 N
-r在脚本中使用扩展正则表达式
-s把文件作为单独文件
-u最低限度的缓存输入与输出

test2.sh
<pre name="code" class="python">  asdafsadfasdfsa
  badfasdfas
  bdsdfsdfsdf
  csdfasdfasf
test.sh
#!/bin/bash

sed -ie '/^b/ s/b/bbbbbb/g' test2.sh 

 执行后test2.sh的结果为： 

 

 

asdafsadfasdfsa
bbbbadfasdfas
bbbbdsdfsdfsdf
csdfasdfasf

 

 
如果不带-i，那么test2.sh中的内容不会发生变化， 发生变化的只是缓冲区中的内容。 

 

 

 

2. 文本行定位
 

sed命令提供了两种方式来实现文本行的定位：行号定位、正则表达式定位
 

行号定位
 

  • 定位某个特定的行n：n是一个整数，表示定位到文本的第n行；
  • 定位某段连续的行n,m：n和m都是整数，表示定位到起始行为n，终止行为m的文本行；
  • 指定起始行和步长start~step：起始行为start，步长为step；
  • 第一行1和最后一行$：1表示第一行，$表示最后一行；
  • 指定某行后面的几行n,+x：表示从第n行开始到后面的x行；
 

正则表达式定位
 

sed命令使用正则表达式定位文本行的语法如下所示：
 

<code class="hljs vala has-numbering"><span class="hljs-preprocessor">#regexp 表示正则表达式</span>
/regexp/

如：/^b/ 表示行首为b
   /1,3/ 表示第1～3行
</code>
 

3. sed命令的常用操作
 

sed命令的常用编辑命令有：打印、删除、增加、替换；其基本语法如下所示：
 

<code class="hljs css has-numbering"><span class="hljs-attr_selector">[address1[,address2]</span>] <span class="hljs-tag">command</span> <span class="hljs-attr_selector">[argument]</span></code>
 

其中address称为位置参数，即上面的行定位；command是sed所提供的子命令，用来实现编辑操作；argument表示子命令的选项参数；
 

1) 打印文本
 

sed命令中可通过位置参数和p命令打印所需要的文本行，其语法如下所示：
 

<code class="hljs css has-numbering"><span class="hljs-attr_selector">[address1[,address2]</span>] <span class="hljs-tag">p</span></code>
 

例如：
 

<code class="hljs bash has-numbering"><span class="hljs-shebang">#! /bin/bash
</span>
<span class="hljs-comment">#输出第1~4行文本，注意1,3p之间是单引号</span>
sed -n <span class="hljs-string">'1,3p'</span> test.txt

<span class="hljs-comment">#输出以Lin开头的文本行</span>
result=`sed -n <span class="hljs-string">'/^Lin/ p'</span> test.txt`
<span class="hljs-built_in">echo</span> <span class="hljs-string">"<span class="hljs-variable">$result</span>"</span></code>
 

2) 替换文本
 

sed命令中可通过位置参数和s子命令替换文本行，其语法如下所示：
 

<code class="hljs coffeescript has-numbering">[address1[,address2]] s<span class="hljs-regexp">/pattern/replacemen/</span>[flag]</code>
 

flag为替换标志，不同值会影响s子命令的行为；flag常用取值如下表所示：
 

取值说明
g全局匹配，会替换文本行所有符合规则的字符串
p替换第一个符合规则的字符串，并将缓冲区输出到标准输出
w替换第一个符合规则的字符串，并将受影响的行输出到磁盘文件中
十进制数n替换文本行中第n个符合规则的字符串
空若不指定flag值，替换文本行中第一个符合规则的字符串
 

3) 删除文本
 

sed命令中可通过位置参数和d子命令删除文本行，其语法如下所示：
 

<code class="hljs css has-numbering"><span class="hljs-attr_selector">[address1[,address2]</span>] <span class="hljs-tag">d</span></code>
 

4) 增加文本
 
 

追加文本 
 sed命令中可通过位置参数和a子命令追加文本行，其语法如下所示：
 

<code class="hljs vala has-numbering"><span class="hljs-preprocessor">#将string插入到address1位置后面</span>
[address1] a <span class="hljs-keyword">string</span> </code>

 

5) 插入文本 
 

sed命令中可通过位置参数和i子命令插入文本行，其语法如下所示：
 

<code class="hljs vala has-numbering"><span class="hljs-preprocessor">#将string插入到address1位置前面</span>
[address1] i <span class="hljs-keyword">string</span></code>
 

6) 组合命令
 

sed命令支持将多个子命令组合在一起使用；具体方式如下所示：
 

  • 使用-e选项：-e选项可以将多个子命令组合在一起使用；例如：
 

<code class="hljs bash has-numbering"><span class="hljs-shebang">#! /bin/bash
</span>
<span class="hljs-comment">#将全部小写字母 e 替换成大写字母 E，并打印第 1 行到第 3 行文本行</span>
result=`sed -n <span class="hljs-operator">-e</span> <span class="hljs-string">'s/e/E/g'</span> <span class="hljs-operator">-e</span> <span class="hljs-string">'1,3 p'</span> test.txt`
<span class="hljs-built_in">echo</span> <span class="hljs-string">"<span class="hljs-variable">$result</span>"</span></code>
 

  • 使用分号;执行多个子命令： 
     其语法格式：
 

<code class="hljs bash has-numbering">sed <span class="hljs-operator">-e</span> <span class="hljs-string">'command1; command2...'</span> filename</code>
 

例如：
 

<code class="hljs bash has-numbering"><span class="hljs-shebang">#! /bin/bash
</span>
<span class="hljs-comment">#将全部小写字母 e 替换成大写字母 E，并打印第 1 行到第 3 行文本行</span>
result=`sed -n <span class="hljs-operator">-e</span> <span class="hljs-string">'s/e/E/g; 1,3 p'</span> test.txt`
<span class="hljs-built_in">echo</span> <span class="hljs-string">"<span class="hljs-variable">$result</span>"</span></code>
 

  • 对同一个地址使用多个子命令： 
     其语法格式：
 

<code class="hljs r has-numbering">address{
    command1
    command2
    command3
    <span class="hljs-keyword">...</span>
}
<span class="hljs-comment">#或</span>
[address] { command1;command2;command3;<span class="hljs-keyword">...</span>}</code>
 

7)sed脚本文件
 

可以将多个子命令写成后缀名为.sed的sed脚本文件，sed脚本文件内容只需将各个子命令依次列出来，不必使用引号，若将多个子命令写在同一行，则不同子命令之间需使用分号隔开。调用sed脚本文件的格式如下：
 

<code class="hljs bash has-numbering">sed <span class="hljs-operator">-f</span> script</code>
<pre>

 

 

四. awk命令
 

1. awk命令的基本语法
 

awk命令是一个文本处理工具，其基本语法如下所示：
 

<code class="hljs mathematica has-numbering">awk pattern <span class="hljs-list">{ actions }</span></code>
 

其中，pattern表示匹配模式，actions表示要执行的操作；即对符合pattern匹配模式的文本行执行actions操作；若省略pattern匹配模式，则表示对所有文本行执行actions操作；若省略pattern
 匹配模式，则把匹配成功的文本行打印输出；但是不能同时省略pattern和actions。
 

pattern匹配模式可以是以下其中一种：
 

  • 正则表达式；
  • 关系表达式；
  • 模式1，模式2：指定一行的范围；
  • BEGIN：指定在第一行文本被处理之前所发生的操作；
  • END：指定在最后一行文本被读取之后发送的操作；
 

actions命令由一个或多个命令、函数或者表达式组成，他们之间由换行符或分号隔开，并位于大括号内，一般有以下四种情况：
 

  • 变量或数组赋值；
  • 输出命令，例如printf或print；
  • 内置函数；
  • 流控制语句，例如if、while或for语句；
 

awk命令的执行方式：
 

  • 通过命令行执行：其语法：
 

<code class="hljs bash has-numbering">awk <span class="hljs-string">'awk程序语句'</span> 数据文件</code>
 

  • 执行 awk脚本：其语法：
 

<code class="hljs bash has-numbering"><span class="hljs-comment">#注意：awk脚本文件是后缀名为.awk的文件</span>
awk <span class="hljs-operator">-f</span> awk脚本文件 数据文件</code>
 

  • 可执行脚本文件：即在 shell文件中指定解析器为#! /bin/awk -f
 

2. awk命令的匹配模式
 

在awk命令的匹配模式主要包括：关系表达式、正则表达式、混合模式、区间模式、BEGIN模式、END模式等。
 

1) 关系表达式
 

awk命令中的关系运算符如下表所示：
 

运算符说明
>大于
>=大于等于
<小于
<=小于等于
==等于
!=不等于
~匹配运算：例如$1~/^A表示匹配第一个字段以字符A开头的记录
!~不匹配运算
 

2) 正则表达式
 

awk支持以正则表达式为匹配模式，其基本语法如下所示：
 

<code class="hljs vala has-numbering"><span class="hljs-preprocessor">#regexp 表示正则表达式</span>
/regexp/</code>
 

例如：输出以字符u开头的文本行
 

<code class="hljs bash has-numbering"><span class="hljs-shebang">#! /bin/bash</span>
<span class="hljs-comment">#filename:test.sh</span>

result=`awk <span class="hljs-string">'/^u/ {print}'</span> shell.md`

<span class="hljs-built_in">echo</span> <span class="hljs-string">"<span class="hljs-variable">$result</span>"</span>

<span class="hljs-comment">#输出结果：</span>
$ sh test.sh 
<span class="hljs-built_in">unset</span> variable_name
<span class="hljs-built_in">unset</span> var
until
until
<span class="hljs-built_in">unset</span> <span class="hljs-operator">-f</span> 函数名</code>
 

3) 混合模式
 

在awk命令的匹配模式中，可以通过逻辑运算符使用多个表达式组成命令；基本逻辑运算符如下表所示：
 

运算符说明
&&逻辑与
||逻辑或
!逻辑非
 

4) 区间模式
 

awk命令支持区间模式，其语法如下：
 

<code class="hljs  has-numbering">pattern1, pattern2</code>
 

例如：第一个匹配模式是：以字符串one开头的文本行；第二个匹配模式是：第3字段等于14的文本行；所有符合这两个匹配模式之间的文本行都会被输出；
 

<code class="hljs bash has-numbering"><span class="hljs-shebang">#!/bin/bash</span>
<span class="hljs-comment">#filename:test.sh</span>

result=`awk <span class="hljs-string">'/^one/ , $3==14 {print}'</span> test.txt`

<span class="hljs-built_in">echo</span> <span class="hljs-string">"<span class="hljs-variable">$result</span>"</span>

<span class="hljs-comment">#执行结果：</span>
$ sh test.sh 
one     <span class="hljs-number">10</span>  <span class="hljs-number">20</span>  <span class="hljs-number">30</span>
two     <span class="hljs-number">15</span>  <span class="hljs-number">25</span>  <span class="hljs-number">20</span>
three   <span class="hljs-number">20</span>  <span class="hljs-number">15</span>  <span class="hljs-number">31</span>
four    <span class="hljs-number">16</span>  <span class="hljs-number">26</span>  <span class="hljs-number">35</span>
five    <span class="hljs-number">11</span>  <span class="hljs-number">14</span>  <span class="hljs-number">40</span>
</code>
 

5) BEGIN模式
 

BEGIN模式是awk命令一种特殊的内置模式，在awk读取数据之前对执行的操作；
 

例如：
 

<code class="hljs livecodeserver has-numbering">
<span class="hljs-comment">#! /usr/bin/awk -f</span>
<span class="hljs-comment">#filename:test.sh</span>

BEGIN { print <span class="hljs-string">"Beging operator."</span> }
/^<span class="hljs-constant">one</span>/ , $<span class="hljs-number">3</span>==<span class="hljs-number">14</span> {print}

<span class="hljs-comment">#执行结果：</span>
$ ./test.sh test.txt
Beging operator.
<span class="hljs-constant">one</span>     <span class="hljs-number">10</span>  <span class="hljs-number">20</span>  <span class="hljs-number">30</span>
<span class="hljs-constant">two</span>     <span class="hljs-number">15</span>  <span class="hljs-number">25</span>  <span class="hljs-number">20</span>
<span class="hljs-constant">three</span>   <span class="hljs-number">20</span>  <span class="hljs-number">15</span>  <span class="hljs-number">31</span>
<span class="hljs-constant">four</span>    <span class="hljs-number">16</span>  <span class="hljs-number">26</span>  <span class="hljs-number">35</span>
<span class="hljs-constant">five</span>    <span class="hljs-number">11</span>  <span class="hljs-number">14</span>  <span class="hljs-number">40</span>
</code>
 

6) END模式
 

END模式是在处理完数据之后执行的操作；例如：
 

<code class="hljs asciidoc has-numbering">#! /usr/bin/awk -f
# /usr/bin/env awk -f
#filename:test.sh

BEGIN {
<span class="hljs-code">    print "Beging operator."</span>
<span class="hljs-code">    print "===================="</span>
}
/^one/ , $3==14 {print}

END {
<span class="hljs-code">    print "===================="</span>
<span class="hljs-code">    print "Ending operator."</span>
}


#执行结果：
$ ./test.sh test.txt
<span class="hljs-header">Beging operator.
====================</span>
one     10  20  30
two     15  25  20
three   20  15  31
four    16  26  35
<span class="hljs-header">five    11  14  40
====================</span>
Ending operator.
</code>
 

3. awk 变量
 

awk中的用户自定义的变量一般在BEGIN模式中定义；
 

系统内置变量
 

awk的常用系统内置变量如下表所示：
 

变量说明
$0当前记录（存放着整个行的内容）
$1~$n当前记录的第n个字段，字段间由FS分隔
FS输入字段分隔符 默认是空格或Tab
NF当前记录中的字段个数，就是有多少列
NR已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中
FNR当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS输入的记录分隔符， 默认为换行符
OFS输出字段分隔符， 默认也是空格
ORS输出的记录分隔符，默认为换行符
FILENAME当前输入文件的名字
 

4. 运算符
 

awk命令支持常用的运算符：算术运算符、赋值运算符、条件运算符、逻辑运算法、关系运算符等操作；
 

算术运算符
 

awk命令直接支持的算术运算符有：加+、减-、乘*、除/、模运算%、指数运算^；
 

赋值运算符
 

awk命令常用的赋值运算符有：=、+=、-=、*=、/=、%=、^=；
 

条件运算符
 

awk命令的条件运算符语法如下所示：
 

<code class="hljs  has-numbering">表达式?值1:值2</code>
 

逻辑运算法
 

awk命令支持的逻辑运算符：&&、||、！；
 

关系运算符
 

awk命令支持的关系运算符：>、>=、<、<=、==、！=、~、!~；
 

5. awk 函数
 

awk提供了许多系统函数，用户也可以自定义函数；
 

字符串函数
 

常用的字符串函数有：
 

函数说明
index(string1, string2)返回 string2 在string1中第一次出现的位置
length(string)返回string的长度
match(string,regexp)返回string中符合regexp的子字符串
split(string,array,seperator)根据分隔符seperator，将字符串string分隔成多个字段，并存储到数组array中
sub(regexp,replacement,string)将字符串string第一个符合regexp的子字符串替换成replacement
gsub(regexp,replacement,string)将字符串string中符合regexp的全部子字符串都替换成replacement
substr(string,start,[length])从字符串string的start位置开始截取长度为length(若指定了length，否则一直截取到字符串string结束)字串
 

算术函数
 

常用的算术函数有：int(x)、sqrt(x)、exp(x)、log(x)、sin(x)、cos(x)、rand(x)、srand(x)；2)
 


 
 

实例：
 

 

 
 
  •  
    $ awk '/^(no|so)/' test-----打印所有以模式no或so开头的行。
     
  •  
    $ awk '/^[ns]/{print $1}' test-----如果记录以n或s开头，就打印这个记录。
     
  •  
    $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一个域以两个数字结束就打印这个记录。
     
  •  
    $ awk '$1 == 100 || $2 < 50' test-----如果第一个或等于100或者第二个域小于50，则打印该行。
     
  •  
    $ awk '$1 != 10' test-----如果第一个域不等于10就打印该行。
     
  •  
    $ awk '/test/{print $1 + 10}' test-----如果记录包含正则表达式test，则第一个域加10并打印出来。
     
  •  
    $ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一个域大于5则打印问号后面的表达式值，否则打印冒号后面的表达式值。
     
  •  
    $ awk '/^root/,/^mysql/' test----打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记录，则继续打印直到下一个以正则表达式mysql开头的记录为止，或到文件末尾。
     
 

 

 

原文链接：
 

http://man.lupaworld.com/content/manage/ringkee/awk.htm
 

http://man.lupaworld.com/content/manage/ringkee/sed.htm#id2808439
 


                

        

    

  



    


                



	

		

			

				
					
shell文本三剑客（grep、awk、sed）

				
			

			

				

					weixin_43612842的博客
				

				

					08-27
					
					872
					
				

			

		

		

			
				
grepsed和awk被称为Linux三剑客，是因为它们在文本处理和数据操作方面极其强大且常用。：文本搜索工具，在文件中搜索符合正则表达式的文本内容，并打印匹配的行。：文本处理工具，主要用于对结构化数据进行格式化和拆分处理，进行数据统计和报告生成；：流编辑器，对文本进行插入、删除、替换、提取等操作；

			
		

	



                

            
              



	

		

			

				
					
Shell正则表达式之grep、sed、awk实操笔记

				
			

			

				

					09-15
				

			

		

		

			
				
本文主要探讨了在Shell脚本编程中如何运用`grep`、`sed`与`awk`结合正则表达式来实现一些具体的需求。这些工具在文本处理方面极其强大，通过灵活运用它们，可以高效地完成文本搜索、替换、格式化等任务。  #### 二、...

			
		

	



              


  
              

                


	

		

			

				
					
shell中的awk命令

				
			

			

				

					01-07
				

			

		

		

			
				
shell中的awk命令
文章目录shell中的awk命令1.awk–“样式扫描和处理语言”2.awk模式匹配3.记录和域4.指定分隔符`-F “”` 指定分隔符`FS=””` 指定分隔符5.关系和布尔运算值6.表达式7.系统变量8.格式化输出9.内置字符串函数gsub函数indexlength
1.awk–“样式扫描和处理语言”
awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华。在linux系统日常处理工作中，发挥很重要的工作。
awk程序由一个主输入循环维持，主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的

			
		

	





	

		

			

				
					
Shell中的awk

				
			

			

				

					weixin_45305723的博客
				

				

					04-24
					
					1834
					
				

			

		

		

			
				
一、awk基本介绍

1、awk工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
	awk倾向于将一行分成多个"字段"然后再进行处理。
	awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
	使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。


			
		

	



		

			
		



	

		

			

				
					
Linux grep 技巧结合 awk 查询

				
			

			

				

					hellogril前端库
				

				

					01-17
					
					421
					
				

			

		

		

			
				
在 Linux 系统中，grep和awk是两个强大的文本处理工具，常用于日志分析、数据提取和系统管理。grep用于搜索文本模式，而awk用于基于模式进行复杂的文本处理和数据操作。将这两者结合起来使用，可以大大提高数据处理的效率和灵活性。本文将详细介绍如何将grep和awk结合使用，并提供一些实用的示例和技巧。

			
		

	





	

		

			

				
					
Shell中的AWK

				
			

			

				

					YUEAwb的博客
				

				

					01-30
					
					3323
					
				

			

		

		

			
				
printf%s：显示字符串%d, %i：显示十进制整数%f：显示为浮点数%e, %E：显示科学计数法数值%c：显示字符的ASCII码%g, %G：以科学计数法或浮点形式显示数值%u：无符号整数%%：显示%自身##############做成一个表格###########################

			
		

	





	

		

			

				
					
Shell 中的awk命令

				
			

			

				

					THE_MAKER的专栏
				

				

					03-10
					
					636
					
				

			

		

		

			
				
在linux上有很多处理文字的信息，awk也是其中的一种，希望它能给你带来方便
awk执行时，其浏览域标记为$1,$2....$n。这种方法称为域标识。使用$1,$3标识参照第1和第3域，注意这里用逗号隔开做域分割，$0标识所有域。


1.保存awk的输出
第一种，最简单的方式是使用输出重定向符号 > 文件名，下面的例子重2.定向输出的文件wow
$ awk '{print $0}'

			
		

	





	

		

			

				
					
Shell、awk、sed面试题汇总（无答案）.doc

				
			

			

				

					07-07
				

			

		

		

			
				
Shell、awk、sed 面试题汇总  以下是从给定的文件中生成的相关知识点：  Shell  ...这些知识点涵盖了 Shell、awk 和 sed 命令的使用、变量赋值和取值、文件操作、权限设置、数据处理和统计等方面。

			
		

	





	

		

			

				
					
shell脚本之正则表达式、grep、sed、awk

				
			

			

				

					10-17
				

			

		

		

			
				
在本文中，我们将深入探讨shell脚本中的正则表达式、grep、sed和awk命令，这些工具对于文本处理和自动化脚本编写至关重要。下面将详细解释每个知识点，以便读者能够充分理解和应用。  ### 正则表达式  正则表达式是...

			
		

	





	

		

			

				
					
shell最全基础2020年入门—从熟悉grep、sed、awk开始

				
			

			

				

					01-09
				

			

		

		

			
				
本文将深入介绍Shell的基础知识，以及三个强大的文本处理工具——grep、sed和awk。  一、什么是Shell Shell脚本大白话 Shell是一种特殊的程序，它接收用户输入的命令，解析这些命令并将其转化为操作系统可以理解的...

			
		

	





	

		

			

				
					
Shell脚本之awk篇

				
			

			

				

					07-30
				

			

		

		

			
				
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可
以来自标准输入、文件、管道。

			
		

	





	

		

			

				
					
Shell中awk命令

					
最新发布

				
			

			

				

					weixin_59179428的博客
				

				

					03-26
					
					211
					
				

			

		

		

			
				
awk会逐行读取输入文件（或标准输入），并对每一行进行处理。：默认以空格或制表符分隔每一行的字段，可以通过-F选项指定其他分隔符。：可以根据正则表达式或条件匹配特定行。：支持对字段进行数学运算、字符串操作和格式化输出。

			
		

	





	

		

			

				
					
Shell之awk命令

					
热门推荐

				
			

			

				

					weixin_62466637的博客
				

				

					12-28
					
					1万+
					
				

			

		

		

			
				
一、工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
	sed命令常用于--整行的处理，而awk比较倾向于将一行分成多个“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
	在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“11”表示“或”、 “!”表示“非”; 还可以进行简单的数学运算，如+、-、*、/、号、^分别表示加、减、乘、除、

			
		

	





	

		

			

				
					
shell 中的grep sed awk命令

				
			

			

				

					Tpw12qaz的博客
				

				

					09-05
					
					1295
					
				

			

		

		

			
				
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。3.编写一个管道命令序列，首先使用grep查找包含特定模式的行，然后使用tr进行大小写转换，接着使用sort进行排序，最后使用uniq去除重复行。

			
		

	





	

		

			

				
					
Shell中使用Awk

				
			

			

				

					weixin_44048823的博客
				

				

					04-26
					
					461
					
				

			

		

		

			
				
Awk编程语言
gawk程序是Unix中的原始awk程序的GNU版本。 gawk程序让流编辑迈上了一个新的台阶,它提供了一种编程语言而不只是编辑器命令。Awk主要用于统计。
语法格式
awk [options] ‘command’ filename 
awk [options] -f awk-script-file filename 
options：-F表示设置字段分隔符，默认为空格或制表符 
...

			
		

	





	

		

			

				
					
shell 中的sed awk

				
			

			

				

					mmmmhello的博客
				

				

					08-25
					
					236
					
				

			

		

		

			
				
shell 脚本sed ：stream editor可以对某一行进行操作，由名字可知，其能完成对文件的非交互式的编辑工作。用法sed [options]{commands}[flags] [file]options主要有-n代表阻止内存输出到屏幕-f 代表后接命令文件 -e说明可以多点编辑 -i可以直接修改文件内容commands：num文件内容：shell 命令演示sed是按照行处理数据数据，将第一行读入pattern space ,然后用命令处理，完成后被输出到屏幕。再读入下一行重复此过程。什么是Pat

			
		

	





	

		

			

				
					
Shell脚本之AWK

				
			

			

				

					weixin_67474417的博客
				

				

					05-11
					
					7301
					
				

			

		

		

			
				
一.AWK的介绍

1.1AWK的概述


AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
数据可以来自标准输入也可以是管道或文件
20世纪70年代诞生于贝尔实验室，现在centos7用的是gawk


1.2AWK的工作原理


1.当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出
2.如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执...

			
		

	





	

		

			

				
					
shell中awk 使用

				
			

			

				

					zhu_si_tao的博客
				

				

					11-28
					
					995
					
				

			

		

		

			
				
1.awk 
AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。
是shell中处理文本的三大利器之一。
2.awk 初接触
awk 是行处理器，对每行中按指定的分隔符分开的列进行相应的操作。
awk [options] 'script' var=value file(s)
2.1 $0
 awk '{print $0,$1,$2

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值