鸟哥linux命令行总结之——文本提取与格式化处理

最新推荐文章于 2023-08-28 22:59:43 发布

原创最新推荐文章于 2023-08-28 22:59:43 发布 · 597 阅读

CC 4.0 BY-SA版权

文章标签：

12 篇文章

订阅专栏

本文深入讲解Linux中常用命令如grep、sed、awk的高级用法，包括正则表达式匹配、文本处理技巧及diff、patch的文件对比与更新。通过实例演示如何高效管理Linux系统。

本系列会将《鸟哥的Linux私房菜-基础版》中的一些个人觉得比较有用的命令行单独摘出来，方便查阅

grep -n '^the' regular_express.txt 找出只有在行首出现the的行
grep -n '^[a-z]' regular_express.txt找出小写字母开头的行
grep -n '^[^a-zA-Z]' regular_express.txt 找出不是字母开头的行，注意第一个^和第二个的意义不同，一个是行首的意思，一个是“非”的意思
grep -n '\.$' 以小数点结尾的行，注意这里的斜杠是转义，因为.在正则表达式中有其它含义
grep -n '^$' regular_express.txt找出所有空白行（只有行首和行尾）
grep -v '^$' /etc/rsyslog.conf -v '^#' 找出文件中的有效配置行(既不是空白行，又不是#开头的注释)
grep -n 'o\{2\}' regular_express.txt 找出o连续出现两次的行。注意注意！！！这里大括号之所以加转义符，是因为大括号是Linux中的关键字！！！这点要小心！
egrep -v '^$|^#' regular_express.txt 这里的egrep相当于grep -e，单引号内的管道是or的关系。这条命令的意思是显示除去空行和行首为#的那些行

[dmtsai@study ~]$ sed [-nefr] [动作]

nl /etc/passwd | sed '2,5d' 将/etc/passwd中的内容列出并且打印行号，同时，将第2~5行删除
nl /etc/passwd | sed '2d' 只删除第2行
nl /etc/passwd | sed '3,$d' 删除从第3行到最后一行，$符代表最后一行
nl /etc/passwd | sed '2a drink tea' 会在第2行后面新增一行,内容为“drink tea”
sed 's/要被取代的字符串/新的字符串/g' 把这个格式背下来使用即可
ifconfig en0 | grep 'inet' | sed 's/^.*inet //g' 将en0网卡输入的信息中心，inet开头的那一行文字的“inet”字符串去掉
ifconfig en0 | grep 'inet' | sed 's/^.*inet //g' | sed 's/ *netmask.*$//g' 将IP地址前面的内容和后面的内容都删掉，只显示IP
cat /etc/man_db.conf |grep 'MAN' | sed 's/#.*$//g' 获取删掉#注释内容的有效内容
cat /etc/man_db.conf |grep 'MAN' | sed 's/#.*$//g' | sed '/^$/d' 获取删掉#注释内容的有效内容,并删除空白行(因为之前被删除掉的注释会变成空行)
sed -i 's/\.$/\!/g' regular_express.txt 将regular_express.txt这个文件中以.结尾的行的这个点换成感叹号，注意本命令会直接修改源文件，属于危险操作，慎用！

printf '%s\t %s\t %s\t %s\t %s\t \n' $(cat printf.txt) 这里的写法其实很类似C语言printf中的占位符,由于printf不是管道命令，因此需要将文件内容事先提取出来给printf作为输入才行

awk '条件类型 1{动作 1} 条件类型 2{动作 2} ...' filename awk命令将文件的每一行以空格或者tab分割成表格形状，在awk的括号内，每一行的每一个字段都有变量名，$1、$2……分别代表第一列、第二列等等，$0代表所有列(一整行)
last | awk '{print $1 "\t" $3}' 将last输出的内容的第一列和第三列展示出来，显示时列与列之间使用tab作为分隔符
awk中的内置变量
- NF 每一行($0)拥有的字段总数
- NR 目前awk所处理的是“第几行”的数据
- FS 目前的分隔字符是什么(默认为空格)
last | awk '{print $1 "\t lines:" NR "\t columns: " NF}' 将会分别显示出当前所处理到的行号和当前行的字段数,内置变量在使用时需要大写，不需要双引号或者$等前缀，直接使用即可
cat /etc/passwd | awk '{FS=":"} $3<10 {print $1 "\t" $3}' 使用冒号作为分隔符，取出第三列小于10的那些数据，并且打印第一列和第三列，中间使用tab隔开(此时{FS=":"}是在第二行生效的)
cat /etc/passwd | awk 'BEGIN {FS=":"} $3<10 {print $1 "\t" $3}' 使用冒号作为分隔符，取出第三列小于10的那些数据，并且打印第一列和第三列，中间使用tab隔开,使用BEGIN之后，按冒号分割从第一行就开始生效了哦
awk做统计的例子……待补充

diff命令用于对比两个文件之间的差异，以行为单位比较
-b 忽略一行中，仅有多个空白行的差异，例如about me与about me
-B 忽略空白行的差异
-i 忽略大小写的不同
diff passwd.old passwd.new 列出不同的那行
patch与diff命令密不可分，通常用于将旧文件升级为新文件
diff -Naur passwd.old passwd.new > passwd.patch 这个命令会产生一个从旧文件到新文件的补丁，补丁中的内容如果是---开头，则为旧文件信息，如果是+++开头，则为新文件信息，跟git的显示方式相同
patch -p0 < passwd.path 更新补丁(减去0层目录，也就是新旧数据在同一层目录下)
patch -R -p0 < passwd.path 还原更新