sort,uniq,tr命令及正则表达式

一.sort

sort命令-----以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序

语法格式：

sort  [选项]  参数
cat file | sort 选项

常用选项：

-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格
-n	按照数字进行排序
-r	反向排序
-u	等同于uniq ,表示相同的数据仅显示一行
-t	指定字段分隔符，默认使用[tab] 键分隔
-k	指定排序字段
-o	<输出文件> ；将排序后的结果存至指定文件

sort -n 1.txt
sort -t ':' -k3 -n /etc/passwd

二.uniq

uniq命令----- 用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用

语法格式：

uniq [选项] 参数
cat file | uniq 选项

常用选项：

-c	进行计数，并删除文件中重复出现的行
-d	仅显示连续的重复行
-u	仅显示出现一次的行

uniq 1.txt
sort -n 1.txt | uniq -c 

三.tr

tr命令-----常用来对来自标准输入的字符进行替换，压缩和删除

语法格式：

tr [选项]  [参数]

常用选项：

-c	保留字符集1的字符，其他的字符（包括换行符\n) 用字符集2 替换
-d	删除所有属于字符集1 的字符
-s	将重复出现的字符串压缩为一个字符串，用字符集2 替换 字符集1
-t	字符集2 替换 字符集1，不加选项同结果

参数：
字符集1:指定要转换或删除的原字符集。当执行转换操作时，必须使用参数"字符集2"指定转换的目标字符集。但执行删除操作时，不需要参数"字符集2”;
字符集2:指定要转换成的目标字符集。

[root@localhost ~]# echo abc | tr "a-z" "A-Z"
ABC
[root@localhost ~]# echo -e "abc\nasd"
abc
asd
[root@localhost ~]# echo -e "abc\nadssd" | tr -c "ab\n" "0"
ab0                只保留a和b和换行，其他用0 代替
a0000
[root@localhost ~]# echo -e "abc\nadssd" | tr -c "ab" "0"
ab00a00000[root@localhost ~]# 
[root@localhost ~]# echo 'hello world' | tr -d 'od'
hell wrl
[root@localhost ~]# echo "thissss is a text linnnne." | tr -s "sn"
this is a text line.

删除空行
[root@localhost ~]# echo -e "aa\n\n\n\n\nbb" 
aa

bb
[root@localhost ~]# echo -e "aa\n\n\n\n\nbb" | tr -s "\n"
aa
bb
或者
[root@localhost ~]# cat 1.txt | tr -s '\n'

把路径变量中的冒号":",替换成换行符“\n”
[root@localhost ~]# echo $PATH | tr -s ":" "\n"
/usr/local/sbin
/usr/local/bin
/usr/sbin
/usr/bin
/root/bin

[root@localhost ~]# echo -e "aa\n\n\n\n\nbb" | tr -s "\n" ":"
aa:bb:[root@localhost ~]#

删除Windows文件造成的 "^M"字符
cat abc.txt | tr -s "\r" "\n" > newfile
cat abc.txt | tr -d "\r" > newfile 
或者用dos2unix工具 后加文件名
cat -v 1.txt
dos2unix 1.txt
Linux中遇到换行符("\n")会进行回车+换行的操作，
回车符反而只会作为控制字符(""w")显示，不发生回车的操作。
而windows中要回车符+换行符("\r\n")才会回车+换行，
缺少一个控制符或者顺序不对都不能正确的另起一行。

数组的排序

[root@localhost ~]# a=(20 50 10 30 60 40 )
[root@localhost ~]# echo ${a[@]}
20 50 10 30 60 40
[root@localhost ~]# echo ${a[@]} | tr " " "\n" | sort -n | tr " \n" " " 
[root@localhost ~]# b=(`echo ${a[@]} | tr " " "\n" | sort -n | tr " \n" " "`) 
[root@localhost ~]# echo ${b[@]}
10 20 30 40 50 60

四.cut

cut命令-------显示行中的指定部分，删除文件中指定字段

语法格式：

cut 选项 参数
cat file | cut 选项

常用选项：

-f	通过指定哪一个字段进行提取，cut 命令使用“TAB”作为默认的字段分隔符
- d	-d "TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符
–complemen	此选项用于排除所指定的字段
– output -delimiter	更改输出内容的分隔符

三种方法都可以实现切割
[root@localhost ~]# i=123456789
[root@localhost ~]# echo $i | cut -b 1-3
123
[root@localhost ~]# echo ${i:0:3}
123
[root@localhost ~]# expr substr $i 1 3
123
[root@localhost ~]# 

五.正则表达式

正则表达式 -----通常用于判断语句中，用来检查某一个字符串是否满足某一格式

正则表达式是由普通字符与元字符组成

普通字符包括大小写字母，数字，标点符号及一些其他符号

元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式

1.基础正则表达式常见元字符

（支持的工具：grep,egrep,sed,awk）

\	转义字符，用于取消特殊符号的含义，例: \ !、\n、\ $等
^	匹配字符串开始的位置，例: ^a、 ^the、 ^#、 ^ [a-z]
$	匹配字符串结束的位置，例: word$、 ^ $ 匹配空行
.	匹配除\n之外的任意的一个字符，例: go.d、 g…d
*	匹配前面子表达式0次或者多次，例: goo*d、 go.*d
[list]	匹配list列表中的一个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字
[ ^ list]	匹配任意非list列表中的一个字符，例: [^0-9]、 [^A-Z]、 [^a-z]匹配任意一位非小写字母
\ {n \ }	匹配前面的子表达式n次，例: go \ {2 \ }d、 '[0-9] \ {2 \ } '匹配两位数字
\ {n, \ }	匹配前而的子表达式不少于n次，例: go \ {2, \ }d、’[0-9] \ {2, \ }'匹配两位及两位以上数字
\ {n, \ }	匹配前而的子表达式不少于n次，例: go \ {2, \ }d、’[0-9] \ {2, \ }'匹配两位及两位以上数字
\ {n,m \ }	匹配前面的子表达式n到m次，例: go \ { 2,3 \ }d、 ’ [0-9] \ {2,3 \ }'匹配两位到三位数字

注: egrep、 awk使用{n}、{n,}、{n, m}匹配时“{}”前不用加“\”

2.扩展正则表达式元字符

(支持的工具: egrep、 awk)

+ :匹配前面子表达式1次以上，例: go+d, 将匹配至少一个o， 如god、 good、 goood等

? :匹配前面子表达式0次或者1次，例: go?d， 将匹配gd或god

() :将括号中的字符串作为h一个整体，例1: "g(oo)+d", 将匹配oo整体1次以上，如good、gooood等

| :以或的方式匹配字条串，例: "g(oo|la)"d, 将匹配good或者glad

小习题，过滤固定电话号码

[root@localhost ~]# egrep "^(\(?025\)?)[ -]?[58][0-9]{7}$" 1.txt
02588888888
(025) 88551234
025 54321678

特殊需求表达式

1. Email地址：^\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)*$

2. 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?

3. InternetURL：[a-zA-z]+://[^\s]* 或 ^http://([\w-]+.)+[\w-]+(/[\w-./?%&=]*)?$

4. 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$

5. 电话号码(“XXX-XXXXXXX”、“XXXX-XXXXXXXX”、“XXX-XXXXXXX”、“XXX-XXXXXXXX”、"XXXXXXX"和"XXXXXXXX)：^((\d{3,4}-)|\d{3.4}-)?\d{7,8}$

6. 国内电话号码(0511-4405222、021-87888822)：\d{3}-\d{8}|\d{4}-\d{7}

7. 身份证号(15位、18位数字)：^\d{15}|\d{18}$

8. 短身份证号码(数字、字母x结尾)：^([0-9]){7,18}(x|X)?$ 或 ^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$

9. 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：¹[a-zA-Z0-9_]{4,15}$

10. 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：²\w{5,17}$

11. 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：^(?=.\d)(?=.[a-z])(?=.*[A-Z]).{8,10}$

12. 日期格式：^\d{4}-\d{1,2}-\d{1,2}

13. 一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$

14. 一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$

---

1. a-zA-Z ↩︎

2. a-zA-Z ↩︎