linux常用命令

1、awk命令和sed命令的使用
# [-F,]:指定使用逗号作为分隔符分割行
# [print]:打印行的所有字段
# [OFS=","]:输出时用指定的符号代替换行符(不写默认使用换行符)
# [-e]:进行多项编辑，即对输入行应用多条sed命令时使用
# [s]:用一个字符串替换另一个
# [g]: 在行内进行全局替换
awk -F, '{$1="INSERT INTO 表名(";$4="D) VALUES("; print}' OFS="," insert.txt|sed -e 's/INSERT INTO 表名(,/INSERT INTO 表名(/g' -e 's/VALUES(,/VALUES(/g'>insert.txt
2、grep命令比较文件内容
# [-F]:将样式视为固定字符串的列表
# [-v]:显示不包含匹配文本的所有行
# [-x]:只显示全列符合的列
# [-f]:指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
# [<]:输入重定向
a.txt内容如下:
1111
2222
3333
4444
b.txt内容如下：
1111
2222
5555
4444
2.1 找出两个文件相同的内容
grep -Fxf a.txt b.txt
2.2 找出b.txt不存在于a.txt的内容
grep -Fvxf a.txt b.txt
2.3 找出a.txt不存在于b.txt中的内容
grep -Fvxf <(grep -Fxf a.txt b.txt) a.txt
2.4 找出a.txt、b.txt不相同的行
grep -Fvxf <(grep -Fxf a.txt b.txt) a.txt b.txt
3、返回上次的目录
cd -
4、uniq命令
4.1 去除重复行
sort file |uniq
4.2 查找非重复行
sort file |uniq -u
4.3 查找重复行
sort file |uniq -d
4.4 统计
sort file | uniq -c
4.5 去除重复的行，并生成新的文件
sort file |uniq > new_file