Linux学习之数据处理

数据检索

grep

egrep

# 过滤
grep    过滤
    -A10
    -B10
    -C10
    
    grep -A10 ‘/bin/bash’’/etc/passwd’ 将包括/bin/bash的信息以及它以下10的信息都显示出来
    grep -B10 ‘/bin/bash’’/etc/passwd’ 将包括/bin/bash的信息以及它以上10的信息都显示出来
    grep -C10 ‘/bin/bash’’/etc/passwd’ 将包括/bin/bash的信息、它以上以及以下10的信息都显示出来

    -v  反过滤
    -l  列出文件名
    -o  只显示匹配到的关键字
    -i  忽略大小写
    -c  匹配数
    -n  行号
    -E  正则表达式
    
egrep   grep -E 增强模式，正则表达式

pgrep   查询进程的PID

数据排序

sort

# 排序
sort
    -r   		反序排序
    -f   		忽略大小写
    -n   		按数字排序
    -t   		分隔符
    -k   		关键字
    -o   		结果输出到文件

数据去重

uniq

# 去重之前要排序
# 去重
uniq
    -u   		仅显示不重复行
    -d       	仅显示重复行
    -i   		忽略大小写
    -c   		每行出现的次数

字符转换：替换，删除

tr用来从标准输入中通过替换或删除操作进行字符转换；主要用于删除文件中控制字符或进行字符转换。

使用tr时要转换两个字符串：
字符串1用于查询，
字符串2用于处理各种转换。

语法：
commands|tr  'string1'  'string2'
tr  'string1'  'string2' < filename

tr options 'string1' < filename


-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。


a-z 任意小写
A-Z 任意大写
0-9 任意数字

[root@dyqin qdy]# cat 3.txt 自己创建该文件用于测试
ROOT:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
boss02:x:516:511::/home/boss02:/bin/bash
vip:x:517:517::/home/vip:/bin/bash
stu1:x:518:518::/home/stu1:/bin/bash
mailnull:x:47:47::/var/spool/mqueue:/sbin/nologin
smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin
aaaaaaaaaaaaaaaaaaaa
bbbbbb111111122222222222233333333cccccccc
hello world 888
666
777
999

# tr -d '[:/]' < 3.txt 删除文件中的:和/
# cat 3.txt |tr -d '[:/]' 删除文件中的:和/
# tr '[0-9]' '@' < 3.txt 将文件中的数字替换为@符号
# tr '[a-z]' '[A-Z]' < 3.txt 将文件中的小写字母替换成大写字母
# tr -s '[a-z]' < 3.txt 匹配小写字母并将重复的压缩为一个
# tr -s '[a-z0-9]' < 3.txt 匹配小写字母和数字并将重复的压缩为一个

重定向

linux中使用
0 代表标准输入 stdin
1 代表标准输出 stdout
2 代表标准错误输出  stderr

输出重定向

1. 输出重定向 (标准输出> 追加输出>> 正确1 错误2)
    1.1 标准正确输出重定向 (>) 如果文件不存在，则创建；如果存在，则替换文件原先已有的内容并且写入新内容
        echo 'abcdefg' > file
        ==
        echo 'abcefg' 1> file
    1.2 追加正确输出重定向 (>>) 如果文件不存在，则创建；如果存在，则在文件最后一行写入新内容
        echo 'abcdefg' >> file
        ==
        echo 'abcdefg' 1>> file
    1.3 标准错误输出重定向
        echo 'abcdefg' 2> file
    1.4 追加错误输出重定向
        echo 'abcdefg' 2>> file
    如果既想让文件有正确的输出，也有错误的输出，怎么办呢？
        echo 'abcdefg' 1>> file 2>> file
        ==
        echo 'abcdefg' &>> file   &>（还有这个）
        echo 'abcdefg' 1>> file 2>&1
        echo 'abcdefg' 2>> file 1>&2
        
        拓展：echdddd 'sfsfsfsdfsdf' &> /dev/null      /dev/null相当于windows的回收站
    PS：当然，对于一条命令同一时刻只会有一个结果，要么正确要么错误。

输入重定向

2. 输入重定向
    例子1：
        echo '1 2 3 4 5' > file
        xargs -n2 < file   file作为xargs的参数，默认以空白字符分隔，以两列显示
        ==
        xargs -n2 0< file
        
        xargs -n4 -d: 0< /etc/passwd   
                  -d指定分隔符
    例子2：
        写入多行数据，用重定向实现
        cat >> abc.txt <<EOF
        ...
        ...
        ...
        EOF
        PS: EOF(end of file), EOF可替换成任意字符，只要前后一致即可
    
    例子3：
        脚本中：
        fdisk /dev/sdb <<EOF
        n
        p
        3
        
        +20M
        w
        EOF