文件查找和压缩

文件查找和压缩

1. 文件查找

在文件系统上查找符号条件的文件
文件查找

• 非实时查找（数据库查找)：locate
• 实时查找：find

1.1 locate

• locate 查询系统上预建的文件索引数据库/var/lib/mlocate/mlocate.db
• 索引的构建是系统较空闲时自动进行的，也可以执行updatedb可以更新数据库
• 索引构建过程需要遍历整个根文件系统，和消耗资源
• locate和updatedb命令来自mlocate包
  工作特点
• 查找速度快
• 模糊查找
• 非实时查找
• 搜索的是文件的全路径，不仅仅是文件名
• 只搜索用户具备读取和执行权限的目录

格式

locate [option]  [pattern]

选项

• -i 不区分大小写
• -n N 只列举前N个匹配项目
• -r 使用基本正则表达式

#搜索名称或路径中包含“conf”的文件
locate conf
#使用Regex来搜索“.conf”结尾的文件
locate -r '\.conf$'

1.2 find

find 是实时查找工具，通过遍历指定路径完成文件的查找
工作特点

• 查找速度略慢
• 精确查找
• 实时查找
• 查找条件丰富
• 只搜索用户基本读取和执行权限的目录
  格式

find [option] 查找路径 查找条件 处理动作

查找路径：指定路径；默认当前目录
查找条件：指定查找标准，可以文件名，大小，类型，权限等，默认找出指定路径下的所有文件
处理动作：对符合条件的文件做操作，默认输出至屏幕

1.2.1 指定搜索目录层级

-maxdepth level 最大搜索目录深度
-mindepth level 最小搜索目录深度

1.2.2 对每个目录先处理目录内的文件，在处理目录本身

-depth -d

1.2.3 根据文件名查找和inode查找

-name “文件名”：支持通配符，但要加双引号
-iname “文件名” 不区分大小写
-inum n  按inode好查找 
-samefile name 相同inode号的文件 
 -links n ；链接数为n的文件
 -regex "PATTERN"  以PATTERN匹配整个文件路径，而非文件名

1.2.4 根据属主，属组查找

-user 查找属主为指定用户的文件
-group 查找属组为指定用户的文件
-uid   查找属主为指定uid的文件
-gid 查找属组为指定gid的文件
-nouser 查找没有属主的文件
-nogroup 查找没有属组的文件

1.2.5 根据文件类型查找

-type TYPE
  f 普通文件
  d 命令文件
  l 符号链接文件
  s 套接字文件
  b 块设备文件
  c 字符设备文件
  p 管道文件

1.2.6 空文件或目录

-empty

1.2.7 组合条件

与：-a
或：-o
非：-not !

德·摩根定律：

• （非A）或（非B）= 非（A且B） !A -a !B=!(A -o B)
• （非A）且（非B）= 非（A或B） !A -o !B=!(A -a B)

1.2.8 排除目录

#查找/etc/下，除了/etc/sane.d目录的其他所以.conf后缀的文件
find /etc/ -path '/etc/sane.d' -a -prune -o -name "*.conf"
#查找/etc/下，除/etc/sane. d和/etc/fonts两个目录的所有. conf后缀的文件
find /etc \( -path '/etc/sane.d' -o -path '/etc/fonts' \) -a -prune -o -name "*.conf"

1.2.9 根据文件大小查找

• -size [+1-]#UNIT #常用单位: k，M，G，C (byte)， 注意大小写敏感
  #UNIT: #表示(#-1，#],如: 6k表示(5k, 6k]
  -#UNIT #表示[0,#-1],如: -6k 表示[0, 5k]
  +#UNIT #表示(#,0),如: +6k表示(6k,∞)

范例:

find / -size  +10G

1.2.10 根据时间戳

#以“天”为时间
-atime [+|-]#

#  #表示[#,#+1]
+# #表示[#+1,∞)
-# #表示[0,#)

-mtime
-ctime
#以“分钟”为时间
-amin
-mmin
-cmin

1.2.11 根据权限查找

-perm [/|-] MODE

MODE:精确权限匹配
/MODE:任何一类（u，g，o）对象的权限只要有一位匹配即可，或关系
-MDOE:每一类对象都必须同时拥有指定权限，与关系
0 表示不关心

说明：
find -perm 755 会匹配权限模式恰好是755的文件
只要当任意人有写权限时，find -perm /222 就会匹配
只有当其他人有写权限时，find -perm -002才会匹配

1.2.12 正则表达式

范例:

find /you/find/dir -regextype posix-extended -regex " regex"

1.2.13 处理动作

-print：默认的处理动作，显示至屏幕
-ls： 类似于对查找的文件执行 “ls -dils” 命令格式输出
-fls flie： 查找的所有文件的长格式信息保存至指定文件，相当于 -ls > file
-delete ：删除查找到的文件
-ok COMMAND {} \;对查找到的每个文件执行由COMMAND 指定的命令，对每个文件执行命令之前，都会交互式要求客户确认
-exec  COMMAND {} \;对查找到的每个文件执行由COMMAND 指定的命令
{}：用于引用查找到的文件名称自身

#备份配置文件、添加.orig这个扩展名
find -name ".conf" -exec cp {} {}.orig \;

#提示删除存在时间超过3天以上的joe的临时文件
find /tmp -ctime +3 -user joe -ok rm {} \;

#在主目录中寻找可被其他用户写入的文件
find -perm -002 

#查找/data下的权限为644，后缀为sh的普通文件，增加执行权限
find /data -type f -perm 644 -name "*.sh" -exec chomd 755 {} \;

1.3 参数替换 xargs

由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs可以读入stdin的数据，并且以空格符或回车符将stdin的数据分割成为参数
另外，许多命令不能接受过多参数，命令执行可能会失败，xargs可以解决
注意：文件名或者其他有意义的名词内含有空格符的情况
find经常和xargs命令进行组合

find |xargs COMMAND

范例：

#显示10个数字
[root@centos8 ~]#seq 10|xargs
1 2 3 4 5 6 7 8 9 10

#删除当前目录下的大量文件
[root@centos8 ~]#ls |xargs rm 

find -name "*.sh" |xargs ls -Sl

[root@centos8 ~]#echo {1..10}|xargs
1 2 3 4 5 6 7 8 9 10
[root@centos8 ~]#echo {1..10}|xargs -n2
1 2
3 4
5 6
7 8
9 10

#批量创建和删除用户
echo user{1..10} |xargs -n1 useradd
echo user{1..10} |xargs -n1 userdel -r

#查找有特殊权限的文件，并排序
find /bin/ -perm /7000 |xargs ls -Sl 特殊权限有一个就行
find /bin/ -perm -7000 |xargs ls -Sl 特殊权限都必须有

#并发执行多个进程
seq 100|xargs -i -P10 wget /data http://10.0.0.8/{}.html

$并发下载视频
seq 10|xargs -i -P3 you-wget http://www.bilibili.com/video/BV1HZ4y1p7Bf?p={}

2. 压缩和解压缩

主要针对单个文件压缩，而非目录

2.1 compress和uncompress

次攻击来自于ncompress包，此攻击目前已经很少使用
对应的文件是.Z后缀
格式

compress options [file]
uncompress file.Z

选项

• -d 解压缩
• -c 结果输出至标准输出，不删除源文件
• -v 显示详情

zcat fiel.Z 不解压缩查看文件文本内容

2.2 gzip和gunzip

来自gzip包
对应的文件是.gz后缀
格式

gzip [option] file

选项

• -k keep，保留原文件
• -d 解压缩
• -c 结果输出至标准输出，保留原文件，不改变
• -# 指定压缩比 1-9，值越大压缩比越大

范例:

#解压缩
gunzip file.gz
#不显式解压缩的前提下查看文本文件内容
zcat file.gz

2.3 bzip2和bunzip2

来自于bzip2包
对应的文件是.bz2后缀
格式:

bzip2 [OPTION]... FILE ...

常用选项

• -k keep,保留原文件
• -d 解压缩
• -c 结果输出至标准输出，保留原文件不改变
• -# 1-9，压缩比，默认为9

范例:

bunzip2 file. bz2  解压缩
bzcat file.bz2     不显式解压缩的前提下查看文本文件内容

2.4 XZ和unxz

来自于XZ包
对应的文件是.bz2后缀
格式

xz [OPTION]... FILE ...

常用选项

• -k keep， 保留原文件
• -d 解压缩
• -c 结果输出至标准输出，保留原文件不改变
• -# 压缩比，取值1-9,默认为6

范例: .

unxz file.xz   #解压缩
xzcat file.xz  #不显式解压缩的前提下查看文本文件内容

2.5 zip和unzip

zip 可以实现打包目录和多个文件成一个文件并压缩，但可能会丢失文件属性信息，如:所有者和组信息,一般建议使用tar代替
分别来自于zip和unzip包
对应的文件是.zip 后缀
范例:

#打包并压缩
zip -r /backup/sysconfig.zip /etc/sysconfig/

#不包括目录本身，只打包目录内的文件和子目录
cd /etc/sysconfig; zip -r /root/sysconfig.zip *

#默认解压缩至当前目录
unzip /backup/sysconfig.zip

#解压缩至指定目录，如果指定目录不存在，会在其父目录(必须事先存在)下自动生成
unzip /backup/sysconfig.zip -d /tmp/config
cat /var/1og/messages| zip messages -

#-p表示管道
unzip -p message.zip > message

范例：交互式加密和解密

[root@centos8 ~]#zip -e -r etc.zip /etc
Enter password: 
Verify password: 

#解密
[root@centos8 ~]#unzip etc.zip 
Archive:  etc.zip
   creating: etc/
[etc.zip] etc/mtab password: 

范例：非交互式加密和解密

[root@centos8 ~]#zip -r -P 123456 etc.zip /etc

#解密
[root@centos8 ~]#unzip  -P 123456 etc.zip

3. 打包和解包

3.1 tar

tar即Tape ARchive 磁带归档，可以对目录和多个文件打包成一个文件，并且可以压缩，保留文件属性不丢失，常用于备份功能
对应文件后缀.tar
（1）创建归档，保留权限

tar -cpvf /PATH/file.tar file ..

（2）追加文件至归档：注：不支持对压缩文件追加

tar -rf /PATH/file.tar file ..

（3）查看归档文件中的文件列表

tar -t -f /PATH/file.tar

（4）展开归档

tar xf /PATH/file.tar
tar xf /PATH/file.tar -C /PATH/

（5）结合压缩工具实现：归档并压缩

• -z 相当于gzip压缩工具
• -j 相当于bzip2压缩工具
• -J 相当于xz压缩工具

范例：

[root@centos8 ~]#tar zcvf etc.tar.gz /etc/
[root@centos8 ~]#tar jcvf etc.tar.bz2 /etc/
[root@centos8 ~]#tar Jcvf etc.tar.xz /etc/

#只打包目录内的文件，不包括目录本身
[root@centos8 ~]# cd /etc
[root@centos8 ~]#tar zcvf /root/etc.tar.gz ./

#利用tar进行文件复制
[root@centos8 ~]# tar c /data |tar x -C /buckup

排除文件

--exclude 

范例：

tar zcvf /root/a.tgz --exclude=/app/host1 --exclude=/app/host1 /app

-T 指定输入文件
-X 要排除的文件列表

范例：

tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist

3.2 split

split 命令可以分割一个文件为多个文件
范例：

#分割大的tar文件为多份小文件
split -b Size -d tar-file-name prefix-name

slpit -b 1M  mybackup.tgz  mybackup-parts
#切换成多个小文件使用数字后缀
slpit -b 1M -d  mybackup.tgz  mybackup-parts

#将多个小文件合并成一个大文件
cat mybackup-parts* > mybackup.tar.gz

3.3 cpio

cpio 是历史悠久的打包和解包工具
cpio 是通过重定向的方式将文件进行打包备份，还原恢复的工具
格式

cpio > 文件名或设备名
cpio < 文件名或设备名

常用选项

• -o 打包，将标准输入传入的文件名打包发送到标准输出
• -i 解包，将标准输入传入的文件名解包到当前目录
• -t 预览
• -O filename 指定文件名归档
• -A 向已存在的归档文件中追加文件
• -I filename 对指定的归档文件解包
• -F filename 使用指定的文件名替代标准输入或输出
• -d 解包生成目录
• -v 显示打包过程中的文件名称

范例：

#将etc目录备份
find ./etc -print |cpio -ov >bak.cpio
#将/data内容追加到bak.cpio
find /data |cpio -oA -F bak.cpio
#内容预览
cpio -tv <bak.cpio
#解包文件
cpio -idv <bak.cpio