Linux 数据处理

排序

处理大量数据时的一个常用命令是 sort 命令。
sort 命令参数

参数	说明
-b	–ignore-leading-blanks 排序时忽略起始的空白
-C	–check=quiet 不排序,如果数据无序也不要报告
-c	–check 不排序,但检查输入数据是不是已排序;未排序的话,报告
-d	–dictionary-order 仅考虑空白和字母,不考虑特殊字符
-f	–ignore-case 默认情况下,会将大写字母排在前面;这个参数会忽略大小写
-g	–general-number-sort 按通用数值来排序(跟 -n 不同,把值当浮点数来排序,支持科学计数法表示的值)
-i	–ignore-nonprinting 在排序时忽略不可打印字符
-k	–key=POS1[,POS2] 排序从POS1位置开始;如果指定了POS2的话,到POS2位置结束
-M	–month-sort 用三字符月份名按月份排序
-m	–merge 将两个已排序数据文件合并
-n	–numeric-sort 按字符串数值来排序(并不转换为浮点数)
-o	–output=file 将排序结果写出到指定的文件中
-R	–random-sort 按随机生成的散列表的键值排序
	–random-source=FILE 指定 -R 参数用到的随机字节的源文件
-r	–reverse 反序排序(升序变成降序)
-S	–buffer-size=SIZE 指定使用的内存大小
-s	–stable 禁用最后重排序比较
-T	–temporary-directory=DIR 指定一个位置来存储临时工作文件
-t	–field-separator=SEP 指定一个用来区分键位置的字符
-u	–unique 和 -c 参数一起使用时,检查严格排序;不和 -c 参数一起用时,仅输出第一例相似的两行
-z	–zero-terminated 用NULL字符作为行尾,而不是用换行符

搜索数据

grep 命令会在输入或指定的文件中查找包含匹配指定模式的字符的行。

压缩数据

Linux文件压缩工具

名称	后缀	描述
bzip2	.bz2	采用Burrows-Wheeler块排序文本压缩算法和霍夫曼编码
compress	.Z	最初的Unix文件压缩工具,已经快没人用了
gzip	.gz	GNU压缩工具,用Lempel-Ziv编码
zip	.zip	Windows上PKZIP工具的Unix实现

tar 命令最开始是用来将文件写到磁带设备上归档的,然而它也能把输出写到文件里,这种
用法在Linux上已经普遍用来归档数据了。

参数	说明
-A	–concatenate 将一个已有tar归档文件追加到另一个已有tar归档文件
-c	–create 创建一个新的tar归档文件
-d	–diff 检查归档文件和文件系统的不同之处
	–delete 从已有tar归档文件中删除
-r	–append 追加文件到已有tar归档文件末尾
-t	–list 列出已有tar归档文件的内容
-u	–update 将比tar归档文件中已有的同名文件新的文件追加到该tar归档文件中
-x	–extract 从已有tar归档文件中提取文件
-C	dir 切换到指定目录
-f	file 输出结果到文件或设备 file
-j	将输出重定向给 bzip2 命令来压缩内容
-p	保留所有文件权限
-v	在处理文件时显示文件
-z	将输出重定向给 gzip 命令来压缩内容

参考文献
Linux命令行与shell脚本编程大全