Linux笔记——命令:Sort,uniq,join,cut,paste,split

列表：

Linux笔记——vim常用操作及扩展补充[手册]

Linux笔记——linux常用命令集合

Linux笔记——命令：awk

Linux笔记——命令:sed

Linux笔记——命令：grep

Linux笔记——命令：find

Linux笔记——命令:Sort,uniq,join,cut,paste,split

Linux笔记——shell基础：变量&本地变量&位置变量&特定变量参数

Linux笔记——条件测试test

Linux笔记——控制流

Linux笔记——shell补充：参数传递&函数等

Linux笔记——正则表达式入门及应用

Linux笔记——linux进程

Linux笔记——SVN命令总结

rpm&yum包管理命令总结

鉴于博客，表格&排版&颜色标记等等无法显示，大家可以下载这个笔记的资源

12个文档，不需要积分，以目录+表格+颜色标记形式

下载资源地址http://download.youkuaiyun.com/detail/wklken/3815477

The end! Thx! wklken的笔记

-----------------------------------------------

对csdn博客的表格表示——真TMD蛋疼................显示异常丑陋，大家还是复制贴到word文档吧，稍后会将整个系列的文档发到资源里免费供大家下载

命令：sort

Sort可将许多不同的域按不同的列顺序分类

sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出

格式：

sort –cmu –o out-putfile [other options] *pos1 *pos2 input-files

选项：

-c 测试文件是否已经分类，如果乱序，则输出第一个乱序的行的相关信息，最后返回1 -m 合并两个分类文件 -u 删除所有复制行 -o 存储sort结果的输出文件名 【sort默认是把结果输出到标准输出，所以需要用重定向才能将结果写入文件，但是如果你想把排序结果输出到原文件中，用重定向可就不行了。-o就可以解决这个问题了】 -b 使用域进行分类是，忽略首个空格【会忽略每一行前面的所有空白部分，从第一个可见字符开始比较】 -n 指定分类是域上数字分类【默认使用字符排序的，若是要数字，使用-n】 -t 域分隔符；默认 空格，tab，可 -r 对分类次序或比较求逆【默认是升序】 +n n为域号，使用此域开始分类 n n为域号，在分类比较时忽略此域，一般与+n一起使用 post m,n 传递到m,n，m为域号，n为开始分类字符数 sort –k2 按照第二个域进行排序 【sort [-t delimiter][+filed[column]] [option]】 【常用组合 –t ‘分隔符’ -kn】 -k选项的语法格式，如下： [ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ] 这个语法格式可以被其中的逗号（“，”）分为两大部分，Start部分和End部分。 先给你灌输一个思想，那就是“如果不设定End部分，那么就认为End被设定为行尾”。这个概念很重要的，但往往你不会重视它。 Start部分也由三部分组成，其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。 C.Start也是可以省略的，省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。 FStart.CStart，其中FStart就是表示使用的域，而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。 同理，在End部分中，你可以设定FEnd.CEnd，如果你省略.CEnd，则表示结尾到“域尾”，即本域的最后一个字符。或者，如果你将CEnd设定为0(零)，也是表示结尾到“域尾”。

常用示例:

1. 保存输出 $sort –o result sortfile $sort sortfile > result Sort的启动方式，sort认为一空格/多空格为分隔符，要加入其他的，必须使用-t，执行时，先查看-t,若是有，使用其进行分割，若是无，使用空格 2. 查看文件是否已排序 $sort –c sortfile 若未排序，输出信息 $?=1 若已排序，无信息输出$?=0 3. 使用其他分隔符 $sort –t : sortfile 4. 排完序后求逆 $sort –t : -r sortfile 5. 唯一分类，原文件中重复行去除 $sort –u sortfile 6. 指定分类域，1开始 $sort –t : -k 4 sortfile 【第四个域开始】 $sort –t : -k 4 –k 1 sortfile 【sort分隔符+ -k指定列 完成根据某列进行排序】 7. 指定sort序列 $sort +0 -2 +3 sortfile 8. 将两个分类文件合并 $sort –m sorted-file1 sorted_file2 【将两个已排序文件整合，类似合并排序的后半部分】

命令：tr

tr

用来从标准输入中通过替换/删除进行字符转换【不接受指定的文件参数，而只是对标准输入进行翻译】 主要用于删除文件中的控制字符或进行字符转换 使用时，提供两个字符串，串1：用于查询，串2：用于处理各种转换；串1的字符被映射到串2上，然后转换开始

主要用途：

1.大小写转换 2.去除控制字符 3.删除字符

格式：

tr –c –d –s [“str_from”] [“str_to”] file tr –选项 源 目标 输入文件 【即读取文件，将 源->目标】

选项

-c，用字符串1中字符集的补集替换此字符集，要求字符集为ASCII -d，删除字符串中所有指定字符串 tr –d “:” < testfile -s，删除所有str_from重复出现字符序列，只保留一个，即重复字符串压缩为一个 【一个很经典的应用就是把不规律的空格缩减为一个空格】 字符范围——tr，可以指定字符串列表或范围作为形成字符串的模式，似正则，但不是正则。 [a-z] [A-Z] [0-9] /octal一个三位八进制数，对应有效ＡＳＣＩＩ字符 [s*n]字符s出现n次

tr 中特定字符的不同表达方式
\a	Ctrl-g铃声	\007
\b	Ctrl-h退格	\010
\f	Ctrl-l走纸模式	\014
\n	Ctrl-J新行	\012
\r	Ctrl-M回车	\015
\t	Ctrl-I tab键	\011
\v	Ctrl-x	\030

tr中表示集合的符号
[:alnum:]	所有字母字符与数字
[:alpha:]	所有字母字符
[:blank:]	所有水平空格
[:cntrl:]	所有控制字符
[:digit:]	所有数字
[:graph:]	所有可打印的字符(不包含空格符)
[:lower:]	所有小写字母
[:print:]	所有可打印的字符(包含空格符)
[:punct:]	所有标点字符
[:space:]	所有水平与垂直空格符
[:upper:]	所有大写字母
[:xdigit:]	所有16 进位制的数字

常用示例：

1. 去除所有重复字符【只保留一个】 $tr –s “[a-z]” < oops.txt 2. 去除空行 $tr –s “[\012]” <oops.txt $tr –s “[\n]” <oops.txt $tr –s “\n” <oops.txt 3. 小写转大写 $echo “AbcdefG” | tr “[a-z]” “[A-Z]” $echo “AbcdefG” | tr “[:lower:]” “[:upper:]” 4. 删除指定字符串 $tr –cs “[a-z][A-Z]” “[\012*]” < data.txt 将非字母字符转为新行 -s压缩重复的字符 5. 转换控制字符 $tr –s “[\136]” “[\011*]” < start.txt 6. 快速转换 $tr –s “[\r]” “[\n]” < input.txt 7. 匹配多于一个字符 $tr “[0*4]” “*”< input.txt 【需补充*和重复的部分】 Tr SET1 SET2 tr里面包含SET1和SET2，那如果出现两个集合的大小不同的情况，tr如何处理呢？ 如果SET1>SET2, SET1中多出来的字符都会和SET2中最后一个字符相对应。 如果SET1<SET2，SET2中多余的部分将被抛弃

命令：uniq

Uniq

从文本文件中去除或禁止重复行，一般uniq假定文件已分类排序，并且结果正确[sort –u唯一性选项去除所有的重复行] Uniq中重复行指持续不断重复出现的行

格式:

uniq –udc –f input-file output-file

选项：

-u 只显示不重复行 unique,唯一 -d 只显示有重复的行，每种重复显示一行 -I 忽略大小写 -c打印每一重复行出现的次数【计数】 -f n为数字，前n个域被忽略

常用示例

1.只显示非重复行 $uniq –u sortfile 2.提取非重复行到某个文件 $uniq –u sortfile result 3.只显示重复行 $uniq –d sortfile 4.打印重复行及其出现的次数 $uniq –c sortfile 5.忽略比较指定列 $uniq –f2 parts.txt

命令：join

join【这个需要找习题练下】

将来自两个分类文本文件的行连在一起 前提 ：file1,file2已分类 每个文件都有一些元素与另一文件相关——连 有点像求并集 注：joio时文本域要少于20=

格式：

join [options] input-file input-file2

选项：

an n为数字，用于连接时从文件n中显示不匹配行,-a1表示第一个文件的不匹配行 o n,m n为文件号，m为域号， 1,3 表示只显示文件1的第三域 j n m n为文件号，m为域 使用其他域做连接域 t 域分隔符 用来设置非空格/非tab分隔符

常用示例:

1. 连接两个文件[默认连接域为域0] $Join name.txt. town.txt 2. 显示第一个文件的不匹配行 $join –a1 name.txt town.txt 3. 设置显示连接结果 $join –o 1.1,2.2 name.txt town.txt 第一个文件第一个域和第二个文件第二个域作为显示结果 4. 设置连接域 $join –j 1 3 –j 2 2 file1 file2

命令：cut

Cut:

用来从标准输入或文本文件中剪切列或域【提取文本列】 可将剪切到的文本贴到另一个文件中

格式:

cut [options] file1 file2

选项：

b 字节 -c list 指定剪切字符数 -d 指定与空格/tab不同的分隔符 -c 指定剪切的字符范围，字符，如-c 1,5,7 第1,5,6,7字符 -c 1-50 前50个字符 -f 指定剪切的域范围 -f 1,5 剪切1,5两个域 -f 1,10-12 剪切1,10,11,12四个域 【一般组合为 –d ‘分隔符’ –f 域NO】 【另一组合-c】

常用示例：

-使用域分隔符 $cut –d : -f3 data 1. 剪切指定域 $cut –d : -f1,3 data 2. 剪切字符 $who –u | cut –c 1-8

命令：paste

paste

该命令主要用来将多个文件的内容合并，与cut命令完成的功能刚好相反，Paste将数据贴到相关文件中 存在两个不同来源 数据应先分类，确保文件行数同 功能说明：合并文件的列 补充说明：paste指令会把每个文件以列对列的方式，一列列地加以合并

格式:

paste [-s][-d <间隔字符>][--help][--version][文件...]

选项：

-d 指定不同分隔符，默认分隔符为tab -s 将每个文件合并成行而不是按行黏贴，文件A一行，文件B一行

常用示例

File1 1 2 File2 A B 1. 合并之 【默认分隔符是tab】 $paste file1 file2 1 A 2 B 2. 指定分隔符 $paste –d: file2 file1 A:1 B:2 3. 合并两行，而非按行黏贴 $paste –s file1 file2 1 2 A B

命令：split

split

用来将文件切分为小文件

格式：

split –output_file_size input_filename output_filename 其中out_file_size为被分割行数，默认1000