sort 命令

原文: http://www.cnblogs.com/51linux/archive/2012/05/23/2515299.html


sort是在Linux里非常常用的一个命令,管排序的,集中精力,五分钟搞定sort,现在开始!

1 sort的工作原理

 

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u选项

它的作用很简单,就是在输出行中去除重复行。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

3 sort的-r选项

sort默认的排序方式是升序,如果想改成降序,就加个-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

4 sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename> newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[rocrocket@rocrocket programming]$ sort -r number.txt> number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$
看,竟然将number清空了。

就在这个时候,-o选项出现了,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -onumber.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

5 sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。

我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

6 sort的-t选项和-k选项

如果有一个文件的内容是这样:

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。

那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?

幸好,sort提供了-t选项,后面可以设定间隔符。(是不是想起了cut和paste的-d选项,共鸣~~)

指定了间隔符之后,就可以用-k来指定列数了。

[rocrocket@rocrocket programming]$ sort -n -k 2 -t :facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意。

7 其他的sort常用选项

-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写

-c会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1

-C会检查文件是否已排好序,如果乱序,不输出内容,仅返回1

-M会以月份来排序,比如JAN小于FEB等等

-b会忽略每一行前面的所有空白部分,从第一个可见字符开始比较。

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2-k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!

1 准备素材

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

 

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。(除了公司名称,其他的别信,都瞎写的^_^)

2我想让这个文件按公司的字母顺序排序,也就是按第一个域进行排序:(这个facebook.txt文件有三个域)

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧,就直接用-k 1设定就可以了。(其实此处并不严格,稍后你就会知道)

3 我想让facebook.txt按照公司人数排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解释,我相信你能懂。

但是,此处出现了问题,那就是baidu和sohu的公司人数相同,都是100人,这个时候怎么办呢?按照默认规矩,是从第一个域开始进行升序排序,因此baidu排在了sohu前面。

4  我想让facebook.txt按照公司人数排序,人数相同的按照员工平均工资升序排序:

$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看,我们加了一个-k2-k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

5我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上一篇文章,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了。

6 -k选项的具体语法格式

要继续往下深入的话,就不得不来点理论知识。你需要了解-k选项的语法格式,如下:

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][Modifier ] ]

这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。

先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。

Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。

C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k3就是省略了C.Start的例子喽。

FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。

同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。

7 突发奇想,从公司英文名称的第二个字母开始进行排序:

$ sort -t ‘ ‘ -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看,我们使用了-k1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。

8又突发奇想,,只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序:

$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由于只对第二个字母进行排序,所以我们使用了-k1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排序,我们也使用了-k3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序”了。

9 在modifier部分还可以用到哪些选项?

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序(即,只考虑空白和字母)。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”,只针对可打印字符进行排序。(有些ASCII就是不可打印字符,比如\a是报警,\b是退格,\n是换行,\r是回车等等)

10 思考思考关于-k和-u联合使用的例子:

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

这是最原始的facebook.txt文件。

$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

当设定以公司员工域进行数值排序,然后加-u后,sohu一行就被删除了!原来-u只识别用-k设定的域,发现相同,就将后续相同的行都删除。

$ sort  -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

$ sort  -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

这个例子也同理,开头字符是g的guge就没有幸免于难。

$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦!这里设置了两层排序优先级的情况下,使用-u就没有删除任何行。原来-u是会权衡所有-k选项,将都相同的才会删除,只要其中有一级不同都不会轻易删除的:)(不信,你可以自己加一行sina100 4500试试看)

11 最诡异的排序:

$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二个域的第二个字符开始到第三个域的第一个字符结束的部分进行排序。

第一行,会提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。

又因为sort认为0小于00小于000小于0000….

因此0 3肯定是在第一个。10 5肯定是在最后一个。但为什么00 5却在00 4前面呢?(你可以自己做实验思考一下。)

答案揭晓:原来“跨域的设定是个假象”,sort只会比较第二个域的第二个字符到第二个域的最后一个字符的部分,而不会把第三个域的开头字符纳入比较范围。当发现00和00相同时,sort就会自动比较第一个域去了。当然baidu在sohu前面了。用一个范例即可证实:

$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有时候在sort命令后会看到+1 -2这些符号,这是什么东东?

关于这种语法,最新的sort是这么进行解释的:

On older systems, `sort’ supports an obsolete origin-zero syntax`+POS1 [-POS2]‘ for specifying sort keys.  POSIX1003.1-2001 (*note Standards conformance::) does not allow this;use `-k’ instead.

原来,这种古老的表示方式已经被淘汰了,以后可以理直气壮的鄙视使用这种表示方法的脚本喽!

(为了防止古老脚本的存在,在这再说一下这种表示方法,加号表示Start部分,减号表示End部分。最最重要的一点是,这种方式方法是从0开始计数的,以前所说的第一个域,在此被表示为第0个域。以前的第2个字符,在此表示为第1个字符。明白?)


<think>嗯,用户现在想了解sort命令的用法,特别是-e选项。不过,根据之前的对话记录,用户之前询问的是grep的-e选项,而这次转到了sort命令的-e选项,但可能用户混淆了两个命令的不同选项。 首先,我需要确认sort命令是否存在-e选项。根据用户提供的引用内容,尤其是引用[2]中提到的sort命令选项,其中并没有提到-e选项。这说明用户可能误记了选项,或者将grep的-e选项和sort命令混淆了。需要指出这一点,避免用户继续错误使用。 接下来,用户的问题还提到解决与sort相关的错误。可能用户在使用sort时遇到了问题,比如排序结果不符合预期,特别是在使用多个-k选项时,如引用[1]中的例子,用户发现后面的-k未生效。这可能是因为sort在处理多个键时的优先级问题,或者字段分隔符设置不正确,需要详细解释如何正确使用多个键排序。 此外,用户提供的引用[3]中有一个示例,展示了使用-n、-r、-k、-t等选项对文件进行排序。用户可能在使用这些选项时遇到问题,需要结合这些例子来解释常见错误,比如字段分隔符是否正确指定,数值排序是否正确使用-n选项等。 用户还提到想了解sort命令的用法,所以需要系统地介绍常用选项和典型场景,比如按数值排序、逆序、多条件排序等。同时,需要澄清sort没有-e选项,但可以介绍其他相关选项,如-f、-k、-t等,帮助用户正确使用。 可能用户在使用sort时遇到了类似引用[1]中的问题,即多个-k选项未生效,需要解释原因,例如字段类型未正确指定,或者排序顺序的影响。比如,在第一个例子中,用户可能没有正确指定数值排序,导致后续的排序键未生效,需要指出正确的选项组合。 另外,用户可能对字段分隔符和键的定义有疑问,需要详细说明-t和-k选项的用法,比如如何指定分隔符,如何选择排序的字段范围,以及如何处理字段中的空格或特殊字符。 最后,用户可能需要了解常见错误的解决方法,比如排序结果不符合预期、字段分隔符错误、数值排序被误认为字典排序等,需要给出具体的示例和解决方案,帮助用户排查问题。</think>#### 一、关于 `sort -e` 的澄清 **重要提示**:`sort` 命令**不存在 `-e` 选项**。您可能混淆了 `grep` 的 `-e` 选项(用于多模式匹配)与 `sort` 命令的功能。根据引用[2]中的 `sort` 选项列表,其核心选项主要围绕排序规则、字段控制、分隔符定义等。 --- #### 二、`sort` 命令核心用法详解 ##### 1. **基础语法** ```bash sort [选项] [文件] ``` ##### 2. **常用选项分类** | **类别** | **选项** | **功能说明** | **示例** | |----------------|---------------|-----------------------------------------------------------------------------|-------------------------------------------------------------------------| | **排序规则** | `-n` | 按数值大小排序(而非字典序) | `sort -n file.txt` | | | `-r` | 逆序排序 | `sort -r file.txt` | | | `-f` | 忽略字母大小写 | `sort -f file.txt` | | **字段控制** | `-k` | 指定排序的字段范围 | `sort -k 2,3 file.txt`(按第2到第3字段排序) | | | `-t` | 指定字段分隔符 | `sort -t ':' -k 3n /etc/passwd`(按冒号分隔的第3字段数值排序) | | **特殊处理** | `-u` | 去重(等同于 `uniq`) | `sort -u file.txt` | | | `-s` | 稳定排序(保留相等记录的原始顺序) | `sort -s -k 1 file.txt` | --- #### 三、典型问题与解决方案 ##### 1. **多字段排序未生效(引用[1]问题复现)** **现象**: ```bash sort -t $'\t' -k 1 -k 3n sort.log # 第3字段未按数值排序 ``` **原因**: `-k` 选项的优先级是**从左到右**,但**默认继承前序字段的排序规则**。若未显式指定字段类型,后续字段可能受前序字段排序逻辑干扰。 **修正方法**: ```bash sort -t $'\t' -k1,1 -k3n,3 sort.log # 显式限定字段范围 ``` ▸ 关键点:`-k1,1` 表示仅对第1字段排序,`-k3n,3` 表示对第3字段单独启用数值排序[^3]。 --- ##### 2. **数值排序错误(常见于混合数据类型)** **错误示例**: ```bash sort file.txt # 字典序排序导致 "100" 排在 "20" 后 ``` **正确方法**: ```bash sort -n file.txt # 按数值升序排序 sort -nr file.txt # 按数值降序排序 ``` --- ##### 3. **字段分隔符与空白字符处理** **问题场景**: 文件字段以**空格或制表符**分隔,但未正确指定 `-t`: ```bash sort -k2 data.txt # 默认按空白分隔,可能不符合实际需求 ``` **精确控制**: ```bash sort -t ' ' -k2 data.txt # 明确指定空格为分隔符 sort -t $'\t' -k2 data.txt # 指定制表符分隔(需引号转义) ``` --- #### 四、综合应用示例 ##### 1. **多条件复杂排序** ```bash # 目标:按第1字段字母逆序,第2字段数值升序 sort -t ',' -k1r,1 -k2n,2 data.csv ``` ##### 2. **处理带标题行的文件** ```bash # 跳过首行标题排序(需结合 `tail`) tail -n +2 data.csv | sort -k3n ``` ##### 3. **去重并统计频率** ```bash sort file.txt | uniq -c # 统计每行出现次数 sort file.txt | uniq -c | sort -nr # 按频率降序排列 ``` --- #### 五、调试技巧 1. **使用 `--debug` 选项**(GNU sort 支持): ```bash sort --debug -t ':' -k3n /etc/passwd ``` ▸ 输出字段解析过程和排序依据[^2]。 2. **验证分隔符与字段范围**: ```bash echo "a:b:c:d" | sort -t ':' -k2,3 --debug ``` --- #### 六、常见错误总结 | **错误现象** | **原因** | **修正方法** | |----------------------------|-------------------------------|----------------------------------| | 数值排序结果异常 | 未使用 `-n` 选项 | `sort -n file.txt` | | 多字段排序优先级混乱 | `-k` 范围未显式限定 | `sort -k1,1 -k2n,2` | | 分隔符未生效 | 未正确转义特殊字符 | `sort -t $'\t'` 或 `sort -t ':'`| | 逆序排序未应用 | `-r` 位置错误 | `sort -k2nr` 而非 `sort -r -k2n`| --- [^1]: 多字段排序优先级问题参考实际测试案例 [^2]: GNU sort 官方文档中关于 `--debug` 的说明 [^3]: 字段范围限定技巧来自 Linux 系统管理经验总结
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值