力扣shell刷题

192. 统计词频

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

为了简单起见，你可以假设：

words.txt只包括小写字母和 ' ' 。
每个单词只由小写字母组成。
单词间由一个或多个空格字符分隔。

示例:

假设 words.txt 内容如下：

the day is sunny the the
the sunny is is

你的脚本应当输出（以词频降序排列）：

the 4
is 3
sunny 2
day 1

说明:

• 不要担心词频相同的单词的排序问题，每个单词出现的频率都是唯一的。
• 你可以使用一行 Unix pipes 实现吗？

题解一

cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{ print $2, $1 }'

说明

tr 命令用于转换或删除文件中的字符
-s：缩减连续重复的字符成指定的单个字符
sort:排序
uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。
-c：在每列旁边显示该行重复出现的次数。
-r：以相反的顺序来排序  就是反一下一行的数据
awk '{print $2, $1}' 打印把第一列和第二列数字反一下

题解二

cat words.txt | xargs -n 1 | sort | uniq -c | sort -nr | awk '{print $2" "$1}'

说明

xargs -n1  使用 xargs 将所有行转为单列显示
sort -nr 表示依照数值的大小降序排序
uniq -c 表示在每列旁边显示该行重复出现的次数
awk + print 函数将 1、2 列位置互换

题解三

cat words.txt | 
awk '{ 
    for(i=1;i<=NF;i++){
        count[$i]++
    } 
} END { 
    for(k in count){
        print k" "count[k]
    } 
}' | 
sort -rnk 2

说明

在awk中我们用一个字典(?)count储存每个单词的词频，先遍历每一行(awk自身机制)的每一个字段(i<=NF)，然后用该字段本身作为key,将其value++；最后用一个for循环输出count数组中的每个元素的key(词)及其value(词频)。

最后用|管道命令传给sort命令：

    -r是倒序排序，相当于DESC
    -n是将字符串当作numeric数值排序
    -k则指定用于排序的字段位置，后跟2指将第二位的count[k](词频)作为排序的key

题解四 python版本(运行比较慢)

python3 -c "a=open('words.txt').read().split();from collections import Counter;c=list(Counter(a).items());c.sort(key=lambda x:-x[1]);[print(x,y)for x,y in c]"

题解五

# 统计词频率
declare -A F # 键值对数组 记录词与出现频率
for word in `< words.txt`;do  # 使用重定向符 <， 而不是 cat 命令
    ((F[$word]++)) # C风格的增1，这里数组变量名前不能加 $，否则有语法错误
done
# 按频率高低打印
while [[