Word Frequency

最新推荐文章于 2024-06-11 00:15:00 发布

转载最新推荐文章于 2024-06-11 00:15:00 发布 · 189 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/chybot/p/4486703.html

文章标签：

本文介绍了一个简单的Bash脚本，该脚本能够读取名为words.txt的文本文件，并统计每个单词出现的频率。脚本将空格作为单词之间的分隔符，并通过一系列的命令如cat、tr、sort、sed和awk来处理文本数据，最终输出按频率降序排列的单词列表。

Write a bash script to calculate the frequency of each word in a text file words.txt.

For simplicity sake, you may assume:

For example, assume that words.txt has the following content:

the day is sunny the the
the sunny is is

Your script should output the following, sorted by descending frequency:

the 4
is 3
sunny 2
day 1

Note:
Don't worry about handling ties, it is guaranteed that each word's frequency count is unique.

1.这里只是把空格当成了分隔符，如果含有标点符号，还需要把标点符号考虑进去

2.注意sort对出现次数进行排序时需要指定参数-n，表示使用数值方式排序，默认是字符方式(“10”<"2")

cat words.txt | tr ' ' '\n'|sort|sed '/^$/d'|awk '{a[$1]++}END{for(item in a)print item,a[item]}'|sort -k 2 -rn

转载于:https://www.cnblogs.com/chybot/p/4486703.html