awk '{for(i=1;i<=NF;++i){++m[$i]}}END{for(k in m){print k, m[k}}' words.txt | sort -nr -k 2
方法(1):cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'
1、sort语法复习
sort -n 将字符串转数字
sort -r 指定顺序为从大到小
sort -k 2 指定第二个字段作为排序判断标准
tr -s ' ' '\n' 是将所有连续的空格 空行删除并保证每一行只有一个字符串
sort | uniq -c 通常一起用来统计重复出现的次数。
方法(2):grep -oE '[a-z]+' words.txt | sort | uniq -c | sort -nr | awk '{print $2" "$1}'
grep命令用于查找文件里符合条件的字符串。
tr -s ' ' '\n' 是将所有连续的空格 空行删除并保证每一行只有一个字符串
sort | uniq -c 通常一起用来统计重复出现的次数。
方法(3):awk '{for(i=1;i<=NF;++i){++m[$i]}}END{for(k in m){print k, m[k}}' words.txt | sort -nr -k 2
复习一下awk的语法。不用容易忘。
(1)awk 是逐行检索文本。分为3的部分。
BEGIN{#这里进行一些检索文本前的初始化操作}
{#这里是对应每一
行的操作}。例如这里 for(i=1;i<=NF;++i){++m[$i]}就是将每一行分隔的字段,进行词频统计。
NF是分隔的字段数。
$0表示整行字符串
$1到$NF表示从分隔的第一个字符串到最后一个字符串
awk中的数组可以用作hashtable做来词频统计。
END{#在检索文本后的操作}
for(k in m) k表示的就是m的key。