leetcode192 词频统计

本文介绍三种使用Unix/Linux命令行工具进行词频统计的方法,包括利用awk、sort、uniq、tr和grep等命令组合实现文本中单词频率的高效计算。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

awk '{for(i=1;i<=NF;++i){++m[$i]}}END{for(k in m){print k, m[k}}' words.txt | sort -nr -k 2

 

方法(1):cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'

 

1、sort语法复习 
      sort -n 将字符串转数字 
      sort -r 指定顺序为从大到小 
      sort -k 2 指定第二个字段作为排序判断标准

  tr -s ' ' '\n' 是将所有连续的空格 空行删除并保证每一行只有一个字符串 
  sort | uniq -c 通常一起用来统计重复出现的次数。

 

方法(2):grep -oE '[a-z]+' words.txt | sort | uniq -c | sort -nr | awk '{print $2" "$1}'

grep命令用于查找文件里符合条件的字符串。

 tr -s ' ' '\n' 是将所有连续的空格 空行删除并保证每一行只有一个字符串 
 sort | uniq -c 通常一起用来统计重复出现的次数。

 

方法(3):awk '{for(i=1;i<=NF;++i){++m[$i]}}END{for(k in m){print k, m[k}}' words.txt | sort -nr -k 2

复习一下awk的语法。不用容易忘。 
(1)awk 是逐行检索文本。分为3的部分。 
BEGIN{#这里进行一些检索文本前的初始化操作} 
{#这里是对应每一

行的操作}。例如这里 for(i=1;i<=NF;++i){++m[$i]}就是将每一行分隔的字段,进行词频统计。 
NF是分隔的字段数。 
$0表示整行字符串 
$1到$NF表示从分隔的第一个字符串到最后一个字符串 
awk中的数组可以用作hashtable做来词频统计。 
END{#在检索文本后的操作} 
for(k in m) k表示的就是m的key。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值