shell 统计一个词出现的概率_【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词...

1. 统计的对象words.txt，每个单词占一行(从简考虑了~)

zjd@ubuntu:~/test$ cat word.txt

used

this

count

mysql

count

this

used

mysql

linux

this

redis

apple

android

redis

apple

2. 统计每个单词的频率

方法1：

zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}END{for(i in a) print i"="a[i]}'

linux=1

used=2

apple=2

mysql=2

count=2

android=1

redis=2

this=3

方法2(与方法1没有本质区别~~，{}大括号也可以表示循环)

zjd@ubuntu:~/test$ cat word.txt |awk '{for(i=0;i

linux=1

used=2

apple=2

mysql=2

count=2

android=1

redis=2

this=3

3. 统计出现频率最多的三个单词

方法1：

zjd@ubuntu:~/test$ cat word.txt|awk '{a[$0]++}END{for(i in a) print i" "a[i]}'|sort -k2r|head -3

this 3

apple 2

count 2

方法2：

zjd@ubuntu:~/test$ cat word.txt|sort |uniq -c|sort -k1r|head -3

3 this

2 used

2 redis

知识点：

sort 排序 -r 倒序 -k1 对第一个字段排序

uniq 相同的单词放在一起 -c count 合并相同的单词，显示次数

head -3 显示前三行

统计一段文章的单词频率，取出频率最高的5个单词和个数(python)

练习题:统计一段英语文章的单词频率,取出频率最高的5个单词和个数(用python实现) 先全部转为小写再判定 lower() 怎么判定单词? 1 不是字母的特殊字符作为分隔符分割字符串 (避免特殊字符 ...

sort +awk+uniq 统计文件中出现次数最多的前10个单词

实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单 ...

分享7个shell脚本实例--shell脚本练习必备

概述 看多shell脚本实例自然就会有shell脚本的编写思路了,所以我一般比较推荐看脚本实例来练习shell脚本.下面分享几个shell脚本实例. 1.监测Nginx访问日志502情况,并做相应动作 ...

利用shell脚本统计文件中出现次数最多的IP

比如有如下文件test.txt 1  134.102.173.43 2  134.102.173.43 3  134.102.171.42 4  134.102.170.9 要统计出现次数最多的IP可 ...

转载：Linux命令经典面试题：统计文件中出现次数最多的前10个单词

1.使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词 主要考察对sort.uniq命令的使用,相关解释 ...

c#使用Dictionary统计字符串中出现次数最多字符

最近在找工作,遇到这样一道面试题: 对于给定的一个字符串,统计出该串中各个字符出现的次数,并打印出出现次数最多的那个字符 因为本人是个菜鸟,所以当时写的思路是用递归 /*str 字符串, strA 第 ...

shell脚本实例-游戏脚本

http://bbs.chinaunix.net/thread-3580033-1-1.html shell游戏收集贴 #!/bin/bash # Tetris Game #APP declarati ...

shell脚本实例-shell 分析系统瓶颈脚本

#!/usr/bin/bash PS3="Your choice is: [10 for quit]" #检查是那个系统 os_check() { if [ -e /etc/red ...

python 找出一篇文章中出现次数最多的10个单词

#!/usr/bin/python #Filename: readlinepy.py import sys,re urldir=r"C:\python27\a.txt" disto ...

随机推荐

nginx config

from : http://www.ha97.com/5194.html 更详细的模块参数请参考:http://wiki.nginx.org/Main #定义Nginx运行的用户和用户组user ww ...

jquery中的$的特殊用法

通过父级元素选取子元素, $('父元素选择器,子元素选择器')        $('子元素选择器',父元素jquery对象); 通过$创建代码片段 $('

cocos2dx 3.x(一张背景图利用定时器实现循环轮播)

// // MainScene.hpp // helloworld // // Created by apple on 16/9/19. // // #ifndef MainScene_hpp #de ...

vijosP1210 盒子与球

vijosP1210 盒子与球 链接:https://vijos.org/p/1210 [思路] Stirling+全排列. 因为第二类stirling所求是没有标明盒子顺序的方案数,所以最后需要乘一 ...

Android Parcelable和Serializable的区别

本文主要介绍Parcelable和Serializable的作用.效率.区别及选择,关于Serializable的介绍见Java 序列化的高级认识. 1.作用 Serializable的作用是为了保存 ...

stm32开发之串口的调试

总的函数如下 void USART1Configuration(void){    RCC_APB2PeriphClockCmd(RCC_APB2Periph_GPIOA | RCC_APB2Peri ...

leetCode:237 删除链表的结点

删除链表的结点 编写一个函数,在给定单链表一个结点(非尾结点)的情况下,删除该结点. 假设该链表为1 -> 2 -> 3 -> 4 并且给定你链表中第三个值为3的节点,在调用你的函数 ...

MYSQL连不上

如果你想连接你的MySQL的时候发生这个错误: ERROR 1130: Host '192.168.1.3' is not allowed to connect to this MySQL serve ...

python入门-列表

列表使用[]来标识 列表和PHP中的数组类似 包括使用和访问方式都是类似 可以用下标索引的方式直接访问 来几个例子,这样看起来才舒服 names = ['baker','pitty','david', ...