【每日一句shell】一句shell实现wordcount

最新推荐文章于 2024-09-21 16:07:54 发布
原创 最新推荐文章于 2024-09-21 16:07:54 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell

实现效果如下：

这里写图片描述

参考答案：

cat day1.txt | tr -s ' ' '\n' | sort | uniq -c |  sort -r | awk '{ print $2, $1 }'

对我的文章感兴趣可关注以下公众号：
这里写图片描述

几个shell脚本的面试题（一）
M_SIGNALs的博客
12-07 1万+
几个shell脚本的面试题
3.2 Mapreduce实例—WordCount
Yagami
02-01 1254
实验3.2 Mapreduce实例—WordCount字体：实验目的1.准确理解Mapreduce的设计原理2.熟练掌握WordCount程序代码编写3.学会自己编写WordCount程序进行词频统计实验原理MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是...
利用shell显示wordcount功能
weixin_33717117的博客
03-26 241
  Shell脚本编程是Linux系统最为核心的技术之一，它能够利用简单的命令来实现一些复杂的功能，同时，由于Linux提供了很多文本处理命令，如grep(grep family), tr, sed, awk等， 一旦熟练掌握这些命令，那么你在Linux系统中处理文本就会得心应手。  本文将展示如何利用Shell来实现WordCount功...
shell 实现word count
weixin_33737134的博客
05-16 288
awk '{arr[$2]+=$1}END{for (i in arr) print i,arr[i]}' sort_all.txt | sort -k2nr -g 转载于:https://www.cnblogs.com/wq920/p/4508380.html
shell写一个wordcount
Mirror_w的博客
06-26 389
#!/bin/bash # filename: wordcount.sh # usage: word count # handle position arguments if [ $# -ne 1 ] then echo "Usage: $0 filename" exit -1 fi # realize word count printf "%-14s%s\n" "Wor...
shell编写wordcount
congsha3684的博客
09-09 166
cat 11.txt | tr ' ' '\n' | sort -k 1 | uniq -c | awk '{print $2"\t"$1}' |sort -k2 -nr |head ...
使用 shell 实现 wordCount
许高鹏的博客
12-10 351
cat 11.txt | tr ' ' '\n' | sort -k 1 | uniq -c | awk '{print $2"\t"$1}' |sort -k2 -nr|head
spark 安装入门（一）scala spark单词统计 ; java spark单词统计spark反转排序
zengxianglei的博客--手指星辰 奈何天！
05-25 2082
spark 安装入门 这篇博客 可以让你学习到 三点 知识： 1.熟悉spark的相关概念。 2.搭建一个spark集群。 3.编写简单的spark应用程序。 spark是一个针对于大规模数据处理的统一分析引擎。 为什么要学spark？ 一句话:spark处理速度比mapreduce快很多。 具体快的原因： Spark是一个开源的类似于Hadoop MapReduce的通用的并行计算框架，Spa...
Hadoop - HDFS（体系结构介绍、HDFS数据处理、Hadoop Shell基本操作、HDFS Java API）
坚决不做秃头少女
12-26 872
* HDFS的工作原理是答辩重点（块、元数据、主/从节点SecondaryNameNode，FsImage、EditImage、存取策略/规则、数据出错与恢复、读写过程） 集群和分布式概念： 集群：集群就是逻辑上处理同一任务的机器集合，可以属于同一机房，也可分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 集群就是逻辑上处理同一任...
云计算作业一
qq_53877854的博客
09-21 6627
0. 前置准备0.1 安装虚拟机（若已安装则可跳过）· 使⽤VMware安装CentOs7· 通过自定义配置· 内存配置2GB· 硬盘30GB· 处理器数量为2· 在安装过程中，创建一个非root用户，并选择属于管理员组，如图。· 接下来设置静态IP地址。打开终端，先通过ifconfig命令查询IP地址，在ens33处，并记住。然后在使用vim /etc/sysconfig/network-scripts/ifcfg-ens33。
spark python wordcount
Mr-让梦冬眠
12-17 512
#!/usr/bin/python # -*- coding: UTF-8 -*- ''' 初始化SparkConf, SparkContext 从pyspark 导入SparkConf, SparkContext ''' from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAp
spark-shell的wordcount的例子存档
make_APP的博客
01-27 2178
启动spark-shell后 完成的第一示例 完成Spark安装并启动后，就可以用Spark API执行数据分析查询了。 首先让我们用Spark API运行流行的Word Count示例。如果还没有运行Spark Scala Shell，首先打开一个Scala Shell窗口。这个示例的相关命令如下所示： val txtFile = "README.md" val txtData = s
Spark WordCount使用示例
12-07 1588
package com.sparktest import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * 使用scala开发本地测试的Spark WordCount程序 */ object WordCount { def main(args: Array[String]
每天一linux命令,每天一个Linux命令
weixin_35023786的博客
04-30 198
程序管理：程序的组成部分：二进制程序文件，库文件，配置文件，帮助文件。二进制和库文件可执行，库文件不能独立执行，只能被调用时执行；库文件，配置文件：可被查看其内容的文件；Linux文件系统的特性：1：文件名严格区分大小写；2：文件名可使用除了/以外的任意字符；3：文件名长度最长不能超过255个字符4：所有以.开头的文件都是隐藏文件；Linux命令详解：格式：COMMAND [OPTIONS…] [...
awk做wordcount
qq_24699905的博客
01-21 811
此处的S变量表示一个数组，该数组的索引为每个不重复的单词，值就是S[$1]，$1代表单词那一列。awk是每都一行执行一次动作。此处就是每读一行，同一个key对应的值就增加一。当统计完，最后,也就是END对应的内容，就是循环打印出存储了统计结果的数组的key和值。
awk脚本实现wordcount
wenpu_Di
12-02 1744
今天学习了linux下的shell脚本， 写了一个小例子wordcount: 1.数据文件$ cat word.txt baidu 100 5000 pukai 100 5000 6000 diwenpu di di di wen wen pu p u2.awk脚本 $ cat ak.awk #!/bin/awk -f # 开始 BEGIN{ } # 运行中 { for(i=1;i<
每日一句功能简单实现
潜心修炼--记录点滴
08-15 5407
每天自动获取最新一条。 封装了下代码： def get_today_word(): today = datetime.date.today() word=Word.objects.filter(add_time__year=today.year, add_time__month=today.month, ...
Shell 脚本学习
m0_53715554的博客
08-19 595
Shell 脚本学习 1、条件测试 在编写shell脚本的时候，有时需要先测试 字符串是否相等、数值是否相等、检查文件状态，基于这些结果再进行下一步操作。条件测试可以用于测试字符串、数值、文件状态。 数值测试 数值测试用于对两个数值进行比较，并得出判断结果。 包括：大于、小于、等于、大于等于、小于等于、不等于。 数值判断的格式： [ 数值1 关系运算符 数值2 ] 注意： 方括号与条件之间必须要有空格。 ​ 数值测试关系运算符 关系运算符 说明 -eq 两个数值相等 -ne
linux脚本count,Shell脚本统计文件行数的8种方法
weixin_35836501的博客
05-02 3680
获取单个文件行数文件：test1.sh行数：20方法一awk '{print NR}' test1.sh|tail -n1如图所示：方法二awk 'END{print NR}' test1.sh如图所示：方法三grep -n "" test1.sh|awk -F: '{print '}|tail -n1如图所示：方法四sed -n '$=' test1.sh如图所示：方法五wc -l test1....
用shell方式使用mapreduce实现wordcount案例
最新发布
12-06
在Shell环境下使用MapReduce实现WordCount案例通常是在Hadoop框架下进行的。WordCount是最基本的MapReduce任务之一，它用于统计文本文件中每个单词的出现次数。下面是简单的步骤： 1. **创建Mapper**: Mapper接收...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卢说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值