spark的词频统计之后作升序或者降序排序

最新推荐文章于 2025-06-03 21:23:42 发布
最新推荐文章于 2025-06-03 21:23:42 发布
阅读量1.7k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34341930/article/details/89846675
博客展示了Scala中对已完成WordCount的RDD进行排序的操作。给出了升序和降序排序的代码示例，升序使用sortBy(_._2)，降序使用sortBy(_._2, false)，并展示了排序后的结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

scala> b.map((_,1)).reduceByKey(_+_).collect
res26: Array[(String, Int)] = Array((hive,1), (spark,3), (jeff,2), (ruoze,1), (hadoop,1), (hi,1))

 

现有这样的一个已经做好wordcount的RDD，对其进行排序

 

升序：

scala> b.map((_,1)).reduceByKey(_+_).sortBy(_._2).collect
res29: Array[(String, Int)] = Array((hive,1), (ruoze,1), (hadoop,1), (hi,1), (jeff,2), (spark,3))

 

降序：

scala> b.map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect
res30: Array[(String, Int)] = Array((spark,3), (jeff,2), (hive,1), (ruoze,1), (hadoop,1), (hi,1))
 

Spark单词统计结果排序
小楼秋风
07-19 679
统计单词数量 # 启动spark-shell cd /opt/apache_hadoop/spark-2.2.1 bin/spark-shell 读取数据 val path = "/word/word.txt" 形成rdd val rdd = sc.textFile(path) 读取每一行字符串数据并分隔成数组 val rdd1 = rdd.flatMap(line => line.split("\t")) 查看 rdd1.collect() 输出： res1: Array[String]
spark shell的词频统计，去重，排序及合并 （嚯啊嚯）
qq_43241439的博客
11-29 3255
Spark技术RDD算子spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join RDD算子 RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的...
Spark 词频统计
最新发布
ynisd__的博客
06-03 195
# 读取文本文件 rdd1 = sc.textFile('file:///usr/local/spark/licenses/LICENSE-py4j.txt')# 查看原始数据 rdd1.foreach(print)# 词频统计步骤 rdd2 = rdd1.map(lambda x: x.split(' ')) # 按空格分割每行 rdd2.foreach(print)rdd3 = rdd1.flatMap(lambda x: x.split(' ')) # 扁平化所有单词 rdd3.f
spark单词统计以及排序
王坤华的博客
01-08 829
object RddT { //单词统计 def main(args: Array[String]): Unit = { //权限被拒绝加下面代码 System.setProperty(“HADOOP_USER_NAME”, “root”) // 实例化配置 val conf = new SparkConf() // 指定 spark 任务名称 conf.setAppName(“Spark Pi”...
Spark统计一个文件里每个单词出现次数, 并按单词出现次数倒序排序取出前
huonan_123的博客
11-09 7928
Spark统计文件出现英文单词个数,并排序
怎样通过词频得到这个词频的排序？
AngelAndAngel的专栏
12-03 469
在大规模检索中，我们怎样通过已经的词频得到词频的排序？ 通俗点讲，就是当我知道“java”这个词的频率是x，那么"java"到底在排在第几位呢？ 大规模数据中，有一个重要的法则叫“齐普夫法则”，它描述为第k个出现次数最多的词汇，它的词频与1/k成正比。这个法则的发现过程一点都不科学，齐普夫是这样干的：找到一本大部头的书籍，统计不同词汇出现的次数并排序，发觉词频的排序乘以出现...
用spark进行词频统计后的数据进行排序
06-07
进行词频统计后，可以按照词频从大到小对结果进行排序，可以采用以下方法： 1.使用Spark进行词频统计，得到每个单词的...另外，由于sortBy()函数默认是升序排序，因此需要指定降序排序，这里使用False表示降序排序。
Spark RDD数据操作及词频统计深入解析
- sortByKey: 对键值对RDD中的键进行排序操作，可以实现升序或降序排序。"sortByKey()方法"提供了灵活的排序功能。 - keys和values操作: keys操作返回RDD中所有的键，values操作返回所有的值。这两个操作在处理...
RDD转换行动操作和词频统计
03-08
在排序操作中，可以通过参数控制排序的顺序（升序或降序），以及键值类型的比较器。 最后，keys()和values()操作分别用于获取RDD中所有的键或所有的值。 在实际应用中，例如进行词频统计时，可以利用RDD的转换行动...
Spark之根据单词频数降序排序的wordcount（Java8版）
Luckin的博客
06-02 445
package cn.spark.study.core; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkCont...
词频统计、排序
JaweG
07-04 298
package main import ( "fmt" "sort" _ "sort" ) type infoItem struct { Date string `tag:"0" required:"false" json:"date"` ID int64 `tag:"1" required:"false" json:"ID"` Score int64 `tag:"2" required:"false" json:"Score"` } type infoList struc.
词频统计&排序
Chloris_的博客
02-14 417
#词频统计 sent = "python is my favoriate language,you're so cute ,someone like you ~~,do what shhhh" #最新 output = {k:sent.count(k) for k in set(sent)}#快捷获得词频统计 print(output) output = {k:sent.count(k) for k in set(sent.split(" "))}#快捷获得词频统计 print(output)...
Spark rdd之sortBy
南风知我意
10-15 2467
从sortBy函数的实现可以看出，第一个参数是必须传入的，而后面的两个参数可以不传入.而且sortBy函数函数的实现依赖于skeyBy和sortByKey函数，后面会进行说明
spark小应用一：wordcount，按词频降序（SCALA）
BestbpF的博客
11-01 1692
val rdd = sc.textFile("hdfs://mycluster/user/bpf/sparkApp/wordcount/input") val wordcount = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)这样得到的结果并没有按照某种规则排序按照value值进行降序。（出现次数多的在前） 思路：key value反
词频统计排序的几种方法(手写 pandas NLTK)
02-05 4092
#在list中词频统计小程序分析 ''' 利用dict将list中的词频统计一kv的形式展现出来 ''' ls = ["综合", "理工", "综合", "综合", "综合", "综合", "综合", "综合", \ "综合", "综合", "师范", "理工", "综合", "理工", "综合", "综合", \ "综合", "综合", "综合", "理工", "理工"...
Spark RDD案例（六）自定义排序
xiaohu21的博客
09-29 847
Spark RDD案例（六）自定义排序 1. 背景 在大数据日常开发中，数据提取，转换，存储等工作是日常主要内容 spark作为大数据处理分析引擎，底层主要是RDD抽象数据集，更上层的spark sql、dataset、dataframe、dstream等都是基于RDD来抽象的。 本文主要讲述关于数据提取中最常见的数据排序处理，使用RDD来实现。最主要的是自定义排序，这也是日常开发中最常见的排序需求，一般都需要自定义排序规则 2.案例代码 需求 将数据按照年龄降序，工资升序 数据 代码中手
RDD,Spark SQL,DF排序
花木兰
02-25 914
一、单一字段排序 1、用RDD RDD使用takeOrdered(num,key=None)方法排序资料 升序排列 a = userrdd.takeOrdered(5, key=lambda x: int(x[1])) print(a) 降序 a = userrdd.takeOrdered(5, key=lambda x: -int(x[1])) print(a) 2、Spark SQL ...
python词频统计排序小demo
小楼一夜听春雨
09-02 697
背景 恰逢某只考拉学python，俺也来玩玩 准备工作 随便来个txt文件，里面写了一些英文（中文也行），这里我们用utf-8格式 主要代码： with open("The Phantom Rider.txt", encoding='utf-8') as text: words = text.read().split() #print(words) #for word in words: #print('{}-{} times'.format(word, words
将应用程序提交到spark环境并将结果输出到hdfs
夢の殇
01-15 6229
我们在“hadoop学习1--hadoop2.7.3集群环境搭建”  “spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建”  中已经将hadoop、spark的集群环境都搭建起来了，jdk用的是1.7版本的。        1.启动hadoop集群    centOS7服务器3台    master    192.16
spark 词频统计
04-15
### 使用 Spark 实现词频统计 以下是基于 Scala 编写的 Spark 应用程序，用于实现词频统计的功能。此代码展示了如何读取 HDFS 上的数据并对其进行处理。 #### 示例代码 ```scala import org.apache.spark.sql....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值