spark 统计，排序

最新推荐文章于 2022-10-27 11:35:11 发布
原创 最新推荐文章于 2022-10-27 11:35:11 发布 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Spark中进行数据统计和排序操作。通过在XShell中上传文件`wagzhe`，将数据转换为RDD模式进行处理。首先，统计了每个区的总收入，接着进一步统计每个玩家在每个区的花费。最后，展示了如何按照玩家和区的花费进行排序，详细解释了排序的逻辑和步骤。

在xshell里面创建一个文件，并且上传

（a,b,c,d）代表的是玩家，（r1,r2,r3）代表的是区，数字代表花的钱数


上传文件，（文件的名字叫wagzhe）


打开文件，转成RDD模式，然后输出一下看看是否正确


输出结果：


统计一下每个区转了多少钱（每个人花了多少钱和这个例子一样就是把玩家作为键 把钱数作为值）

先用map(lambda x:x.split(","))给它拆分开，拆分后的样式就是[(a,r1,87),(a,r2,50)......],x[1]是区（键），x[2]是钱数（是值）

用redecuByKey()统计一下结果就出来了


输出结果：



统计一下

最低0.47元/天 解锁文章
lt0318aa
关注
Spark自定义排序
别人笑我太疯癫，我笑他人看不穿。
02-28 249
Spark支持我们自定义，只需要继承相应的类就可以了，我在下面准备了一个用身高和年龄做二次排序的例子，希望可以帮到大家 首先写一个排序类 //名字 年龄 身高 class People(val name: String, val age: Int, val hight: Int) extends Ordered[People] with Serializable { override def compare(that: People): Int = { //先比年龄 if(thi
spark大规模数据全排序_使用Spark DataFrames进行大规模数据科学
cumo3681的博客
06-08 1033
spark大规模数据全排序 当我们首次开源Spark时 ，我们旨在提供一种简单的API，以通用编程语言（Java，Python，Scala）进行分布式数据处理。 通过对分布式数据集合（RDD）进行功能转换，Spark启用了分布式数据处理。 这是一个功能强大的API，以前需要花费数千行代码来表达的任务可以减少到数十个。 随着Spark的不断发展，我们希望使大数据工程师以外的更多受众能够利用分布...
Hadoop经典案例Spark实现（三）——数据排序
Ganymede的Hadoop世界
01-07 4774
Hadoop经典案例Spark实现（三）——数据排序
spark排序
weixin_56765170的博客
06-02 182
package com.atguigu.day05 import java.text.SimpleDateFormat import java.util.UUID import org.apache.spark.{SparkConf, SparkContext} case class UserAnalysis(userid:String,time:Long,page:String,var session:String=UUID.randomUUID().toString,var step:Int=1.
spark SQL学习（案例-统计每日销售）
weixin_33695450的博客
03-07 273
需求：统计每日销售额 package wujiadong_sparkSQL import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql...
精选资源
大数据技术实践——Spark词频统计
08-23
【Spark技术实践——词频统计】在大数据领域，Spark作为一种高效的数据处理框架，以其快速、通用和可扩展性而受到广泛关注。本实践旨在基于已经搭建的Hadoop平台，利用Spark组件进行文本词频统计，以此深入理解Scala...
Spark单词统计结果排序
小楼秋风
07-19 697
统计单词数量 # 启动spark-shell cd /opt/apache_hadoop/spark-2.2.1 bin/spark-shell 读取数据 val path = "/word/word.txt" 形成rdd val rdd = sc.textFile(path) 读取每一行字符串数据并分隔成数组 val rdd1 = rdd.flatMap(line => line.split("\t")) 查看 rdd1.collect() 输出： res1: Array[String]
spark分组排序一
huyang0101的博客
12-16 1862
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、样例数据二、样例源码三、总结思路问题 前言 以一个小例子：统计每个品类下最受欢迎的sku，来记录下spark分组排序的思路。 此代码是参考多易教育spark课程编写 一、样例数据 cate1,sku01 cate1,sku02 cate1,sku01 cate1,sk
Spark基础排序+二次排序
04-25 1162
1.基础排序算法 2.二次排序算法 3.更高级别排序 4.排序算法内幕 1.基础排序算法 sc.textFile("/data/putfile.txt").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_,1).map(pair=>(pair._2,pair._1)).sortByKey(false).map(pair=>(pair._2,pair._1)).collect //key value交换 sc.se.
[spark]排序
胖胖的博客
10-27 2133
排序的执行顺序：按照集合中元素的比较规则进行排序，如果集合中元素没有比较规则，则可以通过extends Ordered[] 并重写相应方法实现。和sortByKey的区别是：sortBy按照f:(T)=>K这个函数的返回值进行排序这使得sortBy使用起来比sortByKey更加灵活。numPartition：可以指定排序结果的分区数，默认排序结果的分区数是这个rdd的分区数。ascending:为true则按照升序排序，为false则按照降序排序，默认为true。函数的作用：按照key进行排序。
spark中用scala编写累加器小程序统计文章中空白行
03-06
spark中用scala编写累加器小程序统计指定文章中的空白行，然后通过split函数通过空格切分文章，输出到指定的目录中。
spark对wordcount结果集排序（JAVA）
ZYJ_2012的博客
03-02 1455
maven依赖： org.apache.spark spark-core_2.10 1.6.0 public class WordCountSort { public static void main(String[] args) { /** * 创建spark配置对象SparkConf，设置spark运行时配置信息，
spark的排序方法
weixin_30570101的博客
01-04 217
今天我们来介绍spark中排序的操作，spark的排序很简单，我们可以直接使用sortBy来进行，这个里面我们使用case clas，使用case class的好处是1.不用newjiukeyi 搞出实例，2.模式匹配今天我们讲的排序有两种方法，在还没开始之前，我们先说明一下需求，有一个对象Girl,他有faceValue以及年龄，我们这个里面的比较规则则是，faceValue大的在前面，如果fa...
Spark——排序实例
wangzhangni的博客
11-05 242
取最大的前三个数字 top.txt 1、SortByKey 1）基于java package cn.spark.study.core; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import ...
粒子物理前传:使用Spark统计能谱数据
MinCong Luo的博客
12-05 434
粒子物理前传:使用Spark统计能谱数据 由此我将撰写之前的“粒子物理三部曲”的前传，前传中会和当时粒子物理系列中的技术相呼应。现在我们需要对粒子物理的能谱数据进行分类，构建算法分析其对应元素。那么第一步我们需要一个大数据开发工具。我选择了Spark。 本文中使用的技术一览 sbt构建工具 利用python解析数据 Spark Docker镜像 为什么使用Sbt？因为SBT是一个现代化的构建工具
spark统计文件行数
热门推荐
风筝中有风
01-04 1万+
虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷 1、spark读取文件，统计行数 Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。
大数据之spark_自定义排序
WuBoooo的博客
09-27 622
自定义排序 使用rdd的sortBy或sortByKey方法进行排序，实现根据需求实现灵活的排序规则，在给定的数据中，有三个字段，分别是：姓名,年龄,颜值。先按照颜值的从高到低进行排序，如果颜值相等，再安装年龄的升序排序,如果不指定排序规则,直接对Bean排序:sortBy(x => x)会报错 数据 name,age,fv taoge,30,99.99 xingge,18,9999.99 hangge,29,99.99 错误示范 class BoyBean (val name :String,var
Spark实现自定义排序
qq_44160357的博客
03-09 452
需求: 对于有复杂排序条件的需求，可以利用自定义排序来实现，同时可以使用多种方案实现自定义排序需求。 对指定的数据（字段分别为：名称 年龄 颜值，数据以空格分割），按照指定的要求排序，排序要求为：根据颜值降序，如果颜值相同，再按照年龄升序排序 先看下面代码: object DefinitionSort { def main(args: Array[String]): Unit = { ...
Spark排序方式集锦
weixin_30933531的博客
08-14 421
一.简介 　　spark中的排序一般可以使用orderBy或sort算子，可以结合负号、ASC/DESC和col进行简单排序、二次排序等情况 二.代码实现 1 package big.data.analyse.sparksql 2 3 import org.apache.log4j.{Level, Logger} 4 import org.apache.spa...
spark统计人口性别和身高
最新发布
09-29
<think>首先，用户的问题是：“我想使用Spark进行人口性别和身高的统计 请问如何使用Spark统计人口的性别和身高”。用户参考了两个引用：[^1]和[^2]，这些是关于Spark统计身高的实例。 引用[^1]描述了基于Java实现Spark统计身高的案例，涉及到对10万人口的性别和身高进行统计，计算出男女人数、男性中的最高和最低身高、女性中的最高和最低身高。数据格式是ID、性别、身高(cm)。 引用[^2]展示了Spark应用场景2-身高统计的代码片段，包括打印男女人数、最低和最高身高。 用户要求参考这些引用，但提示说这些仅供参考，并不是用户真正的需求。我需要参考用户上一次的问题和我的回答。回顾对话历史： - 系统指令设置了一些规则，包括使用$...$和$$...$$格式，中文回答，生成相关问题等。 - 在示例中，我给出了一个关于快速排序的回答。 - 当前用户消息是：“我想使用Spark进行人口性别和身高的统计 请问如何使用Spark统计人口的性别和身高”。 对话中没有上一次的用户问题，因为这是用户在这个会话中的第一条消息（基于提供的上下文）。系统指令说“参考用户上一次的问题和你的回答”，但这里没有上一次的问题，所以我应该基于当前问题和引用。 我的回答需要： 1. 使用中文回答。 2. 结构清晰，帮助用户逐步解决问题。 3. 保证回答真实可靠。 4. 在行内数学表达式中使用$...$格式，如果适用。但在Spark统计中，可能没有太多数学，但如果有计算，比如平均值或其他，我应该使用LaTeX。 在这种情况下，统计身高可能涉及聚合操作，如max、min、count等，所以可能不需要复杂数学，但如果有计算，如平均身高，我可以使用。 5. 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 6. 生成相关问题。 用户提到了引用[^1]和[^2]，所以在回答中，我需要引用这些。 回答结构：我应该逐步解释如何使用Spark实现这个。 关键步骤： 1. **设置Spark环境**：用户可能已经知道，但简要提及。 2. **读取数据**：数据格式是ID, Gender, Height。假设是文本文件或CSV。 3. **处理数据**：使用Spark的DataFrame或RDD API。 - 统计男女人数：group by gender and count. - 计算男性中的最高和最低身高：filter males, then agg max and min height. - 同样为女性。 引用[^2]中有代码片段，是用Java的，但用户可能使用Scala或Python。我应该用通用的方式描述，或者选择一种语言。既然引用是Java的，我可以基于Java或Scala（Spark的常见语言）给出示例。 系统指令没有指定语言，所以我可以使用伪代码或具体语言。最好使用Scala或Java，因为引用是Java的。 为了清晰，我可以使用Scala DataFrame API，因为它更现代和简洁。 步骤： - 创建SparkSession。 - 读取数据：假设数据在文件中，格式如ID,Gender,Height。 - 解析数据：可能需要转换为数值类型。 - 使用DataFrame操作： ```scala import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("HeightStatistics").getOrCreate() // Read data, assuming CSV with header or not val df = spark.read.option("header", "false").csv("path/to/data.txt") .toDF("id", "gender", "height") .withColumn("height", col("height").cast("int")) // cast height to integer // Count by gender val genderCounts = df.groupBy("gender").count() // For males val maleData = df.filter(col("gender") === "M") // assuming M for male val maleStats = maleData.agg(min("height").alias("min_height"), max("height").alias("max_height")) // Similarly for females val femaleData = df.filter(col("gender") === "F") // F for female val femaleStats = femaleData.agg(min("height").alias("min_height"), max("height").alias("max_height")) // Show results genderCounts.show() maleStats.show() femaleStats.show() ``` 在引用[^2]中，代码是打印直接结果，所以我应该类似。 但用户要求统计男女人数、最高和最低身高。 在回答中，我需要逐步解释。 最终输出类似引用[^2]：打印男女人数、最低和最高身高。 在回答末尾，生成相关问题。 添加引用：在解释中，提及参考了引用[^1]和[^2]。 例如：根据引用[^1]，数据格式是ID、性别、身高等。 现在，生成相关问题：类似于示例。 例如： 1. 如何优化Spark性能在这种统计中？ 2. 如何处理缺失值在身高数据中？ 3. Spark统计的其他常见应用场景？ 确保回答真实可靠：Spark是标准工具，所以示例应该正确。 使用中文回答整个内容。 结构： - 介绍：简要解释任务和目标。 - 步骤：分步解释如何使用Spark实现。 - 代码示例：提供Scala或Java代码片段。 - 结果展示。 - 相关问题。 在代码中，使用markdown代码块，如同示例。 回答中，如果有数学，使用$...$，但这里可能不需要。 例如，如果提到平均身高，但我可以避免或简单提。 最后，添加相关问题。 </think>### 使用Spark统计人口性别和身高 基于您的需求，我将逐步解释如何使用Apache Spark对人口数据进行性别和身高统计。任务包括计算男女人数、男性中的最高和最低身高、女性中的最高和最低身高。数据格式参考引用[^1]：每行包含ID、性别（假设“M”表示男性、“F”表示女性）、身高（单位cm），例如：`1,M,175`。 以下是完整实现步骤，使用Scala语言（Spark的常用API），因为Scala代码简洁且易于理解。如果您偏好Java或Python，我可以后续提供转换方案。整个流程基于Spark DataFrame API（现代且高效），确保处理大规模数据（如10万条记录）时性能可靠[^1][^2]。 #### 步骤1: 设置Spark环境 首先，创建一个Spark会话并初始化环境。Spark会自动处理分布式计算，适用于大数据集统计。 ```scala import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ // 导入聚合函数 // 创建SparkSession实例 val spark = SparkSession.builder() .appName("PopulationHeightStatistics") .master("local[*]") // 本地模式运行，生产环境可替换为集群配置 .getOrCreate() // 设置日志级别，避免过多输出 spark.sparkContext.setLogLevel("ERROR") ``` #### 步骤2: 读取和解析数据 从源文件（如CSV或文本文件）读取数据，并解析为DataFrame。假设文件路径为 `path/to/population_data.txt`，格式为三列（ID、性别、身高），无表头[^1]。 ```scala // 读取数据文件 val rawData = spark.read .option("header", "false") // 无表头 .option("inferSchema", "true") // 自动推断Schema类型 .csv("path/to/population_data.txt") .toDF("id", "gender", "height") // 命名列 // 转换数据类型：身高应为整数，性别为字符串 val df = rawData .withColumn("height", col("height").cast("integer")) // 确保身高是整数类型 .cache() // 缓存数据以提高后续查询性能 // 检查数据预览（可选） df.show(5) // 显示前5行，验证格式 ``` #### 步骤3: 执行统计计算 使用DataFrame的聚合操作进行统计： - **男女人数统计**：按性别分组计数。 - **男性最高/最低身高**：筛选男性数据，计算最小和最大身高。 - **女性最高/最低身高**：类似男性处理。 ```scala // 计算男女人数 val genderCounts = df.groupBy("gender").count() // 筛选男性数据并计算统计量 val maleData = df.filter(col("gender") === "M") val maleStats = maleData.agg( min("height").alias("min_height"), max("height").alias("max_height") ) // 筛选女性数据并计算统计量 val femaleData = df.filter(col("gender") === "F") val femaleStats = femaleData.agg( min("height").alias("min_height"), max("height").alias("max_height") ) // 将结果收集到驱动节点（适用于较小结果集） val maleCount = genderCounts.filter(col("gender") === "M").first().getAs[Long]("count") val femaleCount = genderCounts.filter(col("gender") === "F").first().getAs[Long]("count") val lowestMale = maleStats.first().getAs[Int]("min_height") val highestMale = maleStats.first().getAs[Int]("max_height") val lowestFemale = femaleStats.first().getAs[Int]("min_height") val highestFemale = femaleStats.first().getAs[Int]("max_height") ``` #### 步骤4: 输出结果 打印统计结果，格式参考引用[^2]，确保清晰展示。 ```scala // 打印最终统计结果 println(s"Number of Female People: $femaleCount") println(s"Number of Male People: $maleCount") println(s"Lowest Male Height: $lowestMale cm") println(s"Lowest Female Height: $lowestFemale cm") println(s"Highest Male Height: $highestMale cm") println(s"Highest Female Height: $highestFemale cm") // 可选：保存结果到文件 maleStats.write.csv("output/male_stats.csv") femaleStats.write.csv("output/female_stats.csv") // 关闭Spark会话（避免资源泄漏） spark.stop() ``` #### 关键说明 - **性能优化**：代码中使用了`.cache()`来缓存数据，减少重复读取开销。对于10万级数据，Spark在分布式集群上能高效处理（毫秒级响应）。 - **数据格式处理**：如果身高数据包含缺失值，可添加过滤逻辑，如`.filter(col("height").isNotNull)`。 - **引用依据**：本实现基于引用[^1]的数据格式和引用[^2]的结果输出样式，确保与案例一致[^1][^2]。 ### 相关问题 1. 如何在Spark中处理大数据集（如百万记录）的性能优化？ 2. Spark统计中如何处理性别或身高的缺失值或异常值？ 3. Spark在人口统计之外还有哪些常见应用场景（如收入分析或健康指标预测）？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值