spark编程实战(三) —— CountOnce

本文介绍了一种利用Spark和Scala语言快速找出HDFS中唯一丢失数据块ID的方法。通过异或运算,巧妙地解决了在大量重复数据中寻找唯一出现一次的数据问题,展示了Scala简洁高效的编程风格。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近正在看《Spark大数据处理:技术、应用与性能优化》这本书,然后对于最后一章的编程实战比较感兴趣。但是上面写的算法个人觉得还不是很简洁,无法体现出scala的优点,所以稍作了一些修改,仅供参考。

假设HDFS只存储一个标号为ID的Block,每份数据保存2个备份,这样就有2个机器存储
了相同的数据。 其中ID是小于10亿的整数。
若有一个数据块丢失,则需要找到哪个是丢失的
数据块。

在某个时间,如果得到一个数据块ID的列表,能否快速地找到这个表中仅出现一次的
ID?即快速找出出现故障的数据块的ID。

问题阐述:已知一个数组,数组中只有一个数据是出现一遍的,其他数据都是出现两
遍,将出现一次的数据找出。

1.实例描述

输入为Block ID。

1、 2、 2、 3、 3、 1、 5、 7、 11……

输出为:

100

2.设计思路
利用异或运算将列表中的所有ID异或,之后得到的值即为所求ID。 先将每个分区的数据
异或,然后将结果进行异或运算

代码实现:

import org.apache.spark.{SparkConf, SparkContext}

object CountOnce {

  def main(arg: Array[String]):Unit={
    val conf = new SparkConf().setAppName("countonce").setMaster("local")
    val sc = new SparkContext(conf)

    val dataRDD = sc.textFile("./data/countonce.txt")
      .flatMap(_.split(" ")).map(x => x.toInt)

    dataRDD.foreach(println)
    
    //利用异或的数据,将数据转换成二进制形式,从低位对齐
    // 1 1 1   7
    // 1 1 1   7
    //
    // 0 0 0   0 :异或的结果
    //-----------------------
    // 1 1 1   7
    // 1 0 0   4
    // 1 1 1   7
    //
    // 1 0 0   4 :异或的结果
    //所以此方法可以找出只出现一次或者是出现奇数次的数据
    val result = dataRDD.reduce(_^_)
    println(result)
  }

}


引用\[1\]:在过去的两个月里,Databricks公司举办了一场会议,将数据团队聚集在一起,共召开220多个会议,有无数机会与同行交流——超过50,000名数据科学家、数据工程师、分析师、商业领袖和其他数据专业人士。 Spark + AI 峰会虚拟环境。 引用\[2\]:本书以数据智能为灵魂,以Spark 2.4.X版本为载体,以Spark+ AI商业案例实战和生产环境下几乎所有类型的性能调优为核心,对企业生产环境下的Spark+AI商业案例与性能调优抽丝剥茧地进行剖析。全书共分4篇,内核解密篇基于Spark源码,从一个实战案例入手,循序渐进地全面解析Spark 2.4.X版本的新特性及Spark内核源码;商业案例篇选取Spark开发中最具代表性的经典学习案例,在案例中综合介绍Spark的大数据技术;性能调优篇覆盖Spark在生产环境下的所有调优技术; Spark+ AI内幕解密篇讲解深度学习动手实践,通过整合Spark、PyTorch以及TensorFlow揭秘Spark上的深度学习内幕。本书适合所有大数据和人工智能学习者及从业人员使用。对于有丰富大数据和AI应用经验的人员,本书也可以作为大数据和AI高手修炼的参考用书。同时,本书也特别适合作为高等院校的大数据和人工智能教材。 问题:spark数据分析实战——奥运会 回答: Spark是一个强大的大数据处理框架,可以用于数据分析和处理。在奥运会数据分析实战中,Spark可以帮助我们处理大规模的奥运会数据,进行数据清洗、转换和分析。通过使用Spark的分布式计算能力和优化技术,我们可以高效地处理大量的奥运会数据,并从中提取有价值的信息。同时,Spark还提供了丰富的数据处理和机器学习库,可以帮助我们进行数据挖掘和建模,以便更好地理解和预测奥运会的趋势和结果。通过结合Spark和AI技术,我们可以实现更深入的奥运会数据分析,并为奥运会的组织者、运动员和观众提供更好的决策支持和用户体验。 #### 引用[.reference_title] - *1* *2* [免费参加全球最大的Spark+AI峰会(Databricks 2020年6月22-26日)!免费访问峰会主题演讲及分组会议!](https://blog.csdn.net/duan_zhihua/article/details/106729096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战部曲》 畅销书籍第二版 清华大学出版社发行...](https://blog.csdn.net/duan_zhihua/article/details/106294896)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigCabbageFy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值