Spark Transformation —— distinct 算子

最新推荐文章于 2024-11-20 23:04:38 发布

搬砖小工053

最新推荐文章于 2024-11-20 23:04:38 发布

阅读量3.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark distinct 算子

本文链接：https://blog.youkuaiyun.com/SA14023053/article/details/51992615

Spark 专栏收录该内容

25 篇文章

订阅专栏

本文介绍了如何使用Apache Spark中的Resilient Distributed Dataset (RDD) 的 distinct 操作符去除重复元素。通过具体的代码示例展示了从加载数据到使用 flatMap 和 distinct 方法的全过程，并最终收集并显示结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

distinct

对RDD中的元素进行去重操作。

代码测试

测试数据准备

在hdfs上放一个文件1.txt
这里写图片描述
打开spark-shell

spark-shell --master spark://master:7077(重要的事情说多遍，spark-shell和spark-submit核心的参数是差不多的)

创建RDD

var data = sc.textFile("/qgzang/1.txt")

这里写图片描述

测试distinct 算子

scala> data.flatMap(line => line.split("\\s+")).collect
res61: Array[String] = Array(hello, world, hello, spark, hello, hive, hi, spark)

scala> data.flatMap(line => line.split("\\s+")).distinct.collect
res62: Array[String] = Array(hive, hello, world, spark, hi)