3.2.3 掌握RDD转换算子 - 10. 去重算子 - distinct()

本任务通过Spark的RDD distinct() 算子，学习了如何对RDD中的数据进行去重操作。distinct() 算子会移除RDD中的重复元素，返回一个新的RDD，类似于集合的去重特性。在案例演示中，我们创建了一个包含重复整数的RDD，并通过distinct()算子去重，最后通过collect方法查看了去重后的结果。在课堂练习中，我们进一步应用了distinct()算子，对一个包含IP地址的文件进行处理。首先读取文件内容创建RDD，然后使用distinct()去重，并通过count和collect方法分别查看去重前后的IP地址数量和具体内容。通过这些操作，我们掌握了distinct()算子的使用方法，能够有效处理分布式数据集中的重复数据问题。