一、汇聚去重函数:collect_set
collect_set 函数用于数据去重,并将结果形成数组返回,而collect_list函数用于将结果形成数组,但是不去重。
(一)案例1:单列数据去重
1、创建数据文件nums.txt
100
200
350
100
250
200
100
350
250
collect_set 函数用于数据去重,并将结果形成数组返回,而collect_list函数用于将结果形成数组,但是不去重。
100
200
350
100
250
200
100
350
250