Spark scala 项目算法

1.定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作
比如: Array(“hh”,“red”,“java”,“hadoop”)
规则: 对集合中每个元素进行操作，得到集合每个元素的长度

思想：每个元素的长度直接用length求出来,所以直接遍历求长，在用高阶函数套

例如：函数名(匿名函数名:(参数列表a)=>表达式的返回的类型，参数列表b)=匿名函数名（参数列表b）

注意参数列表a与参数列表b参数个数相同。

所以先将核心代码写出

结果：

可以看见这就已经得到了每个元素的个数

那么将array1作为参数 ，for循环作为匿名函数方法体那么就可以了

结果：

2、定义一个高阶函数，对数据中的元素按照指定的规则进行过滤
比如: Array(1,4,7,9,10,6,8,99,88,66)
规则: 只保留偶数数据

思想：filter(x=>x%2==0)  可以求出奇偶数，在用高阶套返回一个数组用来遍历

结果

3、对数据中的元素按照指定规则进行分组
比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”)
规则: 按照地址进行分组

思想：groupBy分组匹配地址相同的，contains（）匹配是否包含内容，

先将array换为list方便计算

结果

4、根据指定规则对数组所有元素聚合
比如:Array(10,4,6,10,2)
规则: 求和/求乘积

思想：用sum求和 product求积

结果