- 博客(18)
- 收藏
- 关注
原创 练习题。。。
比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)1、定义一个高阶函数,按照指定的规则对集合里面的每个元素进行操作。2、定义一个高阶函数,对数据中的元素按照指定的规则进行过滤。规则: 对集合中每个元素进行操作,得到集合每个元素的长度。比如:Array(10,4,6,10,2)3、对数据中的元素按照指定规则进行分组。4、根据指定规则对数组所有元素聚合。规则: 按照地址进行分组。规则: 只保留偶数数据。
2024-03-21 20:05:00
146
原创 scala 安装过程
搜索scala,这里因为scala我以前已经安装过了,搜索之后会出现如下界面,找到scala,点击instal进行下载即可。JDK:默认就行(我们要在安装scala之前现在windows下安装好JDK)下载好之后会出现如下界面,点击右上角的restart IDE,重启即可。打开idea,在左上角找到File(工具),然后在找到setting。创建好之后点击finish,这里我们项目就创建好了。之后再点击ok,这样我们scala插件就安装好了。输入类的名字之后(不要中文),选择。Scala SDK:默认。
2024-03-14 19:59:47
752
1
原创 spark的特点
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。Spark相对Hadoop而言有较大的优势,但Spark并不能完全代替Hadoop,Spark仅能做计算,而Hadoop生态圈不仅有计算(MapReduce),还有存储(HDFS)和资源管理调度(YARN)。而这也是整个Spark的核心数据结构,Spark整个平台都围绕着RDD进行。
2024-03-06 16:20:44
531
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅