
Spark
文章平均质量分 91
代码不休肝
凌零七
山高路远 聚沙成塔
展开
-
【Spark编程基础】实验三RDD 编程初级实践(附源代码)
对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其。名字,第二个是学生的成绩;编写 Spark 独立应用程序求出所有学生的平均成绩,并输出到。中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生。2、操作系统:linux(推荐使用Ubuntu16.04)。下面是输入文件和输出文件的一个样例,供参考。3、Jdk版本:1.7或以上版本。原创 2024-03-17 21:04:17 · 9544 阅读 · 5 评论 -
【Spark编程基础】实验二Spark和Hadoop的安装(附源代码)
(6)删除HDFS中“/user/hadoop”目录下的test.txt文件,删除HDFS中“/user/hadoop”(6)删除HDFS中“/user/hadoop”目录下的test.txt文件,删除HDFS中“/user/hadoop”“/user/hadoop”目录下的 test.txt 文件,复制到“/user/hadoop/input”目录下;“/user/hadoop”目录下的 test.txt 文件,复制到“/user/hadoop/input”目录下;原创 2024-03-10 23:23:44 · 2825 阅读 · 1 评论 -
【Spark编程基础】实验一Spark编程初级实践(附源代码)
Line 类的第一个参数表示其位置,第二个参数表示另一个端点,Line 放缩的时候,其中点位置不变,长度按倍数放缩(注意,缩放时,其两个端点信息也改变了),另外,Line 的 move 行为影响了另一个端点,需要对move 方法进行重载。Circle 类第一个参数表示其圆心,也是其位置,另一个参数表示其半径,Circle 缩放的时候,位置参数不变,半径按倍数缩放。给定任何一个如上格式的清单(不同清单里课程数量可能不一样),要求尽可能采用函 数式编程,统计出各门课程的平均成绩,最低成绩,和最高成绩;原创 2024-03-10 22:02:34 · 2032 阅读 · 1 评论