- 博客(3)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
1．spark-shell 交互式编程 请根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容： （1）该系共有多少学生； （2）该系共开设来多少门课程； （3）Tom 同学的总成绩平均分是多少； （4）求每名同学的选修的课程门数； （5）该系 DataBase 课程共有多少人选修； （6）各门课程的平均分是多少； （7）使用累加器计算共有多少人选了 DataBase 这门课。 2： （1）将data.json存到HDFS系统的“/us
2022-05-28 02:43:54
576
1
原创 scala编程初级实践
1.实例 列表的遍历 使用for循环进行遍历 使用foreach进行遍历 映射的遍历 循环遍历映射 foreach map操作 flatMap操作 filter操作 reduce操作 fold操作 2.以下是一些书的书名和价格的映射关系， (1).请在REPL中显示为“book：XX，price：YY”的格式 (2).请显示出价格打8折以后的映...
2022-05-28 02:41:50
471
原创 大数据处理与编程实践实验记录
在HDFS分布式文件系统中/user/用户名/spark/目录下存储一个文件README.md 启动Spark Shell 在spark-shell中读取Linux系统本地文件 在spark-shell中读取HDFS系统文件 （1）获取RDD文件textFile的第一行内容 （2）获取RDD文件textFile所有项的计数 （3）抽取含有“Spark”的行，返回一个新的RDD （4）统计新的RDD的行数 ...
2022-05-28 02:39:50
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人