- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
目录一、实验目的二、实验平台三、实验内容和要求1．pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark版本：2.4.0 Python版本：3.4.3 三、实验内容和要求 1．pyspark交互式编程 本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：
2021-06-07 21:03:31
374
2
原创 在hadoop调用mapreduce对文件中各个单词出现次数进行统计
目录 一、安装环境 二、需求分析 1.创建hadoop账户 2.设置Hadoop密码 3.为Hadoop用户增加管理员权限 4.更新apt 5.安装vim 6.安装SSH、配置SSH无密码登陆 三、安装java环境 1.安装JDK 2.验证JDK安装情况 四、安装hadoop 五、Hadoop单机配置(非分布式) 六、Hadoop伪分布式配置 1.修改配置文件 2.格式化 NameNode 3.开启NameNode和DataNode守护进程 4.校验安装 七、
2020-12-16 22:34:02
1260
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人