fadeless_3的博客

实验平台操作系统：Ubuntu16.04Spark版本：2.4.0Python版本：3.4.3实验一：pyspark交互式编程本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBase,90Jim,Algorithm,60Jim,DataStructure,80……请根据给定的实验数据，在pyspark中通过编程来计算以下内

在Windows中使用VirtualBox安装Ubuntu（一）1.Ubantu在VirtualBox上安装（1）开机时按F2（每台电脑不一样）进入BIOS，确认CPU开启了虚拟化技术（Virtual Technology）为Enabled。并在网上下载并安装VirtualBox。（2）安装完VirtualBox后，新建虚拟电脑（3）分配内存以及创建虚拟硬盘（4）选择硬盘文件类型VDI（5）虚拟硬盘选择动态分配，选择文件存储的位置和容量大小（6）选择下载的Ubuntu LTS 14.

在MapReduce中运行WordCount以及字数统计中遇到的问题运行环境：Ubantu的eclipse下此操作需要在配置好了hadoop和hdfs的基础上运行MapReduce常见问题：打开eclipse后查看不到MapReduceLocaltion，原因可能是没有开启hadoop，或者eclipse文件没有配置好运行WordCount.java，代码没有错误，运行报错问题，原因可能是output下已存在输出文件，解决方法，换一个输出文件夹，如output2，或者删除output文件夹下的文