charon的博客

题目：基于分布式计算框架实现TopN 主要内容： 1、 获取蜀国武将中武力值最高的5位，即通过分布式计算框架实现从原始数据查询出武力最高的Top5。 2、 原始数据如下： 序号 姓名 武力值 国家 1 刘备 68 蜀国 2 马超 90 蜀国 3 黄忠 91 蜀国 4 魏延 76 蜀国 5 姜维 92 蜀国 6 关羽 96 蜀国 7 严颜 78 蜀国 8 孟达 64 蜀国 9 张飞 88 蜀国 10 马谡 76 蜀国 11 赵云 95 蜀国 12 法正 88 蜀国 3、 预期结果如下： 6 关羽.

【实验目的】 掌握大数据处理与分析的基本思路与流程。 掌握常用的数据载入、数据预处理方法。 掌握基本的数据分析方法。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，python程序设计语言，Jupyter Notebook编程环境。 【实验内容】 某班进行期末语文、数学、英语考试，得到了每位同学的考试成绩，现需要进行成绩的统计（具体数据如图1.

一、实验概述： 【实验目的】 掌握Spark计算环境的搭建方法； 掌握Scala/Python语言下的Spark基本程序设计方法。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Hadoop、Spark等程序。 二、实验内容 第1题 Spark计算环境搭建 【实验内容】 （1） 参考课程实验教材和Spark官网资料，在Li

一、实验概述： 【实验目的】 掌握MapReduce计算的数据准备方法； 掌握MapReduce的圆周率计算方法； 掌握MapReduce的Wordcount计算方法； 掌握MapReduce的正则表达式匹配计算方法。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Hadoop、HDFS、MapReduce等程序。 二、实验

一、实验概述： 【实验目的】 掌握HBase数据库的安装部署方法； 掌握HBase操作常用Shell命令； 掌握HBase数据表的创建、添加数据、查看数据、删除数据、删除表、查询历史数据等操作。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，...

1.创建HDFS的文件目录（虚拟），使用命令查看HDFS下的文件目录 2.在桌面创建测试文件，使用HDFS的PUT命令将本地文件拷贝到HDFS的input目录下，可再次使用ls查看拷贝结果 ...