WistWill的博客

在跑MapReduce程序时，出现了Caused by: java.lang.ArrayIndexOutOfBoundsException: 1（数组越界异常）分析过程：从这些提示信息中可以获取如下信息：1、错误发生在17行，找到对应行2、发生错误的时候，下标的值为1接下来分析为什么下标值为什么是1时出现越界，就可以解决了。我们使用打断点的方式找到问题根源：再出...

实验指导：6.1 实验目的基于MapReduce思想，编写SecondarySort程序。6.2 实验要求要能理解MapReduce编程思想，会编写MapReduce版本二次排序程序，然后将其执行并分析执行过程。6.3 实验原理MR默认会对键进行排序，然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在reduce阶段排序收集过来的values，但是，如果有...

实验指导：5.1 实验目的基于MapReduce思想，编写WordCount程序。5.2 实验要求1．理解MapReduce编程思想；2．会编写MapReduce版本WordCount；3．会执行该程序；4．自行分析执行过程。5.3 实验原理MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（RED...

shiyab配置实验指导4.1 实验目的了解什么是YARN框架，如何搭建YARN分布式集群，并能够使用YARN集群提交一些简单的任务，理解YARN作为Hadoop生态中的资源管理器的意义。4.2 实验要求搭建YARN集群，并使用YARN集群提交简单的任务。观察任务提交的之后的YARN的执行过程。4.3 实验原理4.3.1 YARN概述YARN是一个资源管理、任务调度...

一、实验指导3.1 实验目的1． 会在Linux环境下编写读写HDFS文件的代码；2． 会使用jar命令打包代码；3． 会在master服务器上运行HDFS读写程序；4． 会在Windows上安装Eclipse Hadoop插件；5． 会在Eclipse环境编写读写HDFS文件的代码；6． 会使用Eclipse打包代码；7． 会使用Xftp工具将实验电脑上的文件上传...

实验指导：7.1 实验目的基于MapReduce思想，编写计数器程序。7.2 实验要求能够理解MapReduce编程思想，然后会编写MapReduce版本计数器程序，并能执行该程序和分析执行过程。7.3 实验背景7.3.1 MapReduce计数器是什么？计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进...

8.1 实验目的基于MapReduce思想，编写两文件Join操作的程序。8.2 实验要求能够理解MapReduce编程思想，然后会编写MapReduce版本Join程序，并能执行该程序和分析执行过程。8.3 实验背景8.3.1 概述对于RDBMS中的Join操作大伙一定非常熟悉，写SQL的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用M...

9.1 实验目的理解序列化与反序列化；熟悉Configuration类；学会使用Configuration类进行参数传递；学会在Map或Reduce阶段引用Configuration传来的参数；理解分布式缓存“加载小表、扫描大表”的处理思想。9.2 实验要求假定现有一个大为100G的大表big.txt和一个大小为1M的小表small.txt，请基于MapReduce思想编程实现判断小表...

实验指导：30.1 实验目的1．会使用MapReduce访问Redis数据；2．会使用Spark访问Redis数据。30.2 实验要求1．在master机上，使用MapReduce代码读取Redis数据；2．在master机上，使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...