tangsensan的博客

Hadoop :计数器一、 实验目的基于 MapReduce 思想，编写计数器程序。理解计数器的逻辑和处理场景。二、 实验要求能够理解 MapReduce 编程思想会编写 MapReduce 版本计数器程序能执行计数器程序和分析执行过程。三、 实验背景MapReduce 计数器是什么？计数器是用来记录 job 的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个...

Hadoop ：Join 操作一、 实验目的基于 MapReduce 思想，编写两文件 Join 操作的程序。二、 实验要求2. 能够理解 MapReduce 编程思想，然后会编写 MapReduce 版本 Join 程序，并能执行该程序和分析执行过程。三、 实验背景3. 概述对于 RDBMS 中的 Join 操作大伙一定非常熟悉，写 SQL 的时候要十分注意细节，稍有差池就...

Hadoop ：分布式缓存一、 实验目的理解序列化与反序列化；熟悉 Configuration 类；学会使用 Configuration 类进行参数传递；学会在 Map 或 Reduce 阶段引用 Configuration 传来的参数；理解分布式缓存“加载小表、扫描大表”的处理思想。二、 实验要求假定现有一个大为 100G 的大表 big.txt 和一个大小为 1M 的小表 ...

Hadoop 实验 ：二次排序一、 实验目的进一步立即 MapReduce 思想编写 SecondarySort 程序。二、 实验要求3. 要能理解 MapReduce 编程思想4. 会编写 MapReduce 版本二次排序程序5. 其执行并分析执行过程。三、 实验原理MR 默认会对键进行排序，然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在 reduce 阶...