- 博客(4)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 hadoop：分布式缓存
一、 实验目的 1. 理解序列化与反序列化； 2. 熟悉 Configuration 类； 3. 学会使用 Configuration 类进行参数传递； 4. 学会在 Map 或 Reduce 阶段引用 Configuration 传来的参数； 5. 理解分布式缓存“加载小表、扫描大表”的处理思想。二、 实验要求 假定现有一个大为 100G 的大表 big.txt 和一个大小为 1M 的小表 s...
2019-11-30 20:22:41
261
原创 hadoop：join操作
一、 实验目的 1. 基于 MapReduce 思想，编写两文件 Join 操作的程序。二、 实验要求 1. 能够理解 MapReduce 编程思想，然后会编写 MapReduce 版本 Join 程序，并能执 行该程序和分析执行过程。三、 实验背景 1. 概述 对于 RDBMS 中的 Join 操作大伙一定非常熟悉，写 SQL 的时候要十分注意细节，稍 有差池就会耗时巨久造成很大的性能瓶颈，...
2019-11-30 20:05:52
404
1
原创 hadoop：二次排序
一、 实验目的 1. 进一步立即 MapReduce 思想 2. 编写 SecondarySort 程序。二、 实验要求 1. 要能理解 MapReduce 编程思想 2. 会编写 MapReduce 版本二次排序程序 3. 其执行并分析执行过程。三、 实验原理 MR 默认会对键进行排序，然而有的时候我们也有对值进行排序的需求。满足这种 需求一是可以在 reduce 阶段排序收集过来的 val...
2019-11-30 19:48:33
329
原创 hadoop计数器
hadoop计数器计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。自定义Java计数器1）MapReduce框架允许用户自定义计数器2）计数器是一个全局变量3）计数器有组的概念，可以用Java的枚举类型或者用字符串来定义#java完整代码package mr;import java.io.IOExc...
2019-11-26 22:10:51
406
空空如也
为什么不循环呢 值拿过来了
2021-09-26
相同列如何合并 下面class怎么合并
2021-09-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人