jojo_oulaoula的博客

hdfs 上传文件的流程。

这个案例的需求很简单现在这里有一个文本wordcount.txt，内容如下现要求你使用 mapreduce 框架统计每个单词的出现个数这样一个案例虽然简单但可以让新学习大数据的同学熟悉 mapreduce 框架。

这里相较于 wordcount，新的知识点在于学生实体类的编写，以及使用。2. mapper 阶段，StudentMapper 类。3. reduce 阶段，StudentReduce 类。4. 驱动类，studentDriver 类。1. Student 实体类。

在学习 hadoop 的 mapreduce 的时候，reduce 阶段要使用iterable 去迭代 map阶段传过来的K：V 键值对。可以使用list 或 map 等集合在迭代的时候存储一遍内容。但是有个问题，iterable 只能迭代一次，不能回头。之后的循环调用集合里的信息即可。

这里的知识点在于如何合并两张表，事实上这种业务场景我们很熟悉了，这就是我们在学习 MySQL 的时候接触到的内连接，左连接，而现在我们要学习 mapreduce 中的做法这里我们可以选择在 map 阶段和reduce阶段去做数据：链接: https://pan.baidu.com/s/1PH1J8SIEJA5UX0muvN-vuQ?pwd=idwx 提取码: idwx顾客信息订单信息编写实体类 CustomerOrder。

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术要解决的问题：海量数据存储和海量数据计算。

踩坑描述：在学习 hadoop 的时候使用hadoop 下的 mapreduce，却发现没有 mapreduce。那么就可以确定是 idea 这个工具不能识别到 Maven 的库，也就是可能 idea 和 maven 版本不兼容。但是如果你之前使用idea 和 Maven 都是正常的，那么现在突然出现不兼容问题很明显是不正常的。去本地仓库里去看看（上图最后一行就是你 Maven 配置的本地仓库）这时候你需要降一降 Maven 版本，或者换个 idea。第一反应就是去看看 maven 的路径对不对。

先简单介绍一下partitioner 和 combinerPartitioner类Combiner类我们进入案例来看这两个知识点。