大数据学习笔记18：MR案例——分区汇总流量

酒城译痴无心剑

于 2020-01-19 10:39:03 发布

阅读量639

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104036630

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细记录了一次使用Hadoop MapReduce进行分区汇总流量数据的案例。从任务提出、环境准备到程序编写，包括创建FlowBean、FlowMapper、FlowReducer、FlowDriver，以及解决因默认分区类导致的问题，最后通过自定义FlowPartitioner实现按地区分区汇总。通过运行和检查结果，总结了易犯错误和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

流量数据如下：

13877779999 北京 李晓文 2145
13766668888 上海 卢小刚 1028
13766668888 上海 卢小刚 9987
13877779999 北京 李晓文 5678
13544445555 深圳 王振利 1056
13877779999 上海 李晓文 2145
13766668888 上海 卢小刚 9987
13544445555 深圳