大数据学习笔记17：MR案例——分区统计总利润与平均利润

最新推荐文章于 2020-12-16 09:27:07 发布

酒城译痴无心剑

最新推荐文章于 2020-12-16 09:27:07 发布

阅读量784

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104036161

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了如何使用Hadoop MapReduce进行分区统计，以实现不同城市利润数据的分区存储。博主详细阐述了任务提出、环境准备、任务完成的各个步骤，包括创建Maven项目、配置依赖、编写ProfitBean、Mapper、Reducer和Driver，以及自定义Partitioner类以按需分配城市到不同的结果文件。最后，提供了项目下载链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、准备工作
三、完成任务
四、项目下载

一、提出任务

下表给出了三个城市前六个月的利润（单位：亿元）

泸州 1月 5000
宜宾 1月 4500
成都 1月 7000
成都 2月 5500
泸州 2月 6000
宜宾 2月 4600
宜宾 3月 5900
泸州 3月 5300
成都 3月

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酒城译痴无心剑

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

大数据学习笔记22：MR案例——双MR统计总利润并排序

howard2005的专栏

01-20

930

文章目录一、提出任务二、解题思路1、第一个mr计算每个人总利润2、第二个mr对总利润进行排序三、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目DoubleMR4、修改pom.xml文件，添加依赖5、创建log4j.properties文件一、提出任务原始数据： 1 陆晓红 2850 1000 2 陆晓红 3566 2000 3 陆晓红 4555 3000 1 ...

大数据学习笔记18：MR案例——分区汇总流量

howard2005的专栏

01-19

640

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目CalculateFlow4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建FlowBean2、创建FlowMapper3、创建FlowReducer4、创建FlowDriver5、运行FlowDriver，查看结果6、程序存在的BUG7、创建自...

参与评论您还未登录，请先登录后发表或查看评论

MR | 案例三：统计流量数据并自定义分区按总流量排序

qq_44249833的博客

07-29

755

案例要求统计每个手机的总流量，按照手机号前三位进行分区，各个分区内按照总流量降序排序输入文件示例 1 13736230513 192.196.100.1 www.baidu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271595951 192.168.100.2 www

mapreduce分区输出日期的盈利(收入-支出)求最大

qq_41458071的博客

05-08

228

public class Week2Data implements WritableComparable<Week2Data>{ private String day; private Integer balance; public Week2Data() { } public Week2Data(String day,Integer balance) { this.balance = balance; this.da.

大数据：Hadoop-MapReduce练习

xu2414506319的博客

10-14

628

MapReduce练习写在之前已经安装好hadoop 能上传文件到hdfs hadoop版本：2.7 项目依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.7.2</hadoop.version> </properties> <dependencies>

大数据学习笔记14：MR案例——招聘数据分析

howard2005的专栏

01-15

1193

文章目录一、数据文件1、下载数据文件2、json文件行结构二、数据清洗与分析任务三、实现步骤1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目JobAnalysis4、修改pom.xml文件，添加依赖5、创建log4j.properties文件6、第一阶段——读取文件每行数据（1）编写JobMapper（2）编写MaxDriver（3）查看结果文件7、第二阶段——清洗错误数...

大数据学习笔记10：MR案例——词频统计

howard2005的专栏

01-08

1678

文章目录一、词频统计设计思路1、映射阶段（Map）2、归并阶段（Reduce）（1）不用合并器（Combiner）（2）采用合并器（Combiner）二、词频统计实现步骤1、创建Maven项目WordCount 词频统计是MapReduce的入门案例，类似于学习程序设计的“Hello World”案例。一、词频统计设计思路 1、映射阶段（Map） 2、归并阶段（Reduce）（1）不用合并器...

大数据学习笔记21：MR案例——分区全排序

howard2005的专栏

01-19

829

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目PartitionSort4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建SortPartitioner（1）分区思路：通过数字范围来判断（2）分区思路：判断对应字符串长度（3）分区思路：利用正则表达式2、创建SortMapper3、创建Sor...

大数据学习笔记28：MR案例——多输出源处理成绩

howard2005的专栏

01-25

671

文章目录一、提出任务原始成绩数据任务1、不同学生成绩情况生成不同结果文件任务2、每个结果文件统计不同学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiOutScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreMapper2、创建ScoreReducer3、创建ScoreDr...

使用Spark Streaming完成词频统计，并将结果写入到MySQL数据库中

29DCH的博客

11-28

826

首先在maven工程的pom.xml文件加入以下依赖： <properties> <spark.version>2.2.0</spark.version> </properties>  <dependency> ...

Hadoop---MapReduce

wyf_IT的博客

08-29

308

MapReduce 1. 概述 (1)：MapReduce是一种分布式计算模型 (2)：有谷歌提出来的，基于GFS进行设计，主要用于搜索领域中解决海量数据的计算问题 (3)：MapReduce是由两个阶段组成：Map和Reduce，用户只需要实现map以及reduce两个函数，，既可以实现分布式计算，这样做的目的是简化...

大数据MR模型以及代码实现

云计算-大数据-人工智能-区块链-物联网

10-16

1778

数据： [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no001,12.23,1 2,no001,12.23,1 3,no001,12.23,2 4,no001,12.23,2 5,no001,12.23,...

hadoop — MapReduce例子（求平均值）

Mr. Lee的专栏

12-01

3872

参考文章：http://www.cnblogs.com/-wangjiannan/p/3590438.html math.txt: 张三 88 李四 99 王五 66 赵六 77 china.txt: 张三 78 李四 89 王五 96 赵六 67 english.txt: 张三 80 李四

大数据学习笔记13：MR案例——显示每年最高温度

howard2005的专栏

01-15

1020

文章目录一、预备工作1、启动hadoop服务2、准备数据文件2、将数据文件上传HDFS二、实现步骤1、创建Maven项目GetMaxTemperatures2、修改pom.xml文件，添加hadoop依赖3、在resources目录下创建log4j.properties文件4、第一阶段工作——读取文件中的每行数据（1）编写MaxMapper（2）编写MaxDriver5、第二阶段工作——提取每行数...

解决宿主机Ping不通虚拟机的问题

热门推荐

howard2005的专栏

07-30

7万+

在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。

在Eclipse里搭建Scala开发环境

howard2005的专栏

04-10

9769

在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism for Mulicore and Cloud Computing)项目。参考书目：Programming ...

Spark案例：Scala版统计单词个数

howard2005的专栏

12-14

8949

Spark案例：Scala版统计单词个数利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...

如何让CentOS8虚拟机与主机相互Ping通

howard2005的专栏

11-13

7655

如何让CentOS8虚拟机与主机相互Ping通在VMWare上安装了CentOS8，打开终端，发布nmcli命令：当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。打开主机的命令行窗口，发布命令ping 192.168.122.1：请求超时，主机Ping不通虚拟机。发布ipconfig命令，查看主机ipv4地址：主机...

初试Octave软件

howard2005的专栏

12-16

7342

Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...