hadoop中MapReduce计算省份出现的次数

最新推荐文章于 2024-07-08 22:54:08 发布
原创 最新推荐文章于 2024-07-08 22:54:08 发布 · 537 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍了一种处理日志文件中省份数据的方法，通过MapReduce技术实现数据汇总，并讨论了如何将处理后的数据以扇形图等形式进行可视化展示。

省份提取
1、LogMapper.java
在这里插入图片描述

2、LogReducer.java
在这里插入图片描述

重写reduce方法，
进入到reduce的数据是（山东省，【1,1,1,1,】，（台湾省，【1,1,1,1】））
其中values就是数组
在这里插入图片描述

将取到的值放到sum上
在这里插入图片描述

通过intWritable改成int类型
3、每一个key_value对进行一次
4、开发LogApp.java
main方法
在这里插入图片描述

5、当然也可以放到数据库中，以扇形图等的形式进行展示

[Hadoop]三、Hadoop-MapReduce
weixin_44428807的博客
05-12 441
1. MapReduce概述 2. Hadoop序列化 3. Mapeduce框架原理 4. Hadoop数据压缩 5. 常见错误及解决方案
hadoop之mapreduce详解
weixin_44695793的博客
08-22 1259
今天，本姑娘和大家聊一聊mapreduce。吐血整理，各位小板凳坐好啊。如有写错的话，也请多多指正。 首先我们了解一下什么是MapReduce。主要是由两个阶段组成。Map和Reduce。用户只需要编写map()和reduce()两个函数。即可完成简单分布式程序计算。 流程介绍： ①②③InputFormat InputFormat接口决定了输入文件如何被Hadoop分块。InputFormat能够从一个job中得到split集合。然后再为这个split提供一个何时的RecordReader（getRe
hadoop基于省份数据统计例子
GoodMorning_1992的博客
08-04 238
package com.imooc.bigdata.hadoop.project.mrv2; import com.imooc.bigdata.hadoop.project.utils.LogParser; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongW
Hadoop实例学习(四)Mapreduce词频统计
秘密的博客
10-22 4202
目录创建maven项目pom.xml添加依赖添加log文件编写类编写Mapper类编写Reducer类编写Driver驱动!!!不能直接运行因为还没设置输入和输出路径!会遇见的问题常见错误产生原因及解决方法 创建maven项目 pom.xml添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <ar
Hadoop学习（十一）MapReduce的案列（对一个用户流量的使用量作分析）以及小文件的优化方式。
会写Bug的攻城狮
01-23 576
一，mapper类 package FlowCountTestMapper; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; /** * @aut...
利用Hadoop 根据IP地址进行地域统计
weixin_34295316的博客
03-23 328
2019独角兽企业重金招聘Python工程师标准>>> ...
超详细的MapReduce WordCount 统计微博评论最多的用户
qq_34575632的博客
07-22 505
超详细的MapReduce WordCount 统计微博评论最多的用户 使用fastjson解析每一行的json List<Map<String,Object>> parses = (List<Map<String,Object>>) JSON.parse(value.toString()); 提取userId for (Map<String, Object> pars : parses) { String new_val
(超详细)大数据Hadoop之MapReduce组件
小赵的呢
12-23 2907
一、MapReduce 简介 1.1 MapReduce的概述 在Hadoop生态圈中，MapReduce属于核心，负责进行分布式计算。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TTUyvkEh-1640235355989)(C:\Users\86157\Desktop\javatest\大数据开发\Hadoop框架\Hadoo
Hadoop（MapReduce）
cookie的博客
07-08 2168
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
WINDOWS本地运行Hadoop的mapreduce程序配置
weixin_44942281的博客
07-08 760
1、下载hadoo安装到windows本地。 我这边是下载安装到D盘， D:\hadoop-3.0.0 2、 解压之后进行设置环境变量。 新建 HADOOP_HOME 变量 值 D:\hadoop-3.0.0 Path中增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 3、案例解析 案列背景： 将统计结果按照手机归属地不同省份输出到不同文件中（分区） //输入数据 1 13736230513 192.196.100.1 www.atguigu.com 2481
使用MapReduce统计一篇微博数据的点赞次数，并且输出前五个最高的点赞数量。
一曲无痕奈何
10-01 3086
一个MapReduce写了一个下午，调试运行了不下20次了，我靠，真是闹心，差点整崩溃，在最绝望的时候给出了最好的答案。 需求： 使用MapReduce统计一篇微博数据的点赞次数，并且输出前五个最高的点赞数量，输出id和对应的博客内容。 数据介绍： 随着移动互联网、物联网等新技术的迅速发展，人类进入数据时代。大数据带来的信息风暴正深刻改变我们的生活、工作和思维方式，对网络舆情管理也带来深刻...
118.Spark大型电商项目-广告点击流量实时统计-计算每天各省的top3热门广告
someby的博客
04-04 731
本篇文章记录广告点击流量实时统计-计算每天各省的top3热门广告。 代码 domain AdProvinceTop3.java package graduation.java.domain; /** * FileName: AdProvinceTop3 * Author: hadoop * Email: 3165845957@qq.com * Date: 1...
广告数据集mapreduce实验（词频统计）
weixin_52728894的博客
01-12 462
hadoop实验mapreduce词频统计，对广告数据集的购买者年龄进行词频统计，获得购买者年龄分布。
MR | 案例三：统计流量数据并自定义分区按总流量排序
qq_44249833的博客
07-29 789
案例要求 统计每个手机的总流量，按照手机号前三位进行分区，各个分区内按照总流量降序排序 输入文件示例 1 13736230513 192.196.100.1 www.baidu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271595951 192.168.100.2 www
MapReduce编程入门-日志访问次数统计任务
Jop_qq的博客
05-14 7813
搭建IDE开发环境，创建MapReduce工程MemberCount 1.将插件hadoop-eclipse-plugin-2.6.4.jar复制到eclipse的dropins目录下 2.菜单选择Windowns-Perspective-Open Perspective-Other,在对话框中选中MapReduce,点击
Task not serializable
大数据
01-04 2397
C:\Java\jdk1.8.0_191\bin\java.exe "-javaagent:D:\IntelliJ IDEA 2018.2.4\lib\idea_rt.jar=55960:D:\IntelliJ IDEA 2018.2.4\bin" -Dfile.encoding=UTF-8 -classpath C:\Java\jdk1.8.0_191\jre\lib\charsets.jar;...
MapReduce 之流量汇总案例四+不同省份输出文件内部排序（部分排序）
now
11-26 357
1）需求 要求每个省份手机号输出的文件中按照总流量内部排序。 2）分析： 基于需求3，增加自定义分区类即可。 3）案例实操 （1）增加自定义分区类 package com.lzz.mapreduce.flowsort; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; public class FlowSortProvincePartitioner extends Part
linux航班信息处理mapreduce,linux平台：Eclipse（+IBMmapreduce tool）下运行hadoop
weixin_36459720的博客
05-11 187
自己乱搞，出了点问题，弄来弄去，总算弄OK了主要就是版本的问题我的开发环境是：Ubuntu，如果安装的版本低，系统更新下1.安装eclipse版本是eclipse3.3.X其他版本会不兼容下好eclipse-java-3.3-linux.tar.gz文件后sudo cp **.tar.gz /usr/lib解压缩sudo -xvf ****.tar.gz2.获取mapreduce tool plu...
开发MapReduce程序 实验2
magina507的博客
05-30 2183
一、实验题目 开发MapReduce程序 二、实验要求 WeatherData应用程序是为分析文本文件、获得明确结果而编写的计算程序。 在文本分析过程中，程序分别对（数）值和温度做了分类和比较。 本次实验练习，我们将编写MapReduce程序，目的是找出weather.txt文本文件中保存的最高温度的记录。 三、操作步骤 1.打开Eclipse，创建一个Java Project，
hadoop中reduce任务数量由什么影响
最新发布
11-22
嗯，用户这次问的是Hadoop中影响reduce任务数量的因素。这个问题其实在之前的讨论中已经有所涉及，但用户希望更系统地了解具体影响因素。 从对话历史看，用户对Hadoop的分区机制已经有基本理解，特别是关于分区函数...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值