MapReduce的WordCount应用实例

走向云计算之MapReduce应用案例详解 一、概述前面关于MapReduce的wordcount程序已经做了比较详细的分析,这里再给出MapReduce应用的几个小案例,来更加深入的理解MapReduce的设计理念和应用方法。部分内容参考了书籍《hadoop实战》中的内容。二、MapReduce应用之数据去重在统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重这个操作。1、情境要求假设有如下两个数据样本 阅读详情

1、新建一个IDEA的Maven工程


2、引入依赖

    


3、Mapper类

    

package com.motoon;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author rjsong
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    /**
     * map阶段的业务逻辑就写在自定义的map()方法中
     * maptask会对每一行输入数据调用一次我们自定义的map()方法
     */
    protected void map(LongWritable key, Text value, Context context) throws IOException,InterruptedException{

        //将maptask传过来的文本先转换成String
        String line = value.toString();
        //根据空格将这一行分成单词
        String[] words =line.split(" ");
        //将单词输出为<单词,1>
        for (String word:words){
            //将单词作为key,将次数1作为value,以便于后续的数据开发,可以根据单词分发,以便于相同单词会到相同的reduce task
            context.write(new Text(word), new IntWritable(1));
        }
    }
}


4、Reducer类

     

package com.motoon;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
 * @author rjsong
 */
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

    public void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException,InterruptedException{
        int count = 0;
        for (IntWritable value:values){
            count+=value.get();
        }
        context.write(key, new IntWritable(count));
    }
}


5、main类

    

package com.motoon;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * @author rjsong
 */
public class WordCountDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job wordCountJob = Job.getInstance(conf);

        //重要:指定本job所在的jar包
        wordCountJob.setJarByClass(WordCountDriver.class);
        //设置wordCountJob所用的mapper逻辑类为哪个类
        wordCountJob.setMapperClass(WordCountMapper.class);
        //设置wordCountJob所用的reducer逻辑类为哪个类
        wordCountJob.setReducerClass(WordCountReducer.class);
        //设置map阶段输出的kv数据类型
        wordCountJob.setMapOutputKeyClass(Text.class);
        wordCountJob.setMapOutputValueClass(IntWritable.class);
        //设置最终输出的kv数据类型
        wordCountJob.setOutputKeyClass(Text.class);
        wordCountJob.setOutputValueClass(IntWritable.class);
        //设置要处理的文本数据所存放的路径
        FileInputFormat.setInputPaths(wordCountJob, "hdfs://192.168.61.138:9000/wordcount/input/");
        FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.61.138:9000/wordcount/output/"));
        //提交job给hadoop
        wordCountJob.waitForCompletion(true);
    }
}



6、导出jar包,在工作区间目录下会产生一个out目录,里面有相应的jar文件。

   
    



7、将jar文件上传到linux服务器上

   
   
  

8、创建文本数据
    
   

9、将文本数据上传到hdfs上
    
   
    
   
10、运行jar文件
    
   


11、显示结果

   

    

大数据小型项目源码之mapreduce英语单词频次统计 大数据小型项目源码之mapreduce英语单词频次统计,附带所需全部jar包,欢迎下载学习。 立即下载

相关推荐

mapreduce wc单词计数 自定义分区 自定义排序实现

实现mr的wordcount功能和自定义分区的功能、自定义排序功能;com.ellis.mr1为类似wc功能,com.ellis.mr2为自定义分区功能,com.ellis.mr3为自定义排序功能

MapReduce几个小案例

MapReduce案例 1.单词计数--wordcount 首先准备好文件 Hello World Hello Java Hello World Hello hadoop wo shi wo 开始编写程序 public class MapReduceTest { //第一个参数是我们的行偏移量 //第二个参数是我们的数据集 ...

weixin_30929195的博客 1396

大数据 hadoop mapreduce 词频统计

在hadoop平台上,用mapreduce编程实现大数据的词频统计

【大数据处理】MapReduce案例实践

主要是关于大数据处理技术中的MapReduce案例实践。涉及两方面:编写大规模的MapReduce程序和理解单表链接的实际场景,具体针对表的自连接。通过使用MapReduce技术,熟练地编写了适用于大规模数据处理的MapReduce程序。有效地利用了MapReduce框架的并行计算和分布式处理能力,通过对源数据的处理,找出了特定人物的grandparent。以Tom为例,我们通过自连接操作,从源数据中提取出Tom的grandparent,发现他们分别为Marry和Ben。同理,我们可以应用这种方法找出其他人

linghyu的博客 1047

mapreduce实例

在hadoop平台上,利用mapreduce编程模型,做的简单应用实例,文件系统不同的请更改文件系统路径。用了多次mapreduce。

体系结构学习-6-超标量处理器

 MIPS32-5段流水线采用了指令级并行方式(5个流水段同时运行5条指令)提升系统吞吐率,是一种标量处理器(CPI≥1CPI \ge 1CPI≥1),但是一个周期一条指令以及无法满足现代计算机需求了。 超标量处理器(Superscalar) 1、基本思想:增强指令集并行,让每个周期执行更多指令,实现 CPI<1CPI<1CPI<1 。(IPC=1/CPIIPC = 1...

qq_40891899的博客 1214

MapReduce实战小案例(自定义排序、二次排序、分组、分区)

MapReduce实战小案例

fengxiandada的博客 7482

Unity3D Lua与C#的相互调用与性能剖析详解

在游戏开发中,经常会遇到Lua与C#之间的相互调用的情况。本文将详细介绍Unity3D中Lua与C#的相互调用的方式,并对其性能进行剖析。对惹,这里有一个游戏开发交流小组,希望大家可以点击进来一起交流一下开发经验呀!一、Lua与C#的相互调用方式Lua调用C#在Unity3D中,可以通过Lua调用C#的方式来实现Lua与C#的相互调用。具体步骤如下:(1)首先需要在Unity3D项目中导入Lua的相关库,例如tolua或者xlua。

weixin_49669470的博客 1215

【MapReduce】综合案例

文章目录综合案例① 数据文件② 具体要求③ 具体实现• 上传文件• 封装Bean类• Mapper类缓存information.txt,实现与student.txt的连接• Reducer类统计对象属性为NULL• Partition类实现按照性别分区• Driver类配置 综合案例 ① 数据文件 ② 具体要求 information.txt 上传到 HDFS student.txt 放在本地 通过distribute缓存读取hdfs上的数据, 将 HDFS和本地数据封装到一个JavaBean..

懂得一千零一种,赋予你失败的方法! 1549

GAMIT/GLOBK 10.71在Linux环境下的GNSS数据处理全流程解析(附实战案例)

本文详细解析了在Linux环境下部署和运行GAMIT/GLOBK 10.71进行GNSS数据处理的完整流程。从系统环境配置、软件编译安装、关键表格文件更新,到运行自带示例和实战案例,提供了清晰的步骤与避坑指南,帮助用户掌握这一高精度GNSS数据处理工具的核心使用方法。

kmeans3miner的博客 311

QT窗体大小控制全攻略:从setFixedSize到事件过滤器的进阶用法

本文深入探讨了QT窗体尺寸控制的进阶实践,从基础的setFixedSize方法到结合事件过滤器实现智能动态适配。通过分析窗口状态变化、多显示器环境处理以及布局策略,提供了实现禁止缩放但支持最大化、多屏智能适配及动态约束等复杂场景的完整解决方案与核心代码示例。

weixin_29229261的博客 300

mapreduce应用实例开发--wordcount

一、需求        从大量(比如T级别)文本文件中,统计出每一个单词出现的总次数。二、mapreduce实现思路           Map阶段:                           a) 从HDFS的源数据文件中逐行读取数据                          b) 将每一行数据切分出单词                         c) 为每一个单词构造一...

pbyang_love的博客 215

反激电源RCD尖峰吸收电路的原理以及调试

反激电源RCD尖峰吸收电路的原理以及调试

mnmmnmn的博客 9256

第一个MapReduce程序——WordCount

通常我们在学习一门语言的时候,写的第一个程序就是Hello World。而在学习Hadoop时,我们要写的第一个程序就是词频统计WordCount程序。 一、MapReduce简介 1.1 MapReduce编程模型 MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地...

dbbaq24022的专栏 3186

【ComfyUI】Wan2.2 + IndexTTS 图像数字人或动物口播视频生成

本文介绍了一个基于ComfyUI的数字人口播视频生成工作流,整合了IndexTTS和图像处理技术。该系统通过多模型协同工作,实现从形象图、文本和音频输入到自动生成口播视频的全流程。核心包含WanVideo系列模型,通过CLIP Vision、T5文本编码器和Wav2Vec语音模型分别处理视觉特征、语义理解和口型同步。工作流涵盖素材加载、特征提取、音频处理和视频生成等节点,支持人物、动物等多种主体的口播内容创作。该方案自动化程度高,适用于知识讲解、剧情旁白等多种场景,能帮助创作者高效产出高质量口播视频。

Mr数据杨 2061

AI工具 | 每个打工人必备的15款人工智能超级工具

不过,还是有一些靠谱的人工智能平台,它们可不只是营销噱头。有些AI公司正试图改变游戏规则。人工智能工具让人们能够更聪明地工作,而不是更辛苦地劳作。如果你想知道未来有什么,那就来看看这10款人工智能工具吧,它们将彻底改变我们的工作方式。

Vampire_2017的博客 5万+

MapReduce解析

1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词, 一是软件框架,二是并行处理,三是可靠且容错,四是大规模集群,五是海量数据集。 1.2 MapReduce做什么 MapReduce擅...

weixin_42874157的博客 412

我用 GPT-5.5 十分钟搞定一篇文献综述!附全流程指南

每一个框架中提出的逻辑链接,都必须至少有一篇提供文本中的文献作为支撑、严格禁止虚构变量、逻辑关系或研究结果、如果某些变量或关系在文本中未提及,必须明确声明“在提供的文本中未找到相关信息”、引用格式必须严格遵循原文提供的“作者/年份”格式,例如:[Smith, 2022]。各位同仁好,我是七哥。扫描提供的文献摘要,识别存在冲突的结果或理论、分析这些文献之间的差异,并总结可能导致差异的原因、输出一个结构化的学术争论段落,清楚呈现文献间的分歧和潜在影响因素、对于缺失或不明确的信息,按约束条件如实标注。

智能AI让学术科研更容易 372

MapReduce编程基础

1. WordCount示例及MapReduce程序框架2.  MapReduce程序执行流程3.  深入学习MapReduce编程(1)4. 参考资料及代码下载 . WordCount示例及MapReduce程序框架 首先通过一个简单的程序来实际运行一个MapReduce程序,然后通过这个程序我们来哦那个结一下MapReduce编程模型。下载源程序:/Fi

记录、分享 944

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

mapreduce中计数器的使用

package com.ccse.hadoop.counter; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; im

张波的技术积累 4880

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Hadoop_WordCount示例_运行详解

1、MapReduce理论简介 1.1 MapReduce编程模型   MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。   在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个

tycoon的专栏 471

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

多输入的wordcount

1、处理序列的mapper package com.cr.hdfs; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapr...

weixin_30645617的博客 118

分布式处理框架MapReduce

一.概述 MapReduce源自 Google的MapReduce论文,发表于2004年12月 优点:海量数据离线处理&易开发&易运行 缺点:实时流式运算困难 二.wordcount分词系统案例入门      输入通过InputFormat读取,每读一行交由map处理,经过Shuffling分序丢到Reducing上面处理,最后通过OutputForm...

dianchi2592的博客 173

MapReduce计数实例

MapReduce计数实例 MapReduce 简介 MapReduce 是Hadoop的分布式计算系统,是一个分布式运算程序的编程框架。 为什么需要MapReduce 海量数据在单机上处理受硬件限制,效率不高 分布式程序开发困难 引入MapReduce后,开发人员可以将大部分工作集中于业务逻辑的开发,将分布式计算的复杂性交给框架处理。 MapReduce计数 本实例是基于Hadoop2....

qq_35056459的博客 377

【大数据技术原理】MapReduce详解

本文主要针对MapReduce1.0相关概念进行介绍,主要参考厦大林子雨教授的mooc总结成文。

YoHu人家的博客 2017

Hadoop.MapReduce.简介

本文是2009年9月为公司内部培训写得的一篇简介。 MapReduce概述 提供计算任务的自动并行化机制,使用分发-收集的并行策略,Map阶段处理(无依赖的)原始输入,Reduce阶段处理依赖关系(按Key依赖)。 架构在hadoop之上,原则上可以使用hadoop

whinah的专栏 2727
上一篇: HBase的java api应用
下一篇: Storm的WordCount实例
songrj1
博客等级 码龄9年 19粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值