MapReduce经典案例-词频统计

一、目的

练习本地模式和集群模式进行词频统计

二、本地模式的词频统计步骤

1.首先使用mapper组件处理数据,讲TextInputFormat映射的键值对转化为数据类型<Text,IntWritable>的键值对,其中键为每个单词,值为1,创建wordcountmapper文件。

2.使用reducer组件处理数据,对mapper组件输出到reducer组件的数据进行处理,将相同见对应的值累加,从而统计每个单词的出现次数,创建wordcountreducer文件。

3.本地运行方式实现mapreduce程序的驱动类

4.在本地创建input文件夹

5.运行程序查看output中进行的词频统计的结果。

三、集群运行词频统计步骤

1.指定mapreduce程序运行模式为本地运行,将local修改为yarn

2.指定的文本文件的输入路径和输出结果的输出路径是固定的,如果修改了路径,那么还需要重新封装jar文件,这对于使用集群模式运行mapreduce程序来说非常不变,所以需要修改文件的路径,args[0]表示第一个参数为文本文件的输入路径,args[1]表示第二个参数为处理结果的输出路径

3.在集成开发工具idea中右侧单机maven按钮,然后双击折叠框下的package选项,即可在idea的控制台看到jar文件的封装流程以及其存储路径。

4.将封装的jar文件命名为wordcount-1.0-SNAPSHOT.jar

5.将word count-1.0-SNAPSHOT.jar文件上传到Hadoop集群所在的虚拟机的任意目录

6.将文本文件上传到hdfs的input目录

7.确保Hadoop集群处于启动状态,将mapreduce程序提交到yarn集群运行。

8.在output中查看词频统计的结果

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值