Hadoop中单词统计案例

Hadoop MapReduce实现单词统计教程
本文详细介绍了如何在本地环境搭建Hadoop,并通过MapReduce实现单词统计案例。从下载软件、配置环境变量,到编写Mapper、Reducer及主类代码,再到打包运行和结果解析,一步步清晰阐述。此外,还提供了相关的POM文件和代码示例,帮助读者理解MapReduce的工作原理。

需要的软件和工程代码下载地址:

Hadoop中单词统计案例(访问密码:7567):

https://url56.ctfile.com/d/34653256-48746892-4c8f2e?p=7567 icon-default.png?t=M4ADhttps://url56.ctfile.com/d/34653256-48746892-4c8f2e?p=7567
 

一、搭建本地环境

1、下载准备两个工具

Hadoop-2.7.3.tar.gz

Hadoop-2.7.3-winutils.exe.rar

2、将Hadoop-2.7.3-winutils.exe.rar解压后,其中的两个文件进行拷贝

Hadoop.dll

Wintuils.exe

3、将Hadoop-2.7.3.tar.gz解压后,找到bin目录,把上面的两个文件Hadoop.dll、Wintuils.exe拷贝到当前位置

4、配置Hadoop的环境变量

5、找到Hadoop中的日志文件log4j.properties拷贝到我们新建的Eclipse中的Maven项目中,这个日志文件是方便我们使用的,不需要写太多的配置,直接借用Hadoop中文件内容,也可以自己创建该日志文件,编写里面的内容。

(1)Hadoop中日志文件的位置

(2)拷贝到Eclipse中项目的位置

二、代码编写

1、编写Mapper

2、编写Reduce

3、编写主类

4、运行测试,首先我们先打一个JAR包

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值