调用MapReduce对文件中各个单词出现次数进行统计

这篇博客详细介绍了如何在Ubuntu Kylin环境下,利用Hadoop MapReduce对超过10000个英文单词的文件进行词频统计。首先,将文件上传到HDFS,然后在Eclipse中创建Java项目,添加所需JAR包,编写并运行WordCount程序。接着,通过Hadoop命令运行程序,最后在HDFS中查看并下载统计结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

调用MapReduce对文件中各个单词出现次数进行统计
实验配置:系统:Ubuntu Kylin | 环境:Hadoop | 软件:Eclipse

要求
1.将待分析的文件(不少于10000英文单词)上传到HDFS
2.调用MapReduce对文件中各个单词出现的次数进行统计
3.将统计结果下载本地。

操作步骤:调用MapReduce执行WordCount对单词进行计数**
一:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译运行程序
• 5. 应用程序部署
二:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译打包程序
• 5. 运行程序

(一):
1.打开Eclipse,通过打开终端输入相关命令打开Eclipse,然后需要填写workspace(工作空间),用来保存程序所在的位置,这里按照默认,无需改动,无脑下一步,如下图,点击“OK”按钮,进入Eclipse软件。
在这里插入图片描述在这里插入图片描述

2.选择“File->New->Java Project”菜单,开始创建一个Java工程,选择系统安装的jdk开发工具,如下图所示
在这里插入图片描述

(二):
1.进行下一步设置,如下图
在这里插入图片描述

2.点击界面中的“Libraries”选项,然后,点击界面右侧的“Add External JARs…”,如下图
在这里插入图片描述

3.进入到common目录,然后,界面会显示出common目录下的所有内容,用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar,然后点击界面右下角的“确定”按钮,就可以把这两个JAR包增加到当前Java工程中,如下图
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值