Hadoop统计词频测试

上篇成功配置hadoop之后,此篇为测试
1、在home/data文件夹中创建words文件,文件内容如下
hello a
hello b
2、进入hadoop根目录,使用命令 bin/hadoop fs -help查看hdfs对文件的操作帮助

使用bin/hadoop fs -put /home/data/words /words上传数据
成功后查看数据
这里写图片描述
这里写图片描述
3、使用 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar命令查看数据操作帮助
这里写图片描述
执行命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out统计词频

可通过yarn页面查看job进程
这里写图片描述
bin/hadoop fs -ls /查看输出(注意-ls和/之间有一个空格
这里写图片描述
统计结果存在红框中的文件中
使用命令:bin/hadoop fs -cat /out/part-r-00000 查看词频统计结果如下
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值