MapReduce 求平均值

qq_42933029

于 2019-11-30 00:08:57 发布

阅读量1.3k

点赞数

本文链接：https://blog.youkuaiyun.com/qq_42933029/article/details/103319805

版权

本文介绍了如何利用MapReduce在Hadoop环境下计算商品点击量的平均值。首先启动Hadoop，创建目录并上传数据文件，接着在Eclipse中创建Java项目，编写Mapper和Reducer代码，实现点击次数的求和与平均值计算。最后，运行MapReduce任务并在HDFS上查看结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.切换到/apps/hadoop/sbin目录下，开启Hadoop。

view plain copy
cd /apps/hadoop/sbin
./start-all.sh
2.在Linux本地新建/data/mapreduce4目录。

view plain copy
mkdir -p /data/mapreduce4
3.在Linux中切换到/data/mapreduce4目录下，用wget命令从http://192.168.1.100:60000/allfiles/mapreduce4/goods_click网址上下载文本文件goods_click。

view plain copy
cd /data/mapreduce4
wget http://192.168.1.100:60000/allfiles/mapreduce4/goods_click
然后在当前目录下用wget命令从http://192.168.1.100:60000/allfiles/mapreduce4/hadoop2lib.tar.gz网址上下载项目用到的依赖包。

view plain copy
wget http://192.168.1.100:60000/allfiles/mapreduce4/hadoop2lib.tar.gz
将hadoop2lib.tar.gz解压到当前目录下。

view plain copy
tar zxvf hadoop2lib.tar.gz
4.首先在HDFS上新建/mymapreduce4/in目录，然后将Linux本地/data/mapreduce4目录下的goods_click文件导入到HDFS的/mymapreduce4/in目录中。

view plain copy
hadoop fs -mkdir -p /mymapreduce4/in
hadoop fs -put /data/mapreduce4/goods_click /mymapredu