运行一个MapReduce的JOB

最新推荐文章于 2022-08-04 21:57:41 发布

原创最新推荐文章于 2022-08-04 21:57:41 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文详细指导如何在Hadoop环境中使用MapReduce处理wordcount任务，包括创建本地文件、上传至HDFS，配置mapred-site.xml，解决环境变量问题，并验证输出。

1.在/data目录下创建一个文件

vim wordcount.txt

放入一些词

2.返回hadoop文件夹，在hdfs上创建一个文件夹

bin/hdfs dfs -mkdir -p /wordcount/input

3.将/data目录下刚创建的文件放到hdfs的这个文件夹下

bin/hdfs dfs -put /home/<username>/data/wordcount.txt /wordcount/input

执行命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar <jobname> /wordcount/input /wordcount/output

发现有报错，查看报错信息

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

在etc/hadoop/mapred-site.xml中添加报错中需要的信息

配置完成后，重启服务

然后重新运行

4.查看生成的文件是否正确