MapReduce的配置详解 - hadoop1.2.1

最新推荐文章于 2025-08-11 13:56:33 发布

转载最新推荐文章于 2025-08-11 13:56:33 发布 · 101 阅读

CC 4.0 BY-SA版权

原文链接：https://segmentfault.com/a/1190000005710676

文章标签：

本文档详细介绍了Hadoop单节点环境的搭建过程，包括关闭防火墙、配置mapred-site.xml文件、启动所有服务及验证步骤。此外还提供了通过jar文件执行MapReduce任务的方法，并涉及了必要的主机映射配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关闭防火墙 service iptables stop
修改 vi /home/hadoop-1.2/conf/mapred-site.xml

配置主JobTracker
```
<property>
                <name>mapred.job.tracker</name>
            <value>hnd1:9001</value>
    </property>

配置TaskTracker
```
最好运行在HDFS的DataNode上默认也是在DataNode上所以不需要修改配置

把配置文件复制到其他机器上
scp ./mapred-site.xml root@hnd2:/home/hadoop-1.2/conf/
scp ./mapred-site.xml root@hnd3:/home/hadoop-1.2/conf/
启动
cd /home/hadoop-1.2/bin/
./start-all.sh
jps查看启动进程
访问
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
hadoop执行jar文件
创建输入目录
./hadoop fs -mkdir /usr/input

./hadoop jar /home/hadoop/package/wordcount.jar com.hadoop.mr.JobRun
在目录C:WindowsSystem32driversetc中
修改文件hosts

添加
192.168.40.101 hnd1
192.168.40.102 hnd2
192.168.40.103 hnd3
192.168.40.104 hnd4