Hadoop---在HDFS集群基础上搭建Map/Reduce集群

原创

于 2019-05-15 10:56:59 发布 · 182 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #人工智能 #编程语言 #程序员

本文详细介绍了如何在HDFS集群基础上搭建Map/Reduce集群，包括硬件配置、软件架构部署、配置文件设置、启动步骤，以及需要注意的日志检查和面试相关知识。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 硬件：VMWARE 虚拟机   * 4台，256M内存,20G硬盘
    操作系统： RHEL_64_5.4

2. 基本软件架构部署：
               IP地址               主机名称                              目录                                          功能
    1. 192.168.204.128    master                        /data/hadoop/name                        namenode节点
                                                                            /data/hadoop/mapred_local_dir      jobtracker 节点
    2. 192.168.204.129    secondarynamenode    /data/hadoop/namesecondary       secondarynamenode节点

    3. 192.168.204.130     slave01                       /data/hadoop/data01、data02        datanode节点
                                                                           /data/hadoop/mapred_local_dir       tasktracker 节点
    4. 192.168.204.134     slave02                       /data/hadoop/data01、data02        datanode节点
                  &