Hadoop集群配置

环境准备

安装包下载

下载Hadoop集群包（下载路径：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/core/）
此文档编辑使用hadoop-3.1.3.tar.gz

节点环境配置

注：以下配置需要在Hadoop的每一个节点进行配置

1. 节点名配置
   
2. 修改/etc/profile
   
   注：修改之后需要刷新配置文件 source /etc/profile
3. 修改/etc/hosts
   
4. 创建HDFS元数据事务日志存放路径与数据存放路径
   此路径可以自己设定
   此文档创建的data与log目录为Hadoop解压路径
   

配置信息修改

注：以下配置需要在每一个节点进行配置

1. 修改hadoop-env.sh
   设置jdk路径
   
2. 修改core-site.sh
   
3. 修改hdfs-site.sh
   
4. 修改mapred-site.xml
   
5. 修改yarn-site.xml
   
   
6. 修改work(hadoop3.x系统)或slave(hadoop2.x)
   

启动Hadoop集群

1. 格式化namenode
   
2. 启动集群服务
   

启动中遇到的问题

1. 启动集群遇到如下异常
   
   解决办法：需要在hadoop-env.sh中加入如下配置
   
2. 启动完成之后通过jps查看进程，发现namenode没有启动
   
   解决办法：重新格式化namenode