Hadoop版本升级之Hadoop2.5.2滚动升级到Hadoop2.10.2（Hadoop HA）

---

前言

简要记录升级过程，备忘
如参考本步骤升级的，请在测试环境测试
升级步骤仅供参考，出现任何问题，责任自负，谢谢！

一、 升级前准备

1. 解压Hadoop2.10.2

上传到目录/home/softwares

 tar –zxvf hadoop-2.10.2.tar.gz

2. 拷贝旧配置文件到新版本

cp $HADOOP_HOME/etc/hadoop/core-site.xml /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/hadoop-env.sh /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/log4j.properties /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/mapred-site.xml /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/masters /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/slaves /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/etc/hadoop/fair-scheduler.xml /home/softwares/hadoop-2.10.2/etc/hadoop
cp $HADOOP_HOME/share/hadoop/common/lib/zookeeper-3.4.6.jar /home/softwares/hadoop-2.10.2/share/hadoop/common/lib

3. 删除自带的zk

rm -rf /home/softwares/hadoop-2.10.2/share/hadoop/common/lib/zookeeper-3.4.14.jar

4. 分发到其他服务器

scp -r /home/softwares/hadoop-2.10.2 192.168.9.109:/home/softwares

5. 修改环境Hadoop变量

因为没有做软连接，所以就硬改了

vi /etc/profile

# 使配置生效
source /etc/profile

或

vi ~/.bash_profile

# 使配置生效
source /etc/profile

二、升级

1. 创建回滚fsimage

登录从节点

hdfs dfsadmin -rollingUpgrade prepare

可以通过查询命令查看一下创建的情况

hdfs dfsadmin -rollingUpgrade query

大致效果如下图

2. 登录主节点关闭NameNode

hadoop-daemon.sh stop namenode

如果使用上述命令关不掉则 kill 掉namenode进程

3. 主节点上升级

hadoop-daemon.sh start namenode -rollingUpgrade started

命令执行完毕后，查看hadoop页面，是否已升级成功，页面版本显示2.10.2则说明版本的namenode升级成功。
地址：http://192.168.9.108:50070

4. 从节点关掉namenode

hadoop-daemon.sh stop namenode

5. 从节点上升级

hadoop-daemon.sh start namenode -rollingUpgrade started

6. 停掉DataNode

sh /home/softwares/hadoop-2.5.2/sbin/hadoop-daemon.sh stop datanode

7. 停掉yarn

sh /home/softwares/hadoop-2.5.2/sbin stop-yarn.sh

8. 启动集群

sh /home/softwares/hadoop-2.10.2/sbin start-all.sh

9. 验证

9.1 登录50070查看

查看页面上显示的版本号是否变更
查看datanode对应的版本是否已变更（如没变停掉重启一下datanode）

9.2 wordcount测试

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar  wordcount /abc.txt /tmp_abc

10. 提交完成升级

主节点上执行

hdfs dfsadmin -rollingUpgrade finalize

11. 回滚

如果发现存在问题，可以通过如下命令回滚

hadoop-daemon.sh start namenode -rollingUpgrade rollback

三、其他

本次升级过程中，由于同步到2.10.2版本中没有如下配置，启动有问题。
yarn-site.xml

<property>
   <name>yarn.resourcemanager.webapp.address.rm1</name>
   <value>node1:8088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address.rm2</name>
   <value>node2:8088</value>
 </property>

---