从 Yarn 回滚到 Hadoop 1.x

最新推荐文章于 2024-10-16 10:22:39 发布
原创 最新推荐文章于 2024-10-16 10:22:39 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#yarn #hadoop

本文档详细介绍了如何从Yarn回滚到Hadoop1.x的步骤，包括确保未执行过finalizeUpgrade操作、设置Hadoop1.x环境变量、调整dfs.data.dir权限及执行回滚命令。

上一篇博客介绍了如何从Hadoop 1.x升级到Yarn ，而这篇博客将介绍如何从从 Yarn 回滚到 Hadoop 1.x。以下是主要步骤。

1、首先，能够回滚的前提是之前upgrade后没有执行过finalizeUpgrade的操作，否则将会导致回滚失败、NameNode不能正常启动：


2、设置、启用Hadoop 1.x的环境变量

3、更改‘dfs.data.dir’目录的权限

Hadoop 2.x 与 Hadoop 1.x 对 dfs.data.dir 目录的权限设定不一样，因此回滚回Hadoop 1.x前，需要把dfs.data.dir 目录的权限改回为755，否则会报错：

4、执行命令“start-dfs.sh -rollback”

这样cluster就成功回滚到Hadoop 1.x了。




大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一
别人笑我太疯癫，我笑他人看不穿。
08-16 1165
搭建前说明：本篇开始围绕Hadoop3.x大数据组件做集群搭建，将会直接从各组件开始搭建，至于集群的准备工作都是一样的，直接去Hadoop2.x集群搭建一和二里面去看。总体上来讲较新的版本和老版本只是在搭建上有些地方不一样，使用上差别不大。当然本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台本篇安装软件版本JAVAJDK1.8 这里不再演示，直接准备就行。
Hadoop 2.6.0升级至Hadoop 3.2.1及回滚
Deegue
07-20 3169
1、背景 计划升级Hadoop版本从2.6.0-cdh5.16.1升级至开源3.2.1。 Hive版本为2.3.6，与Hadoop3.2.1不兼容，于是测试Hive3.1.3。 2、问题 ① 启动报错 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.
mac 不小心把 yarn 升级到 3 版本，现在回退到 1版本
sinat_37108783的博客
04-27 1374
yarn 版本升级与回退
ubuntu yarn版本降级到1.3.2
aftermetyou的博客
10-12 309
首先查看当前yarn版本 当前yarn版本为1.17.3 卸载yarnsudo apt-get remove yarn点击这里下载yarn_1.3.2的安装包 cd ~/Downloads sudo dpkg -i yarn_1.3.2_all.deb 查看当前yarn版本 ...
Hadoop的升级和回滚
06-09
要升级了、要回滚了、升级和回滚、Hadoop如何升级和回滚
yarn降版本_如何降级AngularCli版本
weixin_39627408的博客
12-22 823
I have updated my angular cli version and now it showing angular : 5.2.0I have entire code build in angular4. Can you help me with the steps to downgrade my angularcli version (specific version) so th...
hadoop触发器，回滚，存储过程
QAQsuifeng的博客
04-03 2413
触发器 USE test; CREATE TABLE IF NOT EXISTS student ( username VARCHAR(20), PASSWORD VARCHAR(20), stuid INT AUTO_INCREMENT PRIMARY KEY, birthday DATE ); DROP TABLE student; SELECT * FROM student; #创建学生表 INSERT INTO student(username,PASSWORD...
【升级至Hadoop 3.x】：集群平滑过渡到新版本的实战指南
[【升级至Hadoop 3.x】：集群平滑过渡到新版本的实战指南](https://cdn.educba.com/academy/wp-content/uploads/2022/08/Features-of-Hadoop.jpg) # 1. Hadoop 3.x新特性概览 Hadoop 3.x版本的发布，为大数据处理...
【AI集成新趋势】：Hadoop 3.x新增组件Submarine与AI集成
[【AI集成新趋势】：Hadoop 3.x新增组件Submarine与AI集成](https://sdmodelmakers.com/images/category/VANGUARD (1).jpg) # 1. Hadoop 3.x核心特性与架构概述 Hadoop 3.x作为一个成熟的大数据处理框架，它的核心...
hadoop-3.1.0.rar windows 环境依赖
01-12
1. **YARN（Yet Another Resource Negotiator）**：这是Hadoop的资源管理系统，负责调度集群中的计算资源。在3.1.0版本中，YARN的性能和稳定性得到了优化，支持更多的容器管理和调度策略。 2. **HDFS（Hadoop ...
yarn-1.12.3
12-17
国内下载yarn安装包太慢了，需要切换到国外站才能很快下载。这里分享给大家。
Hadoop：HDFS升级和回滚机制
oraclestudyroad的博客
08-01 3477
Hadoop培训教程：HDFS升级和回滚机制，作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中，丢失数据是不允许的，更不用说重新搭建启动HDFS了。当然，升级可能成功，也可能失败。如果失败了，那就用rollback进行回滚;如果过了一段时间
yarn降版本_Yarn配置
weixin_33371495的博客
01-13 2377
参数名参数值描述在在平台情况、在哪个文件hdpapacheyarn.resourcemanager.am.max-attempts2http地址yarn.resourcemanager.address${yarn.resourcemanager.hostname}:8032ResourceManager对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等yarn.resource...
Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）
weixin_33936401的博客
11-03 162
HDFS升级和回滚机制 　　作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中，丢失数据是不允许的，更不用说重新搭建启动HDFS了。当然，升级可能成功，也可能失败。如果失败了，那就用rollback...
从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤
dfzha的专栏
03-04 1131
在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x，那里面只讨论了成功升级，那么如果集群升级失败了，我们该如何从失败中回滚呢？这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后，如何回滚。 　　1、如果你将Hadoop1.x升级到Hadoop2.x的过程中
HDFS集群滚动升级和降级回滚
GG Bond 的博客
09-04 925
HDFS集群滚动升级和降级回滚
hadoop集群升级失败回滚策略
yangbaba2000的专栏
02-29 1371
一.错误概述   因为需要使用hadoop与hbase结合使用，所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现
关于Yarn
X
04-07 457
啊这：啊这：啊这：啊这：
更新yarn之后整个项目运行不起来
奋斗的小青年
10-16 400
安装成功之后查看仍然是4.x版本。反复几次都是如此，后来又先清空缓存 yarn cache clean 再卸载 安装 还是不可以。更新完之后 使用yarn -v 是4.x的版本但是项目直接报错运行不起来，没办法只能卸载回退版本。今天心血来潮想更新下yarn 因为之前的还是1.22.7的版本感觉太老了。最后才发现你安装了yarn之后要使用个命令将其设置到1.22.7版本。至此，我的yarn终于回退回去了。就是使用了下面这条命令将yarn更新到最新的稳定版本。全局安装yarn 1.22.7的版本。
[root@hadoop1 /]# cd /usr/soft/hadoop-3.3.0/etc/hadoop [root@hadoop1 hadoop]# ls capacity-scheduler.xml kms-log4j.properties configuration.xsl kms-site.xml container-executor.cfg log4j.properties core-site.xml mapred-env.cmd hadoop-env.cmd mapred-env.sh hadoop-env.sh mapred-queues.xml.template hadoop-metrics2.properties mapred-site.xml hadoop-policy.xml shellprofile.d hadoop-user-functions.sh.example ssl-client.xml.example hdfs-rbf-site.xml ssl-server.xml.example hdfs-site.xml user_ec_policies.xml.template httpfs-env.sh workers httpfs-log4j.properties yarn-env.cmd httpfs-site.xml yarn-env.sh kms-acls.xml yarnservice-log4j.properties kms-env.sh yarn-site.xml
最新发布
04-24
<think>好的，用户现在的问题是询问如何在Hadoop 3.3.0中备份配置文件并删除旧绑定的具体步骤和注意事项。我需要结合用户提供的引用内容和之前的对话历史来给出准确的回答。 首先，回顾之前的对话，用户之前询问的是如何备份并删除Hadoop中的旧绑定文件slf4j-log4j12-1.7.25.jar，我给出了详细的步骤，包括定位文件、创建备份目录、执行备份操作、验证完整性以及恢复方法。现在用户的新问题涉及到配置文件的备份和旧绑定的删除，需要将这两个操作结合起来。 接下来，用户提供的引用内容中，引用[1]提到了Hive的配置文件hive-env.sh和hive-site.xml的设置，涉及Hadoop的环境变量配置。引用[2]则展示了使用curl下载Hadoop安装包和其他文件的操作，这可能与备份时的文件传输相关，但用户的问题是关于配置文件的备份，所以可能需要参考之前的备份步骤。 用户的需求是明确的：备份Hadoop 3.3.0的配置文件并删除旧绑定。需要分步骤说明，同时注意事项部分需要涵盖权限、验证、版本控制等。可能需要注意的要点包括： 1. 配置文件的常见位置：根据之前的回答，Hadoop的配置文件通常在安装目录下的etc/hadoop子目录中，比如/export/server/hadoop-3.3.0/etc/hadoop，用户提供的引用[1]中也提到了类似路径。 2. 备份方法：可以使用cp命令备份整个目录，或者使用tar打包，确保保留文件权限和时间戳。可能需要使用sudo权限，特别是如果配置文件位于系统目录下。 3. 删除旧绑定：之前的回答中提到了删除slf4j-log4j12的jar包，用户可能需要类似的操作，但这次是删除其他旧绑定，需要确认具体文件名和路径。 4. 验证步骤：备份后检查文件完整性，删除后测试Hadoop功能是否正常，如hdfs命令、yarn等。 5. 注意事项：包括权限保留、回滚计划、版本控制、集群同步（如果是多节点环境）等。 现在需要将这些步骤整合成一个清晰的指南。可能需要参考用户提供的引用中的路径，例如HIVE_CONF_DIR和HADOOP_HOME的位置，确保备份路径正确。 同时，用户提到的删除旧绑定可能指的是之前提到的slf4j-log4j12的jar文件，或者是其他需要替换的依赖项。需要明确删除的具体文件，并确保在删除前已经正确备份，避免系统无法启动。 在注意事项部分，需要强调备份的重要性，尤其是在生产环境中，操作前进行测试，以及多节点环境的同步问题。可能还需要提到使用版本控制工具管理配置变更，方便回滚。 最后，用户可能希望了解如何自动化备份和删除过程，或者如何验证操作后的系统状态，这些都需要在回答中涵盖。此外，相关问题部分可以包括自动化脚本编写、多节点配置管理、日志分析等，帮助用户进一步学习。</think>--- ### **Hadoop 3.3.0 配置文件备份与旧绑定删除操作指南** --- #### **一、配置文件备份步骤** **1. 定位核心配置文件** Hadoop 3.3.0 主配置目录（根据引用[1]的路径示例）： ```bash /export/server/hadoop-3.3.0/etc/hadoop/ ``` 关键配置文件： - `core-site.xml`（HDFS配置） - `hdfs-site.xml`（HDFS存储策略） - `yarn-site.xml`（资源管理） - `mapred-site.xml`（MapReduce配置） - `hadoop-env.sh`（环境变量） **2. 创建备份目录** 建议使用带时间戳的备份目录： ```bash mkdir -p ~/hadoop_config_backup/$(date +%Y%m%d) ``` **3. 执行备份操作** 使用`rsync`保持文件属性（需sudo权限）： ```bash sudo rsync -avz --delete \ /export/server/hadoop-3.3.0/etc/hadoop/ \ ~/hadoop_config_backup/$(date +%Y%m%d)/ ``` 或使用`tar`打包压缩： ```bash sudo tar -czvf hadoop_config_$(date +%Y%m%d).tar.gz \ -C /export/server/hadoop-3.3.0/etc/hadoop . ``` --- #### **二、删除旧绑定操作** **1. 定位旧绑定文件** 常见冲突绑定文件（根据引用[1][3]示例）： ```bash # SLF4J绑定冲突文件 /usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar # Hive相关旧绑定（参考引用[1]路径） /export/server/apache-hive-3.1.2-bin/lib/obsolete-lib.jar ``` **2. 安全删除流程** ```bash # 1. 备份旧文件 sudo cp -p /path/to/old-binding.jar ~/hadoop_lib_backup/ # 2. 验证新版本存在性（例如使用slf4j-api-2.x.x.jar） ls /usr/local/hadoop/share/hadoop/common/lib/slf4j-api-* # 3. 删除旧绑定 sudo rm -f /path/to/old-binding.jar ``` --- #### **三、操作后验证** **1. 配置文件验证** ```bash # 检查备份文件完整性 diff -qr /export/server/hadoop-3.3.0/etc/hadoop/ \ ~/hadoop_config_backup/$(date +%Y%m%d) ``` **2. 功能测试** ```bash # HDFS基础操作 hdfs dfs -ls / hdfs dfsadmin -report # YARN服务状态 yarn node -list # MapReduce测试（引用[2]的curl示例可辅助验证） hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 10 100 ``` --- #### **四、关键注意事项** 1. **权限保留** - 使用`-p`参数保留文件属性（如`cp -p`） - 配置文件默认权限应为`644`，属主为`hadoop:hadoop`[^1] 2. **回滚预案** ```bash # 快速恢复配置文件 sudo tar -xzvf hadoop_config_20231001.tar.gz \ -C /export/server/hadoop-3.3.0/etc/hadoop/ ``` 3. **多节点同步** 在集群环境中需同步所有节点： ```bash # 使用pdsh同步配置（需提前安装） pdsh -w node[1-10] "sudo systemctl stop hadoop" pdsh -w node[1-10] "rsync -avz master:/backup/path /target/path" ``` 4. **版本控制建议** 推荐使用Git管理配置变更： ```bash cd /export/server/hadoop-3.3.0/etc/hadoop git init git add . git commit -m "Backup config before removing old bindings" ``` --- ### **操作流程图** ``` [定位配置文件] → [创建时间戳备份] → [rsync/tar备份] ↓ [定位旧绑定] → [备份jar文件] → [删除冲突库] ↓ [验证功能] → [多节点同步] → [提交版本控制] ``` --- ### **相关问题** 1. 如何通过Ansible自动化Hadoop集群配置管理？ 2. 使用Zookeeper实现Hadoop配置中心化的方法？ 3. Hadoop日志文件中常见的SLF4J冲突如何排查？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值