从 Yarn 回滚到 Hadoop 1.x

大数据课程知识点总结——Hadoop 在设计Block大小的时候,考虑了寻址时间和Block的传输时间的比例。建立好管道后,客户端对当前Block块封包成一个个64KB的Packet(每个Packet由512字节的trunk和4字节的校验文件组成),写入第一个节点,然后由第一个副本所在节点传输给下一个节点,直到写入最后一个节点。Spill阶段:当缓冲区使用达到指定阈值,MapTask会将缓冲区中的数据溢写到本地磁盘上,之后会根据索引进行快速排序,如果用户指定了combine和压缩操作,会执行对应的操作。从Hadoop2.0开始,支持追加写入。 阅读详情

上一篇博客介绍了如何从Hadoop 1.x升级到Yarn ,而这篇博客将介绍如何从从 Yarn 回滚到 Hadoop 1.x。以下是主要步骤。

1、首先,能够回滚的前提是之前upgrade后没有执行过finalizeUpgrade的操作,否则将会导致回滚失败、NameNode不能正常启动:


2、设置、启用Hadoop 1.x的环境变量

3、更改‘dfs.data.dir’目录的权限

Hadoop 2.x 与 Hadoop 1.x 对 dfs.data.dir 目录的权限设定不一样,因此回滚回Hadoop 1.x前,需要把dfs.data.dir 目录的权限改回为755,否则会报错:

4、执行命令“start-dfs.sh -rollback”

这样cluster就成功回滚到Hadoop 1.x了。




yarn-1.12.3 国内下载yarn安装包太慢了,需要切换到国外站才能很快下载。这里分享给大家。 立即下载

相关推荐

慕课软件质量保证与测试(习题集)

慕课金陵科技学院.软件质量保证与测试.期末复习.习题汇总0 总目录1 绪论1.1 软件质量保证与测试的产生与发展1.2 软件缺陷,软件错误,软件故障1.3 软件质量保证与测试的意义,原则和挑战1.4 单元测试1.5 课后作业2 软件测试策略2.1 软件测试的模型,过程和生命周期2.2 软件测试的方法和技术2.3 单元测试2.4 课后作业3 黑盒测试3.1 黑盒测试概述3.2 等价类划分测试3.3 边界值测试3.4 错误推测法3.5 判定表驱动法3.6 因果图法3.7 场景法3.8 正交实验法3.9 单元测试

weixin_42473228的博客 5万+

Hadoop:HDFS升级和回滚机制

Hadoop培训教程:HDFS升级和回滚机制,作为一个大型的分布式系统,Hadoop内部实现了一套升级机制,当在一个集群上升级Hadoop时,像其他的软件升级一样,可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中,丢失数据是不允许的,更不用说重新搭建启动HDFS了。当然,升级可能成功,也可能失败。如果失败了,那就用rollback进行回滚;如果过了一段时间

oraclestudyroad的博客 3563

h5支付不能打开支付宝 ios_iOS支付宝H5支付无法返回APP解决方案

本文前大段在讲楼主是如何解决这个问题的,以及中间遇到的麻烦。赶时间的同学可以直接看最后的 最终解决方案。在讨论之前,我们先看看官方文档上的一句话:注意:在iOS系统中,唤起支付宝App支付完成后,不会自动回到浏览器或商户APP。用户可手工切回到浏览器或商户APP;支付宝H5收银台会自动跳转回商户return_url指定的页面。what? 官方直接跟我们说GG了?楼主不甘心,还是想尝试一下。借鉴之前...

weixin_39864101的博客 854

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤

在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x,那里面只讨论了成功升级,那么如果集群升级失败了,我们该如何从失败中回滚呢?这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后,如何回滚。   1、如果你将Hadoop1.x升级到Hadoop2.x的过程中

dfzha的专栏 1187

算法面试准备 - 手撕系列第五期 - 单头注意力机制(包括Self_atten和Cross_atten)

算法面试准备 - 手撕系列第五期 - 单头注意力机制(包括Self_atten和Cross_atten)

m0_62030579的博客 3608

CELF(Cost-Effective Lazy Forward selection)具有成本效益的惰性前向选择算法

CELF(Cost-Effective Lazy Forward selection)算法解析      引言:在社交网络影响力最大化问题的求解过程中,我们往往需要去选择一些目标种子结点作为信息初始传播的源头。贪婪算法在传播效果上的解决可以达到影响的最大化,但是在时间复杂度上面显得确十分糟糕。为此CELF算法应势而生,CELF算法利用了函数次模性的特点,在第一轮选择种子结点时,计算网络中所有节点的边际收益,但将在之后的过程中,不再做网络节点边际收益的重复计算,这相对于传统的贪婪算法,将在时间上得到非常明显的

hahaxq的博客 2477

hadoop集群升级失败回滚策略

一.错误概述   因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现

yangbaba2000的专栏 1417

量化回测框架三选一:Backtrader、Zipline、PyAlgoTrade,新手到底该跟谁学?

本文对比分析了三大量化回测框架Backtrader、Zipline和PyAlgoTrade,帮助新手选择最适合的入门工具。从安装配置、策略编写到文档查阅,详细解析各框架的特点和适用场景,为量化交易初学者提供实用指南。

weixin_28745309的博客 268

HDFS集群滚动升级和降级回滚

HDFS集群滚动升级和降级回滚

GG Bond 的博客 1064

2026年03月CCF-GESP编程能力等级认证C++编程一级真题解析

本文收录于专栏《。订阅后可阅读专栏内所有文章。

人生就是一个不断学习的过程 339

Python进阶005:修改Jupyter Notebook的工作路径

1、Jupyter Notebook简介 2、修改Jupyter Notebook的工作路径 如下三个步骤: 一、安装notebook 在CMD命令行中输入: pip install notebook 二、启动notebook jupyter notebook 启动后发现是在你的用户目录下,如下图所示,但是该目录下有很多的其他文件或文件夹,因此我想把这个环境切换到我单门创建的一个文件夹中。 三、创建notebook的配置文件 在CMD命令行中执行: jupyter notebook --genera

若北辰 1386

关于Yarn

啊这:啊这:啊这:啊这:

X 490

搭建自己的MQTT服务器,实现设备上云(Ubuntu+EMQX)

这篇文章教大家在ECS云服务器上部署EMQX,搭建自己私有的MQTT服务器,配置EMQX实现设备上云,设备数据转发,存储;服务器我采用的华为云的ECS服务器,系统选择Ubuntu系统。

2万+

告别卡顿:Hadoop 2.x到3.x无缝迁移实战指南

你是否正面临Hadoop集群升级的困境?数据迁移风险高、兼容性问题频发、性能不升反降?本文将通过三个实战阶段,帮你避开90%的迁移陷阱,实现零停机升级并获得3倍性能提升。 ## 迁移前准备:兼容性检测与环境评估 在开始迁移前,需要对现有Hadoop 2.x环境进行全面评估。首先检查核心组件版本,包括HDFS(Hadoop分布式文件系统)、YARN(Yet Another Resource Ne...

gitblog_00981的博客 899

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

YARN不是调度器:揭秘Hadoop分布式操作系统内核架构

YARN是Hadoop生态中首个将计算资源抽象为可编程操作系统内核的基础设施,其核心在于资源抽象、进程隔离与生命周期自治。它通过ResourceManager、ApplicationMaster和NodeManager构成的双层调度模型,实现全局资源仲裁与应用级智能调度的解耦。技术价值体现在多租户隔离、跨框架资源复用及生产级容错能力,广泛应用于Spark、Flink等大数据引擎的资源底座。深入理解YARN的CGroups内存控制、Timeline Server事件总线与RM HA状态恢复机制,是构建高可用P

congbao6525的博客 391

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Hadoop -- 2.7.x到2.10.0不停机滚动升级

向导1. 部署新版本hadoop2. 切换zkfc和journalnode3. 切换namenode4. 切换datanode5. 切换yarn6. 提交完成滚动升级 1. 部署新版本hadoop 在一个节点部署,并拷贝所有配置文件到新版本文件夹中 分发到各个节点 切换环境变量 2. 切换zkfc和journalnode 因为zkfc和journalnode不需要更新,所以直接将原服务停掉,启动新的zkfc和journalnode即可 3. 切换namenode 运行hdfs dfsadmin -ro

TheBigBlue的博客 1280

Hadoop实践 | 58同城Hadoop2.6升级3.2实践

Hadoop3已经发布了多个稳定版本,最新版本为3.3.0,Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面...

Focus on Lakehouse 1060

hadoop2升级的那点事情(详解)

前言前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路技术选型  当前使用版本:     apache hadoop 1.0.2      hive 0.10  升级目标版本     Apache hadoop 2.4.1     Hive 0.13 升级风险点Hdfs的升级Hadoop升级最主要是hdf...

小白的博客 264

Hadoop2.6 升级到 3.2 在58同城的实践

Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面,支持多集群Federation,可以有效利用多YARN集群...

过往记忆大数据 893

【限时公开】VMware+CentOS 7.9+Hadoop 3.x生产级集群模板(含OVA镜像+Ansible自动化部署包,仅剩87份)

快速实现VMware搭建Hadoop集群,提供开箱即用的生产级解决方案。基于CentOS 7.9与Hadoop 3.x,含预配置OVA镜像及Ansible自动化部署包,支持一键部署、高可用配置与性能调优,适用于教学、测试与中小规模生产环境。值得收藏。

LogicPlex的博客 217

VMware虚拟机搭建Hadoop+Spark集群实战指南

虚拟化技术通过创建隔离的虚拟环境,为软件开发与测试提供了安全可靠的沙箱。VMware作为行业领先的虚拟化平台,其快照功能和资源隔离特性特别适合搭建大数据集群实验环境。Hadoop和Spark作为主流的大数据处理框架,在分布式计算领域有着广泛应用。通过虚拟机部署这些框架,开发者可以在本地机器上模拟真实集群环境,学习分布式系统原理与实践。本文详细介绍如何使用VMware Workstation Pro搭建Hadoop+Spark集群,包括虚拟机配置、CentOS系统优化、SSH免密登录设置以及集群部署的具体步骤

weixin_29054399的博客 246

Hadoop技术生态与集群部署实战指南

分布式计算是现代大数据处理的核心技术,其核心原理是通过多台服务器协同工作来提升计算和存储能力。Hadoop作为分布式计算的基石技术,通过HDFS实现分布式文件存储,YARN进行资源调度,MapReduce处理批量数据。这些组件共同构成了一个完整的生态系统,广泛应用于企业级数据分析和处理场景。在实际工程实践中,合理的集群规划、硬件选型以及参数调优对系统性能至关重要。例如,HDFS的默认块大小设置为128MB,这是权衡磁盘寻道时间和网络传输效率的结果。随着技术的发展,Hadoop已支持容器化部署,并与Spark

weixin_33898233的博客 439
上一篇: 从Hadoop 1.x升级到Yarn
下一篇: HBase导出CSV格式数据的方法
坡上的云
博客等级 码龄20年 50粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值