从 Yarn 回滚到 Hadoop 1.x

大数据课程知识点总结——Hadoop 在设计Block大小的时候,考虑了寻址时间和Block的传输时间的比例。建立好管道后,客户端对当前Block块封包成一个个64KB的Packet(每个Packet由512字节的trunk和4字节的校验文件组成),写入第一个节点,然后由第一个副本所在节点传输给下一个节点,直到写入最后一个节点。Spill阶段:当缓冲区使用达到指定阈值,MapTask会将缓冲区中的数据溢写到本地磁盘上,之后会根据索引进行快速排序,如果用户指定了combine和压缩操作,会执行对应的操作。从Hadoop2.0开始,支持追加写入。 阅读详情

上一篇博客介绍了如何从Hadoop 1.x升级到Yarn ,而这篇博客将介绍如何从从 Yarn 回滚到 Hadoop 1.x。以下是主要步骤。

1、首先,能够回滚的前提是之前upgrade后没有执行过finalizeUpgrade的操作,否则将会导致回滚失败、NameNode不能正常启动:


2、设置、启用Hadoop 1.x的环境变量

3、更改‘dfs.data.dir’目录的权限

Hadoop 2.x 与 Hadoop 1.x 对 dfs.data.dir 目录的权限设定不一样,因此回滚回Hadoop 1.x前,需要把dfs.data.dir 目录的权限改回为755,否则会报错:

4、执行命令“start-dfs.sh -rollback”

这样cluster就成功回滚到Hadoop 1.x了。




yarn-1.12.3 国内下载yarn安装包太慢了,需要切换到国外站才能很快下载。这里分享给大家。 立即下载

相关推荐

如何用DETR(detection transformer)训练自己的数据集

DETR(detection transformer)简介 DETR是Facebook AI的研究者提出的Transformer的视觉版本,是CNN和transformer的融合,实现了端到端的预测,主要用于目标检测和全景分割。 DETR的Github地址:link

weixin_50233398的博客 3万+

Hadoop:HDFS升级和回滚机制

Hadoop培训教程:HDFS升级和回滚机制,作为一个大型的分布式系统,Hadoop内部实现了一套升级机制,当在一个集群上升级Hadoop时,像其他的软件升级一样,可能会有新的bug或一些会影响现有应用的非兼容性变更出现。在任何有实际意义的HDFS系统中,丢失数据是不允许的,更不用说重新搭建启动HDFS了。当然,升级可能成功,也可能失败。如果失败了,那就用rollback进行回滚;如果过了一段时间

oraclestudyroad的博客 3563

从零到一:手把手教你用YonBuilder for NCC搭建NC Cloud 2021.11开发环境(含避坑指南)

本文详细指导如何使用YonBuilder for NCC搭建NC Cloud 2021.11开发环境,涵盖硬件要求、软件安装、YonBuilder配置及常见故障排除。特别提供避坑指南,帮助开发者快速上手NCC开发,确保环境配置的原子化分解和开发思维的体系化建立。

weixin_42523326的博客 345

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤

在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x,那里面只讨论了成功升级,那么如果集群升级失败了,我们该如何从失败中回滚呢?这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后,如何回滚。   1、如果你将Hadoop1.x升级到Hadoop2.x的过程中

dfzha的专栏 1187

CMU开源NavRL:深度强化学习如何破解无人机动态避障难题?

卡内基梅隆大学(CMU)开源了NavRL框架,利用深度强化学习解决无人机在复杂环境中的动态避障难题。该框架通过创新的状态表示、多目标奖励函数设计以及独立的安全屏障机制,使无人机能够通过仿真训练自主学会灵活、安全的导航策略,并成功实现从仿真到真实环境的零样本迁移。

hope8的博客 720

STM32鱼塘水质监测系统设计与实现

物联网技术在农业领域的应用正逐步深入,其中传感器网络作为关键基础设施,通过实时数据采集与传输实现环境监测。基于STM32微控制器的嵌入式系统因其高性能和低功耗特性,成为物联网终端设备的理想选择。该系统通过DS18B20水温传感器、PH传感器和浊度传感器组成的多参数检测网络,配合4G通信模块实现水质数据的远程监控。在农业物联网场景中,这种解决方案不仅大幅降低了传统人工检测的成本,更能通过实时预警有效预防养殖损失。本文介绍的鱼塘水质监测系统正是这一技术的典型应用,展示了如何通过STM32和常见传感器构建高性价比

weixin_42173218的博客 621

hadoop集群升级失败回滚策略

一.错误概述   因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION).但我们发现

yangbaba2000的专栏 1417

第55篇:数据隐私保护技术盘点——差分隐私、同态加密与它们的坑(踩坑总结)

数据隐私保护是AI工程化中必须严肃对待的课题。差分隐私和同态加密是两把利器,但也都是“重武器”,使用不当反而会伤及自身。差分隐私像“模糊处理”,通过加噪来保证统计安全性,要小心管理隐私预算和效用权衡。同态加密像“保险箱里打算盘”,保证了计算的精确性,但必须承受巨大的性能和工程复杂度代价。我的建议是:从小规模实验开始,先用DP-SGD在MNIST/CIFAR-10等标准数据集上感受噪声与精度的关系;再用TenSEAL等易用的库尝试一个加密逻辑回归,体会密文膨胀和速度延迟。

ai_blue_pm的博客 281

HDFS集群滚动升级和降级回滚

HDFS集群滚动升级和降级回滚

GG Bond 的博客 1064

Cadence SPB16. 6 安装流程

1.首先下载CadenceAllegroSPBorCAD16.6安装包 下载之后运行其中的setup.exe,然后先安装第一项LicenseManager 一直按next或install, 直到被询问license时,单击cancel,然后选是和finish。 2,安装Product Installtion 直接点next跳过这一步 安装完成后,点Exit退出 3.按ctrl+alt+delete打开任务管...

wangjie36的博客 5148

移位寄存器——用Verilog实现串入串出、串并和并串转换并进行Modelsim仿真

用Verilog实现串并转换 首先我们先要了并串和串并转换的原理 并串转换:先将八位数据暂存于一个八位寄存器器中,然后左移输出到一位输出端口,这里可以通过一个“移位”来实现,相当于实现了移位寄存器的功能。 串并转换:新输入的位值成为原来数据的最低位,将原来数据的最高位舍去,这里可以通过一个简单的“连接符”来实现。 我们这里采用两种方式来进行串并转换 一:lsb优先 Least Significant Bit,最低比特,最低位优先 二:msb优先 Most Significant Bit,最高比特,

H19981118的博客 2万+

关于Yarn

啊这:啊这:啊这:啊这:

X 490

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

告别卡顿:Hadoop 2.x到3.x无缝迁移实战指南

你是否正面临Hadoop集群升级的困境?数据迁移风险高、兼容性问题频发、性能不升反降?本文将通过三个实战阶段,帮你避开90%的迁移陷阱,实现零停机升级并获得3倍性能提升。 ## 迁移前准备:兼容性检测与环境评估 在开始迁移前,需要对现有Hadoop 2.x环境进行全面评估。首先检查核心组件版本,包括HDFS(Hadoop分布式文件系统)、YARN(Yet Another Resource Ne...

gitblog_00981的博客 899

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

YARN不是调度器:揭秘Hadoop分布式操作系统内核架构

YARN是Hadoop生态中首个将计算资源抽象为可编程操作系统内核的基础设施,其核心在于资源抽象、进程隔离与生命周期自治。它通过ResourceManager、ApplicationMaster和NodeManager构成的双层调度模型,实现全局资源仲裁与应用级智能调度的解耦。技术价值体现在多租户隔离、跨框架资源复用及生产级容错能力,广泛应用于Spark、Flink等大数据引擎的资源底座。深入理解YARN的CGroups内存控制、Timeline Server事件总线与RM HA状态恢复机制,是构建高可用P

congbao6525的博客 391

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Hadoop -- 2.7.x到2.10.0不停机滚动升级

向导1. 部署新版本hadoop2. 切换zkfc和journalnode3. 切换namenode4. 切换datanode5. 切换yarn6. 提交完成滚动升级 1. 部署新版本hadoop 在一个节点部署,并拷贝所有配置文件到新版本文件夹中 分发到各个节点 切换环境变量 2. 切换zkfc和journalnode 因为zkfc和journalnode不需要更新,所以直接将原服务停掉,启动新的zkfc和journalnode即可 3. 切换namenode 运行hdfs dfsadmin -ro

TheBigBlue的博客 1280

Hadoop实践 | 58同城Hadoop2.6升级3.2实践

Hadoop3已经发布了多个稳定版本,最新版本为3.3.0,Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面...

Focus on Lakehouse 1060

hadoop2升级的那点事情(详解)

前言前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路技术选型  当前使用版本:     apache hadoop 1.0.2      hive 0.10  升级目标版本     Apache hadoop 2.4.1     Hive 0.13 升级风险点Hdfs的升级Hadoop升级最主要是hdf...

小白的博客 264

Hadoop2.6 升级到 3.2 在58同城的实践

Hadoop3.x中增加了很多特性和重大改进。在HDFS方面,最主要是EC能力成熟,显著降低HDFS数据存储成本。在Yarn层面,支持多集群Federation,可以有效利用多YARN集群...

过往记忆大数据 893

【限时公开】VMware+CentOS 7.9+Hadoop 3.x生产级集群模板(含OVA镜像+Ansible自动化部署包,仅剩87份)

快速实现VMware搭建Hadoop集群,提供开箱即用的生产级解决方案。基于CentOS 7.9与Hadoop 3.x,含预配置OVA镜像及Ansible自动化部署包,支持一键部署、高可用配置与性能调优,适用于教学、测试与中小规模生产环境。值得收藏。

LogicPlex的博客 217

VMware虚拟机搭建Hadoop+Spark集群实战指南

虚拟化技术通过创建隔离的虚拟环境,为软件开发与测试提供了安全可靠的沙箱。VMware作为行业领先的虚拟化平台,其快照功能和资源隔离特性特别适合搭建大数据集群实验环境。Hadoop和Spark作为主流的大数据处理框架,在分布式计算领域有着广泛应用。通过虚拟机部署这些框架,开发者可以在本地机器上模拟真实集群环境,学习分布式系统原理与实践。本文详细介绍如何使用VMware Workstation Pro搭建Hadoop+Spark集群,包括虚拟机配置、CentOS系统优化、SSH免密登录设置以及集群部署的具体步骤

weixin_29054399的博客 246

Hadoop技术生态与集群部署实战指南

分布式计算是现代大数据处理的核心技术,其核心原理是通过多台服务器协同工作来提升计算和存储能力。Hadoop作为分布式计算的基石技术,通过HDFS实现分布式文件存储,YARN进行资源调度,MapReduce处理批量数据。这些组件共同构成了一个完整的生态系统,广泛应用于企业级数据分析和处理场景。在实际工程实践中,合理的集群规划、硬件选型以及参数调优对系统性能至关重要。例如,HDFS的默认块大小设置为128MB,这是权衡磁盘寻道时间和网络传输效率的结果。随着技术的发展,Hadoop已支持容器化部署,并与Spark

weixin_33898233的博客 439
上一篇: 从Hadoop 1.x升级到Yarn
下一篇: HBase导出CSV格式数据的方法
坡上的云
博客等级 码龄20年 50粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值