hadoop升级

最新推荐文章于 2022-08-15 08:32:42 发布
原创 最新推荐文章于 2022-08-15 08:32:42 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Hadoop集群从namenode到datanode的升级流程，包括更新操作、关键命令执行步骤以及升级后的检查确认，确保集群稳定运行。

首先停机，更新namenode,datanode上hadoop，然后

namenode节点上进行:

 

915  hadoop namenode -upgrade
  916  hadoop namenode -rollback
  917  hadoop namenode -upgrade
  918  hadoop dfsadmin  -finalizeUpgrade
  919  hadoop namenode -upgrade

  914  hadoop dfsadmin -upgradeProgress status

datanode上进行:

 396  hadoop datanode -upgrade
  397  hadoop datanode -rollback
  398  hadoop datanode -upgrade
  399  hadoop DataNode -upgrade
  400  hadoop datanode -upgrade
  401  tail -f /opt/modules/hadoop/logs/hadoop-root-datanode-data-test-209.log
  402  hadoop datanode -upgrade
  403  hadoop datanode -rollback
  404  hadoop datanode -finalized

 

Hadoop升级失败，File system image contains an old layout version -64
JustinMars的博客
06-19 388
datasophon 部署Hadoop版本。原始版本 Hadoop 3.1.3。升级版本 Hadoop 3.3.3。查看Hadoop格式化版本。
Hadoop 3.0升级
fzw的专栏
10-10 1998
Hadoop 3.0版本升级，解决多个漏洞
Hadoop的升级和回滚
06-09
要升级了、要回滚了、升级和回滚、Hadoop如何升级和回滚
【4】Hadoop HDFS 版本升级
摩西莫西
11-13 350
1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份2：备份dfs.namenode.dir下文件3：停止所有节点 bin/stop-all.sh4：在所有节点上重新部署hadoop 并替换conf文件夹下所有文件（就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoo...
Hadoop--组件了解
细心程度决定你的成败
05-26 999
准备接触大数据体系，所以我优先去了解一下Hadoop这个大生态环境，并且去了解这个生态的整体组件内容，都有什么。Apache Hadoop官网，了解到Hadoop是一个开源软件作为可靠，可升级的分布式计算。要了解Hadoop我觉得先去了解其中的组件，了解其对应的组件都有什么，这样方便你有一个大范围的了解，并可以更好的深入了解其中各个内容，并串联起来。 模块名 H...
Hadoop手动升级HA配置手册
数据科学汇集
01-11 2905
Hadoop手动升级HA配置手册 1 Hadoop组件升级 本文是Apache hadoop、Hbase升级至CDH版hadoop、Hbase,同时涵盖了Hadoop HA的配置的操作手册.. 2 Hadoop升级 2.1 Hadoop升级准备 2.1.1 环境说明 Hadoop原始版本、升级版本分别为:Apache Hadoop 1.2.1,hadoop2.5.0-CDH5.3.3
Hadoop简介及组件详解
向及了爱情
03-28 1247
**Hadoop:**是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解底层情况，进行离线分析 运算和存储（集群为前提）。 历史背景：请点击 发展史： Lucene是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。最初是由Doug Cutting编写，并于2000年3月在SourceForge上开源并提供下载的。2001年9月份Lucene作为高质量的Java开源软件...
Hadoop升级前需要考虑的一些事情
走在前往架构师的路上
02-27 1650
文章目录前言Hadoop升级的目标版本的选择Hadoop升级过程需要做的准备工作 前言 现今Hadoop版本已经release到了Hadoop 3.x版本了，社区迭代更新的速度还是很快的。新的版本相对旧版本来说，能够给我们带来很多益处，诸如新的功能feature，众多bug fix以及一些大的performance的改进。始终维护运行一个陈旧的系统，意味着后期可能会遇到许多许多社区已fix的bug，这个将会消耗掉系统管理员日常相当多的工作时间。尤其当我们维护的是一个具有庞大规模的分布式系统。所以对于复杂系
大规模 Hadoop 升级在 Pinterest 的实践
过往记忆大数据
08-15 774
Monarch 是 Pinterest 的批处理平台，由30多个 Hadoop YARN 集群组成，其中17k+节点完全建立在 AWS EC2 之上。2021年初，Monarch 还在使用五年前的 Hadoop 2.7.1。由于同步社区分支（特性和bug修复）的复杂性不断增加，我们决定是时候进行版本升级了。我们最终选择了Hadoop 2.10.0，这是当时 Hadoop 2 的最新版本。本文分享 ...
Hadoop 2.6.0升级至Hadoop 3.2.1及回滚
Deegue
07-20 3172
1、背景 计划升级Hadoop版本从2.6.0-cdh5.16.1升级至开源3.2.1。 Hive版本为2.3.6，与Hadoop3.2.1不兼容，于是测试Hive3.1.3。 2、问题 ① 启动报错 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.
【大数据】Apache Hadoop进行版本升级的操作
zxln007的博客
04-30 1万+
3月份，公司最大的集群要从Hadoop2.4升级到Hadoop2.8 ，是一个大版本跨度的升级操作，所以前期对Hadoop2.8版本进行了很多功能和性能方面的验证和测试。同时也拟定了几个升级和回滚方案。由于集群的离线任务一般在夜间，所以夜间的HDFS压力很大，RPC延迟很高，导致集群性能下降，最终升级是在这种集群快要支撑不住的情况下进行的。当然，升级过程还算比较平稳，没有出现什么惊心动魄的事情。我...
【转】hadoop升级方案（2.x --＞ 3.x）
baghdad21的博客
05-20 1656
标题：vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践 正文：https://my.oschina.net/vivotech/blog/5526521
linux环境下hadoop版本的升级、更换
weixin_41255682的博客
08-06 5571
原版本：1.2.1，预更换版本：2.6.4 下载hadoop的tar.gz文件：hadoop-2.6.4.tar.gz 解压tar.gz文件：tar -zxvf hadoop-2.6.4.tar.gz 修改文件内容或者直接用原来版本的这些文件覆盖新下载的文件： hadoop-env.sh core-site.xml hdfs-site.xml   mapred-site.xml y...
Hadoop版本升级（2.7.6 => 3.1.2）
aju1790的博客
08-09 2236
　　自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了Hive on Spark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在学校服务器上部署的Hadoop版本是3.1.2，现打算将自己的从2.7.6升级到3.1.2版本，同时也当作练练手并记录以便以后参考。这是一个大版本跨度...
hadoop2.6.0升级到最新2.10或3.x
lxhjava的博客
02-25 2912
参考地址： https://www.cnblogs.com/luengmingbiao/p/11324801.html https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html https://hadoop.apache.org/docs/r2.10.0/hado...
Hadoop生态圈（十一）- HDFS集群滚动升级
程序园@大Null
01-19 2115
目录1. 介绍2. 升级2.1 不停机升级2.1.1 升级非联邦集群2.1.2 升级联邦集群2.2 停机升级2.2.1 升级非HA集群3. 降级和回滚3.1 降级3.2 回滚4. 滚动升级相关命令4.1 dfsadmin –rollingUpgrade4.2 dfsadmin –getDatanodeInfo4.3 dfsadmin –shutdownDatanode4.4 namenode –rollingUpgrade 1. 介绍   HDFS 滚动升级允许升级单个 HDFS 守护程序。例如，可以独立于
Apache Hadoop 3.x 最新状态以及升级指南
过往记忆大数据
02-04 2231
本文来自 2019年9月23日至26日在纽约举办的 Strata Data Conference，分享者是来自 Cloudera 的Wangda Tan 和 Wei-Chiu Chua...
Hadoop Hdfs常用命令
热门推荐
sunshingheavy的专栏
11-19 5万+
Hadoop Hdfs常用命令   概述  本文档介绍Hadoop hdfs系统的一些常用命令。  操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(hadoop dfs命令已不再建议使用)   参考: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html   常用命令 一、 
hadoop2升级的那点事情(详解)
weixin_34292287的博客
09-17 232
前言 前阵子，公司的hadoop从hadoop1.02升级到hadoop2.4.1，记录下升级的步骤和遇到的问题，和大家分享，希望别人可以少走一些弯路 技术选型   当前使用版本：     apache hadoop 1.0.2      hive 0.10  升级目标版本     Apache hadoop 2.4.1     Hive 0.13   升级风险点 Hdfs的升级Had...
YARN架构解析：Hadoop升级与分布式处理新时代
Hadoop Yarn详解深入探讨了Apache Hadoop自其2005年发布以来的演进历程，尤其是随着大数据需求的增长和处理模式的变化。最初的Hadoop主要依赖MapReduce处理引擎，但随着时间的发展，这个框架被扩展为一个更为通用的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值