hadoop2.x升级到3.x注意事项

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 542平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄7年

关注

原创最新推荐文章于 2026-03-24 12:51:41 发布 542 阅读 AI 写同款· GEO 优化 ›

手把手教你Hadoop2迁移Hadoop3 详细教程本文详细介绍了在CentOS 7.9上配置Hadoop和Hive的源集群与目标集群的步骤，并描述了通过DistCp工具和导入/导出方式进行ORC表数据迁移的过程。本文主要包含三个部分：环境配置、Kerberos配置和数据迁移方案。阅读详情

hdfs 50070无法访问，原因是未配置hdfs-site.xml

<property>
      <name>dfs.namenode.http-address</name>
      <value>hadoop102:50070</value>
</property>

其他节点未启动 NameNode NodeManager，在/home/baiyun/my_soft/hadoop-3.2.1/etc/hadoop/workers中配置其他节点地址，而不是slaves中

[baiyun@hadoop102 hadoop]$ cat workers 
hadoop102
hadoop103
hadoop104

在这里插入图片描述

收录于

大数据数仓

当前文章被收录于：

大数据数仓

34 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#hadoop

Author:baiyun ,Email:mitbaiyun@163.com

Hadoop2.0到Hadoop3.0简述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS 阅读详情

相关推荐

Hadoop 2.x hdfs（热/冷）升级步骤

热升级步骤 1.执行一次fsck，记录文件情况与升级后的fsck情况对比。 —— ./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log ./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log ./bin/had

tomson8975的博客 1293

hadoop

Hadoop是一个开源的分布式管理计算系统，旨在处理大规模数据集的存储和处理问题。它由Apache软件基金会维护和开发，是基于Google的MapReduce和Google文件系统（GFS）论文的思想而构建的。HDFS是一个分布式文件存储系统，用于在大型集群上存储数据。它将数据分成块并在集群中的多个节点上分布存储，以实现高可用性和容错性。HDFS的设计适用于存储大文件，通常用于批量处理任务。MapReduce是Hadoop的计算模型，用于并行处理和分析大规模数据。

weixin_46574337的博客 511

Hadoop中 8020、9000、50070 端口用途的详细对比

Hadoop 的核心服务通过不同端口对外提供服务，不同版本中端口号可能有所变化。Hadoop 3.x 对部分默认端口进行了调整，例如 NameNode 的 RPC 端口在 2.x 和 3.x 中均为 8020，而 9000 端口在 3.x 中已弃用。HTTP 管理界面端口在 2.x 中为 50070，而在 3.x 中改为 9870。配置文件（如 hdfs-site.xml）中需明确指定端口，避免硬编码。升级时需注意端口变化，并参考官方文档进行调整。

xiaoyu070321的博客 1575

【转】hadoop升级方案（2.x --＞ 3.x）

标题：vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践正文：https://my.oschina.net/vivotech/blog/5526521

baghdad21的博客 1703

CDH6.3.2 升级 Spark3.3.0 版本

看网上的资料，有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%，本人未验证，但是 Spark3 的 AE 功能的确很香，能自适应解决 Spark SQL 的数据倾斜。修改 spark3 的 pom 配置 /opt/spark-3.3.0/pom.xml，增加 cloudera maven 仓库。用的是 spark 的 make-distribution.sh 脚本进行编译，这个脚本其实也是用 maven 编译的，配置 spark3-submit 快捷方式。重置 scala 版本。

Small world 652

大数据领域Spark的版本升级注意事项

Spark作为大数据处理领域的重要开源框架，不断进行版本更新以提供更强大的功能、更好的性能和更高的稳定性。本文章的目的是详细阐述在大数据领域进行Spark版本升级时需要注意的各个方面，帮助用户顺利完成升级过程，避免因升级不当导致的系统故障、性能下降等问题。范围涵盖了从低版本到高版本的常见升级情况，包括Spark 1.x到2.x、2.x到3.x等主要版本跨度，同时涉及到与Spark相关的生态系统组件，如Hadoop、Hive等的兼容性问题。

移动开发前沿的博客 964

Hadoop1.x,Hadoop2.x,Hadoop3.x这三个版本区别

Hadoop 1.x、2.x 和 3.x 是 Apache Hadoop 的三个主要版本迭代，它们在架构、性能、资源管理和功能支持上有显著差异。如果需要具体版本的详细变更，可以参考。

ITHomeZSL的博客 646

手把手教你用Kokoro-82M-v1.1-zh搭建本地TTS服务（含WebSocket接口）

本文详细介绍了如何使用Kokoro-82M-v1.1-zh模型搭建本地TTS服务，包括环境配置、模型部署、WebSocket接口实现及性能优化。通过实战指南，开发者可以快速掌握本地部署TTS系统的关键技术，提升语音交互应用的开发效率。

weixin_30776273的博客 183

Hadoop1.x集群升级Hadoop2.x相关文章

1、《从Hadoop1.x集群升级到Hadoop2.x步骤》：http://www.iteblog.com/archives/8562、《从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤》：http://www.iteblog.com/archives/8573、《Hadoop1.x程序升级到Hadoop2.x需要的依赖库》：http://www.iteblog.com/archive

过往记忆大数据 4197

美团mtgsig 3.1.0算法还原：从加密入口到d1生成的完整链路拆解

本文详细拆解了美团mtgsig 3.1.0签名算法的完整逆向过程。通过定位加密入口函数eH，理清a6、a5、a8到d1的生成依赖链，并运用插桩技术，在JSVMP混淆环境下逐步还原了核心参数的生成逻辑，为逆向工程实践提供了清晰的纯算还原方法论。

oo7890的博客 776

2、瑞丽-伯纳德对流的拉格朗日拟序结构（FTLE场结果对比）

在中，我简单比较了瑞丽伯纳德对流的FTLE场，但是因为粒子追踪采用的是欧拉方法，所以精度不是很高，因此与文献中的结果还是有些差别。下面放一张文献中的FTLE场，参数与上篇文章是一致的，Ra = 1e8;Pr = 1;本文将详细的介绍如何得到这样的图片，好吧，其实也不是很详细。总之，先展示以下我个人的结果。可以看出，上图基本上与文献是一致的，因为这里展示的是瞬时场，所以当然不可能是完全一致，至于提取的LCS结构，我在下面也会提及。本着详细介绍的原则，所以这里我很良心的从流场计算开始介绍。

ambu1230的博客 1784

deepin ubuntu安装Hadoop3.x(脚本自动配置)

自己配置成功hadoop3.x后顺便写了个shell脚本，开始只是好玩而已，没想到后面派上了大用场，很多同学配置半天各种错误，后面运行了我这脚本后都很快把hadoop跑起来了，快的5s，慢点的30s。码云地址：hadoop-install.sh。用法及注意事项里面都写了，自己用编辑器查看。deepin，ubuntu都可以。centos，fedora支持不是很好，只有一部分能跑起来（比如笔记本上...

虚拟-Worder的博客 1010

华为交换机与思科/华三设备LACP对接实战：手把手教你配置链路聚合

本文详细解析了华为交换机与思科、华三设备间的LACP链路聚合配置实战，涵盖核心原理、配置步骤及排错技巧。通过对比不同厂商的实现差异，提供可落地的跨厂商对接方案，助力企业网络工程师高效部署高可靠性链路聚合。

weixin_30836759的博客 422

hadoop2.4后的滚动升级

1.介绍 HDFS的滚动升级可以只升级独立的守护进程，比如可以独立升级datanode、namenode、journalnode，这些进程都可以不相互依赖来升级；hadoop2.x开始支持HDFS的HA，也正是HA，集群可以不停机来滚动升级，当然前提是先不要升级journalnode和zookeeper，下面描述一下非联邦HA升级的过程。 2.滚动升级 2.1备份首先，先备份

qingzhenli的博客 1596

使用mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts制作一个通用的模型推理性能测试的镜像

本文详细介绍了在NPU环境下进行模型推理性能测试的完整流程。首先配置了测试所需的环境和设备信息，包括Python 3.10.9和3.11.6版本、测试脚本和镜像文件。然后分步骤说明了镜像制作过程：创建特权容器、安装Python 3.10.9、配置VLLM环境，并详细描述了测试容器的启动方法。最后提供了镜像打包和使用指南，包括如何加载镜像、启动容器、运行测试脚本（以DeepSeek-32B模型为例）以及更换测试模型的步骤。整个过程涉及环境变量配置、权限设置和服务启动等关键操作。

m0_50105717的博客 1015

24、交通信号协调算法与模型解析

本文深入解析了交通信号协调中的关键算法与模型，包括多路径进展模型、MAXBAND网络系统模型和松弛启用带模型。这些模型通过合理安排相位序列、优化绿波带宽等方式，提高了交通运行的效率。文章还探讨了交通控制从单点控制向网络协调的发展趋势，分析了当前面临的挑战与机遇，并提出了未来研究方向，如借助信息技术和机器学习，深入研究交通网络的基本构成，以实现智能化和精准化的信号协调。

agile9scrum的博客 132

Hadoop-HA-3.3.3高可用集群搭建

hadoop最新版本的HA高可用集群搭建流程

qq_39604679的博客 4002

骚戴笔记公告

我从不打没有准备的仗！ 2万+

上一篇： There are 1 missing blocks. The following files may be corrupted:

下一篇： yarn没有这三个指标allocatedMB，allocatedVcores和runningContainers

Hadoop 2.x hdfs（热/冷）升级步骤

tomson8975的博客

09-02

1293