Hadoop-动态刷新hdfs/yarn配置

最新推荐文章于 2023-07-02 07:51:15 发布

羲凡丞相

最新推荐文章于 2023-07-02 07:51:15 发布

阅读量5.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： Hadoop 动态刷新hdfs配置刷新yarn配置

本文链接：https://blog.youkuaiyun.com/weixin_42003671/article/details/89845433

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

博客介绍了Hadoop动态刷新HDFS和YARN配置的方法。在修改Hadoop配置后，为让其立即生效且不影响线上任务，可执行相应命令。对于HA集群，需在两个NameNode节点上分别执行刷新HDFS和YARN配置的操作。

@羲凡——只为了更好的活着

Hadoop-动态刷新hdfs/yarn配置

在很多时候，修改了hadoop的配置后，希望立即生效，但是线上还有任务在执行，不能重启，可以执行以下命令让修改后的hdfs/yarn配置生效

1、动态刷新hdfs配置

如果是HA集群则在两个namenode节点上执行

hdfs dfsadmin -fs hdfs://nn1:9000 -refreshSuperUserGroupsConfiguration
hdfs dfsadmin -fs hdfs://nn2:9000 -refreshSuperUserGroupsConfiguration

2、动态刷新yarn配置

如果是HA集群则在两个namenode节点上执行

yarn rmadmin -fs hdfs://nn1:9000 -refreshSuperUserGroupsConfiguration
yarn rmadmin -fs hdfs://nn2:9000 -refreshSuperUserGroupsConfiguration

====================================================================
@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

羲凡丞相

关注关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
7
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

121.Yarn资源池的动态配置

大勇若怯任卷舒

09-13

721

【代码】121.Yarn资源池的动态配置。

大数据-hadoop、hdfs、yarn等环境、权限配置

qq_40395868的博客

11-22

780

一、环境准备接博客的另外两篇文章，虚拟机和mobaxterm已经安装好了。接下来就是配其他的环境了。（1）打开mobaxterm并连接上虚拟机。（2）先在根目录下安装一个软件。（3）根据官方文档来说，先要安装的是java环境。（4）所以我先创建了一个文件夹（mkdir soft）用来放两个需要的软件。（5）选择rpm包是因为基本现在已经规范化了，rpm包安装后是直接可以查到官方文档中它建议的这个路径的，tar包比较麻烦。官方文档：官方文档链接（6）直接在soft文件夹安装rpm，安装

7 条评论您还未登录，请先登录后发表或查看评论

Hadoop自动化测试--动态更新 hadoop xml 配置文件篇

Yannick Jiang 的专栏

08-16

1289

一、前言需要测试和对比不同配置下的 performance，然后代码分析原因。这样会比较快找到影响 performance 的配置。Hadoop 的配置你知道的，多的不得了。如果不去想实现自动化，类似或者重复的劳动，人会变傻的。二、需要解决的问题如下 1. 怎么更新、添加和删除一个xml 文件属性值？用shell 语言：grep 正则表达式+sed 命令替换。TMD...

maven---标准目录结构

灵活的小胖子

09-20

261

大家先想一个问题，我们最终开发完的代码分几个部分？ i 核心代码部分最重要打成jar包，发布为产品，供用户使用。根据用户体验度，需要不断对项目进行维护升级，每一次升级都要重新打jar包 ii配置文件部分不打到jar包中，jar包之外的部分。修改配置文件不需要重新打jar包，直接重启项目就可以 iii测试代码部分保证核心代码部分正确率足够高，需要进行大量的单元测试 iiii测试配置文件测试代码用到的测试配置文件如果各个部分的代码随机放，最后打包的时候，可能会把配置文件或...

hadoop配置在线刷新

硅谷工具人

09-07

382

动态刷新hdfs配置：hdfs dfsadmin -fs hdfs://nn1:8020 -refreshSuperUserGroupsConfigurationhdfs dfsadmin -fs hdfs://nn2:8020 -refreshSuperUserGroupsConfiguration 动态刷新yarn配置：yarn rmadmin -fs hdfs://nn1:8020 -re...

【HDFS】--如何动态刷新一个配置项

LifeIsGood

03-02

1574

背景：目前，对HDFS的某些参数进行修改后，若想让其生效，必须滚动重启Namenode。由于NN元数据量比较多，我们公司线上的NN重启一次要花费1h 15min左右，而且随着元数据量的增长以及块数量的增长重启NN花费的时间会越来越久。 Why 我们为什么需要把一些参数做成reconfig的？因为我们想达到每次修改参数无须重启NN的目标。这样有以下好处： 1.缩短参数调优周期 2.提高开发自测...

Cannot create directory /tmp/hadoop-yarn/staging/root/.staging. Name node is in safe mode.

ForestCat的专栏

07-28

4643

利用 sqoop从mysql导入数据到hadoop 中出现以下错误: 19/07/28 07:47:43 ERROR tool.ImportTool: Import failed: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot cr...

jar包冲突：Found binding in [jar:file:/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar

热门推荐

qq_43437122的博客

06-14

1万+

昨天因为要在集群上跑HBase程序的jar包，所以配置了HADOOP_CLASSPATH环境变量，但是今天启动HDFS时就开始报错，错误信息如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLogger

Hadoop学习从零到一系列课程（2）---HDFS和YARN精讲

06-08

在本节“Hadoop学习从零到一系列课程（2）---HDFS和YARN精讲”中，我们将深入探讨两个核心组件，它们是Hadoop生态系统中的基石：分布式文件系统（HDFS）和资源调度器（YARN）。这些知识点对于理解和实践大数据处理至...

Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）

12-18

配置过程中，你需要修改`hdfs-site.xml`和`yarn-site.xml`等配置文件，设置HA相关的参数，如Zookeeper地址、故障转移策略等。同时，还需要配置客户端以支持连接到任何活动的NameNode或ResourceManager，而无需手动...

Yarn配置

chunshanhan6446的博客

10-13

204

作为HDP 2.0 Beta的一部分，YARN采用MapReduce中的资源管理功能，并将它们打包，以便新引擎可以使用它们。这也简化了MapReduce做它做的最好的处理数据。使用YARN，您现在可以在Hadoop中运行多个应用程序，所有这些应用程序共享一个公共资源管理。在本...

hadoop 修改参数后刷新查看配置

爱折腾的小土豆的博客

07-02

775

我们经常会调整hadoop集群的参数，然后希望不重启集群，在线更新配置，然后查看配置是否生效。 1.hadoop hdfs 刷新配置 bin/hdfs dfsadmin -refreshSuperUserGroupsConfiguration 2.yarn 刷新配置 bin/yarn rmadmin -refreshSuperUserGroupsConfiguration 3.hadoop HA高可用刷新配置如果集群配置了HA，需要在为主备namenode（node000和no..

HDFS服役新数据节点与退役旧数据节点

Hxm6440的博客

11-07

716

文章目录为什么要让新数据节点服役于原有的集群？准备新的节点修改mac地址以及IP地址关闭防火墙，开机不自启关闭selinuxssh免密码登录修改主机名设置主机名和IP的对应关系安装jdk安装Hadoop 为什么要让新数据节点服役于原有的集群？随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新的节点修改mac地址...

动态更新nodemanager 资源配置

weixin_39572380的博客

03-01

492

节点还有空余资源可用，现需增加yarn资源 yarn-site.xml 同级目录下增加dynamic-resources.xml文件  <configuration> <property> <name>yarn.resource.dynamic.nodes</name> <value>host:port</value&gt

刷新yarn集群的队列

diyinqian的博客

12-14

4136

执行命令：${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues 或yarn rmadmin -refreshQueues （第二个适用于已经把hadoop的bin目录添加进系统路径下，比如我，嘻嘻(#^.^#)）

YARN动态资源池使用配置

小码农的专栏

05-22

1万+

动态资源池是用来做资源配置和调度策略管理，动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候，如果我们同时提交大量的Oozie任务，Oozie任务在启动launch的时候是需要占用资源的，可能就会导致资源占满而使后续的Pig任务无法执

HDFS NN refreshNodes操作的可用性和效率的改进

走在前往架构师的路上

06-12

3403

文章目录前言NN refreshNodes的可用性以及效率问题前言我们知道在HDFS里面有，存着一类白名单和黑名单的列表来控制其下允许进行注册的DN节点。这样可以防止一些外部恶意节点注册到我们的NN上来。在HDFS的概念里，这个黑白名单叫做include file和exclude file。在一般情况下，exclude file的使用范围会更管一些，因为DN的decommission下线需要将待下线机器加到此exclude file中，然后再手动执行dfsadmin的refreshNodes命令进行刷

Hadoop之Yarn篇

&volume的博客

03-29

2098

(7) NodeManger创建容器，任何任务的执行都是在容器中执行的（容器中有cpu+ram--网络资源），并且在容器中启动了一个MRAppmaster。(3): 提交job运行所需要的资源(Job.spilt Job.xml wc.jar )（按照（2）中提供的路径进行上传）(10) 领取任务，创建MapTask容器（NodeManager）(cpu+ram+jar)(4) 资源提交完毕后，申请运行mrAppMaster (程序运行的老大)

hdfs刷新节点失败，未显示Refresh nodes successful

Bingmous的博客

07-06

804

使用命令：hdfs dfsadmin -refreshNodes 没有显示Refresh nodes successful，而是：refreshNodes: /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude 原因：hdfs-site.xml中dfs.hosts.exclude配置路径有换行错误 # 错误！ <property> <name>dfs.hosts.exclude</name> <value

<name>yarn.application.classpath</name> <value>/opt/hadoop-3.4.0/etc/hadoop:/opt/hadoop-3.4.0/share/hadoop/common/lib/*:/opt/hadoop-3.4.0/share/hadoop/common/*:/opt/hadoop-3.4.0/share/hadoop/hdfs:/opt/hadoop-3.4.0/share/hadoop/hdfs/lib/*:/opt/hadoop-3.4.0/share/hadoop/hdfs/*:/opt/hadoop-3.4.0/share/hadoop/mapreduce/*:/opt/hadoop-3.4.0/share/hadoop/yarn:/opt/hadoop-3.4.0/share/hadoop/yarn/lib/*:/opt/hadoop-3.4.0/share/hadoop/yarn/*

最新发布

03-16

### Hadoop YARN 中 `yarn.application.classpath` 配置项的作用在 Hadoop YARN 中，`yarn.application.classpath` 是一个重要的配置参数，用于定义应用程序可以访问的类路径（classpath）。此配置项的主要作用是确保 YARN 上运行的应用程序能够找到所需的库文件和依赖项。具体来说： - **作用**: 此配置项指定了一组默认的类路径，这些路径会被添加到所有提交给 YARN 的应用程序的类加载器中[^1]。这使得用户无需手动提供所有的依赖库即可正常运行作业。 - **值的组成**: 类路径通常由多个目录或 JAR 文件路径组成，通过逗号分隔。常见的路径包括但不限于以下内容： - `$HADOOP_CONF_DIR`: 存储 Hadoop 和 YARN 配置文件的目录。 - `$HADOOP_COMMON_HOME/share/hadoop/common/*`: 包含通用模块的 JAR 文件。 - `$HADOOP_HDFS_HOME/share/hadoop/hdfs/*`: 包含 HDFS 相关模块的 JAR 文件。 - `$HADOOP_YARN_HOME/share/hadoop/yarn/*`: 包含 YARN 相关模块的 JAR 文件。 - `$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*`: 包含 MapReduce 相关模块的 JAR 文件。以下是典型的 `yarn.application.classpath` 值示例： ```properties $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/* ``` 上述路径中的通配符 (`*`) 表示该目录下的所有 JAR 文件都会被包含在类路径中[^4]。 --- ### 如何验证配置是否生效？可以通过以下方式确认 `yarn.application.classpath` 是否正确设置并生效： 1. 使用命令 `yarn classpath` 查看当前有效的类路径列表。 2. 提交一个简单的测试任务（如 WordCount），观察日志中是否有找不到依赖的错误提示。如果发现某些必要的库未被加载，则可能需要调整 `yarn-site.xml` 文件中的 `yarn.application.classpath` 参数，并重新启动 YARN 服务以使更改生效。 --- ### 示例代码：修改 `yarn-site.xml` 并重启 YARN 编辑 `yarn-site.xml` 文件，添加或更新如下属性： ```xml <property> <name>yarn.application.classpath</name> <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value> </property> ``` 保存后执行以下操作以应用新配置： ```bash # 刷新 YARN 配置 sudo systemctl restart hadoop-yarn-resourcemanager.service sudo systemctl restart hadoop-yarn-nodemanager.service ``` 或者直接使用脚本停止再启动 YARN： ```bash stop-yarn.sh start-yarn.sh ``` --- ### 注意事项 - 如果集群中有自定义开发的任务或第三方工具集成需求，需额外将相关依赖加入到 `yarn.application.classpath` 中[^3]。 - 当前版本为 Hadoop 3.4.0，不同版本间的默认类路径可能会有所差异，请根据实际环境进行适配。 --- ####