web判断hdfs节点状态

最新推荐文章于 2024-03-12 15:48:37 发布
原创 最新推荐文章于 2024-03-12 15:48:37 发布 · 530 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文介绍了如何在HDFS进行数据迁移时确定主节点和从节点。通过HTTP GET请求如http://ip:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem (若为HDP集群，端口改为50070) 来获取JMX信息，然后根据返回的key中的tag.HAState判断，'active'表示主节点，'standby'表示从节点。了解这一点对于监控和管理Hadoop集群的高可用性至关重要。

hdfs做数据迁移的时候，需要清楚主节点是哪个，可以通过get请求方式：

http://ip:9870/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

这是cdh集群的，如果是hdp集群，将端口号改为50070

根据返回的key   tag.HAState判断  active:主节点   standby:从节点

举例：

仙道Bob
关注
指定hdfs中namenode的地址_HDFS-HA集群中客户端如何找到Active NameNode
weixin_32950005的博客
12-30 1297
Hadoop2.0中，HDFS实现了HA，具体实现及原理请网上搜索。其中HDFS的配置包含以下几个必须参数：dfs.nameservicescdh5指定HDFS的命名服务，一般和fs.defaultFS中的authority一致。dfs.ha.namenodes.cdh5nn1,nn2指定HDFS集群中的NameNode(ID)。dfs.namenode.rpc-address.cdh5.nn1h...
HDFS-HA集群中客户端如何找到Active NameNode
大数据基础框架学习教程汇集
02-02 2677
Hadoop2.0中，HDFS实现了HA，具体实现及原理请网上搜索。其中HDFS的配置包含以下几个必须参数： <property> <name>dfs.nameservices</name> <value>cdh5</value> <description>指定HDFS的命名服务，一般和fs.defaultFS中的autho...
HDFS运维
记录点点滴滴
05-26 1400
常用命令 查看目录下的文件列表 上传文件 文件被复制到本地系统中 查看文件内容 建立目录 复制文件 查看目录的健康状态 check 目录下的文件 查看某个目录 block 以及监控情况 删除文件或目录 查看目录损坏的块 查看 HDFS 的基本统计信息 主从切换 查看 NameNode 主从状态 active 从 nn1 切换到 nn2 安全模式 进入安全模式 退出安全模式 查看状态 保存命名空间 扩缩容 Balancer 手动降低目录副本 体积排名前三的表 当前的数据块平均副本数 降副本数
如何判断Hadoop Namenode状态
大熊的大数据
11-29 5534
主要借助Hadoop JMX 提供的API信息获取信息来判断Namenode的状态，一般使用类似语句 http://namenode.abc.com:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus 其返回信息如下： { "beans" : [ { "name" : "Hadoop:service=NameNode,na...
CDH环境故障: HDFS各服务进程状态未知，监控指标图表无数据
dinghua_xuexi的专栏
05-04 4857
导语 cdh是管理大数据组件的利器，他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中，不小心，也会遇到一些问题。这时需要我们想办法去解决它。 本篇主要记录我遇到的一个CDH平台问题，就是突然有一天，我的大数据组件服务启动后，各进程显示灰色的问号图标，并提示运行状态未知。并且监控图标全都无法显示 以为是...
HDFS集群数据节点巡检和修复
X2469974125的博客
03-12 1305
①因HDFS特点之一：容忍硬件故障——将硬件故障视为常态，所以我们在维护大数据集群时，需要及时解决硬件故障，保障底层的稳定。②使用产品华为FusionInsight HD 6.5.1。③目标：后台定位坏盘IP、位置、具体原因，并实现修复。
大数据系列之Hadoop知识整理（五）Hdfs节点的服役与退役
spark798的博客
06-25 340
Hdfs节点的服役与退役也就是节点的新增与删除。其中退役也就是把节点放在黑名单里，并且从白名单中删除，服役就是在白名单中新加入节点 具体配置如下： 黑白名单的组合情况 ------------------------- include //dfs.include（白名单） exclude //dfs.hosts.exclude（黑名单） include exclude Interpretat...
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 3006
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
[hadoop] HDFS的新节点上线和旧节点退役
朱同学的博客
09-26 452
新节点上线 1 准备一个全新的节点,使用root账户登录 2 修改ip和host主机名 3 在管理节点端配置SSH免密码登录 4 关闭防火墙 5 安装JDK,解压hadoop安装包并配置相关环境变量 6 将以前节点的hadoop配置文件同步到新节点 7 直接启动新节点的DataNode即可关联到集群 sbin/hadoop-daemon.sh start datanode sbin/yarn-da...
HDFS Maintenance State
走在前往架构师的路上
01-25 2619
前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什么意思呢，HDFS处于维护状态？说起维护状态，我们不禁可以联想到HDFS RollingUpgrad，没错，RollingUpgrade确实与HDF
HDFS HA之NameNode状态管理切换
qq_41018861的博客
09-13 4517
在开启HDFS HA之后，用命令查询、管理NameNode节点的状态，
NameNode 高可用整体架构概述
www_96的博客
11-30 603
NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统...
Hadoop相关操作
07-01 602
1.查看集群NameNodes节点状态 2.查看指定NameNodes的健康情况 3.初始化两个Namenodes之间的故障转移 4.查看NameNodes主从状态 5.将指定的Namenode的状态切换为活动。 6.将指定的Namenode的状态切换为待机。
fasterxml解析json篇
王小禾
06-26 7807
fasterxml解析json java解析json成javabean
错误：Peer's certificate issuer has been marked as not trusted by the user
热门推荐
周源的专栏
11-03 1万+
Ambari开启了ssl，根据日志，访问如下两个网址报错： https://c2bde03:50470/jmx https://c2bde03:50470/jmx?get=Hadoop:service=NameNode,name=FSNamesystem::tag.HAState 但通过如下操作可以正常访问： curl https://c2bde03:50470/jmx --cacer
从零开始搭建CDH（三）---观察HDFS
wyj1023405602的博客
08-11 836
之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。 目录 1. 数据持久化观察 2. HDFS文件读写观察 2.1 新建文件目录 2.2 上传文件 2.3 下载文件 1. 数据持久化观察 进入HaDoop页面观察其启动过程： 加载镜像文件fsimage 加载日志文件edits 保留checkpoint ...
查看HDFS集群状态
weixin_64272885的博客
12-14 3680
通过UI界面查看hadoop运行状态
使用shell脚本查看HADOOP集群节点状态
weixin_44328257的博客
06-14 2561
都知道hadoop查看节点状态使用的是jps命令，但是在shell脚本中，直接使用会提示：’bash: jps: 未找到命令‘，原因很简单：因为jps命令是位于jdk的bin目录下（hadoop基于java），执行shell脚本的时候,并不会读取/etc/profile文件，因此才会找不到。解决的办法有两种。在脚本里直接添加： /opt/jdk1.8.0_291/bin/jps 第二种： 执行shell脚本的时候,并不会读取/etc/profile文件，但是会读取/home/.bashrc这个文件,需
查看hdfs启动的
最新发布
03-15
如果没有看到上述任一进程，可能意味着 HDFS 尚未完全初始化或者某些节点失败了[^1]。 #### 方法二：利用 Web UI 查看集群健康状况 HDFS 提供了一个内置的 HTTP 接口用于监控整个分布式文件系统的表现情况。默认...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值