Ambari_主机更换硬盘恢复组件

hbase元数据恢复(meta表) meta表一直in transition,master起不来,日志中报错: zookeeper.MetaTableLocator: Failed verification of hbase:meta 解决方法如下: 1.删除zookeeper信息 rmr /hbase-unsecure 2.保存hbase数据 hadoop fs -mv /apps/hbase/dat 阅读详情

1.问题描述

最近一台线上的主机硬盘完全坏掉,也就是说机器需要重新装了,这台主机安装的还有standby name节点,以及其他的组件。主机挂掉之后,Ambari上该主机对应的组件状态全部都为未知状态,所以也无法对其操作,最后能作的就是在该主机重新安装完系统之后,把原来安装的组件都恢复过来。

2.问题解决

        (1)主机重装系统之后,基本准备工作要做好,jdk、免密登陆、防火墙、hosts等等一些基本的环境准备工作,不限于上面几项,最主要是要和其它主机的保持一致。

        (2)安装Ambari-agent,这个是保证能够恢复Ambari上对应主机组件的服务。否则Ambari-server无法感知对应主机的状态。安装完成之后需要修改Ambari-agent的配置文件/etc/ambari-agent/conf/ambari-agent.ini

                      

        修改上面属性为Ambari-server的地址。

        (3)我们知道对于大数据各个组件来说,各个机器上的配置等基本信息是一样的,所以我们只需要将其它主机上的对应组件copy到这个主机上就OK了。例如:我是将/usr/hdp下的东西全部都copy到重装主机上了,由于配置时不变的,也就是说重装主机上的各个组件也是不会变的。原文件下面也有一些文件软连接,注意一下。

              由于我的坏掉的是standby name节点,我还需要将active节点的name node的版本信息文件VERSION文件放到新装主机上的对应目录下面。具体路径请参考hdfs-site.xml配置文件的dfs.namenode.name.dir属性。

        (4)上面步骤做完以后重新启动ambari-agent,然后就可以看到Ambari界面上新装主机上的组件都变成了stoped状态,然后重启对应的组件即可。

3.问题补充

期间还可能遇到一些其他的问题,但是只要心跳找到了,缺什么东西直接在其他节点拷过来就行了。

《大数据最全面试题-Offer直通车》目录 做好这些不用担心试用期不通过:程序员入职新公司如何快速上手项目本人遇到大数据面试题和参考答案(超过1万字精华版)大数据面试英文自我介绍参考(万字长文)大数据运维应用场景面试题汇总及参考答案(持续更新)万字数据仓库面试题及参考答案数据仓库数据质量监控和处理方法最佳实践数据仓库建模方法万字详解Doris的3种数据模型详解和数据仓库每一层的模型选用大数据面试临阵磨枪不知看什么?看这份心理就有底了-大数据常用技术栈常见面试100道题最全Hive面试题2024年(2万字详解)Elasticsearch 面试题及参考答 阅读详情

相关推荐

Multisim实战:5分钟搞定一阶RC电路仿真(附示波器波形分析技巧)

本文通过Multisim软件,详细演示了如何快速搭建一阶RC电路并进行仿真分析。文章提供了从元件选取、电路连接、虚拟示波器设置到波形观测的完整流程,并重点分享了测量时间常数、区分电路响应类型等核心分析技巧,帮助电子工程初学者和爱好者高效掌握电路仿真与分析方法。

weixin_29175469的博客 182

Ambari 服务器节点动态换盘操作

ambari 服务器节点动态换盘操作1. 操作背景2. 操作方案3. 操作步骤(ambari-agent开机自启动)3.1 服务器192.168.11.22 启动维护模式3.2 运维人员进行换内存操作3.3 换内存完成3.4 关闭维护模式3.5 启动该主机所有的服务3.6 重启spark数据处理应用4. 监控集群 1. 操作背景 基于ambari的HDP集群其中一spark节点出现内存盘损坏故障。Applicaton是Spark on yarn的模式,共8台Spark节点。 不要怕,大胆的开启host Le

徐小慧_Blog的博客 1648

IDEA 2023最新破解教程:从安装到永久激活(附常见问题解决方案)

本文为Java开发者提供了一份详尽的IntelliJ IDEA 2023高效使用指南。内容涵盖从版本选择、安装配置到核心快捷键、项目依赖管理、高级调试测试以及插件生态的深度优化。旨在帮助用户在合法合规的前提下,充分发挥这款顶级IDE的潜力,显著提升Java开发效率与工作体验。

time3的博客 3375

上千生产节点的JournalNode下线,以及上线异常问题解决

上千生产节点的JournalNode下线,以及上线异常问题解决

u011250186的博客 398

如何处理NC数据?(Python和IDL语言实现)

如何处理NC数据?(Python和IDL语言实现) NetCDF(network Common Data Form)网络通用数据格式是一种面向数组型并适于网络共享的数据的描述和编码标准。目前,NetCDF广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。用户可以借助多种方式方便地管理和操作 NetCDF 数据集。(参考自:https://zhuanlan.zhihu.com/p/129351199) 在我看来,nc和hdf有异曲同工之妙,我用的数据以hdf结构为主(HDF:层次文件格式,相当于

zhanglingfeng1的博客 4636

11、改进的加权轮询调度算法

本文详细介绍了对传统加权轮询(WRR)调度算法的改进方法,包括动态权重调整、优先级调度和预测机制,旨在提升系统的公平性、响应速度和适应性。通过设计与实现改进算法,并结合实验验证其在响应时间、资源利用率和公平性方面的显著提升,同时列举了该算法在数据中心、云服务平台、CDN及电商平台等实际场景中的应用案例。

day7的博客 190

ambari下线机器节点流程步骤

1.下线前如果数据不均衡,需要均衡一下数据:     hdfs dfsadmin -setBalancerBandwidth 67108864     hdfs balancer -threshold 5 2.ambari WEB管理平台操作NodeManager decommission 3.ambari WEB管理平台操作HRegonServer decommission 4.amb...

走走看看 2824

零基础学GPU KMD--8. 内存管理:GPU 显存与系统内存的协同​8.1 显存分配策略:GEM / TTM 原理

支持 VRAM、GTT(Graphics Translation Table)、SYSTEM 内存的动态迁移与缓存管理。:若缓冲区在 SYSTEM,TTM 分配 GTT 条目并建立页表映射,使 GPU 可直接访问。:系统内存中预留给 GPU 直接访问的区域,通过 GPU 的 MMU 做地址翻译。你需要我继续展开这一部分吗?​ 为复杂离散 GPU 设计,应对大容量 VRAM、多内存域、显存迁移等问题。:重量级、功能全,适合大容量、多内存域的离散 GPU,强调显存迁移与统一管理。

amy_mhd的博客 185

hadoop上线和下线节点

hadoop上线和下线节点

u011250186的博客 412

18、未来医疗信息学中的太赫兹天线技术

本文探讨了太赫兹天线技术在医疗信息学中的关键作用,重点分析了分裂环谐振器和纳米结构光导天线(PCA)的设计与性能提升方法,介绍了相干与非相干太赫兹检测技术,并通过等效电路模型和数值模拟深入解析PCA工作机理。文章还展示了太赫兹技术在无创血糖监测、肿瘤检测等医疗诊断中的实验应用,总结了其非侵入性、高分辨率成像和多参数分析等优势,同时指出信号检测难、成本高和技术复杂等挑战。未来趋势包括设备小型化、效率提升及与人工智能融合,拓展至药物研发、皮肤与神经疾病诊断等领域,展现出变革医疗健康的巨大潜力。

milk8的博客 146

SAP Retail 补货里的 Requirement Groups,站点和商品太多时,主数据维护如何做减法

SAP Retail补货主数据设计中,Requirement Groups(需求组)是常被低估但至关重要的分类机制。它通过将具有相同补货需求的接收方(如门店)按商品分类(Merchandise Category)分组,大幅降低主数据维护量。在大型零售场景中(如800家门店、6万商品),直接维护每个门店和商品的组合参数会导致维护量失控。Requirement Groups允许企业按品类特性(如乳制品、饮料等)为不同门店组设置统一补货参数,并随业务变化灵活调整。该机制与商品分类紧密绑定,不同于MRP Group

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 68

ambari hdfs 启动报错_[问题解决篇-11]因磁盘挂导致datanode启动失败

问题背景数据节点的datanode的配置中hdfs-site.xml 有一个dfs.data.dir 配置参数,这个配置是配置datanode的数据存储的磁盘目录,这个下面的配置使用逗号(,)来分隔每个磁盘,比如下面的配置中就说明,配置了2个磁盘。<property> <name>dfs.datanode.data.dir</name> <...

weixin_39636176的博客 902

Siemens SIMATIC软件二次开发:使用C#进行SIMATIC软件二次开发

通过使用OPC-UA通信协议和S7通信库,可以有效地在C#应用程序中与Siemens SIMATIC软件进行数据交换。OPC-UA提供了一个标准化的平台,而S7通信库则提供了直接访问PLC数据的能力。掌握这两种通信方式,将极大地增强在工业自动化领域的二次开发能力。在Siemens SIMATIC软件中,自定义功能块开发是实现二次开发的关键步骤之一。通过C#,可以创建高度定制化的功能块,以满足特定的控制需求。下面,我们将通过一个示例来展示如何使用C#开发一个自定义功能块。OPC-UA通信。

kkchenjj的博客 1415

Linux随记(三十)

环境信息:bclinux euler 21.10。单节点mysql 8.0.44 需要升级到 8.0.46。处理方法: 重启ambari-agent。

Nightwish5的博客 252

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

2026年分布式计算系统课堂笔记

TB PB EB结构化数据:固定格式,关系型数据库,excel半结构化数据:具有一定的层次结构,介于结构化数据与非结构化数据之间,json文件,xml文件,电子邮件非结构化数据快速化价值密度低大数据技术要面对的基本问题,也是最核心的问题:就是海量数据如何可靠存储和高效计算。NameNode:存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所挨的DataNode等。

2401_87413977的博客 608

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

ambari 重新安装节点上的组件

原创文章,转载请注明出处:http://qq85609655.iteye.com/blog/2201072   今天遇到这么个情况: 某个节点无法启动了,数据备份出来后,需要,重新安装hadoop的组件,但是,又不想改变原有的配置,百度,Google,没有找到办法,于是研究了下ambari的源码。解决的办法也不是没有。 有个表叫hostcomponentstate用于控制组件的状态,既...

qq85609655的博客 497

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Ambari中开启Hadoop HA,其中一个NN硬件损坏,恢复方法

hosts ssh ulimit  JDK &amp; JCE #、kerberos客户端配置     krb5-workstation     scp /etc/krb5.conf     重新执行 #、Ambari agent yum install epel-release yum install ambari-agent 把其它的 /etc/ambari-agent...

qq85609655的博客 194

hadoop-磁盘出现坏盘,如何能在线换盘

涉及到磁盘存储路径的配置文件参数有: hdfs-site.xml <name>dfs.datanode.data.dir</name> yarn-site.xml <name>yarn.nodemanager.local-dirs</name> 将这两个参数的value中的坏盘路径去掉,重启datanode、nodemanager就可以在线...

weixin_30814319的博客 431

ambari发现正常磁盘未挂载(Datanode服务已启动)

ambari发现正常磁盘未挂载(Datanode服务已启动)

weixin_47099283的博客 735

通过ambari扩充datanode的硬盘容量

为什么80%的码农都做不了架构师?>>> ...

weixin_33729196的博客 1034

Ambari Server重启报错的解决办法

无法正常重启ambari-server就可能造成上面图片的结果。 下面是修复过程: [root@hadoop01~]# ambari-server start Using python /usr/bin/python2.6 Starting ambari-server Ambari Server running with administrator privileges. Organizing resource files at /var/lib/ambari-server/resources... S.

weixin_45718306的博客 3119

【史上最全】Ambari 大数据集群运维与管理操作指南

作 用 Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性, Apache Ambari 从集群节点和服务收集了大量的信息,并把它们表现为容易使用的,集中化的接口:Ambari Web 功 能 显示诸如服务特定的摘要、图表以及警报信息 创建和管理 HDP 集群并执行基本的操作任务,例如启动和停止服务,向集群 中添加主机,以及更新服务配置 执行集群管理任务,例如启用 Kerberos 安全以及执行 St

大数据研习社 7326

Ambari启用HDP服务的自动重启/恢复?

作为群集管理员或群集操作员,您可以启用堆栈中的每个服务以自动重新启动。启用服务的自动启动会导致ambari-agent尝试在停止状态下重新启动服务组件,而无需用户手动操作。作为第一步,您应该为核心Hadoop服务中的工作节点,YARN和HDFS中的DataNode和NameNode组件启用自动启动。您还应该为SmartSense服务中的所有组件启用自动启动。启用自动启动后,在Ambari...

qq_21153619的博客 4693

重启集群之后,ambari与主机失去心跳无法恢复的解决办法

启动ambari服务表示已经存在: ERROR: ambari-agent already running 异常: the server has not received a heartbeat from this host for more than 3 minutes 3分钟之后失去心跳了 **=========================stop 启动 和restart 都不行,...

qq_41919284的博客 4979

Ambari 节点坏掉不要的节点 无法删除解决方法

Ambari 节点坏掉不要的节点 无法删除解决方法

qq_38472574的博客 331

Ambari升级失败回滚修复(数据库rollback+降级downgrade+bugfix)

一.背景介绍 之前一直在使用Ambari的2.2.18版本,作者在一次试图升级的过程中因操作不当导致了升级失败。几经周折,最终实现回滚操作,鉴于目前关于ambari的升级失败回滚及数据库rollback的资料很少很零散,笔者总结了这篇文章,和大家分享。遇到升级失败的问题,请仔细阅读本文,应该都能找到解决办法。 二.误操作 2.2到2.4升级是需要分开升级ambari-server/agent...

人唯优的博客 4518
上一篇: 机器学习缺失值处理方法
下一篇: AUC,ROC理解
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值