CDH平台断电事故

于 2024-03-11 15:24:46 发布
阅读量147 收藏
点赞数 4
分类专栏： 大数据 相关技术 文档总结 文章标签： CDH 断电事故
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41367158/article/details/136624421
版权
2023年12月1日，CDH集群因半分钟断电导致无法正常启动。事故调查发现NameNode节点master02和master03的jn元数据丢失，而master01保存完整。解决方案包括复制master01的元数据信息并调整文件权限，最终集群在一定时间后恢复正常。预防措施包括提前关闭集群和快速恢复流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

断电事故报告

一、事故概述

2023年12月1日，一次偶然的半分钟断电，通电后发现集群无法正常启动。

二、事故原因调查

1.集群做了一个高可用，NameNode节点一个是master01, 一个是master03, 发现master02 和master03两个节点的 jn 下元数据为空，master01中jn元数据信息是全的。如下图：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 查看日志-发现报错信息：如下图


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
CDH意外断电故障，全部进程process information unavailable

				
			

			

				

					L, there!
				

				

					09-08
					
					877
					
				

			

		

		

			
				
断网后CM进不了，jps查看发现全部process information unavailable 状态。




ps -ef | grep 18785

发现进程不存在，说明真的是进程已经挂了。



解决办法

防止有假死进程，最好把process information unavailable都检查一下，细心总是没错的。



确定都挂的，进入tmp下，可以看到一堆 hsperfda...

			
		

	



                

            
              



	

		

			

				
					
CDH大数据节点宕机测试

				
			

			

				

					欢迎来到李奇峰的数据世界
				

				

					05-25
					
					1036
					
				

			

		

		

			
				
一、集群现状
集群组件说明：目前集群中安装了若干大数据相关组件，包括HDFS、Hbase、Hive等存储相关组件与Flume、Spark、Kafka等数据采集与处理相关组件。

集群主机说明：目前集群中有5台主机，为同一台宿主机上的5台虚拟机。为确保HDFS副本正常分布，故主机cdh1、cdh2、cdh3的机架设置为“test1”，cdh4、cdh5的机架设置为“test2”


注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为:
第一个副本放在其中一台节点中
第

			
		

	



              


  
              

                


	

		

			

				
					
cdh断电后故障解决 -- process information unavailable

				
			

			

				

					m0_49027804的博客
				

				

					10-20
					
					274
					
				

			

		

		

			
				
机房断电，服务器意外关机，-- process information unavailable

			
		

	





	

		

			

				
					
记一次惊险的CDH6.3.2集群断电后重启的过程

					
最新发布

				
			

			

				

					quantam的博客
				

				

					10-11
					
					378
					
				

			

		

		

			
				
用navicat打开数据后发现确实在metastore库下是没有CM_VERSION这张表的，但是在scm下有，然后我就自己在metastore库里面建一个一样的，不知道有没有用。终于启动起来了，然后登录http://xxx:7180/cmf/home  去看哪些服务没起的就手动起就完了。当时我记得配数据库的时候是用scm的，不知为啥变成metastore了，现在改回来。查看服务是否启动，显然结果是failed。

			
		

	



		

			
		



	

		

			

				
					
hadoop多数据中心灾备

				
			

			

				

					07-26
				

			

		

		

			
				
The basis of this solution is to have one or more mirror Hadoop clusters which will be continuously
updated with the data from the primary cluster in either a synchronous method or an asynchronous
method by utilizing and improving the existing HA feature, data block replication and data block
pipelining. In this solution, we support both synchronously writing and asynchronously replication
across datacenters for both namespace and data block.

			
		

	





	

		

			

				
					
HDFS的数据平衡时突然断网或者断电导致数据异常

				
			

			

				

					weixin_45512368的博客
				

				

					07-06
					
					686
					
				

			

		

		

			
				
HDFS的数据平衡时突然断网或者断电导致数据异常

			
		

	





	

		

			

				
					
大数据处理之如何确保断电不丢数据

				
			

			

				

					qq_24946645的博客
				

				

					07-23
					
					892
					
				

			

		

		

			
				
在Hadoop 2.0.2-alpha之前，HDFS在机器断电或意外崩溃的情况下，有可能出现正在写的数据丢失的问题。而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744)，从而保证在机器崩溃或意外断电的情况下，数据不会丢失。这篇文件将围绕这个新的接口对其实现细节进行简单的分析，从而希望找出一种合理使用hsync()的策略，避免重要数据丢失。




...

			
		

	





	

		

			

				
					
CDH6.3.2集群扩展性深度分析：架构设计与水平扩展技术揭秘

				
			

			

				

					
				

			

		

		

			
				
首先，文章给出了CDH6.3.2集群的总体概述，分析了其核心组件和功能角色，以及集群架构的高可用性和容错机制。接着，探讨了数据存储和管理架构，重点是数据存储的分层策略和数据一致性与复制机制。文章还详细介绍了...

			
		

	





	

		

			

				
					
hadoop基础----hadoop实战(十三)-----hadoop管理工具---断电后重启CDH集群步骤

				
			

			

				

					直到世界的尽头
				

				

					05-02
					
					4716
					
				

			

		

		

			
				
我们在CDH集群运维过程中，偶尔会遇到机房突然断电的情况，我们来梳理下遇到机房断电之后的CDH集群恢复步骤，以免无从下手。在调试CDH集群之前，肯定需要先重启好服务器，以及确保他们的网络畅通。下面记录恢复CDH集群的步骤:首先需要启动CDH的server服务,并查看状态sudo /etc/init.d/cloudera-scm-server start
sudo /etc/init.d/cloude

			
		

	





	

		

			

				
					
CDH断电后cloudera-scm-server启动报错

				
			

			

				

					萌兔兔MMQ！！
				

				

					08-15
					
					1160
					
				

			

		

		

			
				
报错背景：
CDH未关闭的情况下，Linux断电，导致cloudera-scm-server无法启动。报错现象：
输入启动命令之后：/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start，cloudera-scm-server 会启动，但是几秒中之后就会死掉，显示：cloudera-scm-server 已死，但 pid 文件存在。于是查看日志文件：vim /opt/cm-5.15.1/log/cloudera-scm-server/cloudera-scm-

			
		

	





	

		

			

				
					
Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程

				
			

			

				

					09-29
				

			

		

		

			
				
详细阐述升级的全过程及需要备份的目录与方法
Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程

			
		

	





	

		

			

				
					
CDH集群: 数据恢复/备份

				
			

			

				

					eyeofeagle的博客
				

				

					01-13
					
					3418
					
				

			

		

		

			
				
为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失，需要数据业务备份
使用CDH的数据主要为hive, hbase的各表，所以仅需要备份hive,hbase数据（以待hadoop重新格式化后无数据）

测试hdfs重新格式化，数据恢复

说明1： hdfs手动重新格式化后，/目录没有任何数据, 此时需要创建相关的基本目录:（...

			
		

	





	

		

			

				
					
hadoop灾备

				
			

			

				

					dengbenji的专栏
				

				

					11-23
					
					891
					
				

			

		

		

			
				
master 故障测试(冷备方案NameNode故障手动切换)： 
1. 不切换 NameNode 主机。 
   1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
   2).清空 NameNode 的 dfs.name.dir 目录的数据，保留空目录。
   3).在 NameNode 主机执行 had...

			
		

	





	

		

			

				
					
Cloudera Manager的备份和灾难恢复

				
			

			

				

					a118170653的专栏
				

				

					01-13
					
					7648
					
				

			

		

		

			
				
注：只有Cloudera Manager企业版才有Cloudera Manager的备份和灾难恢复功能

一、   概述
Cloudera Manager提供了一个集成的、易于使用的管理解决方案，使数据保护在Hadoop的平台。Cloudera Manager提供了丰富的功能旨在复制存储在HDFS数据和通过Hive跨数据中心的灾难恢复场景。当关键数据存储在HDFS，Cloudera Mana

			
		

	





	

		

			

				
					
基于Cloudera Search设计数据灾备方案

				
			

			

				

					weixin_30719711的博客
				

				

					05-10
					
					344
					
				

			

		

		

			
				
　　当实际项目上线到生产环境中，难以避免一些意外情况，如数据丢失、服务器停机等。对于系统的搜索服务来说，当遇到停机的情况意味着在停机这段时间内，用户都不能通过搜索的相关功能进行访问数据，停机意味着将这一段时间内的数据服务完全停止。如果项目是互联网项目依赖于用户数量，这将严重影响用户访问和用户的产品体验。
　　针对于这种实际情况，在实际的项目开发维护过程中，如果系统使用的大数据平台是Clouder...

			
		

	





	

		

			

				
					
cdh5.3.10_hadoop环境迁移之主机IP修改

				
			

			

				

					www_xue_xi的博客
				

				

					05-05
					
					3061
					
				

			

		

		

			
				
cdh5.3.10_hadoop环境迁移，主机迁移后hadoop集群调整。

			
		

	





	

		

			

				
					
CDH迁移 | CDH/HDP迁移之路

				
			

			

				

					shaoqigulang的博客
				

				

					04-05
					
					988
					
				

			

		

		

			
				
哪些用户需要迁移

原社区版用户

社区版不再更新

Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版，用户无法获取新的功能。

社区版不再免费

2021年1月31日开始，所有Cloudera软件都需要有效的订阅，且订阅费昂贵（50个节点，一年订阅费50万美元）。

原企业版用户

企业版不再更新

Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP，CDH 6和HDP 3将是CDH和HDP的最后企业版本，用户无法继续获取新的功能和

			
		

	





	

		

			

				
					
CDP灾备

				
			

			

				

					weixin_34283445的博客
				

				

					11-23
					
					1334
					
				

			

		

		

			
				
容灾：为了保证关键业务和应用在经历灾难后，仍能够提供正常服务
手动备份:要备份到其它磁盘上（避免本地故障，数据丢失）
自动备份:首次完整备份，以后备份为增量备份例如：一个月备份一次，第一周为完整备份，第二、三、四周为增量备份，到月末第一周完整备份与第二周增量备份合一次，第五周便是第四周的增量备份快照备份：第一次备份为全量备份，，备份文件由备份镜像和快照...

			
		

	





	

		

			

				
					
CDH集群意外处理：集群个别主机断电处理

				
			

			

				

					小蚯蚓的博客
				

				

					08-06
					
					789
					
				

			

		

		

			
				
一、 问题描述

大数据CDH集群几台机器莫名断电，CDH集群10台，5台莫名宕机，包括管理节点01。然后服务被关闭，但是，那些依旧开机的服务依旧开启。

二、 解决办法

思路就是重新开启cm然后，通过cm管理服务器，重新开启对应服务。
1.关闭CDH集群02节点上的备份mysql，重启01和02的mysql数据库
2.重启CDH的01节点的cm服务
3.登录：CM服务的7180服务...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值