Cloudera集群意外断电之后KUDU组件tserver无法重启的问题

最新推荐文章于 2023-02-15 20:17:31 发布
原创 最新推荐文章于 2023-02-15 20:17:31 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kudu #Cloudera Manager #CDH #大数据

本文分析了Cloudera集群因意外断电导致KUDU组件tserver启动失败的问题，探讨了故障原因，并提供了一种直接删除坏块，利用KUDU备份机制恢复数据的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Cloudera集群意外断电之后KUDU组件tserver无法重启的问题

故障原因分析：

测试用的5节点CDH集群因为机房意外断电，很多组件重启失败，手动将agent一个个kill掉重启之后，发现有一个节点上的kudu组件tserver实例无法启动，查看角色日志信息发现报了metadata的偏移量和data文件实际偏移量不匹配的错误。查阅kudu的官方文档初步确定是由于突然断电导致磁盘写入出错，kudu的数据出现脏数据的情况。

吐槽一句，kudu在这一点上离HDFS还差得远啊，这种情况碰到很多次了，hdfs大部分时候都扛下来了，偶尔出现丢块或者坏块都能用fsck修复好。

定位到了问题和原因，那么处理起来就很简单了，因为脏数据只有一个数据块，然后kudu备份数也被我设置成了3份，那么最简单，最暴力的解决方法当然是——直接删除掉这个坏块，让kudu自己的备份还原机制去保证3备份的完整性。

测试一下，将日志报出来的.data文件和.metadata文件mv到另一个备份文件夹，然后在Cloudera Manager中重启该tserver，启动成功！Over！下班！回家！打开电脑，Steam启动！

	我知道我这是瞎整，不过kudu的资料实在是少，有没有更好的解决方案啊。。。
Cloudera Manager API详解和大数据组件异常自动恢复实例（亲测可用）
大模型大数据攻城狮的专栏
06-13 4363
这是的升级篇。Cloudera Manager 是一个全面的集群管理和监控解决方案，专为Apache Hadoop生态系统设计。它提供了一站式的界面，用于部署、配置、管理和监控Cloudera Distribution Including Apache Hadoop (CDH)集群。Cloudera Manager通过其强大的API，使得自动化和集成变得更加容易，从而进一步增强了集群的可管理性。
利用Cloudera Manager API来监控CDH大数据组件并异常重启实例
大模型大数据攻城狮的专栏
06-12 1260
Cloudera Manager API是一套基于RESTful风格的API接口，它允许用户通过HTTP请求与Cloudera Manager服务器进行通信，实现对集群的远程管理。这些API接口包括获取集群信息、服务状态、角色状态、启停服务等，为用户提供了丰富的监控和管理功能。Cloudera Manager提供丰富的RSEtfull API接口，并返回标准的JSON结果。具体地址可以参考：CM API接口官网文档说明：
12.时区不同导致HDFS,impala,kuduTserver启动失败
weixin_43346403的博客
02-15 230
时钟偏差
服务器异常断开导致kudu无法启动问题（Data length checksum does not match: Incorrect checksum in file ... : Checksum ）
hcq_lxq的博客
10-13 1176
某日一台服务器异常断开，无法登陆，后续正常后，agent服务自动重启，服务器上的各种角色也在启动恢复，但是kudu无法恢复。手动重启后失败： 大概由于服务器异常断开，当时kudu正在进行数据写入操作，导致数据文件异常，报错如下： ++ date + timestamp='Wed Oct 13 10:57:02 CST 2021' + echo 'Wed Oct 13 10:57:02 CST 2021: Found master(s) on hadoopap11,hadoopap12,hadoop..
kudu重启报错：Error creating minidump directory: /var/log/kudu/minidumps/kudu-tserver
小海的专栏
09-26 702
问题描述：CDH6.3.2的Kudu，之前安装的时候启动都是正常的，后来因为一些原因停了一段时间，再次启动的时候发现启动失败报错： Error creating minidump directory:/data/var/log/kudu/minidumps/kudu-tserver 和 Failed to load FS layout: /data/kudu/kudu_server_data/instance 经查发现kudu的日志文件和数据文件的所有者出现错误： 原...
CDH6.0.1 cloudera-scm-server启动失败，刚开始是好的，去界面装cdh的时候最后一步校验主机的时候我跳过了，之后cloudera-scm-server就启动不了啦急急急
u012960889的专栏
12-28 3133
2018-12-28 23:58:41,239 INFO agentServer-104:com.cloudera.server.common.MonitoringThreadPool: agentServer: execution stats: average=11418ms, min=126ms, max=489346ms. 2018-12-28 23:58:41,239 INFO agent...
cdh集群，DataNode换个内存重启后，kudu的Tablet Server报错无法正常启动解决
SelectDB的专栏
08-10 2862
错误如下： F0810 11:20:27.422596  4258 tablet_server_main.cc:80] Check failed: _s.ok() Bad status: Service unavailable: Cannot initialize clock: Error reading clock. Clock considered unsynchronized 解决办法： ...
ansible_cloudera：Ansible手册，用于在Linux Vagrant实例上部署Cloudera集群
02-06
《使用Ansible在Linux Vagrant实例上部署Cloudera集群》 在当今的云计算和大数据领域，Cloudera是Hadoop生态系统中一个重要的组件，它提供了企业级的数据管理、分析和治理解决方案。与此同时，Ansible作为一款自动...
大数据Kudu（五）：Kudu基于Cloudera Manager安装及配置
Lansonli（蓝深李）的博客
12-14 1006
使用Kudu一般都会和impala进行整合，impala与Hive是强依赖关系，需要安装Hive，安装Hive需要安装HDFS等，以上各个技术组件的版本都需要对应匹配，由于Kudu没有直接的安装包，为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。等待安装完成即可，可以通过Cloudera Manager 界面来访问Kudu。
Cloudera Manager API自动检测所有CDH挂掉的组件并自动重启
06-12
auto_role_monitor.py， 利用CDH-Cloudera Manager API ，会自动检测CDH集群下所有的服务，有哪些服务挂了，并根据大数据组件的依赖关系进行检测大数据组件异常并自动恢复。考虑到很多运维是用python脚本来实现，...
【原创】大数据基础之Kudu（6）kudu tserver内存占用统计分析
weixin_30375247的博客
06-01 1012
kudu tserver占用内存过高后会拒绝部分写请求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu_tserver:7050) for tablet 858c055c456549569af77d14eaf997e5: Ser...
Kudu启动过程中常见错误及解决方法
灰灰灰的博客
10-30 6064
在kudu启动时，控制台显示启动ok并不一定已经真正启动了kudu-master和kudu-tserver，需要查看进程是否已经运行ps -ef | grep kudu [root@node01 ~]# ps -ef | grep kudu kudu 9644 1 18 00:43 ? 00:00:02 /usr/lib/kudu/sbin/kudu-master ...
Kudu1.7修复unavailable Tablet replication
黑幕Zz的博客
07-20 2921
情景： 昨天修改了solr的配置，重启完solr发现有两台kudu server掉了，查看日志发现原来是由于文件句柄太多了导致的。但是由于kudu中的数据太多，container过多，并且full container较少，重启kudu server特别慢，会一直在做log_block_manager，这是由一个已知的bug导致的。https://issues.apache.or...
解决 CDH6 启动 cloudera-scm-server 失败问题
萌兔兔MMQ！！
08-15 1620
然后通过命令 journalctl -xe 发现了一些端倪，提示 JAVA_HOME 找不到，但是我明明已经安装过了jdk，使用 java -version 也可以正常列出版本信息，怎么还会找不到呢？同时注意的是，集群内其他已经安装 Java 的机器也建议这样操作，因为 CDH 在安装过程也会检查集群内各个机器的环境情况，如果机器只是安装了 Java 并配合环境变量，但是 /usr/java 没有信息的话，检测也会提示机器没有 Java 环境的。...
cloudera-scm-server一直启动失败的解决办法
热门推荐
厚积薄发
08-07 1万+
先说明下我使用的环境： centos7.x cdh6.3.2 jdk1.8 之前的配置都配好后执行systemctl start cloudera-scm-server命令报如下错误： [root@s30 ~]# systemctl status cloudera-scm-server ● cloudera-scm-server.service - Cloudera CM Server Service Loaded: loaded (/usr/lib/systemd/system/cloud..
ClouderaManager问题解决方案
璃鹿的博客
01-03 7793
1、集群中出现多个重复机器 解除所有机器授权，remove from cloudera-manager，再将集群cluster和管理删除。在首页点击添加集群。依次执行安装步骤 2、安装失败，无法接受agent发出的检测信号 1、首先检查hostname和hosts文件配置是否正确 2、如果正确，查看/var/log/cloudera-scm-agent/下的agent的日志，发现：Fa...
Kudu TabletServer服务器断电无法启动
lynnyq
10-24 1791
Kudu TabletServer服务器断电无法启动 1.问题 Kudu TabletServer服务器正常大量写入时，服务器异常重启，会造成TabletServer的metadata的文件数据不完整功能，再次启动TabletServer会报如下错误： Check failed: _s.ok() Bad status: Corruption: Failed to load FS layout: C...
kudu服务无法启动问题！
qm5132的博客
05-14 3483
最近在kudu开发时候，遇到一个奇怪问题：kudu原本正常，重启之后再也无法正常启动，报错信息如下： E0514 10:27:54.910121 16072 webserver_options.cc:111] --webserver_private_key_password_cmd may not be set without --webserver_private_key_file E051...
cloudera平台hdfs 集群启动不了也无法重启
最新发布
03-11
<think>好的，用户遇到了Cloudera平台HDFS集群无法启动和重启的问题，需要解决方案。我需要结合之前提供的引用信息，特别是引用[1]、[2]、[3]、[5]中的相关内容，来构建一个结构清晰的回答。 首先，我应该先分析可能的错误原因。根据引用[2]，安装过程中可能残留旧文件导致冲突，需要清理。另外，引用[5]提到日志目录和堆转储目录的可用空间不足可能导致问题，这也需要检查。引用[1]提到的HDFS社区修复的滚动升级和降级问题可能相关，尤其是在升级或降级过程中出现的不兼容问题，需要确认是否应用了相关补丁。引用[3]关于HA配置的问题，比如NameNode的状态是否正常，ZKFC进程是否运行，这些都可能影响集群启动。 接下来，解决方案部分需要分步骤。第一步是检查日志，用户需要查看NameNode、DataNode、JournalNode的日志，以及Cloudera Manager的日志，寻找具体的错误信息。第二步是处理残留文件，根据引用[2]，删除残留的元数据和数据目录。第三步是检查存储空间，引用[5]中的日志目录和堆转储目录空间不足，需要清理或扩容。第四步是验证HA配置，确保ZKFC正常运行，NameNode状态同步。第五步是检查网络和端口，确认端口未被占用，网络通畅。第六步是使用Cloudera的修复工具，比如重新生成启动脚本或修复ZooKeeper。第七步是应用社区补丁，参考引用[1]中的HDFS-13596等issue，升级到包含这些修复的版本。 然后，相关问题部分需要生成与HDFS集群启动失败相关的其他问题，比如日志分析、空间不足、HA配置、升级失败等，引导用户进一步排查。 最后，要确保回答中引用了正确的来源，比如在清理残留文件部分引用[2]，存储空间引用[5]，HA配置引用[3]，社区补丁引用[1]。同时，保持回答结构清晰，分步骤说明，帮助用户逐步解决问题。</think>### Cloudera HDFS集群启动失败解决方案 #### 一、错误原因分析 1. **残留文件冲突** 安装或升级过程中可能存在未清理的旧配置文件或数据目录，例如`/var/lib/hadoop-hdfs`或`/data/hdfs`路径下残留的`namenode`元数据文件。此类问题常见于重复安装或降级操作场景[^2]。 2. **存储空间不足** - 日志目录（如`/var/log/hbase`）或堆转储目录（如`/tmp`）可用空间低于5GB时，会触发系统保护机制阻止服务启动[^5] - 数据节点磁盘空间不足会导致DataNode无法注册到NameNode。 3. **HA配置异常** 高可用模式下JournalNode未同步、ZKFC进程异常或ZooKeeper仲裁失败会导致NameNode无法完成主备切换[^3]。 4. **版本兼容性问题** 未修复的HDFS已知问题可能导致启动失败，例如滚动升级过程中出现的元数据不兼容（涉及HDFS-13596等关键issue）[^1]。 --- #### 二、分步解决方案 **第一步：检查关键日志** ```bash # NameNode日志 tail -n 100 /var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log # DataNode日志 tail -n 100 /var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log # Cloudera Manager Agent日志 grep "HDFS" /var/log/cloudera-scm-agent/cloudera-scm-agent.log ``` 重点关注以下错误模式： - `java.io.IOException: Incompatible clusterIDs`（元数据冲突） - `Cannot lock storage ... Directory is locked`（文件锁残留） - `No space left on device`（存储空间不足） **第二步：清理残留文件** ```bash # 停止所有HDFS服务 sudo service hadoop-hdfs-namenode stop sudo service hadoop-hdfs-datanode stop # 删除元数据目录（先备份！） rm -rf /dfs/nn/current/* # 清理临时文件 rm -rf /tmp/hadoop-* /var/lib/hadoop-hdfs/cache/* ``` *注意：操作前需通过`hdfs dfsadmin -report`确认数据副本状态[^2]* **第三步：检查存储空间** 通过CM控制台或命令行检查： ```bash # 检查各节点存储 df -h /var/log /tmp /data* # 清理日志文件 sudo find /var/log -name "*.log" -mtime +7 -exec rm {} \; ``` *建议保持日志目录至少10%可用空间* **第四步：验证HA配置** ```bash # 检查JournalNode状态 curl http://journalnode-host:8480/jmx?qry=Hadoop:service=JournalNode,name=JournalNode-* # 强制同步元数据 hdfs haadmin -ns <nameservice> -transitionToActive --forcemanual <namenode-id> ``` *高可用配置需确保ZKFC进程正常运行[^3]* **第五步：端口冲突检查** ```bash # 检查NameNode端口 netstat -tuln | grep '8020\|8022\|50070' # 检查DataNode端口 netstat -tuln | grep '50010\|50020\|50075' ``` *若端口被占用，需修改`hdfs-site.xml`中对应配置项* **第六步：使用Cloudera修复工具** 通过CM界面执行： 1. 集群 > 操作 > 重新生成启动脚本 2. 主机 > 操作 > 重新部署客户端配置 3. Zookeeper > 操作 > 初始化元数据 **第七步：应用社区补丁** 对于已知问题（如HDFS-13596），需升级到包含修复的版本： ```bash # 查看当前HDFS版本 hdfs version # 升级操作示例 sudo yum update hadoop-hdfs-3.0.0+cdh6.3.2* ``` *升级前需验证版本兼容性[^1]* ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值