Doris宕机问题排查

已于 2023-05-29 09:16:38 修改
阅读量1.7k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Doris 文章标签： 大数据 运维 big data
于 2023-05-29 09:16:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/NullNullAgo/article/details/130921174
本文记录了一次针对Doris集群频繁宕机的排查过程，主要包括查看BE的日志文件be.out，使用vim查找Queryid，然后在FE的日志fe.audit.log中通过Queryid定位并分析相应的SQL语句，以找出问题根源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

搭建的doris集群有段时间总是宕机，起初不懂如何检查问题所在，后来请社区的开发人员帮忙排查，现记录一次排查步骤

一、进入be的log目录下找到be.out日志文件，vim be.out，按大写字母G到最底下，往上找到Query id，复制该id

二、进入到fe的log文件下，找到fe.audit.log文件，可以通过下面命令找到Query id对应的sql，也可以vim fe.audit.log 然后通过命令:/  Query id 找到对应的sql

grep -r 'Query id' fe.audit.log

 三、通过上面方式找到对应sql之后，再根据对应sql语句具体情况具体分析

【Doris】doris be宕机自动重启
m0_54252387的博客
07-06 1903
1、安装服务监控工具supervisor,yum方式： 2、修改配置文件/etc/supervisor 3、启动supervisor服务 4、查看状态 5、测试成功。
Flink+Doris 实时数仓
2401_84052244的博客
04-26 3187
简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。
【Apache Doris】BE宕机问题排查指南
ith321的博客
05-25 3762
【Apache Doris】BE宕机问题排查指南
Apache Doris FE 问题排查与故障分析全景指南
最新发布
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
06-14 1096
本文将结合官方文档与实际经验，系统梳理 FE 问题排查的完整路径。
doris be宕机自动重启
weixin_45801864的博客
11-29 974
1、安装服务监控工具supervisor,yum方式： yum install supervisor 2、修改配置文件/etc/supervisor [program:be] command=/opt/module/doris/be/bin/start_be.sh --daemon 启动命令 autostart=true autorestart=true startsecs=0 user=root
Apache doris Stream load JSON为空导致BE宕机的情况解决
锋哥聊DORIS数仓
06-13 995
集群前两天在正常运行情况下突然出现BE大规模宕机的情况，开始认为一个查询导致的，停掉这个查询接口以后，发现还是出现，通过be.out日志发现如下异常信息： When loading json data like `[]` (an empty array). BE will crash with stack: ``` *** Aborted at 1612273824 (unix time) try "date -d @1612273824" if you are using GNU date ***
doris挂了一个be报错ERRCODE = 2, DETAILMESSAGE = 678910 HAVE NO QUERYABLE REPLICAS. ERR: 678911‘S BACKEND 1
qq_43688472的博客
02-19 4102
这个错误表明在执行SQL查询时，出现了无法查询的副本错误。最后，如果出现了集群ID无效的错误，通常是因为Master FE发送的心跳信息中的集群ID与本地存储的集群ID不一致，导致拒绝响应心跳。你需要确保所有节点都在正确的集群中，然后尝试修改FE节点中metadata目录下的image/VERSION文件中的集群ID值，并重启FE节点。另外，你还可以尝试执行show backends/frontends语句来查看后端/前端的信息，但是如果集群有多个FE（前端）节点，可能会出现信息不完整的情况。
Apache Doris 高频问题排查指南：从报错到性能优化
欢迎技术交流，可项目合作
03-30 1166
官方文档-错误码章节](https://doris.apache.org/zh-CN/docs/dev/admin-manual/error-code/)| -400 | 查询超时 | 增大`query_timeout`参数 || -1010 | 函数参数不匹配 | 检查函数签名，如`date_format`格式 |- **FE关键日志**：fe/log/fe.warn.log（搜索`WARN`/`ERROR`）
Doris进阶篇—Flink+Doris 实时数仓
热门推荐
10-07 4万+
简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。
Doris实战——网易互娱的应用实践
爱吃辣条的博客
03-03 1389
Doris实战——网易互娱的应用实践
Apache Doris Grafana监控指标介绍
ecloud_developer的博客
05-27 2379
整个集群重点关注的几个指标：- 集群 FE JVM 堆统计- 集群BE内存使用情况概览- Tablet调度情况- BE IO统计- Query Statistic这部分查询请求数及响应时间- BE BC（Base Compaction）和CC（Compaction Cumulate）
doris异常——任务运行缓慢，内存异常，io异常，compaction score居高不下
weixin_71195617的博客
09-05 1204
doris使用的时候非必要场景下尽量避免主键模型和聚合模型，特别是高频任务。
Apache Doris0.15.3 使用SQL_BLOCK_RULE导致集群FE元数据异常Down机解决方案
weixin_43914798的博客
05-26 585
背景 ​生产Doris集群是0.15.3版本，今天在创建SQL_BLOCK_RULE 的sqlHash规则时，导致Doris集群的FE节点同步元数据时出现空指针异常，集群3个FE节点全部挂掉且无法正常启动的情况。 异常操作行为及报错信息 1.创建SQL_BLOCK_RULE的sqlHash规则： CREATE SQL_BLOCK_RULE test_rule_1 PROPERTIES( "sqlHash"="60c546559e91250393023573061921e0", "global"="f
Doris之故障恢复（重点）
qq_43688472的博客
01-21 2871
Doris之故障恢复
Doris FE节点故障恢复
07-23 1138
作者：恩慈。
doris-2.1.1 bug，时间函数导致宕机
weixin_45928691的博客
06-27 394
在使用Doris的过程中，跑SQL的时候发现跑完一条sql后，doris所有节点都挂了，原因是因为某些时间函数导致的，记录一下。
Doris fe启动失败
1032851561的博客
01-29 7598
由于一直有配置priority_network且机器没更改过网络配置，所以肯定是第二个原因，所以尝试启动另一个FE，注意，此时上面那个192.168.21.5是没完全启动的（9030 mysql查询端口）根本没起来。找到元数据最新那个FE节点(192.168.21.5)，以metadata_failure_recovery=true启动，它将会成为master，然后去掉配置重启，把其它follow删掉重新添加。这是 bdbje 的一个 bug，尚未解决。此时另一个FE报了另外一个错。
Doris 报错及解决方法
da_dou_dou的博客
03-28 4662
用csv文件导入数据时报错
2025-03-18 13:15:02,259 WARN (Thread-55|96) [InternalSchemaInitializer.run():75] Statistics storage initiated failed, will try again later org.apache.doris.common.DdlException: errCode = 2, detailMessage = System has no available disk capacity or no available BE nodes at org.apache.doris.system.SystemInfoService.checkAvailableCapacity(SystemInfoService.java:785) ~[doris-fe.jar:1.2-SNAPSHOT] at org.apache.doris.datasource.InternalCatalog.createTable(InternalCatalog.java:1132) ~[doris-fe.jar:1.2-SNAPSHOT] at org.apache.doris.catalog.InternalSchemaInitializer.createTbl(InternalSchemaInitializer.java:128) ~[doris-fe.jar:1.2-SNAPSHOT] at org.apache.doris.catalog.InternalSchemaInitializer.run(InternalSchemaInitializer.java:73) ~[doris-fe.jar:1.2-SNAPSHOT]什么原因怎么解决
03-19
<think>好的，我现在需要解决用户关于Doris系统出现errCode=2的问题，即由于磁盘空间不足或BE节点不可用导致统计存储初始化失败的原因和解决方法。首先，我要回忆Doris的基本架构，特别是BE节点的作用以及统计信息存储的相关机制。 用户提到的错误代码2通常与资源不足有关，可能涉及磁盘空间或BE节点的可用性。根据提供的引用，特别是引用[1]，磁盘空间不足可能是因为Trash或catalog recycle bin未及时清理，这可能是导致BE节点无法正常工作的原因之一。我需要确认是否还有其他可能的因素，比如BE节点配置问题或元数据损坏。 接下来，解决方法部分需要分步骤处理。首先检查磁盘空间，用户需要查看BE节点的磁盘使用情况，清理不必要的文件。根据引用[1]，设置trash_file_expire_time_sec为0可以禁用Trash，避免空间被占用。此外，可能需要调整垃圾回收策略，比如调整catalog_trash_expire_seconds参数。 然后是检查BE节点状态，确认节点是否在线且健康。如果BE节点宕机，需要重启服务，并排查宕机原因，如硬件故障或配置错误。引用[2]提到bdbje的bug可能导致元数据问题，可能需要通过元数据恢复来处理，但用户的问题更直接的是资源不足，所以暂时可能不需要进入元数据恢复阶段。 另外，用户的问题中还提到统计存储初始化失败，这可能与存储路径配置有关。需要检查storage_root_path是否正确设置，确保路径存在且有足够权限。同时，如果存在多个存储路径，确保至少有一个可用。 最后，预防措施方面，建议用户设置监控告警，定期维护系统，如清理过期数据和优化表结构，避免未来再次出现类似问题。同时，检查是否有无效查询导致日志或临时文件堆积，引用[3]提到无效查询可能导致错误，但这里更可能影响的是日志或临时数据占用空间。 总结下来，解决方案应涵盖磁盘空间清理、BE节点状态检查、存储路径验证以及预防措施。需要确保回答结构清晰，步骤明确，并引用相关参考资料中的解决方法。</think>关于Doris系统中因磁盘容量不足或BE节点不可用导致统计存储初始化失败的问题（错误码：`errCode=2`），以下是原因分析及解决方案： --- ### **原因分析** 1. **磁盘空间不足** - **Trash未清理**：Doris的BE节点会将删除的文件暂存至Trash目录，若未及时清理会占用大量空间[^1]。 - **统计信息存储路径异常**：统计信息存储目录（如`storage_root_path`）所在磁盘空间耗尽，导致初始化失败。 - **元数据膨胀**：长时间未清理的元数据（如表版本、副本数据）可能占用过多空间。 2. **BE节点不可用** - BE节点宕机或网络异常，导致集群无法分配存储资源。 - BE节点配置错误（如存储路径权限问题）。 --- ### **解决方案** #### **1. 清理磁盘空间** - **检查磁盘使用情况**： ```bash # 登录BE节点执行 df -h # 查看磁盘空间 du -sh /path/to/storage_root/* # 检查存储目录占用 ``` - **清理Trash目录**： - 修改BE配置文件`be.conf`，设置`trash_file_expire_time_sec = 0`禁用Trash功能。 - 手动删除Trash文件： ```bash rm -rf /path/to/storage_root/trash/* ``` - **清理元数据回收站**： - 调整FE配置`catalog_trash_expire_seconds`（默认1天），自动清理过期元数据。 #### **2. 恢复BE节点可用性** - **检查BE节点状态**： ```sql -- 通过MySQL客户端执行 SHOW BACKENDS\G ``` - 确认`Alive`字段为`true`，若为`false`需排查宕机原因（如日志报错、硬件故障）。 - **重启BE服务**： ```bash # 在BE节点执行 ./bin/stop_be.sh ./bin/start_be.sh --daemon ``` - **验证存储路径权限**： - 确保`storage_root_path`配置的目录存在且权限正确（用户`doris`可读写）。 #### **3. 调整配置预防问题** - **限制统计信息存储**： - 在FE配置文件`fe.conf`中设置统计信息存储上限： ```properties statistic_auto_collect_ratio = 0.5 # 统计信息最大占比 ``` - **启用磁盘均衡**： - 确保BE节点间磁盘使用均衡，避免单节点过载。 --- ### **引用说明** - 清理Trash目录和调整`trash_file_expire_time_sec`可参考磁盘问题排查手册。 - 若BE节点因元数据问题无法恢复，需按元数据运维文档操作[^2]。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值