Doris宕机问题排查

原创已于 2023-05-29 09:16:38 修改 · 1.8k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #运维 #big data

于 2023-05-29 09:16:06 首次发布

Doris 专栏收录该内容

3 篇文章

订阅专栏

本文记录了一次针对Doris集群频繁宕机的排查过程，主要包括查看BE的日志文件be.out，使用vim查找Queryid，然后在FE的日志fe.audit.log中通过Queryid定位并分析相应的SQL语句，以找出问题根源。

搭建的doris集群有段时间总是宕机，起初不懂如何检查问题所在，后来请社区的开发人员帮忙排查，现记录一次排查步骤

一、进入be的log目录下找到be.out日志文件，vim be.out，按大写字母G到最底下，往上找到Query id，复制该id

二、进入到fe的log文件下，找到fe.audit.log文件，可以通过下面命令找到Query id对应的sql，也可以vim fe.audit.log 然后通过命令:/ Query id 找到对应的sql

grep -r 'Query id' fe.audit.log

三、通过上面方式找到对应sql之后，再根据对应sql语句具体情况具体分析

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序员在线炒粉

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Doris】doris be宕机自动重启

m0_54252387的博客

07-06

2034

1、安装服务监控工具supervisor,yum方式： 2、修改配置文件/etc/supervisor 3、启动supervisor服务 4、查看状态 5、测试成功。

Doris 报错及解决方案收集

2 条评论

KsrA 2024.01.15
fe.audit.log 这个日志是需要配置地址吗我这里没有嘞
- jiez1回复KsrA 2024.02.02
  找到了吗我这里也没有

【Apache Doris】BE宕机问题排查指南

ith321的博客

05-25

4241

【Apache Doris】BE宕机问题排查指南

doris be宕机自动重启

weixin_45801864的博客

11-29

1051

1、安装服务监控工具supervisor,yum方式： yum install supervisor 2、修改配置文件/etc/supervisor [program:be] command=/opt/module/doris/be/bin/start_be.sh --daemon 启动命令 autostart=true autorestart=true startsecs=0 user=root

Apache doris Stream load JSON为空导致BE宕机的情况解决

锋哥聊DORIS数仓

06-13

1052

集群前两天在正常运行情况下突然出现BE大规模宕机的情况，开始认为一个查询导致的，停掉这个查询接口以后，发现还是出现，通过be.out日志发现如下异常信息： When loading json data like `[]` (an empty array). BE will crash with stack: ``` *** Aborted at 1612273824 (unix time) try "date -d @1612273824" if you are using GNU date ***

doris挂了一个be报错ERRCODE = 2, DETAILMESSAGE = 678910 HAVE NO QUERYABLE REPLICAS. ERR: 678911‘S BACKEND 1

qq_43688472的博客

02-19

4637

这个错误表明在执行SQL查询时，出现了无法查询的副本错误。最后，如果出现了集群ID无效的错误，通常是因为Master FE发送的心跳信息中的集群ID与本地存储的集群ID不一致，导致拒绝响应心跳。你需要确保所有节点都在正确的集群中，然后尝试修改FE节点中metadata目录下的image/VERSION文件中的集群ID值，并重启FE节点。另外，你还可以尝试执行show backends/frontends语句来查看后端/前端的信息，但是如果集群有多个FE（前端）节点，可能会出现信息不完整的情况。

Doris BE 节点宕机？这篇指南助你快速定位与修复！

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

07-09

1762

今天，我们就深入探讨 Doris 的 BE 宕机问题定位与解决方法，让你在面对宕机时更加游刃有余！

Doris FE 常见问题与处理指南

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

04-17

1716

本文将深入剖析 Doris FE 常见问题及其处理办法。

Apache Doris FE 问题排查与故障分析全景指南

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

06-14

1701

本文将结合官方文档与实际经验，系统梳理 FE 问题排查的完整路径。

Doris系列2-Doris编译和安装

只是甲的博客

12-28

2219

文章目录一.编译前准备1.1 环境准备1.2 安装Docker1.2.1 卸载旧版本1.2.2 安装需要的软件包1.2.3 设置yum源1.2.4 查看docker版本1.2.5 安装docker1.2.6 启动并加入开机启动1.2.7 验证安装是否成功1.2.8 迁移docker1.2.9 退出后重新进入docker二. 编译2.1 下载 Docker 镜像2.2 运行镜像2.3 下载源码2.4 编译 Doris三. 安装部署3.1 安装FE3.1.1 拷贝FE部署文件3.1.2 配置 FE3.1.3 启

Flink+Doris 实时数仓

2401_84052244的博客

04-26

3255

简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。

doris异常——任务运行缓慢，内存异常，io异常，compaction score居高不下

weixin_71195617的博客

09-05

1405

doris使用的时候非必要场景下尽量避免主键模型和聚合模型，特别是高频任务。

Apache Doris0.15.3 使用SQL_BLOCK_RULE导致集群FE元数据异常Down机解决方案

weixin_43914798的博客

05-26

636

背景生产Doris集群是0.15.3版本，今天在创建SQL_BLOCK_RULE 的sqlHash规则时，导致Doris集群的FE节点同步元数据时出现空指针异常，集群3个FE节点全部挂掉且无法正常启动的情况。异常操作行为及报错信息 1.创建SQL_BLOCK_RULE的sqlHash规则： CREATE SQL_BLOCK_RULE test_rule_1 PROPERTIES( "sqlHash"="60c546559e91250393023573061921e0", "global"="f

Doris之故障恢复（重点）

qq_43688472的博客

01-21

3101

Doris之故障恢复

Doris FE节点故障恢复

07-23

1340

作者：恩慈。

doris-2.1.1 bug，时间函数导致宕机

weixin_45928691的博客

06-27

459

在使用Doris的过程中，跑SQL的时候发现跑完一条sql后，doris所有节点都挂了，原因是因为某些时间函数导致的，记录一下。

Doris fe启动失败

1032851561的博客

01-29

7942

由于一直有配置priority_network且机器没更改过网络配置，所以肯定是第二个原因，所以尝试启动另一个FE，注意，此时上面那个192.168.21.5是没完全启动的（9030 mysql查询端口）根本没起来。找到元数据最新那个FE节点(192.168.21.5)，以metadata_failure_recovery=true启动，它将会成为master，然后去掉配置重启，把其它follow删掉重新添加。这是 bdbje 的一个 bug，尚未解决。此时另一个FE报了另外一个错。

Doris 报错及解决方法

da_dou_dou的博客

03-28

4897

用csv文件导入数据时报错

Doris FE（follower）故障的处理方法

学亮编程手记

12-27

1566

因为，这里看到的 “OBSERVER” 是记录在 Doris 的元数据中的，而是否是 master，是记录在 bdbje 的元数据中的。语句，你应该能看到两个 FE，一个是之前的 OBSERVER，一个是新添加的 FOLLOWER，并且 OBSERVER 是 master。以上这些步骤的目的，其实就是人为的制造出一个 FOLLOWER 节点的元数据，然后用这个元数据，重新开始故障恢复。确认这个新的 FOLLOWER 是可以正常工作之后，用这个新的 FOLLOWER 的元数据，重新执行一遍故障恢复操作。

doris用

07-26

在 Apache Doris 的使用过程中，可能会遇到多种问题，这些问题通常与配置、查询、表结构变更以及节点状态相关。以下是常见的问题及其解决方法。 ### Doris 配置问题当 Doris 的 FE（Frontend）节点启动失败或无法访问 HTTP 接口时，可能是因为配置文件 `fe.conf` 中的 `priority_networks` 设置不正确。该配置用于在主机存在多个 IP 地址时指定 Doris 使用的网络接口。如果配置错误，FE 可能无法绑定到正确的 IP，从而导致无法访问 `http://FE_IP:8030`。解决方法是修改 `priority_networks` 为正确的网络地址，例如 `192.168.0.0/24`，然后重新启动 FE 节点 [^3]。 ### Doris 查询问题在使用 `MAP_AGG(expr1, expr2)` 进行行转列操作时，需要注意该函数会将分组内的 `expr1` 作为键，`expr2` 作为对应的值，返回一个 `map` 类型的结果。然而，如果同一分组中存在重复的键值，则最终的 `map` 中该键的取值是不确定的。因此，建议确保分组内的键值唯一，以避免数据歧义。例如，以下查询将 `nation` 表按 `n_regionkey` 分组，并使用 `MAP_AGG` 构建一个键值对： ```sql SELECT n_regionkey, MAP_AGG(n_nationkey, n_name) FROM nation GROUP BY n_regionkey; ``` 如果分组中存在重复的 `n_nationkey`，则最终的 `map` 中对应的 `n_name` 可能不是预期的值 [^2]。 ### 表结构变更问题 Doris 支持通过 `ALTER TABLE` 命令对表结构进行修改，包括添加列、删除列、修改列类型和调整列顺序。例如，可以在 `table1` 中添加一列 `uv`，并设置默认值为 `0`： ```sql ALTER TABLE table1 ADD COLUMN uv BIGINT SUM DEFAULT '0' AFTER pv; ``` 可以使用以下命令查看结构变更的执行进度： ```sql SHOW ALTER TABLE COLUMN; ``` 如果结构变更正在进行，且希望取消该操作，也可以通过 `SHOW ALTER TABLE COLUMN` 找到正在执行的变更任务 ID，然后使用 `CANCEL ALTER TABLE` 命令取消任务 [^5]。 ### BE 节点问题如果 Doris 的 BE（Backend）节点出现异常，可能导致查询性能下降或数据写入失败。可以通过以下命令检查 BE 节点的状态： ```sql SHOW BACKENDS; ``` 在返回的结果中，`isAlive` 字段表示 BE 是否存活，若为 `false`，则表示该 BE 已宕机。此外，`LastStartTime` 字段可以显示 BE 最近一次启动的时间，如果该时间较近，则可能表示 BE 曾经重启过。如果 BE 宕机，可以前往对应的节点查看 `be.out` 日志文件，以排查异常原因。如果没有明显的异常堆栈信息，可以使用以下命令检查系统是否因内存不足（OOM）导致进程被终止： ```bash dmesg -T ``` 如果发现 OOM 导致进程被终止，可以尝试调整 BE 的内存限制或优化查询以减少内存使用 [^4]。 ### 命令执行失败问题在某些情况下，Doris 的 SQL 命令可能突然无法执行。这可能是由于 FE 或 BE 节点的异常、配置错误、网络问题或资源不足等原因导致。首先需要检查 FE 和 BE 的状态，确认所有节点正常运行。其次，查看 FE 的日志文件 `fe.log` 和 BE 的日志文件 `be.out`，以查找可能导致命令执行失败的错误信息。最后，确保客户端与 Doris 集群之间的网络连接正常，并且没有防火墙或端口限制等问题 [^1]。 ---