Doris集群查询报错

集群规模:3 FE + 89 BE 阅读详情

一、问题现象:

查询某个表数据时出现这个问题

errCode = 2, detailMessage =(xx.xxx.x.xxx) [CANCELLED]Bad page: checksum mismatch (actual=1685103671 vs expect=2746936888), file=/opt/doris/be/storage/data/617/38307643/87428600/0200000000a2cdf4eb4352137a558f9adcab3bc1c412cd86_0.dat

二、问题原因

Doris集群部分节点磁盘损坏,导致查询表数据异常,后续重新缩容扩容更换磁盘查询依旧异常。

三、解决方案

1.全局状态检查

在数据库工具(例如DBeaver执行)

show proc '/cluster_health/tablet_health';

注:全局检查查询为正常,TabletNum 和 HealthNum 数据量相等。相等为正常;

2.查看具体tablet信息

1.查看有问题的tablet详细信息

SHOW TABLET 38307643

获取到关键信息:

tableName: t_data_表名称

PartitionName: p20250918

DetailCmd: SHOW PROC '/dbs/32735632/32735981/partitions/38307638/32735982/38307643';

2.执行DetailCmd的语句

SHOW PROC '/dbs/32735632/32735981/partitions/38307638/32735982/38307643';

获取到关键信息:

BackendId: 17142219

Version: 43808

LstFailedVersion: -1

IsBad: false

CompactionStatus: http://53.240.1.158:8040/api/compaction/show?tablet_id=38307643

3.确认是否自动修复

由于doris内部会自动做数据均衡和修复,所以当出现数据副本异常时,先确认异常数据副本能否自动修复:

如果是多副本,查看是否存在健康副本。健康副本是指副本version >= special_version && last_failed_version = -1 && isBad = false, 且curl 它的 compact_status, missing_rowsets 为空

3.查看有问题分区副本数量(副本数大于3才能使用命令尝试修复数据)

SHOW PARTITIONS FROM table(表名)

注:ReplicationNum为副本数大于3才能进行标记分区为bad进行修复;

4.调用Doris自动修复机制标记数据异常分区为bad,进行自动修复

ADMIN SET REPLICA STATUS PROPERTIES( "tablet_id" = "38307643", "backend_id" = "17142219", "status" = "bad" );

-- backend_id与tablet_id取值为执行DetailCmd的语句 查询后结果中的backendid与tabletid

注:执行成功后等1~2分钟再次执行DetailCmd的语句查询backendid数值查询与其他副本相差不大;

5.自动修复结果验证

SHOW PROC '/dbs/32735632/32735981/partitions/38307638/32735982/38307643';

注:再次查询有报错的表数据,查看是否查询正常,如果有异常查看哪个节点副本数据有异常,执行自动修复再次修复,修复后再次验证结果,查询表数据看结果是否正常返回;

Apache Doris从安装到调优:MPP架构OLAP集群部署实战指南 MPP架构是大数据领域实现海量数据秒级分析的主流计算模型,其核心理念是将查询任务并行分发到多个节点协同处理。Apache Doris作为典型的MPP架构OLAP数据库,通过FE元数据管理节点与BE计算存储节点的高效协作,能够支撑高并发场景下的复杂聚合、多表关联和明细查询,因此成为互联网、金融、电商等行业构建实时数仓的主流选型。在实际工程落地中,Doris集群的部署质量与核心参数调优直接影响查询性能与稳定性,其中涉及FE的元数据配置、BE的存储路径规划、分区分桶策略、物化视图设计以及内存和磁盘的精细调优。结合 阅读详情

相关推荐

Doris报错‘there is no scanNode Backend‘排查指南:从黑名单机制到实战解决

本文深度解析Doris报错'there is no scanNode Backend'的原因及解决方案,重点剖析Doris的黑名单机制及其触发条件。通过源码解读、排查路径和典型场景优化方案,帮助用户快速定位并解决ScanNode Backend问题,提升集群稳定性。

lll78的博客 969

doris查询时连接报错

ERROR [http-nio-10020-exec-12] [http-nio-10020-exec-12raceId] [] [5] @@GlobalExceptionAdvice@@ | server error org.springframework.dao.RecoverableDataAccessException: ### Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsExcep

gaofeng的博客 2226

ClickHouse在大数据体系中的定位与实战:极速OLAP查询引擎解析

大数据技术栈中,离线批处理与实时流计算往往不是最难的一环,真正困扰工程团队的是海量数据下的交互式查询与分析响应。列式存储与向量化执行作为现代OLAP引擎的两大核心原理,通过按列读取、批量计算与SIMD指令优化,将磁盘I/O和CPU利用率推向极致。基于这些技术构建的分析型数据库,能够在百亿级数据上实现秒级聚合与即席查询,广泛应用于用户行为分析、BI报表、日志监控等场景。其中,ClickHouse凭借MergeTree存储引擎、稀疏索引与分布式副本机制,成为大数据体系中补齐“极速查询”短板的关键组件。理解其存储

weixin_32181267的博客 120

Doris Hive Catalog实战:5分钟搞定跨集群数据查询(附常见报错解决方案)

本文详细介绍了Doris Hive Catalog的实战应用,帮助用户在5分钟内实现跨集群数据查询。文章深入解析了其作为联邦查询引擎的核心原理,提供了从标准HDFS、HDFS HA到云原生对象存储(S3/OSS/COS)的完整配置指南,并附带了Kerberos认证、版本兼容等高频报错的解决方案,旨在构建稳定高效的数据查询通道。

f6g7h8i9j的博客 245

Ubuntu虚拟机离线部署Doris集群与磁盘扩容实战指南

MPP(大规模并行处理)架构是构建现代分析型数据库的核心原理,它通过将查询任务并行分发到多个节点执行,显著提升了海量数据查询的性能。在数据仓库和实时分析场景中,这类技术能够高效处理OLAP(联机分析处理)工作负载。对于需要在隔离网络或资源受限环境中进行数据平台搭建的团队而言,离线部署成为一项关键工程实践。本文聚焦于这一具体需求,详细阐述了在Ubuntu虚拟机环境下,完成Apache Doris数据库从依赖准备、镜像构建到服务配置的完整离线部署流程。针对部署中常见的磁盘空间瓶颈,文章进一步提供了从虚拟机管理器

weixin_34293911的博客 467

Docker部署Apache Doris:从单机到集群的完整实践指南

容器化技术通过环境隔离和标准化封装,为复杂应用的部署与管理提供了高效解决方案。其核心原理在于利用操作系统级虚拟化,将应用及其依赖打包成轻量级、可移植的镜像,从而实现快速启动、一致运行和资源隔离。这一技术价值在于极大简化了开发、测试和生产环境的配置一致性难题,提升了部署效率与可维护性。在数据仓库和实时分析领域,Apache Doris作为一个高性能的MPP分析型数据库,常面临传统源码部署依赖复杂、环境配置繁琐的挑战。结合Docker进行部署,可以快速搭建用于功能验证、测试或本地开发的环境。本文聚焦于Docke

weixin_33801856的博客 470

doris查询报错The depth of the expression tree is too big

doris查询报错The depth of the expression tree is too big问题解决

qq_29391331的博客 728

汽车级智能栅极驱动器深度解析 | 连载01:DRV871x-Q1系列产品架构与核心特性

集成度:单芯片集成多通道驱动器、电源管理、电流检测智能化:自适应控制算法,减少外部元件可靠性:多重保护机制,满足汽车级要求灵活性:SPI和硬件两种接口,适应不同应用需求。

VehSwHwDeveloper的博客 1151

doris基础使用

doris数据库使用总结

s07aser123的专栏 1332

实用工具抓取youtube热门数据

YouTube作为全球第二大搜索引擎,2024年日均视频播放量突破50亿次,头部创作者单月广告分成可达百万美元量级。但对数据分析者而言,其反爬机制堪称业界最严: ‌反爬技术升级‌:Google部署的Botguard系统可检测异常流量,触发机制包括: 单IP每小时请求超过50次即封禁 检测Headless浏览器指纹(如Chrome的navigator.webdriver属性) 动态加载内容(如评论数据需滚动页面3次后加载) ‌数据价值维度‌:某MCN机构研究显示,前100热门视频的标题关键词复用率高达67%

26万+

Unity海洋渲染实战:Ceto Ocean System核心原理与高级应用指南

实时水面渲染是计算机图形学中的重要课题,涉及波浪模拟、光照交互和着色器编程等核心技术。其原理通常基于物理模型,如使用Gerstner波模拟规则海浪,或通过快速傅里叶变换(FFT)处理频谱数据生成随机海面。这些技术的价值在于能以可控的性能开销,在游戏中实现具有体积感、反射和折射效果的真实水体。在开放世界、海战模拟等应用场景中,专业的海洋系统如Ceto Ocean System,通过模块化架构整合了波浪生成、动态网格和渲染管线,为开发者提供了完整的解决方案。本文深入探讨了其双引擎波浪系统和多层渲染结构,并分享了

weixin_29002595的博客 279

StarRocks3.3.1集群(存算一体)部署基准测试实验

错误信息:ERROR : Expected LE 1 to be returned by expression。原因构造表date_dim中有两条数据重复了。由于执行的时间太长,需要以后台执行的方式来执行脚本。默认超时时长300,5分钟。

有问题的请私信或关注v【技术印记】留言 1245

从理论到实践:基于Zemax的高分辨率生物显微镜光学系统仿真与优化指南

本文详细介绍了基于Zemax的高分辨率生物显微镜光学系统仿真与优化全流程。从阿贝分辨率公式、柯勒照明等理论基础出发,逐步讲解Zemax建模、像差优化、制造可行性分析等核心步骤,并提供常见问题解决方案。通过实际案例展示如何将理论设计转化为可制造的优化方案,帮助工程师掌握从仿真到实际应用的关键技术。

weixin_29229989的博客 481

Hive数仓太慢?引入Doris做MPP加速的整合实践

大数据分析中,离线数仓Hive以批处理见长,但面对高频交互查询常显力不从心,根因在于MapReduce/Tez的磁盘Shuffle、小文件爆炸以及hive窗口函数中的排序长尾效应。MPP数据库Doris采用列式存储与向量化执行,将聚合、排序和多表Join的耗时从分钟级压缩到秒级。选型阶段,Doris与ClickHouse的对比显示,Doris在多表Join、Hive集成和MySQL兼容性上更适合数仓加速场景。部署方面,FE/BE集群规划、内存参数和分桶键设计直接决定提速上限。实际应用中,通过Multi-Ca

weixin_31062533的博客 303

IPSec案例部署

步骤二:按照规划划分vlan并开启vlanif接口,配置链路类型实现vlan之间的互通。步骤2 :配置OSPF实现公司内部通信,配置静态路由实现AR1和AR3路由可达。3. 配置IPSec的安全联盟(协商业务数据加密时使用的参数)下发缺省路由,使网关设备有去往对端的路由‘配置对等体IP地址,即分公司的出口IP。步骤1:设备重命名以及IP地址的配置。步骤4:配置NAT,实现内网访问外网。步骤3:配置IPSec VPN。5.调用IPSec的安全策略。发了5个包 加密5个包。

2301_76769137的博客 1694

反序列化漏洞详解

目录 一、什么是序列化和反序列化 二、什么是反序列化漏洞 三、序列化函数(serialize) 四、反序列化(unserialize) ​五、什么是PHP魔术方法 六、一些常见的魔术方法 七、魔术方法的利用 八、反序列化漏洞的利用 1.__destruct()函数 2.__wakeup() 3.toString() ​九、反序列化漏洞的防御 一、什么是序列化和反序列化 序列化是将对象转换为字符串以便存储传输的一种方式。而反序列化恰好就是序列化的逆过程,反序列化会将字符串.

LJH1999ZN的博客 3万+

【Doris】集群的搭建配置和介绍

路径 | 角色 | 作用 || fe/bin/| FE | 启动/停止控制脚本 || fe/conf/fe.conf| FE | ​核心配置文件,定义元数据目录、端口、JVM参数等 || fe/doris-meta/| FE | ​极其重要,存储集群元数据,​必须备份​ || fe/log/| FE | 存放日志文件,排查问题首要查看位置 || be/bin/| BE | 启动/停止控制脚本 |

weixin_44823875的博客 1323

YOLOv11 改进策略 | HWD:引入 Haar 小波变换,减少信息丢失

在卷积神经网络(CNN)中,下采样(Downsampling)是降低特征图分辨率、扩大感受野的关键操作,通常通过最大池化(MaxPool)或步长为 2 的卷积(Strided Convolution)实现。然而,这些方法在降低分辨率的同时,往往会丢失图像中的高频细节信息(如边缘、纹理)和精确的空间位置信息,这可能对后续特征提取和目标检测精度产生不利影响,尤其是对于小目标和需要精细定位的任务。

走向CTO的路上... 1789

连接Doris报错Communications link failure

SpringBoot查询Doris报错 ERROR [http-nio-10020-exec-12] [http-nio-10020-exec-12raceId] [] [5] @@GlobalExceptionAdvice@@ | server error org.springframework.dao.RecoverableDataAccessException: ### Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc4

gaofeng的博客 4843

【R语言-生存分析之观察生存率计算】

全人群肿瘤登记资料常用的统计分析指标包括发病率、死亡率、现患率以及生存率等,其中肿瘤生存率是评估肿瘤治疗效果和肿瘤负担的必要指标,其计算涉及肿瘤患者的发病、 死亡和随访三个方面的资料, 数据整理和计算过程均较为复杂, 如何及时、 准确地计算肿瘤生存率, 并使其可以在不同地区、 不同人群、不同时期间被客观公正地比较和评价,仍然是统计学家们一直在研究的主题。

weixin_46579654的博客 5439

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Apache Doris Web UI:如何通过可视化界面轻松管理大数据集群?

在当今数据驱动的时代,数据库管理工具的用户体验直接影响着开发效率。Apache Doris Web UI作为一个现代化的可视化集群管理平台,为开发者和DBA提供了直观、高效的数据库操作体验。本文将带你深入了解这个强大的管理工具,探索如何通过图形界面简化复杂的数据库运维工作。 ## 为什么需要可视化数据库管理界面? 传统的数据库管理往往依赖命令行工具和复杂的配置文件,这给日常运维带来了不小的挑战

gitblog_01402的博客 707

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Apache Doris 容器集群编排利器:doris-compose 完整使用与实现解析

> doris-compose 是 Apache Doris 仓库内置的一套基于 Docker Compose 的集群编排工具,用于一键创建、扩容、缩容与销毁 FE/BE 集群(含云原生 Cloud 模式的 FDB、Meta Service、Recycler 组件),并为回归测试自动生成连接配置。读完本文,你将掌握镜像构建、集群生命周期管理、节点级精细操作、Cloud 多集群测试环境搭建的完整实战

gitblog_00141的博客 279

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

【Doris系列02】从零搭建Doris集群(单机+生产高可用),环境部署与基础使用完全指南

学习测试、无需高可用 → 单FE足够;生产线上核心业务 → 必须3FE搭建高可用集群。

苍煜 356

doris:查询优化器介绍

doris:查询优化器介绍

qq_36070104的博客 1330

大数据集群架构hadoop集群、Hbase集群、zookeeper、kafka、spark、flink、doris、dataease(七)

大数据集群架构hadoop集群、Hbase集群、zookeeper、kafka、spark、flink、doris、dataease

W1124824402的博客 711
上一篇: es集群不中断实时数据更新损坏节点硬盘
下一篇: es集群6.2.4升级到7.17.3版本(本地测试保留原有数据版)
徐小青青啊
博客等级 码龄4年 173粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值