Doris Manager 24.3 版本正式发布,增强集群巡检能力

Doris Manager安装部署 Doris manager 的安装部署 阅读详情

作为 Apache Doris 的智能管理工具,Doris Manager 提供一键部署、实时监控、弹性扩缩容、升级重启等核心功能,并支持告警、日志、审计、巡检等高级运维能力。历经千家企业验证,24.3 版本更稳定高效,让集群管理更简单!在新的版本中,Doris Manager 丰富了集群巡检,监控等能力。

功能更新

在 Doris Manager 24.3 版本中,对以下内容进行了优化改进:

智能集群巡检:

  • 全面健康评估:新增多维度巡检项,覆盖集群健康度,数据健康度,Top SQL 分析,自动生成优化建议;
  • 主动风险发现:快速定位性能瓶颈,提供分片调整,参数优化等方案。

稳定部署保障:

  • 智能预检机制:新增重启动置检查(JAVA_HOME、操作系统参数等),规避环境问题导致失败;
  • 任务流程优化:重构部署升级任务,提升成功率,减少人工干预。

高效监控运维:

  • 精细化磁盘监控:按磁盘维度展示 IO 使用效率及吞吐量,精准定位 IO 问题;
  • 日志精简优化:移除冗余 manager.out 日志,提升日志检索效率。

流畅操作体验:

  • 透明化操作提示:优化升级备份流程,明确展示进度与风险提示;
  • 自动跳转优化:Studio 页面跳转自动携带上下文,减少登录操作。

详细优化与更新功能可以参考 Doris Manager 24.3.0 release notes。

集群巡检功能

在 Doris Manager 24.3 版本中,重构了集群巡检功能,为了直观的感受巡检功能的丰富,我们特此录制了巡检能力的 Demo,具体见下方视频:

Doris Manager 24.3 演示视频

本次版本更新一共新增了五类巡检项功能:

  • 集群概览:展示集群拓扑与 SQL 延时监控,QPS 监控,导入速率等主要集群监控项;
  • 数据概览:展示数据库数量、表数量、分片数量、总数据量及 Top10 数据量的表,对 Tablet 健康度进行检查,筛选出 tablet 过大或者过小的表并给出提示;
  • 查询分析:按照查询耗时、CPU 消耗、内存消耗、扫描数据行、扫描数据量等不同维度展示 Top10 的 SQL;
  • 参数规范:展示 FE 与 BE 配置文件中非默认的配置参数,对集群主要的参数进行检测并给出修改意见;
  • 机器信息:展示操作系统、CPU、内存、磁盘、网络等机器信息。

集群巡检功能.png

启用定期巡检

在设置集群巡检时,可以开启定期巡检,在特定时间周期性的对集群进行检查,并保存巡检报告。如在本例中指定每天两点进行巡检,巡检后通过邮箱与企业微信进行巡检信息推送。巡检会对集群数据进行扫描,占用集群 IO 资源,建议避开集群资源高峰时进行巡检。

启用定期巡检.png

查看巡检建议

在巡检后,可以从巡检报告中查看巡检结果与建议。Doris Manager 针对以下内容给出巡检建议:

  • 数据健康:针对 tablet 大小、副本数量、数据倾斜程度、tablet 数量等信息给出优化建议;
  • 参数配置:针对 Doris 系统参数与变量进行检查并给出优化建议;
  • 机器配置:针对 CPU、操作系统参数等进行检查并给出调整建议。

如下例中,对集群参数进行了检查,列出了非默认参数,并针对参数 enable_profile 给出了修改意见。

查看巡检建议.png

添加自定义巡检项

用户可以根据业务自定义巡检项,通过脚本添加巡检项。如在下例中,添加了 CheckBadTablet 与 CheckSwapOff 两个用户自定义巡检项,关闭 CheckBadTablet 巡检项,打开 CheckSwapOff 巡检项。

$ cat webserver/inspection/script/user-defined-tasks.json
{
  "tasks": [
    {
      "name": "CheckBadTablet",
      "source": "DORIS",
      "reason": "ensure tablets are all healthy.",
      "script": "check-bad-tablet.sh",
      "timeout": 600,
      "enabled": false
    },
    {
      "name": "CheckSwapOff",
      "source": "AGENT",
      "reason": "doris be requires swap off.",
      "script": "check-swap-off.sh",
      "timeout": 600,
      "enabled": true
    }
  ]
}

自定义巡检支持两种脚本定义类型:

  • DORIS:在脚本中执行 SQL 逻辑,发送到 Doris 集群中,返回结果
  • AGENT:在脚本中执行 Shell 命令,发送到每一个 Agent 的宿主机执行,并返回结果

通过 user-defined-tasks.json 可以关联用户自定义脚本,在巡检时会对自定义项进行巡检操作。

添加自定义巡检项.png

加入交流群

如果您对 Doris Manager 产品感兴趣,或在使用过程中有任何问题与建议,欢迎扫描下方二维码加入产品交流群随时提问反馈!

qrcode.png

Doris Cluster Manager 安装部署及使用 Cluster Manager for Apache Doris(简称 Doris Manager)是 Doris开发团队推出的管理运维 Apache Doris集群的工具,完全兼容Doris,可实时监控各项指标。Doris Manager作为一个专门针对Doris的运维监控软件,对Doris百分百兼容,功能多多,版本稳定且迭代较快,各种功能还得自己上手实践才能熟练运用。 阅读详情

相关推荐

从零到一:Doris Manager 部署、集群接管与 Studio 高效查询实战

本文详细介绍了Doris Manager的安装部署、集群接管与Studio高效查询的实战技巧。从基础安装到性能调优,再到SQL查询优化,全面解析如何快速掌握Doris Manager的核心功能,提升数据处理效率。特别适合需要管理doris集群和进行高效SQL查询的开发者和运维人员。

weixin_26899659的博客 438

【Apache Doris】Manager极致丝滑地运维管理

【Apache Doris】Manager极致丝滑地运维管理

ith321的博客 9066

Doris Manager 集群管理实战:从安装到运维全解析

本文全面解析Doris Manager集群管理实战,从安装部署到日常运维,涵盖Apache Doris集群的全生命周期管理。通过可视化操作和自动化工具,大幅提升运维效率,特别适合中小型团队快速掌握分布式数据库管理技巧。

weixin_42525289的博客 416

Doris集群管理工具Doris Manager安装使用

背景:Doris集群管理、监控相对复杂,就想着有没有免费的、好用的管理工具,就发现了Cluster Manager,给大家分享一下。

core815的专栏 1万+

保姆级教程:Doris Manager 23.11.2 最新版安装与集群接管实战(附常见问题排查)

本文提供Doris Manager 23.11.2最新版的企业级安装部署与集群接管实战指南,涵盖环境准备、分步安装、服务启动、集群接管及常见问题排查。通过详细的配置示例和最佳实践,帮助用户高效管理Apache Doris集群,提升运维效率。

weixin_28730927的博客 486

Doris Manager集群的工具,运维更顺畅

Cluster Manager for Apache Doris(以下简称 Doris Manager)是 SelectDB 推出的管理运维 Apache Doris、SelectDB Enterprise 集群的工具。

IT邦德 3886

doris manager 安装部署 、管理已有doris集群、使用studio进行SQL查询

doris manager 安装部署 、管理已有doris集群、使用studio进行SQL查询

寂夜了无痕的博客 5397

【信息科学与工程学】【数据中心】第二十四篇 数据中心DaaS场景及算法

Flink, Kafka Streams, 时序数据库。Flink, Kafka Streams, 流处理引擎。Presto, ClickHouse, 查询加速引擎。Presto, ClickHouse, 查询加速引擎。延迟<50ms,可用性>99.99%,QPS>10K。REST API, GraphQL, API网关。Tableau, Power BI, 自助BI。Tableau, Power BI, 可视化库。Spark, Hadoop, 分布式计算框架。Spark, Hadoop, 分布式计算。

weixin_49199313的博客 1055

DorisManager使用

9、修复缩容失败后选择修改配置,状态显示未知状态,概览页却是 Running 状态的问题。10、修复缩容 manager 上显示活跃实际是非 Alive 的 BE 节点失败的问题。20、修复新建集群状态不正确的问题(集群创建为创建失败,任务状态为执行中)4、修复被托管的集群升级的时候会报错找不到 JDK 的问题。8、修复 File cache 配置的单位不正确的问题。18、修复节点显示无效状态但实际是正常状态的问题。14、修复托管的集群参数配置修改未成功的问题。

someInNeed的博客 1488

【Doris】Prometheus+Grafana监控Doris

DorisDB提供两种监控报警的方案,第一种是使用内置的DorisManager,其自带的Agent从各个Host采集监控信息上报到Center Service然后做可视化展示,也提供了邮件和Webhook的方式发送报警通知。但是如果用户为了二次开发需求,需要自己搭建部署监控服务,也可以使用开源的Prometheus+Grafana的方案,DorisDB提供了兼容Prometheus的信息采集接口,可以通过直接链接BE/FE的HTTP端口来获取集群的监控信息。如果采购DorisDB企业版,则提供DorisM

m0_54252387的博客 5913

VINS-Mono 代码详细解读——IMU预积分的残差、Jacobian和协方差 processIMU()+intergrationBase类+imu_factor.h

IMU离散中值预积分 1.1、IMU模型 测量值:加速度计a^、陀螺仪w^, 加上了bias游走和随机白噪声。 真实值:加速度计a、陀螺仪w。 实际情况下,可以获得测量值a^和w^,需要反推真实值。一般忽略随机游走高斯噪声n w=w^-bg; a=qwb(a^-ba)-gw; 1.2、连续时间IMU运动模型,积分 PVQ(两帧之间) 将第k帧和第k+1帧所有的IMU进行积...

try_again_later的博客 9266

dorismanage安装部署doris

dorismanage安装部署doris

weixin_44970289的博客 1776

人形机器人触觉革命:压电式电子皮肤的多模态感知与自修复技术突破

本文深入探讨了压电式电子皮肤如何推动人形机器人的触觉革命。文章分析了其基于压电效应的多模态感知原理,能够灵敏检测压力、振动与温度,并重点介绍了赋予电子皮肤自修复能力的动态共价网络等前沿材料技术,从而极大提升了机器人与物理世界进行精细、安全交互的可靠性与智能化水平。

weixin_29251567的博客 194

Apache Doris管理工具:Doris Manager使用指南

你是否还在为Apache Doris集群的日常运维感到繁琐?手动配置节点、监控集群状态、处理故障恢复等任务不仅耗时,还容易出错。本文将为你介绍一款专为Apache Doris设计的管理工具——Doris Manager,帮助你轻松实现集群的可视化管理,提高运维效率。读完本文,你将了解Doris Manager的安装部署、功能模块及常见操作,让集群管理变得简单高效。 ## Doris Manage

gitblog_01032的博客 622

matlab kwave模拟超声换能器学习笔记

kwave模拟超声换能器的学习笔记,从零开始造车轮

SolvingMaster的博客 3196

新手必看!无人机定高PID调参避坑指南:从理论到实战的完整流程

本文为无人机新手提供定高PID调参的完整指南,从传感器融合到抗风策略,详细解析多传感器融合、PID控制参数调试及环境干扰应对。通过实战案例和代码示例,帮助开发者快速掌握无人机定高技术,避免常见调参陷阱,提升飞行稳定性。

spark7igniter的博客 221

免费开放|一站式集群管理神器 Cluster Manager for Apache Doris,轻松提升运维效率

Doris Manager 将用户提供更好的 Apache Doris 集群管理方式,极大地提升运维效率,降低运维管理的成本,服务质量和稳定性将显著提升。

SelectDB 1322

MOS五类漏电流与优化策略

分析了五种主要漏电流机制:1)反偏结泄漏,由PN结热激发和隧

硬核科技 442

Doris Manager终极指南:5分钟快速掌握集群管理技巧

还在为Apache Doris集群管理而烦恼吗?手动配置节点、监控服务状态、处理故障恢复等任务不仅耗时耗力,还容易出错。Doris Manager集群管理工具正是为解决这些痛点而生,让复杂的运维工作变得简单高效。 ## 为什么选择Doris Manager? **传统运维痛点**: - 节点配置复杂,易出错 - 监控指标分散,难以统一查看 - 故障排查困难,响应时间长 **Doris Man

gitblog_00807的博客 1150

戴尔PowerEdge R740服务器安装Debian系统后无法显示磁盘阵列

【代码】戴尔PowerEdge R740服务器安装Debian系统后无法显示磁盘阵列。

路~可以走过 1897

华为OD机试真题2025双机位C卷 Java&Go 实现【卡牌游戏】

小明正在尝试一种新的牌游戏。游戏规则只如下:首先,小明拿到一张写有数字m的牌。 然后,他会拿到另外n张牌,上面分别写有不同的数字,牌排成一排。小明的目标是从这排牌中找到一串连续的牌,这些牌上数字的总和可以被 m整除。你的任务是判断小明是否可以完成这个目标。

MISAYAONE的博客 392

linux、centos-doris集群部署_基于doris-manager

基于doris-manager进行doris集群部署

qq_38425660的博客 2265

【FPGA教程案例100】深度学习1——基于CNN卷积神经网络的手写数字识别纯Verilog实现,使用mnist手写数字数据库

MNIST 数据库有一个 60,000 示例的训练集,还有一个 10,000 示例的测试集。这些数字已在大小方面规范化,在固定大小的图像中居中。如下图所示:我们任意选择0~9是个数字,将其转化为数字:0_0.txt1_0.txt2_0.txt3_0.txt4_0.txt5_0.txt6_0.txt7_0.txt8_0.txt9_0.txt。

FPGA/MATLAB学习教程/源码/项目合作开发 7823

doris-manager部署doris

作者:雅泽。

1518

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 永久免费!专为 Apache Doris 打造的可视化数据管理工具 SelectDB Studio V1.1.0 重磅发布!
下一篇: Apache Doris + MCP:Agent 时代的实时数据分析底座
SelectDB技术团队
博客等级 码龄4年 2119粉丝 483原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SelectDB技术团队

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值