StarRocks集群元数据恢复

原创 已于 2024-01-18 22:21:11 修改 · 2.4k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #大数据

于 2024-01-18 21:29:38 首次发布
本文详细描述了在StarRocks3.0.0集群测试环境中，遇到FE节点故障后如何通过手动恢复步骤，包括找到最新元数据节点、确认角色、配置恢复选项和重新部署FE集群的过程。

该篇文章记录测试环境中StarRocks元数据恢复的操作流程。

一、恢复元数据步骤

          元数据恢复缘由：2023年7月底基于StarRocks3.0.0集群测试物化视图及动态建表等功能，一切正常。几天后重新连接集群发现已宕机，FE拒接连接，FE 节点之间无法同步数据。

报错日志如下：

查看fe.conf ，be.conf等配置文件，发现参数已重置为初始值（原因未知），部分截图如下：

排查后，源三台服务器的元数据meta以及storage可回溯，路径分别是：/data/starrocks/fe/meta 以及 /data/starrocks/be/storage，针对上述异常，接下来开始手动恢复 FE 服务。

第一步：找出元数据最新的FE节点

     每台节点依次执行命令：java -jar  /opt/StarRocks-3.0.0/fe/lib/starrocks-bdb-je-18.3.13.jar  DbPrintLog -h  /data/starrocks/fe/meta/bdb/ -vd  获取 lastVLSN，该值越大则该节点元数据越新。返回结果如下：

注：

  1. 不同StarRocks版本用到的starrocks-bdb-je的jar包可能不一样，视情况调整；
  2.  /data/starrocks/fe/meta/bdb/ 是源集群的dbd绝对路径

例如：节点A以为例，得到 lastVLSN的最大值是30,760,876，如截图

最低0.47元/天 解锁文章
【StarRocks】FE节点元数据维护
LifeIsGood
08-27 124
【StarRocks】FE节点元数据维护
04-StarRocks集群运维FAQ
欢迎来到我的博客，一起探索代码里的世界！
06-24 231
StarRocks集群运维指南摘要 本文档提供了StarRocks数据库集群运维的全面指导，包含四大核心模块： 集群管理：包括查看集群状态(FRONTENDS/BACKENDS/BROKER节点)、添加/删除节点、配置管理等基础操作指南 节点维护：详细说明节点重启流程(FE/BE节点)、集群升级步骤和节点故障处理方案 监控告警：介绍Prometheus监控配置、关键指标采集方法及告警规则设置，涵盖CPU/内存/磁盘等核心指标 故障处理：提供脑裂检测等常见问题的诊断与解决方案 文档采用问答形式，每个问题包含多
一次强制下线StarRocks的be节点后恢复集群
十二的博客
11-07 960
应该先下线BE节点，下线过程中该 BE 上的数据会迁移到其他 BE 上，过程中不影响数据导入和查询。然后再删除BE节点即可。删除 BE 时如果有表是单副本且该表的部分 tablet 分布在要删除的 BE 上，则不允许删除该 BE。会提示你错误，并且给出你使用强制下线的命令下线BE节点。如果执行以上命令再进行查询的时候，会出现以下的错误。查看BE master节点的错误日志。
Doris之故障恢复（重点）
qq_43688472的博客
01-21 3118
Doris之故障恢复
Doris0.15平滑升级至1.12
李指导的博客
09-23 2164
Doris平滑升级至1.2
starrocks备份与恢复
zerolbsony的博客
05-24 725
第4.4章：StarRocks备份还原--Backup&Restore_starrocks数据库备份与还原-优快云博客StarRocks备份还原详解：Backup&Restore的实践与应用-百度开发者中心
B 站基于 StarRocks 构建大数据元仓
StarRocks的博客
12-06 993
此外，Prometheus 是基于度量的系统，更多地用于展示趋势性数据，例如集群的 CPU 和内存情况等，但对于像元仓这样需要下钻到具体明细数据的需求，Prometheus 则难以满足。在大数据引擎运行过程中，由于缺乏一些运行时的切面数据，我们难以实时观测引擎的运行情况，另外，由于缺乏作业维度的统计信息，我们也难以推动用户对大作业进行治理。目前我们已经在内部完成了 StarRocks 的初步落地，将其应用于公司的元仓场景，并构建了一个大数据元仓系统，为用户提供实时的资源观测能力。
starrocks集群是什么
01-27
# Python伪代码展示如何连接到StarRocks集群 import starrocks_connector as sr_conn connection = sr_conn.connect( host='your_host', port=9030, user='root', password='', ) cursor = connection.cursor...
记录一次StarRocks集群迁移的经历
04-03 418
新入职了一家公司，刚去做了两张报表后，接到一个任务，做StarRocks 集群迁移，背景是这样的就是以前是自建的SR，但是这个SR 是给线上业务用的，也就是说不是分析性业务，而是面向产品ToC 的，也了解了一下是因为单表数据量太大了，所以直接使用了SR，这多少有些让人哭笑不得了，现状是就目前这个SR 存在两个问题。但是遇到的问题是备份成功了，但是恢复的时候报错，云厂商说解决不了，3.0版本到3.3版本元数据发生变更，不能用备份恢复的方式来迁移。部署了半天，启动报错，错误忘记记录了，以后补上。
Starrocks-数据备份与恢复
weixin_39750695的博客
01-23 1392
Starrocks , 备份 , 恢复, 运维
StarRocks元数据管理和HA高可用
最新发布
2502_92343817的博客
07-21 859
StarRocks元数据管理主要由 FE 节点负责，元数据内容包含Catalog、数据库、表、物化视图、节点、心跳、用户权限等信息，元数据的核心特点如下：内存存储：元数据主要存储在 FE 节点的内存中，通过 GlobalStateMgr 类管理，以保证低延迟的查询响应。
OLAP(七)：StarRocks
.
08-26 2354
StarRocks 是一款极速统一的Lakehouse产品，具备水平在线扩缩容，金融级高可用，兼容 MySQL 5.7 协议和 MySQL 生态，提供全面向量化引擎与多种数据源联邦查询等重要特性。StarRocks 致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能，实时性，并发能力和灵活性有较高要求的各类应用场景。首先我们先来看一下 StarRocks 是一款什么样的产品，他的产品定位是什么样的，他处于大数据生态什么位置上。
深入理解 StarRocks 的元数据管理
crossoverJie专栏
10-21 1419
背景最近在排查 starrocks 线上的一个告警日志：每隔一段时间都会打印 base-table 也就是物化视图的基表被删除了，但其实表还在，也没人去删除；我们就怀疑是否真的表被删除了（可能是 bug）。与此同时还有物化视图 inactive 的日志，也怀疑如果视图是 inactive 之后会导致业务使用有问题。为了确认这个日志是否对使用影响，就得需要搞清楚它出现的原因；于是我就着手从日志打印的...
minio分布式集群搭建完全教程（纠删码，数据恢复）
热门推荐
唐顺才的博客
11-21 1万+
minio存储 单机测试 minio对象存储： 编译安装： minio 服务器安装： git clone https://gitee.com/mirrors/minio.git cd minio go build cp minio /usr/local/bin/ minio客户端安装： git clone git clone https://github.com/minio/mc.git cd mc go build cp mc /usr/local/bin/ 单机性能测试： 启动minio服务器： r
zookeeper迁移新集群实现数据恢复
Dyy8686的博客
03-02 1339
zk的数据迁移，一方面可以使用集群过半数仍然可用的这个特性，另一方面也可以通过直接拷贝元数据文件到新集群； 但是有特殊的场景，第一种就不是最佳的选择，例如公司在用的zookeeper集群，因为历史原因导致集群使用场景复杂，连接数负载很高，尤其在节假日业务活动期间，有可能非预期的将集群连接数并打满，负载过高致使整个集群崩溃，所以需要使用第二种来进行数据的迁移； 新的备份集群需要从头搭建，但是搭建...
StarRocks分布式元数据源码解析
不甚了然的博客
07-09 1888
StarRocks分布式解析Iceberg元数据流程
StarRocks故障恢复 - 单副本表恢复
非典型性程序猿
01-18 3117
本文介绍StarRocks单副本情况下的故障恢复方法。
第4.1章：StarRocks数据导出--导出总览
流木的博客
02-26 4566
一般来说，业务上涉及到的数据导出包括表结构导出和表数据导出，通常用来进行数据备份或数据迁移。 一、表结构导出 StarRocks的元数据持久化在FE的BDB中，并不能直接访问或者导出，不过为了兼容MySQL协议，StarRocks在information_schema库下面也模拟了一部分，至少获取表结构信息是足够的。举一个场景，假设我们在StarRocks中的表非常多，我们希望将表中的字段名称、注释或类型等做成页面展示或者搜索，就可以直接去information_schema.columns表中去取相关
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值