GBase 8a表级全量和增量备份还原功能测试gcrcman.py

最新推荐文章于 2025-10-14 10:16:58 发布
原创 最新推荐文章于 2025-10-14 10:16:58 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍GBase 8a数据库集群自带的备份还原工具gcrcman的使用，尝试备份还原一个表。

参考 https://www.gbase8.cn/1679

gcrcman 备份还原

环境

2节点集群，8.6.2Build43版本

[gbase@862b43 gcluster_0_0]$ gcadmin
CLUSTER STATE:  ACTIVE
CLUSTER MODE:   NORMAL

=================================================================
|             GBASE COORDINATOR CLUSTER INFORMATION             |
=================================================================
|   NodeName   |     IpAddress     |gcware |gcluster |DataState |
-----------------------------------------------------------------
| coordinator1 |    10.0.2.107     | OPEN  |  OPEN   |    0     |
-----------------------------------------------------------------
| coordinator2 |    10.0.2.106     | OPEN  |  OPEN   |    0     |
-----------------------------------------------------------------
=============================================================
|              GBASE DATA CLUSTER INFORMATION               |
=============================================================
|NodeName |     IpAddress     |gnode |syncserver |DataState |
-------------------------------------------------------------
|  node1  |    10.0.2.107     | OPEN |   OPEN    |    0     |
-------------------------------------------------------------
|  node2  |    10.0.2.106     | OPEN |   OPEN    |    0     |

表和数据

1个testdb.t1表，有4行数据。

gbase> select count(*) from t1;
+----------+
| count(*) |
+----------+
|        4 |
+----------+
1 row in set (Elapsed: 00:00:00.04)

gcrcman命令介绍

GBase 8a MPP Cluster 提供专用的备份恢复工具(gcrcman)，用户使用它
可以方便地对整个集群中的数据进行集群的备份和恢复。集群的备份、恢复工
具随集群的安装自动安装，该工具被安装在/opt/gcluster/server/bin 目录
下。
一次全量备份开启一个新的周期。一次增量备份则续写最后一个备份周期，
使其增加一个备份点。
备份恢复工具会对磁盘空间进行检查，如果存放备份数据的磁盘空间不足，
会报告错误信息。

参数

[gbase@localhost ~]$ gcrcman.py --help
SYNOPSIS
    gcrcman.py [options] <-d|--path BACKUP_PATH>

OPTIONS:
    -h,--help
            Print this help
    -V,--version
            Print version
    -d BACKUP_PATH,--path=BACKUP_PATH
            Specify backup path, it must be absolute path
    -e COMMAND,--execute=COMMAND
            Specify backup or recover command
    -P HOST_PASSWD,--ospassword=HOST_PASSWD
            Specify operation system user gbase's password
    -p DATABASE_PASSWD,--dbpassword=DATABASE_PASSWD
            Specify database user gbase's password
    -r PARALLEL_
最低0.47元/天 解锁文章
GBase 8a MPP Cluster工具---“gcrcman 备份恢复工具”
weixin_34421618的博客
02-24 543
GBase 8a MPP Cluster 提供了海量数据的管理及分析功能和易于监管数据库集群的工具。 本篇文章主要介绍一款便于数据库管理员备份恢复集群数据的工具： gcrcman 备份恢复工具 功能简介 GBase 8a MPP Cluster 提供专用的备份恢复工具(gcrcman)，支持实例级、库级、表级的全量备份、增量备份、全量恢复和恢复到指定备份点，同时支持显示备份信息， 用户使用它可以方便地对整个集群中的数据进行备份和恢复。 ...
GBase 8a 的备份恢复管理1-功能参数介绍
weixin_34421618的博客
03-24 692
GBase 8a 的备份恢复管理1-功能参数介绍
南大通用GBase 8s数据库的备份操作指南
最新发布
weixin_47390342的博客
10-14 282
ontape命令简单易用，虽然没有onbar功能强大，但是使用ontape命令在备份的同时，可以更改数据库日志模式，这也是比较实用的功能。其中，onbar命令功能强大，可以恢复到具体时间点，可以选择具体存储空间，可以并行执行备份操作，但是相对配置比较复杂。南大通用GBase 8s数据库，备份与恢复分为三个级别，分别是0级备份，1级备份，以及2级备份。onbar -b -l [-c | -C | -s] [-O] //备份逻辑日志。2级备份是在1级备份基础上，备份被修改过的数据页。执行ontape命令。
GBase 8a 备份恢复gcrcman
GNAIXGNAHZ的博客
03-12 387
GBase 8a 备份恢复gcrcman
gcrcman 备份恢复工具
Beyond_777的博客
06-13 246
gcrcman
记录下gbase8s数据库备份恢复
weixin_53974140的博客
07-04 1169
一、gbase8s的四种运行模式。三、gbase8s数据库安装。使用onber基于时间恢复。
GBase 8a MPP企业级大数据平台-性能测试报告.docx
10-14
GBase 8a MPP企业级大数据平台的测试定义主要包括测试背景、测试目的、测试时间、测试环境和测试数据等几个方面。 测试背景 -------- GBase 8a MPP企业级大数据平台是基于Massively Parallel Processing（MPP）...
GBase 8c 备份
qq_41614765的博客
04-25 311
GBase 8c 数据库支持备份功能 1.对集群每个cn和dn配置日志归档，命令如下： gha_ctl configure wal_archive datanode hg_name dn_name 'ssh user@remote "flock -x path archive_wal dn_host dir/%p path %f"' -l dcslist -c cluster gha_ctl configure wal_archive coordinator cn_name 'ssh user@re
GBase 8s 备份介绍
因为吃过天津一家超好吃的八珍豆腐从而改名为八珍豆腐的博客
04-23 1083
GBase 8s的备份是将数据库中部分或者全部的 dbspace、blobspace 以及逻辑日志文件进行复制。备份的对象可以是单个的 dbspace，也可以是一组 dbspace。一个 dbspace 又可以包含一个或者多个数据库，也可以是一个表或者表的一个分区。如图所示。 GBase 8s的备份分为三个级别，分别是零级备份、一级备份和二级备份。 零级备份 基础备份，包含备份命令执行时服务器或者指定 dbspace 上的所有数据。 一级备份 包含最近一次零级备...
GBASE南大通用GBase 8s数据库- 备份与恢复（onbar）（1）
weixin_47390342的博客
02-22 1699
L0备份了rootdbs，plogdbs，llogdbs，datadbs，ixbar，oncfg，onconfig，sqlhosts。另外还有一个目录/gbaseserver/165/10/gbaseserver.1，其中的165为实例的服务器编号，14为当前逻辑日志的唯一编号（uniqid）。PSM为L0，L1，L2创建3个目录，分别为0，1，2。我们不使用默认的PSM设备，使用下面的方法，添加一个自己的设备，并将原来的设备删除。逻辑日志的备份，是按逻辑日志的唯一编号，创建对应的目录进行存储。
GBase gcrcman 备份恢复工具
huixinhuiyismile的博客
08-17 937
为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢复系统，GBase 8a MPP Cluster 提供专用的备份恢复工具(gcrcman)，用户使用它可以方便地对整个集群中的数据进行集群的备份和恢复。集群的备份、恢复工具随集群的安装自动安装，该工具安装在$GCLUSTER_BASE/server/bin 目录下。Cluster 根据用户业务的需要提供全量备份、增量备份和恢复功能。...
【国产数据库】GBase学习⑬ - GBase 8c 备份与恢复
学无止境
04-18 1282
导出postgres数据库全量信息 导出指定schema 导出指定schema 场景一： 创建用户（会自动创建模式），在指定模式下创建业务数据，然后通过gs_dump导出指定模式下数据 导出指定的表 导出指定的表 只导出表定义，不导出数据 + 恢复 命令： 恢复1： 恢复2： 数据导入导出 导出 命令：COPY TO 导入1： INSERT 通过INSERT语句插入一行或多行数据，及从指定表插入数据 命令： 导入2： 使用INSERT 批量插入 命令： 导入3： 使用COPY 表名 [(列名[,
gbase数据库中快速备份数据用法
qq_44862918的博客
11-12 1811
首先，想吐槽一下这个数据库，为什么硬要整点和别人不一样的东西，实现相同的功能，就遵循已有的规律其实更容易被大家所接受，不需要通过这个差异来标榜或者突出自己吧。真的是给人浪费人好多时间。 在常规的数据库中，我们在管理数据或表的时候，如果需要对表做一些操作，常规方案都会是先建立备份表，先在备份表中进行，然后才会把指定操作用在正式表中，所以备份表就成了必需要做的事情，常规备份表我们一般会选择这样的方式： create table table_name as select * from table_name_b
GBASE南大通用GBase 8s数据库- 备份与恢复（onbar）（2）
weixin_47390342的博客
02-22 660
即使数据库空间的Chunk文件被删除，只要有备份，依然可以完全恢复，不丢失数据。即使因为误操作删除了整个表，也依然可以通过不完全恢复，找回被删除的数据。根据报错中的信息，得到被删除的Chunk文件（datadbs1_1）。为了演示方便，在删除表之前，记录一个时间，用于后续的不完全恢复时间点。即使在保存数据的Chunk文件被删除，最近的事务仍然可以执行成功。在GBase 8s启动过程中，会因无法打开被删除的文件而报错。可以通过下面的命令，查看数据的最新备份情况。根据上面测试时记录的时间点，进行不完全恢复。
南大通用数据库-Gbase-8a-学习-22-备份恢复工具gcrcman
qq_45111959的博客
09-16 1372
GBase 8a MPP Cluster 备份恢复工具gcrcman支持如下：1、 实例级全量备份。将当前数据库的数据(全集群 gclusterd,gnode 存储的所有数据)全量备份至指定的备份目录中(用户保证创建好)。2、 实例级增量备份。在指定备份目录中的全量或增量备份数据的基础上，将当前数据库的数据增量备份至该备份目录。3、 表级全量备份。将某一个表的数据全量备份至备份目录中。4、 表级增量备份。将某一个表的数据增量备份至备份目录中。5、 实例级恢复。
GBase 8s 的备份和恢复
weixin_34421618的博客
04-30 617
GBase 8s 的备份和恢复
GBase 8s数据库的备份与恢复-基于ontape
huixinhuiyismile的博客
05-25 1461
GBase 8s数据库的备份与恢复-基于ontape ontape简介 使用ontape，可以进行GBase 8s数据库的备份与恢复。 ontape支持L0，L1，L2三级备份与恢复。 ontape支持逻辑日志的备份与恢复。 ontape本身不支持基于时间点的恢复，但可通过其它工具，将ontape备份的单个表中数据，恢复到指定的时间点（暂不讨论）。基于时间点的数据库备份与恢复，建议使用onbar实现。 备份命令： 命令 说明 ontape -s -L 0 进行L0级备份 ontape
GBase8s核心数据备份
m0_46426259的博客
07-28 661
​做此工具的目的有的时候客户没有备份，在数据库出问题的时候修复起来难度和时间成本太高。这个工具就是为了快速处理故障的今早恢复生产而来。
gbase8a分区表和表分区
07-11
<think>我们正在讨论GBase 8a数据库的分区表功能。根据引用内容，分区表可以提升查询性能，因为查询时只扫描相关分区，而不需要扫描整个表。但是，分区表也会带来维护成本，比如DDL操作的压力会增大（引用1）。引用2通过具体数据展示了分区表在查询和更新操作上的性能优势。引用3则展示了LINEAR HASH分区表的数据分布情况。 关于分区表的使用方法，GBase 8a支持多种分区类型，包括范围分区（RANGE）、列表分区（LIST）、哈希分区（HASH）和线性哈希分区（LINEAR HASH）。下面将分别介绍这些分区类型的使用方法。 1. **范围分区（RANGE）**：按照某个连续范围的值进行分区，例如按日期分区。 2. **列表分区（LIST）**：按照某个离散值列表进行分区，例如按地区代码分区。 3. **哈希分区（HASH）**：根据用户定义的表达式（通常是某一列）的哈希值来分布数据。 4. **线性哈希分区（LINEAR HASH）**：与HASH类似，但使用线性二次幂算法，使得在增加或删除分区时能更高效地重新分布数据。 下面我们通过示例来说明如何创建和使用分区表。 ### 创建范围分区表（RANGE） 假设我们有一个销售记录表，按照销售日期进行范围分区： ```sql CREATE TABLE sales ( id INT, product VARCHAR(50), sale_date DATE, amount DECIMAL(10,2) ) PARTITION BY RANGE (YEAR(sale_date)) ( PARTITION p0 VALUES LESS THAN (2010), PARTITION p1 VALUES LESS THAN (2020), PARTITION p2 VALUES LESS THAN MAXVALUE ); ``` 这个表将数据按照年份分区：2010年以前的数据在p0分区，2010-2019年的数据在p1分区，2020年及以后的数据在p2分区。 ### 创建列表分区表（LIST） 假设我们有一个地区销售表，按照地区代码进行列表分区： ```sql CREATE TABLE sales_region ( id INT, region_code INT, sale_date DATE, amount DECIMAL(10,2) ) PARTITION BY LIST (region_code) ( PARTITION p_east VALUES IN (1,2,3), PARTITION p_west VALUES IN (4,5,6), PARTITION p_other VALUES IN (DEFAULT) ); ``` ### 创建哈希分区表（HASH） 假设我们按照用户ID进行哈希分区，分成4个分区： ```sql CREATE TABLE user_log ( user_id INT, log_time DATETIME, action VARCHAR(20) ) PARTITION BY HASH(user_id) PARTITIONS 4; ``` ### 创建线性哈希分区表（LINEAR HASH） 线性哈希分区使用类似的方法，但使用不同的算法： ```sql CREATE TABLE user_log_linear ( user_id INT, log_time DATETIME, action VARCHAR(20) ) PARTITION BY LINEAR HASH(user_id) PARTITIONS 4; ``` ### 分区表的管理 - **添加分区**（仅适用于RANGE和LIST分区）： ```sql ALTER TABLE sales ADD PARTITION (PARTITION p3 VALUES LESS THAN (2030)); ``` - **删除分区**： ```sql ALTER TABLE sales DROP PARTITION p0; ``` 注意：删除分区会同时删除该分区内的所有数据。 - **合并分区**（HASH和LINEAR HASH分区不支持直接删除分区，但可以通过合并分区减少分区数量）： ```sql ALTER TABLE user_log COALESCE PARTITION 2; -- 将分区数量减少2个 ``` ### 查询分区数据 可以查询特定分区的数据，例如： ```sql SELECT * FROM sales PARTITION (p1); ``` ### 注意事项 1. 分区键的选择：分区键应该是经常用于查询条件的列，这样查询才能利用分区剪枝（partition pruning）提高性能。 2. 分区数量：过多的分区会导致元数据管理开销增大，DDL操作变慢（引用1）。需要根据数据量和硬件资源合理设置。 3. 维护成本：分区表在数据维护（如删除历史数据）时可能更方便，但分区表的DDL操作（如添加列、修改列类型）会涉及所有分区，操作时间较长。 ### 性能优势 引用2中的测试表明，当查询条件能够限定在少数分区时，查询性能会有显著提升。例如，跨单个分区的查询时间仅为普通表的十分之一。 ### 总结 GBase 8a的分区表功能通过将大表分割成小分区，可以显著提高查询效率，尤其是当查询只涉及部分分区时。但同时，分区表也增加了维护的复杂性。因此，在决定使用分区表时，需要根据实际业务需求权衡利弊。 §§相关问题§§ 1. GBase 8a中如何选择合适的分区类型（RANGE、LIST、HASH、LINEAR HASH）？ 2. 分区表在GBase 8a中如何管理（如添加、删除、合并分区）？ 3. 分区表在哪些场景下性能提升最明显？ 4. 分区表与GBase 8a的smart index如何协同工作？</think>### GBase 8a 分区表功能详解 #### 一、分区表的核心价值 1. **性能优化** 分区表通过**数据分块存储**实现查询加速： - 当查询条件匹配分区键时，数据库**仅扫描相关分区**而非全表 - 引用案例：跨单分区查询耗时仅需普通表的1/10（16秒 vs 158秒）[^2] - 支持智能数据过滤（Smart Index），0.1秒内识别需扫描的数据块[^1] 2. **管理便捷性** - 按分区快速删除历史数据（如`ALTER TABLE ... DROP PARTITION`） - 分区级数据维护（备份/恢复） #### 二、分区类型与语法 GBase 8a支持四种分区方式： | 分区类型 | 适用场景 | 示例语法 | |----------------|-----------------------------------|--------------------------------------------------------------------------| | **RANGE分区** | 连续范围（日期/数值） | `PARTITION BY RANGE(YEAR(sale_date)) (PARTITION p2023 VALUES LESS THAN (2024))` | | **LIST分区** | 离散值（地区/状态码） | `PARTITION BY LIST(region) (PARTITION p_east VALUES IN (1,2,3))` | | **HASH分区** | 均匀分布数据 | `PARTITION BY HASH(employee_id) PARTITIONS 4` | | **LINEAR HASH**| 大数据量动态扩容 | `PARTITION BY LINEAR HASH(order_id) PARTITIONS 10` | > 注：LINEAR HASH采用二次幂算法，扩容时仅需迁移部分数据[^3] #### 三、操作指南（关键命令） ```sql -- 创建分区表（RANGE示例） CREATE TABLE sales ( order_id INT, sale_date DATE, amount DECIMAL(10,2) ) PARTITION BY RANGE (YEAR(sale_date)) ( PARTITION p2020 VALUES LESS THAN (2021), PARTITION p2021 VALUES LESS THAN (2022), PARTITION p_max VALUES LESS THAN MAXVALUE ); -- 查询特定分区 SELECT * FROM sales PARTITION (p2021); -- 动态添加分区（RANGE/LIST适用） ALTER TABLE sales ADD PARTITION ( PARTITION p2022 VALUES LESS THAN (2023) ); -- 删除分区（同步删除数据） ALTER TABLE sales DROP PARTITION p2020; ``` #### 四、使用注意事项 1. **性能权衡** - ✔️ **优势**：条件查询性能提升5-10倍[^2] - ❌ **代价**：DDL操作耗时随分区数量线性增长（如`ALTER TABLE`需操作所有分区）[^1] 2. **设计建议** - 分区键选择**高筛选率字段**（如时间戳、地域ID） - 单表分区数建议控制在**100个以内** - 避免频繁更新的字段作为分区键 3. **与Smart Index协同** - 分区表仍可结合Smart Index获得**双重过滤优化** - 优先利用分区剪枝，再通过索引定位数据块[^1] #### 五、典型应用场景 1. **时间序列数据** ```sql -- 按日分区日志表 PARTITION BY RANGE(TO_DAYS(log_time)) (...) ``` 2. **地理分区数据** ```sql -- 按省份分区的销售数据 PARTITION BY LIST(province_code) (...) ``` 3. **大规模数据归档** 通过`DROP PARTITION`秒级删除历史分区 > **决策建议**：当单表数据量超**10亿行**或查询性能显著下降时启用分区，否则优先依赖Smart Index[^1] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值