Doris跨HDFS恢复

最新推荐文章于 2025-10-03 12:46:52 发布

原创最新推荐文章于 2025-10-03 12:46:52 发布 · 327 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

将环境A中的备份的DORIS数据（HDFS），复制到内网中的HDFS上再进行DORIS数据库恢复。

DORIS数据备份（HDFS）

参考：https://blog.youkuaiyun.com/alksjdfp32r/article/details/148900842

复制备份数据

将快照数据备份出来存储在文件系统中

docker exec -it  hadoop-datanode-1 /bin/bash

hadoop fs -get  /doris ./
ls -lh
du -sh doris/
tar -cvf doris.tar doris/
ls -lh

docker cp  hadoop-datanode-1:/root/doris.tar /data/hadoop/doris_bak_20250125.tar
Successfully copied 95MB to /data/hadoop/doris_bak_20250125.tar

上传至HDFS

可在Web界面中清理HDFS相关目录后，通过命令将之前存储在文件系统中的数据上传到HDFS上

hdfs dfs -put doris /

在目标DORIS库中创建仓库

CREATE REPOSITORY hdfs_repo

查看快照

SHOW SNAPSHOT ON hdfs_repo;

恢复快照

RESTORE SNAPSHOT

查看进度

SHOW RESTORE FROM your_db\G;

如果出现异常，先取消，处理异常后再次进行恢复快照的操作

CANCEL RESTORE FROM your_db;

可能的异常

err: (255), Unknown error 255), reason: IOException: Blocklist for dat xxxxxxxx has changed!
NameNode 元数据未同步或 DataNode 数据块不可用，也可能导致 blocklist 不一致。
检查 HDFS 文件状态
使用 HDFS 命令检查目标文件的状态和 block 信息：

hdfs fsck /path/to/your/file.dat -files -blocks

可以在稍等会，等NN和DN数据同步后，再次进行恢复。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

crabdave123

关注关注

10
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据量下的 Doris 运维：监控、扩容与备份恢复

AI大模型应用之禅

10-11

280

数据备份：定期创建数据副本，防止数据丢失灾难恢复：在发生数据损坏或丢失时快速恢复数据迁移：支持跨集群、跨环境的数据迁移一个可靠的备份恢复策略应该满足业务的 RTO（恢复时间目标）和 RPO（恢复点目标）要求。这三大支柱相互支撑，共同构成了大规模 Doris 集群运维的核心体系。在接下来的章节中，我们将详细探讨每个支柱的具体实现方法和最佳实践。

大数据时代Doris的数据备份与恢复策略

移动开发前沿的博客

09-14

784

在大数据环境下，数据是企业的核心资产之一。Doris作为一个高性能、实时性强的分析型数据库，被广泛应用于各种数据分析和业务场景中。数据备份与恢复策略的目的在于确保Doris中的数据在面临各种意外情况（如硬件故障、软件错误、人为误操作、自然灾害等）时能够得到有效的保护和及时的恢复，从而保障业务的连续性和数据的完整性。本文的范围涵盖了Doris数据备份与恢复的各个方面，包括核心概念、算法原理、具体操作步骤、数学模型、实际项目案例、应用场景、相关工具和资源推荐等，旨在为读者提供一个全面且深入的技术指南。

参与评论您还未登录，请先登录后发表或查看评论

DORIS数据备份（HDFS）

crabdave的博客

07-01

676

本文介绍了使用Docker容器快速搭建单节点Hadoop集群（HDFS）作为Doris数据备份环境的步骤。主要内容包括：1) 通过Docker Compose部署Hadoop 3.3.5，配置namenode、datanode等核心组件；2) 关键环境变量配置说明，特别是Doris备份所需的fs.defaultFS参数；3) 在Doris中创建HDFS备份仓库的SQL操作示例；4) 数据备份与恢复命令的使用方法。该方案适合临时测试环境搭建，文中还提供了Hadoop WebUI访问端口和常见问题解决方案。

Doris备份与恢复

qq_31687737的博客

02-28

1007

doris数据库的备份与恢复

Doris快速备份与恢复

Boring_05的博客

11-08

1665

如果该表是动态分区表，备份之后会自动禁用动态分区属性，在做恢复的时候需要手动将该表的动态分区属性启用，命令如下/bin/bash"`doif [[ $db!then$db;

Doris数据备份与恢复

TRX的博客

07-16

4803

Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中，之后可以通过恢复命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，可以达到两个目的：数据备份：Doris 可以支持将数据定期的进行快照备份数据迁移：Doris 可以根据数据备份的快照将数据恢复到新表或不同集群间的表一、基本原理备份（Backup）备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。Backup命令为异步操作，提交成功后需

doris跨hdfs集群迁移数据

weixin_45249411的博客

06-01

1044

【代码】doris跨hdfs集群迁移数据。

精选资源

Doris数据备份恢复与节点扩缩容教程

02-28

### Doris 数据备份恢复与节点扩缩容教程 #### 一、备份与恢复 ##### 1.1 准备工作在开始备份之前，需要确保已经正确设置了存储库(repository)。存储库是用来存放备份数据的地方。 - **显示创建仓库** 使用 `...

精选资源

Flink同步Hdfs数据到doris

10-19

本场景中，我们关注的是如何使用Flink将存储在Hadoop分布式文件系统（HDFS）上的数据同步到Doris分布式列式数据库。以下是关于这个主题的详细解释。 **Flink简介** Apache Flink是一个开源的流处理框架，支持批处理...

全面介绍 Apache Doris 数据灾备恢复机制及使用示例

atbigapp的博客

08-09

2397

Apache Doris 作为一款 OLAP 实时数据仓库，在越来越多的中大型企业中逐步占据着主数仓这样的重要位置，主数仓不同于 OLAP 查询引擎的场景定位，对于数据的灾备恢复机制有比较高的要求，本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。

自建minio实现doris的快速备份与恢复

bigdata_player

05-15

3560

doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos, 大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的hadoop集群。为了保险起见，而且能够达到快速的备份恢复，我们实现自主搭建一套minio对象存储。

Doris数据备份及恢复

shangjg3的博客

12-04

734

Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，Doris 可以支持将数据定期的进行快照备份。也可以通过这个功能，在不同集群间进行数据迁移。该功能需要 Doris 版本 0.8.2+使用该功能，需要部署对应远端存储的 broker。如 BOS、HDFS 等。可以通过 SHOW BROKER;查看当前部署的 broker。1。

Doris-04-数据导入和导出&数据备份和恢复

迷雾总会解

06-23

5628

导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了 6 种不同的导入方式。每种导入方式支持不同的数据源，存在不同的使用方式（异步，同步）。所有导入方式都支持 csv 数据格式。其中 Broker load 还支持 parquet 和 orc 数据格式。（1）适用场景源数据在 Broker 可以访问的存储系统中，如 HDFS。数据量在几十到百 GB 级别。（2）基本原理用户在提交导入任务后，FE

Apache Doris

weixin_67024075的博客

06-02

803

从 example_repo 中恢复备份 snapshot_1 中的表 backup_tbl 到数据库 example_db1，时间版本为 "2021-05-04-16-45-08"。这其实是一个空快照（因为刚创建的表是没有数据的），其目的主要是在 Backend 上产生对应的快照目录，用于之后接收从远端仓库下载的快照文件。备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。恢复操作需要指定一个远端仓库中已存在的备份数据，然后将这个备份的内容恢复到本地集群中。

Doris学习笔记之备份与恢复

四国棋客

08-13

2593

本文介绍了Doris备份快照与恢复快照的方法，并辅以了实际案例进行说明

doris备份恢复bug

qq_40382400的博客

04-17

615

1.原表是3个副本，备份，恢复的时候指定1，恢复的建表语句显示是3，以后新插入的分区，副本是3，容易导致数据丢失。2.原表是1个副本，备份，恢复的时候指定1，恢复的建表语句显示是3，以后新插入的分区，副本是3。

大数据领域Doris与Hadoop生态的融合之道

AI大模型应用之禅

10-03

883

在大数据领域，Hadoop生态（HDFS、Hive、Spark、Flink）是企业构建数据仓库的基础，但OLAP（在线分析处理）能力不足离线数仓用Hive查询，基于MapReduce的执行引擎导致查询延迟高（分钟级甚至小时级）；实时数据用Spark Streaming/Flink处理，但缺乏**高效的即席查询（Ad-hoc Query）**能力；现有OLAP引擎如Impala（依赖内存）、Presto（并发限制）难以满足高并发、低延迟的需求。Doris（原百度Palo）作为一款。

doris:远程存储

qq_36070104的博客

01-15

1153

doris:远程存储

不是用的hdfs，是Doris

最新发布

12-02

<think> 我们正在使用Apache Doris，需要实现ODS层保留最近30天历史数据。在Doris中，我们可以通过以下几种方式实现： 1. 使用分区表（Partition）和动态分区特性自动删除旧分区。 2. 使用数据过期策略（TTL）自动删除过期数据。根据Doris的文档和最佳实践，推荐使用分区表并结合动态分区规则来实现自动删除旧分区。具体步骤如下： ### 1. 创建ODS表时定义分区和分桶在Doris中，我们通常按时间进行分区，比如按天分区。同时，我们可以设置动态分区规则，自动创建新分区和删除旧分区。示例创建表的SQL： ```sql CREATE TABLE ods_table ( id BIGINT, data VARCHAR(50), ... -- 其他字段 dt DATE -- 日期字段，用于分区 ) ENGINE=OLAP UNIQUE KEY(id, dt) -- 注意：Doris中唯一键模型，分区键和分桶键需要放在唯一键中 PARTITION BY RANGE(dt)() -- 按日期范围分区，初始为空分区 DISTRIBUTED BY HASH(id) BUCKETS 10 -- 分桶 PROPERTIES ( "dynamic_partition.enable" = "true", -- 开启动态分区特性 "dynamic_partition.time_unit" = "DAY", -- 按天分区 "dynamic_partition.start" = "-30", -- 保留最近30天（包括今天） "dynamic_partition.end" = "3", -- 提前创建3天的分区 "dynamic_partition.prefix" = "p", -- 分区名前缀 "dynamic_partition.buckets" = "10", -- 分桶数（可覆盖分桶设置） "replication_num" = "1" -- 副本数 ); ``` 动态分区相关参数说明： - `dynamic_partition.enable`: 开启动态分区功能。 - `dynamic_partition.time_unit`: 动态分区的时间单位，可以是DAY、WEEK、MONTH。 - `dynamic_partition.start`: 保留的分区数量，负值表示删除多少天前的分区。例如，设置为-30表示删除30天前的分区（即保留最近30天）。 - `dynamic_partition.end`: 提前创建的分区数量，正值表示提前创建多少天的分区。 - `dynamic_partition.prefix`: 分区名前缀，例如分区名为`p20230101`。 - `dynamic_partition.buckets`: 动态创建的分区的分桶数量。注意：上述设置会自动删除30天前的分区，并自动创建未来3天的分区（防止未来数据到来）。 ### 2. 数据加载在加载数据时，我们只需要将数据插入到对应的分区即可。由于我们开启动态分区，当插入的数据对应分区不存在时，Doris会自动创建分区（在`dynamic_partition.end`指定的范围内）。例如，插入当天的数据： ```sql INSERT INTO ods_table (id, data, dt) VALUES (1, 'test', '2023-10-20'); ``` ### 3. 验证分区状态可以查看分区的状态，确认分区是否按预期保留和删除： ```sql SHOW DYNAMIC PARTITION TABLES; -- 查看动态分区配置 SHOW PARTITIONS FROM ods_table; -- 查看当前存在的分区 ``` ### 4. 注意事项 - **分区字段类型**：分区字段必须是DATE或DATETIME类型，并且必须包含在唯一键中（对于Unique Key模型）或作为聚合键（对于Aggregate Key模型）。 - **动态分区调整**：动态分区的属性可以通过`ALTER TABLE`修改，例如： ```sql ALTER TABLE ods_table SET ("dynamic_partition.start" = "-30"); ``` - **手动删除分区**：如果需要手动删除分区，可以使用： ```sql ALTER TABLE ods_table DROP PARTITION p20200101; ``` - **冷热数据分离**：对于更久之前的数据，如果需要归档，可以导出到冷存储（如HDFS、S3）后删除Doris中的分区。 ### 5. 其他实现方式：TTL（Time To Live）除了动态分区，Doris还支持通过TTL设置表的过期时间。但是，TTL是按表设置的，不能按分区设置。因此，如果我们希望保留整个表最近30天的数据，可以设置表级别的TTL。示例： ```sql CREATE TABLE ods_table_ttl ( id BIGINT, data VARCHAR(50), ..., dt DATE ) ENGINE=OLAP UNIQUE KEY(id, dt) DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES ( "replication_num" = "1", "storage_medium" = "SSD", "storage_cooldown_time" = "2023-11-20 00:00:00" -- 仅对SSD->HDD有效，不适用于自动删除 ); ``` 注意：目前Doris的TTL主要用于数据冷却（从SSD移动到HDD），并不能自动删除数据。自动删除数据的功能建议使用动态分区。因此，我们优先推荐使用动态分区方案。 ### 6. 补充：使用事件或定时任务删除旧分区（备选方案）如果动态分区不满足需求，我们可以创建定时任务，通过事件或外部调度系统（如Doris的Event Scheduler、Airflow等）执行删除旧分区的SQL。例如，每天执行： ```sql ALTER TABLE ods_table DROP PARTITION IF EXISTS p20200101; -- 删除指定分区 ``` 但这种方式需要自己计算30天前的分区名，不如动态分区方便。综上所述，在Doris中实现ODS层保留30天数据，最佳实践是使用动态分区功能。 --- ### 相关问题 1. Doris动态分区还有哪些配置参数？如何调整分区创建和删除的规则？ 2. 在Doris中如何手动管理分区（如增加、删除、合并分区）？ 3. 动态分区和手动分区在性能上有什么区别？ 4. 如何监控Doris中分区的数据量和状态？ [^1]: Apache Doris 动态分区文档 </think> 在 Apache Doris 中实现 ODS 层保留最近 30 天数据的解决方案，可通过**动态分区管理 + TTL 策略**实现高效数据生命周期管理。以下是具体实现方案： ### 1. 创建动态分区表 ```sql CREATE TABLE ods_table ( id BIGINT, data VARCHAR(50), event_time DATETIME, dt DATE COMMENT "分区字段" -- 关键分区字段 ) ENGINE=OLAP UNIQUE KEY(id, dt) -- 唯一键需包含分区键 PARTITION BY RANGE(dt)() -- 声明为范围分区 DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES ( "dynamic_partition.enable" = "true", "dynamic_partition.time_unit" = "DAY", "dynamic_partition.start" = "-30", -- 保留最近30天 "dynamic_partition.end" = "3", -- 预创建未来3天分区 "dynamic_partition.prefix" = "p", "replication_num" = "1" ); ``` **动态分区参数说明**： - `start = -30`：自动删除 30 天前的旧分区 - `end = 3`：提前创建未来 3 天的空分区 - `time_unit = DAY`：按天管理分区 - `prefix = "p"`：分区名前缀（如 p20231020） - 分区字段 `dt` 必须是唯一键组成部分[^1] ### 2. 数据加载示例 ```sql -- 增量数据写入（自动路由到对应分区） INSERT INTO ods_table (id, data, event_time, dt) VALUES (1001, 'order', '2023-10-20 14:30:00', '2023-10-20'); ``` ### 3. 分区状态验证 ```sql -- 查看分区保留情况 SHOW DYNAMIC PARTITION TABLES; -- 检查具体分区 SHOW PARTITIONS FROM ods_table; ``` 输出示例： ``` PartitionName | VisibleVersion | VisibleTime p20230921 | 2 | 2023-09-21 <-- 即将过期 p20231020 | 1 | 2023-10-20 <-- 最新分区 ``` ### 4. 冷数据归档（可选）对需要长期保留的重要数据，转存到冷存储： ```sql -- 导出30天前数据到HDFS EXPORT TABLE ods_table TO "hdfs://backup/ods_archive/" WITH BROKER "hdfs_broker" PROPERTIES ( "dt.lt" = "2023-09-20" -- 导出条件 ); -- 清理已归档数据 ALTER TABLE ods_table DROP PARTITION p20230920; ``` ### 5. 监控与优化 1. **分区监控**： ```sql -- 检查分区大小 SELECT PARTITION_NAME, TABLE_ROWS, DATA_SIZE FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_NAME='ods_table'; ``` 2. **存储优化**： ```sql -- 启用压缩 ALTER TABLE ods_table SET ("storage_medium" = "SSD"); ``` 3. **自动调度**：通过 Doris 内置事件调度器定期检查： ```sql CREATE EVENT clean_ods ON SCHEDULE EVERY 1 DAY DO ALTER TABLE ods_table DROP PARTITION WHERE dt < NOW()-INTERVAL 30 DAY; ``` ### 关键优势 1. **自动滚动清理**：通过 `dynamic_partition.start=-30` 实现无人值守清理 2. **高效元数据操作**：分区删除仅操作元数据，秒级完成[^3] 3. **存储成本优化**：冷热数据分层存储（SSD+HDD） 4. **查询加速**：分区裁剪使查询仅扫描相关分区 > **注意事项**： > - 分区字段必须包含在唯一键中 > - 避免在业务高峰期执行 `DROP PARTITION` > - 建议保留 35 天数据作为缓冲（设置 `start=-35`） > - 重要数据删除前需确认备份状态 --- ### 相关问题 1. 如何验证 Doris 动态分区规则是否生效？ 2. 分区删除后如何从备份中恢复特定时间点的数据？ 3. Doris 动态分区与 Hive 分区管理有哪些核心差异？ 4. 如何监控 Doris 分区的数据量增长趋势？ [^1]: Apache Doris 动态分区文档 [^2]: Doris 在网易游戏的实时数仓实践 [^3]: Doris 在作业帮实时数仓的应用经验