Doris 冷热数据目录配置

最新推荐文章于 2025-08-04 10:42:38 发布
原创 最新推荐文章于 2025-08-04 10:42:38 发布 · 700 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

be数据目录默认系统修改，并且配置冷热数据目录 --完成

mkdir -p /Data{1…14}/doris
mkdir -p /Data_ssd{1…2}/doris

/home/disk1/doris,medium:HDD： 表示该目录存储冷数据;

/home/disk2/doris,medium:SSD： 表示该目录存储热数据;

storage_root_path=/Data1/doris,medium:HDD;/Data2/doris,medium:HDD;/Data3/doris,medium:HDD;/Data4/doris,medium:HDD;/Data5/doris,medium:HDD;/Data6/doris,medium:HDD;/Data7/doris,medium:HDD;/Data8/doris,medium:HDD;/Data9/doris,medium:HDD;/Data10/doris,medium:HDD;/Data11/doris,medium:HDD;/Data12/doris,medium:HDD;/Data13/doris,medium:HDD;/Data14/doris,medium:HDD;/Data_ssd1/doris,medium:SDD;/Data_ssd2/doris,medium:SDD

HDD、SSD冷热数据划分 --手动修改重启be
建表阶段中显式指定：
properties {“storage_medium” = “hdd”}
properties {“storage_medium” = “ssd”}

sunxunyong
关注
Doris：多源数据目录（Multi-Catalog）
m0_37559973的博客
11-11 7958
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
Apache Doris 入门教程35：多源数据目录
sunjian286的专栏
08-22 3019
本文简要介绍Apache Doris中的多源数据目录概念
玩转 Doris|SelectDB：单机安装指南助你快速起步
JiekeXu的博客
01-20 1869
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,江湖人称“强哥”，青学会MOP技术社区联合创始人，荣获 Oracle ACE Pro 称号，墨天轮 MVP，墨天轮年度“墨力之星”，拥有 Oracle OCP/OCM 认证,MySQL 5.7/8.0 ...
Doris——冷热数据分层
weixin_71195617的博客
09-11 1596
Doris冷热数据分层核心策略和参数使用
X2Doris是SelectDB可视化数据迁移工具，安装与部署&使用手册，轻松进行大数据迁移
小相探索IT世界
08-01 6118
摘要：X2Doris是SelectDB推出的可视化数据迁移工具，支持将Hive、Kudu、Doris/StarRocks数据迁移至Apache Doris或SelectDB Cloud。该工具基于Spark实现，支持自动建表、字段映射、分区转换等功能，提供Web界面简化操作流程。部署需准备Spark环境、MySQL元数据库，并配置Hadoop/YARN和Kerberos认证（如适用）。系统支持多数据源管理、失败重试机制和进度监控，通过参数优化可提升迁移效率。工具降低了从传统大数据平台向Doris迁移的技术门
Doris冷热数据分层实现
sunxunyong的博客
07-11 611
3、冷数据Compaction后，合并前的rowset因为还可能被其他Replica使用不能立即删除，但是最终FollowerReplica都使用了最新的合并后的rowset，BE 参数cold_data_compaction_interval_sec可以设置执行冷数据的 Compaction 的时间间隔，默认是 1800，单位：秒，即半个小时。BE参数remove_unused_remote_files_interval_sec可以设置冷数据的垃圾回收的时间间隔，默认是21600，单位：秒，即6个小时。
Doris冷热分离与存储查询性能优化指南
最新发布
weixin_47253479的博客
08-04 1009
本文介绍了数据存储中冷热分离的实现方案与优化策略。主要包括三种实现方式：基于分区的冷热分离配置（可动态修改）、基于TTL的自动冷热迁移，以及存储介质的S3配置。存储优化方面提出了压缩优化、分区分桶优化等措施。查询性能优化建议采用物化视图、索引优化和并行查询等方法。还提供了冷热数据管理、监控调优工具及最佳实践建议，如冷热数据分层存储策略（热数据7-30天SSD存储，冷数据90天以上对象存储）、合理设置分区分桶等。通过合理配置这些策略，可以在降低存储成本的同时保持查询性能。
一文读懂 Doris 冷热分离，优化存储与查询性能
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-25 1114
摘要：Doris的冷热分离技术通过智能存储策略有效解决大数据存储成本与查询性能的平衡问题。该功能基于存储资源管理，支持S3、AZURE、HDFS等多种存储介质，可根据时间策略自动将冷数据迁移至低成本存储。用户可通过创建存储策略（如设置冷却时间或TTL）实现数据分层，同时支持SSD/HDD分层存储。该技术特别适用于日志分析等时间敏感型业务场景，在保证热数据高效查询的同时显著降低存储成本，实现资源优化配置。
精选资源
Doris数据备份恢复与节点扩缩容教程
02-28
### Doris 数据备份恢复与节点扩缩容教程 #### 一、备份与恢复 ##### 1.1 准备工作 在开始备份之前，需要确保已经正确设置了存储库(repository)。存储库是用来存放备份数据的地方。 - **显示创建仓库** 使用 `...
Doris + Iceberg 构建冷热分层数据湖架构：架构设计与实战指南
晴天彩虹雨的博客
04-20 1686
组件优势Doris高并发、低延迟 OLAP 引擎，适合热数据实时查询Iceberg高度可扩展的表格式，支持 ACID、分区演进、批量存储优化，适合冷数据管理热数据（近1天）存于 Doris，支撑秒级查询、实时报表冷数据（1天+）存于 Iceberg，支持归档、批量分析两者统一接入 BI、Presto、Trino 等查询引擎Doris + Iceberg 的组合实现了：热数据高频访问，快速响应实时查询需求冷数据低成本归档，支持大规模批量分析数据生命周期管理清晰，查询层透明。
京东广告基于 Apache Doris 的冷热数据分层实践
京东零售技术的博客
02-20 1199
京东广告围绕Apache Doris建设广告数据存储服务，为广告主提供实时广告效果报表和多维数据分析服务。历经多年发展，积累了海量的广告数据，目前系统总数据容量接近1PB，数据行数达到18万亿行+，日查询请求量8,000万次+，日最高QPS2700+。随着业务的不断增长与迭代，数据量持续激增，存储资源逐渐成为瓶颈。近两年存储资源经历了多次扩容，存储容量增加了近十倍，而日查询请求量仅增长两倍。同时，计算资源的利用率因频繁扩容而相应降低，导致资源浪费。
MPP数据库之SelectDB
youziguo的专栏
09-14 1972
SelectDB 是一个高性能、云原生的 MPP（大规模并行处理）数据库，旨在为分析型数据处理场景提供快速、弹性和高效的解决方案。它专为处理大规模结构化和半结构化数据设计，常用于企业级业务分析、实时分析和决策支持。 SelectDB 是在 Apache Doris 的基础上发展而来的，继承了其在列式存储、向量化执行引擎和多维分析等方面的技术优势，同时在云原生架构上进行了优化，增强了弹性扩展和资源管理功能。
doris-修改be的存储路径
line_on_database的博客
12-27 1605
因为之前的BE的数据目录在机械盘上，性能太低，打算换到SSD盘，在不改变端口且没有多余机器的情况下，更改磁盘存储位置相对来说比较方便，因为业务尚没有正常使用，所以操作起来更方便非常不推荐这种方式更改，如无必要，不要采取该方式。
Apache Doris 入门教程30：冷热分层机制
sunjian286的专栏
08-16 821
本文简要介绍如何在Apache Doris中，通过冷热分层机制优化性能
Selectdb + doris 集群搭建
warmheartboy的博客
11-22 662
当对集群进行启停、扩容等改变集群状态的操作时，需要手动进行 studio reload 重新加载当前集群的状态，来保证集群查询和监控告警功能的可用。可通过 dorisctrl cluster template --full 命令 生成详细版的集群拓扑文件样例。询问安装包存放目录，填写doris安装包的存放路径。填写部署机的密码，用来做中控机对部署机的免秘钥连接。在根目录的临时目录修改具体的信息。在根目录的临时目录修改具体的信息。扩容成功但是启动还是未找到信息。扩容成功但是启动还是未找到信息。
【Doris】 技术实现 - 冷热数据存储（一）
m0_54252387的博客
07-26 1788
对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体——用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有这么高的要求，而前者存储的代价往往是远高于后者的。...
SelectDB数据库，新一代实时数据仓库的全面解析与应用
小相探索IT世界
08-03 9037
SelectDB是一款基于Apache Doris的新一代实时数据仓库解决方案，具备实时极速、融合统一、弹性架构和开放生态四大核心特性。它采用云原生存算分离架构，支持秒级数据更新、毫秒级查询响应，在TPC-H等基准测试中性能超越传统系统3-5倍。SelectDB提供两款产品：SelectDB Cloud（全托管SaaS）和SelectDB Enterprise（私有化部署），支持多数据源接入、联邦查询和冷热数据分层存储，存储成本可降低90%。在日志分析、用户画像等场景中，SelectDB相比Elastics
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布｜立即下载
SelectDB
06-18 865
作为基于 Apache Doris 打造的现代化数据仓库，SelectDB 不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台， 截至目前已在近百家行业内知名企业中落地。
定义现代化实时数据仓库，SelectDB 全新产品形态全面发布
SelectDB
09-26 2798
*导读：**9 月 25 日，2023 飞轮科技产品发布会在线上正式召开，本次产品发布会以为主题，飞轮科技 CEO 马如悦全面解析了现代化数据仓库的演进趋势，。飞轮科技联合创始人兼 COO 连林江介绍了基于 SelectDB 的多个场景解决方案以及生态合作模式，来自同盾科技、趣丸科技以及观测云的多位客户代表为大家分享了基于 SelectDB 的架构升级在真实业务场景中带来的收益，未来飞轮科技将坚持以“客户价值”为出发点引领技术革新、以“开放共赢”为核心理念携手更多合作伙伴，为行业注入新的活力。
doris冷热数据分表存储
02-14
### Doris中冷热数据分表存储的实现 #### 方案概述 在Doris环境中实施冷热数据分离策略能够显著优化资源利用率并提高查询效率。对于冷热数据的管理，通常采用不同的物理介质来分别存放不同类型的数据——即热数据存放在高性能SSD盘上以保障快速访问；而冷数据则迁移到成本较低的大容量HDD硬盘或其他长期存储设施内。 #### 方法一：基于分区表的时间窗口迁移机制[^1] 创建带有时间字段作为分区键的表结构，在此基础之上设定合理的生命周期规则。每当达到预设阈值时（比如某个月份结束），自动触发后台作业将该时间段内的记录转移至专门用于保存历史档案的新建子表里。具体操作如下： ```sql CREATE TABLE IF NOT EXISTS hot_data ( `id` BIGINT(20), `event_time` DATETIME, ...其余字段... ) PARTITION BY RANGE(event_time)( PARTITION p_202309 VALUES LESS THAN ('2023-10-01'), PARTITION p_max VALUES LESS THAN MAXVALUE ); INSERT INTO cold_storage SELECT * FROM hot_data WHERE event_time < '指定日期'; DELETE FROM hot_data WHERE event_time < '指定日期'; ``` 上述SQL语句展示了如何构建一个按月划分区间的源表以及怎样把过期条目转移到目标位置的过程。 #### 方法二：利用物化视图加速查询响应速度[^4] 除了简单的搬移之外，还可以考虑引入物化视图技术进一步增强系统的灵活性与表现力。通过预先计算好常用组合条件下的汇总统计信息，并将其持久化下来供后续检索调用，从而减轻实时处理的压力。例如针对频繁发生的聚合类需求建立相应的中间结果集： ```sql CREATE MATERIALIZED VIEW mv_sales_summary AS SELECT product_id, SUM(sales_amount), COUNT(*) as order_count FROM sales_records GROUP BY product_id; ``` 这样即使面对海量级规模的历史订单明细也能迅速给出精确答案而不必每次都重新遍历整个集合。 #### 方法三：借助外部工具完成自动化运维流程 考虑到手动编写脚本可能带来的维护难题，推荐使用诸如xxl-job这样的开源框架来进行周期性的巡检工作。它允许开发者定义复杂的调度计划并通过HTTP接口远程控制集群内部的动作。这样一来不仅简化了日常管理工作而且提高了任务执行的成功率。 ```json { "jobDesc": "定期清理旧版本", "author": "admin", "scheduleConf": "* 0/5 * * * ? ", "executorHandler": "/api/clean-old-data" } ``` 以上配置片段描述了一个每隔五分钟运行一次的任务实例，负责检查是否存在超过保留期限未被访问过的对象并将它们标记为待回收状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值