Apache Doris 系列：清理垃圾数据

最新推荐文章于 2025-02-11 00:06:28 发布
最新推荐文章于 2025-02-11 00:06:28 发布
阅读量923 收藏
点赞数 2
分类专栏： DorisDB 文章标签： java 服务器 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/eagle89/article/details/138531006
版权

垃圾数据如何产生
delete/drop/truncate等操作只是在逻辑上删除了数据，并没有进行物理删除
数据文件合并完成后没有物理删除旧的数据
清理所有BE节点的垃圾数据
ADMIN CLEAN TRASH;

清理指定BE节点的垃圾数据
ADMIN CLEAN TRASH [ON ("BackendHost1:BackendHeartBeatPort1", "BackendHost2:BackendHeartBeatPort2", ...)];

ADMIN CLEAN TRASH ON ("192.168.56.104:9050");
注意：账户需要有ADMIN权限才能执行以上命令
 

Apache Doris：深度优化与最佳实践
Programming Talk
11-14 2800
通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。在数据导入 Doris 之前，进行必要的数据清洗和预处理可以提高数据质量和查询性能。合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。
大数据Doris（三十）：删除数据（Delete）
Lansonli（蓝深李）的博客
11-27 3554
命令可以很轻量的完成数据删除工作。并且该命令不受 load 以及任何其他操作的限制，同时不会影响查询效率。该命令是同步命令，执行成功即生效。而后台数据真正删除的时间可能会延迟10分钟左右。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。📢本文由 Lansonli 原创，首发于 优快云博客🙉。语句类似标准 delete 语法，具体使用可以查看。是逻辑上最小的数据管理单元，所以使用。该命令可以直接删除指定的分区。
Apache Doris 系列： 基础篇-清理垃圾数据
修破立生
01-13 1549
简单介绍垃圾数据产生的原因，以及垃圾数据的清理方法
doris命令详解：ADMIN CLEAN TRASH 立即清理BE节点 Trash 中的所有数据
学亮编程手记
12-19 484
是 Apache Doris 中用于手动触发清理垃圾（Trash）的一个管理命令。当用户执行删除表、分区或数据库等操作时，Doris 不会立即物理删除这些对象的数据，而是将它们标记为“已删除”并移至垃圾回收区（Trash）。这样做可以提供一个恢复窗口，在此期间如果发现误删，还可以恢复数据。
在大数据(hive/doris)检测源数据中的脏数据和异常数据
大模型大数据攻城狮的专栏
06-25 721
创建或使用现有的UDFs（用户自定义函数）：Hive支持Java编写自定义函数，可以用来检测特殊格式的数据错误或执行复杂的数据清洗逻辑。
Doris安全删除BE节点
wangqiaowq的博客
08-17 2799
【代码】Doris安全删除BE节点。
Apache Doris 的 Incremental Read增量读取，数据合并，数据清理
JustinMars的博客
08-15 522
Incremental Read（增量读取）是 Apache Doris 用来提高查询效率的一个重要功能。它的核心思想是通过增量地读取和处理数据，减少不必要的数据扫描，从而加速查询的执行。这个功能特别适用于那些数据更新频繁但查询侧重于最新数据的场景。
Apache Doris 基础 -- 数据表设计（分层存储）
chinusyan的专栏
06-11 1605
Apache Doris 基础 -- 数据表设计（分层存储）
2万字长文Doris运维问题大全及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-18 889
Apache Doris（原Palo）是一个面向OLAP（在线分析处理）的MPP（大规模并行处理）数据库系统，专为实时分析和大数据处理场景设计。高性能分析：通过列式存储、向量化执行引擎和先进的查询优化器，Doris能够提供亚秒级的查询响应时间，特别适合复杂的分析查询。易用性：Doris支持标准SQL语法，降低了学习成本，同时提供了丰富的数据导入工具和灵活的数据模型设计，便于用户快速上手。高可扩展性：Doris采用分布式架构，可以轻松横向扩展，通过增加更多的服务器来提升数据处理能力和查询性能。高可用性。
如何对比某个表在Hive和Doris磁盘空间大小和Doris表如何优化存储空间保姆级教程(亲试可用）
最新发布
大模型大数据攻城狮的专栏
02-11 762
在列式存储中，表的每一列会独立存储，这为压缩技术的应用提供了便利，从而提高了存储效率。数据的顺序越有规律，压缩算法在压缩时可以识别出更多的重复模式，从而提升压缩比。在 Hive 中查看某个表占用的磁盘空间，通常依赖于底层的存储系统（如 HDFS）来查询表的实际存储情况。：通过合并小文件，减少存储碎片，提高存储效率。列中空值的比例较高时，压缩算法可能会更有效，因为压缩算法会将这些空值作为一种特殊的模式进行编码，减少存储空间。通常我们关注的并不是表定义中的字段长度，而是实际数据中的最大值或者存储中的数据特征。
Doris-存储能力
lukabruce的博客
07-30 227
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据，Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。Doris 的 Key 列是建表语句中指定的列，建表语句中的关键字unique key或或后面的列就是 Key 列，除了 Key 列剩下的就是 Value 列。
doris数据磁盘空间释放的方式，包含数据垃圾清理、数据手动均衡、数据副本修改
Colin_8868的博客
08-20 1911
主要介绍和磁盘存储空间有关的系统参数和处理策略，Doris 的数据磁盘空间如果不加以控制，会因磁盘写满而导致进程挂掉。disk xxxxx on backend xxx exceed limit usage
Doris-删除数据（Delete）（二十二）
weixin_46039745的博客
11-27 5173
Doris 目前可以通过两种方式删除数据：DELETE FROM 语句和 ALTER TABLE DROP PARTITION 语句。
Doris系列14-数据导入之批量删除
只是甲的博客
01-11 3118
文章目录一. 批量删除概述1.1 原理1.2 读取1.3 Cumulative Compaction1.4 Base Compaction1.5 语法二. 启用批量删除支持参考: 一. 批量删除概述 目前Doris 支持broker load， routine load， stream load 等多种导入方式，对于数据的删除目前只能通过delete 语句进行删除，使用delete 语句的方式删除时，每执行一次delete 都会生成一个新的数据版本，如果频繁删除会严重影响查询性能，并且在使用delete 方
doris ADMIN CLEAN TRASH ON 命令：手动触发指定 BE 节点上的垃圾清理
学亮编程手记
12-19 499
命令可以带上子句，这允许你指定要清理垃圾（Trash）的具体 Backend (BE) 节点。这种方式提供了更细粒度的控制，使得你可以针对集群中特定的 BE 节点执行垃圾清理操作，而不是对整个集群的所有 BE 节点。
Apache Doris的数据导入insert、数据删除delete
Bulut0907
08-15 4617
delete是一个同步的操作。需要指定表、分区、删除的条件来筛选要删除的数据，并将会同时删除base表和rollup表的数据。Insert Into命令包含以下两种。其中with label是可选的，默认会自动生成。
Doris磁盘空间管理（生命周期管理、清理磁盘空间方法）
大模型大数据攻城狮的专栏
03-21 1084
在进行数据仓库开发时，比较头疼的是历史数据不删除，磁盘空间不断增长，如果磁盘空间不足时，spark调度任务写入时就会报错。
Doris删除数据工具
Hibiki的博客
03-28 828
先获得表的key，然后在通过输入的条件获得key的所有值，最后通过key的值拼接删除语句，调用线程删除。对于Doris的 Unique 模型，在删除数据的时候只能根据key删除，如果使用其他条件就会报错。
Doris（9）：删除数据（Delete）
u013938578的博客
04-19 6777
Delete不同于其他导入方式，它是一个同步过程。和Insert into相似，所有的Delete操作在Doris中是一个独立的导入作业，一般Delete语句需要指定表和分区以及删除的条件来筛选要删除的数据。删除 my_table partition p1 中 k1 列值大于等于 3 且 k2 列值为 "abc" 的数据行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值