Apache Doris (十七) ：Doris分区和分桶3-分桶及建议

最新推荐文章于 2025-11-17 02:05:10 发布
原创 最新推荐文章于 2025-11-17 02:05:10 发布 · 883 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql #database #大数据 #数据仓库 #etl

本文介绍了Apache Doris的分桶和分区概念，强调了分桶列选择的重要性，以及如何根据数据量和并发需求平衡查询性能。建议单个分桶大小不超过10GB，并提供分区和分桶数量的指导，包括根据集群规模和数据量预估 Tablet 数量，以优化查询效率和数据管理。

​​​目录

一、分桶Bucket

​​​​​​​二、分区和分桶数量和数据量的建议

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

一、分桶Bucket

Doris数据表存储中，如果有分区，在插入数据时，数据会按照对应规则匹配写往对应的分区中，如果表除了有分区还有分桶，那么数据在写入某个分区后，还会根据分桶规则将数据写入不同的分桶（Tablet）,目前分桶Bucekt目前仅支持Hash分桶，即根据对应列的hash值将数据划分成不同的分桶（Tablet）。

建议采用区分度大的列做分桶, 避免出现数据倾斜，为方便数据恢复, 建议单个 bucket 的 size 不要太大, 保持在 10GB 以内, 所以建表或增加 partition 时请合理考虑 bucket 数目, 其中不同 partition 可指定不同的 buckets 数。

建表时创建分桶表只需要在建表语句中加入distrubution_desc即可：

...
DISTRIBUTED BY HASH(`id`) BUCKETS 16
...
了解本专栏 订阅专栏 解锁全文
doris通关之分区分桶调优
u011624157的专栏
09-26 2337
doris分区分桶调优
Apache Doris的分区与分桶详解
大模型大数据攻城狮的专栏
10-09 1447
Apache Doris，一款高性能的分布式分析型数据库，其起源可追溯至Apache Incubator项目中的Palo。通过深度融合MPP（Massively Parallel Processing）架构与列式存储技术，Doris专为应对大数据环境下的复杂查询与实时分析挑战而诞生。随着全球数据量呈现爆炸式增长，Apache Doris以其杰出的性能表现和灵活多变的数据管理能力，逐渐脱颖而出，成为众多企业解决大数据难题的优选方案。
Apache Doris 系列：Bucket(分桶)数量设置建议
修破立生
02-09 2984
Apache Doris集群上线运行一段时间后，随着越来越多的数据增长，集群每次重启后一周左右，读写就会开始变得越来越慢，直到无法正常进行读写。注：表的数据量可以通过 SHOW DATA。命令查看，结果除以副本数，即表的数据量。
Apache Doris分桶键选择终极指南：实现数据均匀分布的5个关键原则
最新发布
gitblog_00959的博客
11-17 353
Apache Doris作为一款高性能的MPP分析型数据库，其分桶键选择直接影响查询性能和数据处理效率。掌握正确的分桶键选择策略是优化Doris性能的关键步骤，本文将为您详细解析实现数据均匀分布的核心原则。🚀 ## 什么是分桶键及其重要性 分桶键（Bucket Key）是Apache Doris中用于数据分布的关键字段，通过`DISTRIBUTED BY HASH(column) BUCKE
Doris入门篇-分区分桶实验
S1124654的博客
03-02 5244
Doris入门篇-分区分桶实验
DORIS - DORIS的分区分桶
记录并分享
09-13 3236
在存储引擎方面，Apache Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。
Doris 分区与分桶
悦上心灵的博客
05-16 4964
Apache Doris 为分析而生
Doris分区-分桶规范
sunxunyong的博客
07-29 1714
8.2、没有办法分区的，数据又较快增长的，没办法按照时间动态分区，可以适当放大一下你的bucket数量，按照你的数据保存周期（180天）数据总量，来估算你的bucket数量应该是多少，建议还是单个bucket大小在1-3G。2、不要使用Auto Bucket，按照自己的数据量来进行分区分桶，Auto Bucket会造成tablet数量过多，造成大量小文件的问题。9、对于有大量历史分区数据，但是历史数据比较少，或者不均衡，或者查询概率的情况，将所有历史数据放到对应分区里创建历史分区。
Apache Doris (十六) ：Doris分区和分桶2-List分区
qq_32020645的博客
07-04 1510
业务上，用户可以选择城市或者其他枚举值进行partition，对于这种枚举类型数据列进行分区就可以使用List分区。List分区列支持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 数据类型，
Apache Doris的分区与分桶原理解析
JustinMars的博客
07-05 908
合理的分区和分桶策略在 Apache Doris 中至关重要。通过选择合适的分区列和分桶列，合理设置分区范围和桶数，充分利用分区裁剪和并行查询技术，可以显著提升查询性能和数据管理效率。根据实际业务场景和数据特点，动态调整分区和分桶策略是优化的重要环节。
Apache Doris (十八) ：Doris分区和分桶4-Random Distribution 及复合分区使用场景
qq_32020645的博客
07-06 519
如果OLAP表的是Random Distribution的数据分布，那么在数据导入的时候可以设置单tablet导入模式（将load_to_single_tablet 设置为 true），那么在大数据量的导入的时候，一个任务在将数据写入对应的分区时将只写入一个tablet分片，这样将能提高数据导入的并发度和吞吐量，减少数据导入和Compaction导致的写放大问题，保障集群的稳定性。”直接指定RANDOM，默认BUCKETS为10。当然用户也可以不使用复合分区，即使用单分区，则数据只做 HASH 分布。
Apache Doris 基础 -- 数据表设计（分区分桶）
chinusyan的专栏
05-31 4059
Apache Doris 基础 -- 数据表设计（分区分桶）
Doris之分区分桶
南风知我意
10-27 5167
Doris 支持两层的数据划分。第一层是 Partition（分区），支持 Range （按范围）和 List（按枚举值） 的划分方式。第二层是 Bucket（分桶），仅支持 Hash 的划分方式。分区和分桶都是对数据进行横向分割
Doris的分区Partition和分桶Bucket介绍
wt334502157的博客
05-12 7333
Range分区是一种基于分区键对表进行分区的方式，分区键指的是表中的某一列，而Range则是指这个列的值的范围。使用Range分区，可以将数据按照列的值的范围进行划分，将数据分散到不同的节点上，以实现分布式存储和查询分区列通常为时间列，以方便的管理新旧数据Partition 支持通过仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。也支持通过指定上下界，生成一个左闭右开的区间当不使用Partition建表时，系统会自动生成一个和表名同名的，全值范围的 Partition。
30个节点的Doris集群，每个节点有2块7TB的SSD盘，12块8TB的机械盘，分区和分桶的最佳实践
主要写大数据集群一线运维和学习工作经验
03-13 1780
Doris分区分桶最佳实践
【Doris 】Doris 分区与分桶
m0_54252387的博客
07-09 963
分区与分桶秉承着"大而化小，分而治之"的目标，目的都是为了便于查询，提高查询的效率。分区的定义: 对数据进行水平切分，水平切分之后数据是完全物理隔离的，每个分区即为一个物理文件夹。比如一个网站每天的埋点行为日志数据量比较大，在查询时进行全表扫描耗费的资源非常多。那在这个情况大数据体量下，可以按照每天日期对数据表进行分区，不同日期的数据存放在不同的分区下，在查询时只要指定分区字段的值就可以直接从该分区查找。分桶的定义: 对数据进行垂直切分，各个分桶相互独立，每个分桶即为一个文件。比如我们按照name列分为4个
数据库Doris的手动分桶和自动分桶
JustinMars的博客
07-08 655
手动分桶和自动分桶各有优缺点，适用于不同的业务场景。手动分桶适合需要精细化管理的场景，而自动分桶则适合简化管理和优化性能的场景。结合动态分区和手动分桶，可以实现更加灵活和高效的数据管理策略。
【大数据入门核心技术-Doris】（五）分区和分桶
11-27 835
Doris 支持两层的数据划分。第一层是 Partition，支持 Range 和 List 的划分方式。第二层是 Bucket（Tablet），仅支持 Hash 的划分方式。也可以仅使用一层分区。使用一层分区时，只支持 Bucket 划分。
【doris】应用篇（二）- 分区 分桶
dongfenggujian的博客
06-09 456
Doris合理分区与分桶能提升查询效率、便于管理数据并均衡数据分布。分区支持Range、List类型，可手动或自动创建，动态分区可自动维护时间分区。分桶有Hash和Random两种方式，Hash分桶适合关联查询，Random分桶数据更均匀。建议：1)总Tablet数量控制在1G-10G；2)考虑磁盘并行处理能力；3)关联查询可优化为Colocate join；4)分桶键优先选择高基数字段，数据倾斜可加盐值处理。合理设计分区和分桶对Doris性能至关重要。
Doris数据表设计与分区分桶实践指南
本文围绕Doris的数据模型、分区策略、分桶机制以及索引优化等方面展开深入讲解，为开发者和数据架构师提供了一套完整的建模思路与实践指南。 首先，在Doris中，数据表的设计必须基于其支持的三种核心数据模型：明细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值