Doris数据分桶最佳实践

最新推荐文章于 2025-02-16 19:46:53 发布
最新推荐文章于 2025-02-16 19:46:53 发布
阅读量512 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangleigiser/article/details/136940188

Doris不合理的分桶会影响查询效率，或者带来太多元数据的存储压力。
下面介绍下Doris数据分桶最佳实践
在这里插入图片描述

wangleigiser
关注
【doris】应用篇（二）- 分区 分桶
dongfenggujian的博客
06-09 219
Doris合理分区与分桶能提升查询效率、便于管理数据并均衡数据分布。分区支持Range、List类型，可手动或自动创建，动态分区可自动维护时间分区。分桶有Hash和Random两种方式，Hash分桶适合关联查询，Random分桶数据更均匀。建议：1)总Tablet数量控制在1G-10G；2)考虑磁盘并行处理能力；3)关联查询可优化为Colocate join；4)分桶键优先选择高基数字段，数据倾斜可加盐值处理。合理设计分区和分桶对Doris性能至关重要。
【Doris】Doris 最佳实践-Compaction调优(1)
m0_54252387的博客
07-13 1684
这是Compaction调优系列文章的第一篇，我们将尝试通过3篇文章帮助Doris用户了解什么是Compaction、Compaction是如何运作，以及如果调整Compaction策略。## 什么是 CompactionDoris 的数据写入模型使用了 LSM-Tree 类似的数据结构。数据都是以追加（Append）的方式写入磁盘的。这种数据结构可以将随机写变为顺序写。这是一种面向写优化的数据结构，他能增强系统的写入吞吐，但是在读逻辑中，需要通过 Merge-on-Read 的方式，在读取时合并多次写入的
Doris 实践-Compaction调优 3
锋哥聊DORIS数仓
06-15 1078
本文是 Compaction 调优系列文章的第三篇。在前两篇文章中我们介绍了Compaction的一些基本概念，以及Compaction选择策略和执行过程。本篇我们将从实际使用场景的角度出发，介绍 Compaction 的调优思路和策略。通过本文读者将了解到 Compaction 相关的日志分析、参数调整和 API 的使用。 Doris 最佳实践-Compaction调优(1) Doris 最佳实践-Compaction调优(2) ## 什么情况下需要调整 Compaction 参数 ...
doris:最佳实践
qq_36070104的博客
02-16 812
doris:最佳实践
Apache Doris 在小米亿级用户行为分析平台的实践｜最佳实践
SelectDB
12-29 929
过去 3 年时间里，Apache Doris 已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告 BI、新零售、用户行为分析、A/B 实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以 Apache Doris 为核心的数据生态。本文将为大家分享小米用户行为分析平台基于 Apache Doris 向量化版本的改造实践，包括数据存储架构和查询服务架构的演进与改造经验分享。作者｜小米数据智能部开发工程师 汤佳树。
最佳实践｜Apache Doris 在小米数据场景的应用实践与优化
Focus on Lakehouse
08-13 878
导读：小米集团于 2019 年首次引入了 Apache Doris ，目前 Apache Doris 已经在小米内部数十个业务中得到广泛应用，并且在小米内部已经形成一套以 Apache Doris 为核心的数据生态。本篇文章转录自 Doris 社区线上 Meetup 主题演讲，旨在分享 Apache Doris 在小米数据场景的落地实践与优化实践。作者｜小米 OLAP 引...
Apache Doris的分区与分桶详解
大模型大数据攻城狮的专栏
10-09 1231
Apache Doris，一款高性能的分布式分析型数据库，其起源可追溯至Apache Incubator项目中的Palo。通过深度融合MPP（Massively Parallel Processing）架构与列式存储技术，Doris专为应对大数据环境下的复杂查询与实时分析挑战而诞生。随着全球数据量呈现爆炸式增长，Apache Doris以其杰出的性能表现和灵活多变的数据管理能力，逐渐脱颖而出，成为众多企业解决大数据难题的优选方案。
Apache Doris的分区与分桶原理解析
JustinMars的博客
07-05 712
合理的分区和分桶策略在 Apache Doris 中至关重要。通过选择合适的分区列和分桶列，合理设置分区范围和桶数，充分利用分区裁剪和并行查询技术，可以显著提升查询性能和数据管理效率。根据实际业务场景和数据特点，动态调整分区和分桶策略是优化的重要环节。
Doris使用规范（最佳实践）
03-17
【强制】** 如果分桶字段存在超过 30% 的数据倾斜，则禁止使用 Hash 分桶策略，改为使用 Random 分桶策略。 **说明：** 1. **目的：** 解决数据倾斜问题，提高查询效率。 2. **原因：** - Hash 分桶策略在数据...
Doris案例篇—云积天赫基于 Apache Doris 构建统一数仓的实践
热门推荐
07-16 4万+
前期，我们只是在部分功能上使用了 Apache Doris，用 Apache Doris 替代了 Spark+Impala 来实现实时圈人功能，出乎意料的是，Apache Doris 投入使用之后效果极佳，新版架构的实时圈人业务平均每个任务耗时由 3~5 分钟降低到 10 秒左右，并且在人群落地方面，使用存储更小的 Bitmap 代替原来的人群落地为表，不仅数据管理方便，而且磁盘空间占用减少了 80% 左右。早期，大数据平台的主要目的是为了满足较为单一的 BI 数据看板及报表功能。
【推荐】最强大数据学习与最佳实践资料合集（基础+架构+数仓+治理+案例）（100份）.zip
10-18
推荐，最强大数据学习与最佳实践资料合集，基础+架构+治理+案例，共100份。 一、基础篇 快手EB级HDFS挑战与实践 Hive任务开发规范 一文看懂Hadoop生态圈 资料-CentOS7搭建Hadoop-2.7.7集群 ClickHouse官方中文文档 ...
doris物化视图最佳实践
学亮编程手记
10-21 935
其中 TableName 指的是物化视图的数据来自于哪个表，RollupIndexName 指的是物化视图的名称叫什么。因为物化视图的维护本身也需要消耗资源。通过下面语句首先创建一个存储广告点击数据明细的表，包含每条点击的点击时间，点击的是什么广告，通过什么渠道点击，以及点击的用户是谁。我们建议用户在正式的生产环境中使用物化视图前，先在测试环境中确认是预期中的查询能否命中想要创建的物化视图。由于创建物化视图是一个异步的操作，用户在提交完创建物化视图任务后，需要异步的通过命令检查物化视图是否构建完成。
最佳实践｜Apache Doris Join 实现与调优实践
bigdata_player
09-19 2271
DorisJoin 实现机制 Doris 支持两种物理算子，一类是Hash Join，另一类是Nest Loop Join。 Hash Join：在右表上根据等值 Join 列建立哈希表，左表流式的利用哈希表进行 Join 计算，它的限制是只能适用于等值 Join。 Nest Loop Join：通过两个 for 循环，很直观。然后它适用的场景就是不等值的 Join，例如：大于小于或者是需要求笛卡尔积的场景。它是一个通用的 Join 算子，但是性能表现差。 Join...
日志检索场景ES-＞Doris迁移最佳实践：函数篇
wangleigiser的博客
11-27 1198
说明：和term区别可以理解为term是精确查询，这边match模糊查询；match会对my ss分词为两个单词，然后term对认为这是一个单词。
Apache Doris：深度优化与最佳实践
Programming Talk
11-14 2968
通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。在数据导入 Doris 之前，进行必要的数据清洗和预处理可以提高数据质量和查询性能。合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。
Doris 最佳实践的建模部分
认真学代码的shell
03-12 357
Doris 最佳实践的建模部分 添加链接描述 1. 建表: 1.1 数据模型选择 Doris数据模型上目前分为三类: AGGREGATE KEY, UNIQUE KEY, DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 （1）AGGREGATE KEY: AGGREGATE KEY相同时，新旧记录进行聚合，目前支持的聚合函数有SUM, MIN, MAX, REPLACE。 AGGREGATE KEY模型可以提前聚合数据, 适合报表和多维分析业务。 CREATE TABLE site_vis
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 6842
Doris实战——结合Flink构建极速易用的实时数仓
深入解析 Apache Doris架构、应用场景与最佳实践
hello.reader
09-19 3782
Apache Doris 是一款现代化的 MPP（Massively Parallel Processing）数据库，专注于解决大规模数据分析和实时查询的需求。它最初源自百度的 Palo 项目，随后贡献给了 Apache 基金会，并在开源社区的共同努力下不断演进。Doris 的设计目标是提供高效、简洁、易于使用的分析型数据库，能够在海量数据下进行快速响应的查询处理，尤其适用于数据仓库、BI 分析、以及实时数据处理场景。Doris 的核心优势之一在于其简化的架构和无缝的数据处理能力。
Doris分桶大小多少合适
最新发布
07-19
<think>嗯，用户现在在问Doris分桶大小设置的问题，结合之前的对话历史，用户之前已经询问过分区大小的问题，现在聚焦到分桶上了。用户可能是个大数据工程师或者DBA，正在设计Doris表结构，需要具体的分桶配置指导。 从引用内容看，用户提供了几个关键点：自动分桶功能（BUCKETS AUTO）、分桶与查询性能的关系（桶裁剪）、以及分桶与分区结合使用的场景。用户深层需求应该是想平衡存储效率和查询性能，避免手动调优的麻烦。 用户可能遇到的实际痛点是：手动设置分桶数后，随着数据增长出现小文件问题或查询变慢。引用[2]提到自动分桶的语法（estimate_partition_size参数）正好解决这个问题。不过用户没提具体数据规模，需要给出通用方案。 技术上要强调三个核心：单个Tablet的理想大小（1GB）、自动分桶的参数设置逻辑、以及监控方法。特别要注意引用[3]提到的“充分利用每台BE能力”这点，需要解释分桶数与BE节点数的关系。 上次回答分区时提到10GB上限，这次分桶要区分清楚：分区是粗粒度划分（比如按天），分桶是细粒度哈希分布。用户容易混淆这两者，需要在回答中明确区分，并说明它们的配合关系（如引用[4]的分区+分桶组合优化查询）。 用户可能还关心历史数据迁移时的分桶调整，但当前问题聚焦在新表设计，所以放在相关问题上。另外要提醒自动分桶的注意事项，比如首次导入空表时的默认行为（引用[2]的初始分桶逻辑）。</think>在 Apache Doris 中，**分桶（Bucket）大小的合理设置直接影响查询性能、数据分布均衡性和集群稳定性**。以下是结合自动分桶机制的最佳实践建议： --- ### 📌 分桶核心原则 1. **单个 Tablet 理想大小** - **推荐范围**：`500MB - 1GB` - **临界阈值**： - 下限：避免小于 `100MB`（小文件过多导致元数据压力） - 上限：不超过 `10GB`（过大影响并行查询和Compaction效率）[^2][^3] 2. **分桶数量控制** - **单表总分桶数**：建议 `10 - 100` 个 - **单BE节点总分桶数**：不超过 `50万` 个（防止内存溢出）[^3] --- ### ⚙️ 自动分桶配置策略 通过 `BUCKETS AUTO` 和 `estimate_partition_size` 参数实现智能分桶： ```sql CREATE TABLE example ( site INT, dt DATE ) DISTRIBUTED BY HASH(site) BUCKETS AUTO -- 启用自动分桶 PROPERTIES ( "estimate_partition_size" = "2G" -- 预估单个分区数据量 ); ``` **运作机制**： - 系统根据 `estimate_partition_size / 1GB` 动态计算分桶数 - 例如：2GB分区 → 自动生成 **2个分桶**（每个Tablet约1GB）[^2] --- ### 🔧 手动分桶场景建议 | **数据规模** | **分桶数公式** | **示例（单分区10GB）** | |---------------------|--------------------------------|------------------------| | **小数据** (<100GB) | `桶数 = 数据量(GB) / 1` | 10GB → 10个分桶 | | **大数据** (>100GB) | `桶数 = BE节点数 * 磁盘数 * 3` | 3BE * 4磁盘 * 3 = 36桶 | > **注意**：手动分桶需定期评估数据增长，自动分桶可免此维护成本[^1][^2] --- ### 🚨 关键注意事项 1. **BE节点资源影响** 分桶数应接近 **BE节点数的整数倍**，确保数据均匀分布。例如： - 4台BE → 推荐桶数：8、12、16、24 - 避免质数分桶（如17、19）导致数据倾斜[^3] 2. **查询性能优化** ```sql -- 利用桶裁剪提升查询效率 SELECT * FROM table WHERE site = 123; -- 分桶列site作为条件 ``` 当查询命中分桶列时，Doris仅扫描**特定分桶**而非全表[^4] 3. **冷热数据策略** 热数据分区使用更多分桶（提高并发），冷数据合并为较少分桶： ```sql -- 热数据分区（近期数据） PARTITION p202310 VALUES LESS THAN ("2023-11-01") DISTRIBUTED BY HASH(key) BUCKETS 12; -- 冷数据分区（历史归档） PARTITION p202201 VALUES LESS THAN ("2022-02-01") DISTRIBUTED BY HASH(key) BUCKETS 4; ``` --- ### 📊 监控与调整 1. **检查分桶数据分布** ```sql SHOW PARTITIONS FROM tbl; -- 查看每个Tablet的`DataSize` ``` - 若DataSize差异 >30%，需调整分桶键或重建表 2. **自动分桶校准** 当实际数据量与预估偏差较大时，动态更新参数： ```sql ALTER TABLE tbl SET ("estimate_partition_size" = "5G"); -- 重新触发分桶计算 ``` --- ### 💎 最佳实践总结 | **场景** | **策略** | |-------------------------|---------------------------------------| | 新表设计 | 优先使用 `BUCKETS AUTO` + `estimate_partition_size` [^2] | | 历史表扩容 | 通过 `ALTER TABLE` 重置自动分桶参数 | | 高频点查 | 增加分桶数（提升并发） | | 存储优化 | 冷数据减少分桶数（降低小文件） | > **提示**：自动分桶功能（Doris 1.2+）已覆盖90%场景，**无需手动计算分桶数**[^1][^2] --- ### ❓相关问题 1. Doris自动分桶的`estimate_partition_size`参数设置不准确会导致什么问题？ 2. 如何通过分桶键选择最大化桶裁剪效果？[^4] 3. 分桶数与BE节点磁盘IOPS的量化关系如何计算？ 4. 跨分区查询时自动分桶如何保证数据均衡性？[^1] [^1]: Apache Doris的自动分桶机制能自适应调整分桶策略，无需手动干预[^1]。 [^2]: 自动分桶通过`BUCKETS AUTO`和`estimate_partition_size`实现动态分桶数推算[^2]。 [^3]: 分桶设计需考虑数据总量和磁盘分布，充分利用BE节点能力[^3]。 [^4]: 分桶列上的查询条件可触发桶裁剪（Bucket Pruning），减少数据扫描量[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值