Doris多列分区操作

原创 已于 2022-12-02 23:38:06 修改 · 962 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #sql #oracle

于 2022-12-02 23:36:58 首次发布
  1. 创建基于Range多列分区的表
CREATE TABLE tbl1
(
    day DATE,
    days SMALLINT,
    user_type SMALLINT,
    product VARCHAR(20),
    message String
)
PARTITION BY RANGE(day,days,user_type) (
    PARTITION `p201701_1000` VALUES LESS THAN
最低0.47元/天 解锁文章
Apache Doris (十六) ：Doris分区和分桶2-List分区
qq_32020645的博客
07-04 1508
业务上，用户可以选择城市或者其他枚举值进行partition，对于这种枚举类型数据列进行分区就可以使用List分区。List分区列支持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 数据类型，
【Doris 】Doris 分区与分桶
m0_54252387的博客
07-09 962
分区与分桶秉承着"大而化小，分而治之"的目标，目的都是为了便于查询，提高查询的效率。分区的定义: 对数据进行水平切分，水平切分之后数据是完全物理隔离的，每个分区即为一个物理文件夹。比如一个网站每天的埋点行为日志数据量比较大，在查询时进行全表扫描耗费的资源非常多。那在这个情况大数据体量下，可以按照每天日期对数据表进行分区，不同日期的数据存放在不同的分区下，在查询时只要指定分区字段的值就可以直接从该分区查找。分桶的定义: 对数据进行垂直切分，各个分桶相互独立，每个分桶即为一个文件。比如我们按照name列分为4个
Doris多列分区的问题（v1.2.2）
da_dou_dou的博客
03-27 406
doris学习建表，遇到的疑问，partition key
下一代实时数据库：Apache Doris 【六】数据划分
Maynor的博客
12-18 1312
如果不使用 Partition ，则描述的是对整个表的数据的划分规则。此时，当多个点查询并发时， 这些查询有较大的概率分别触发不同的分桶扫描， 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) ，所以这种方式适合 高并发的点查询场景。如按天分区，当每天的数 据量差异很大时， 可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择 区分度大的列。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时 扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。
【大数据系列】Doris的自动分区和数据分桶详解
最新发布
qq_54375572的博客
10-21 993
Doris自动分区与数据分桶技术解析 Doris自动分区功能（2.1版本后支持）解决了手动分区和动态分区的局限性，支持基于范围（RANGE）和列表（LIST）的自动分区方式。RANGE分区适用于时间类型数据，LIST分区支持多列分区但需注意分区名长度限制。自动分区可与动态分区的生命周期管理结合使用，其中RANGE分区支持数据自动管理。 数据分桶是Doris必须的物理数据分片方式，分为Hash分桶和Random分桶。
下一代实时数据库：Apache Doris 【六】数据划分_doris支持多列分区吗(1)
2401_84166811的博客
05-15 752
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型中， 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key 列。而其余则为 Value 列。定义列时， 可参照如下建议：➢ Key 列必须在所有 Value 列之前。➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。
下一代实时数据库：Apache Doris 【六】数据划分_doris支持多列分区吗(2)
2401_84591685的博客
05-11 915
注意到 p201702 和 p201705 的分区范围并没有发生变化， 而这两个分区之间， 出现了 一个空洞：[2017-03-01, 2017-04-01)。此时，当多个点查询并发时， 这些查询有较大的概率分别触发不同的分桶扫描， 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) ，所以这种方式适合 高并发的点查询场景。如按天分区，当每天的数 据量差异很大时， 可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择 区分度大的列。分区列通常为时间列，以方便的管理新旧数据。
下一代实时数据库：Apache Doris 【六】数据划分_doris支持多列分区吗
2401_84591685的博客
05-11 761
Partition。该 Partition 对用户不可见， 并且不可删改。分区列通常为时间列，以方便的管理新旧数据。不可添加范围重叠的分区。Partition 指定范围的方式⚫ VALUES LESS THAN (…) 仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。分区的删除不会改变已存在分区的范围。删除分 区可能出现空洞。⚫ VALUES […) 指定同时指定上下界， 生成一个左闭右开的区间。通过 VALUES […) 同时指定上下界比较容易理解。
Doris按天/月分区介绍及使用【Range 分区和List 分区】
weixin_42326851的博客
06-24 6726
Doris按天/月分区介绍及使用【Range 分区和List 分区】
多列分区
minwang593的专栏
10-17 1148
范围分区 range(A,B)的分区法则，范围分区都是 values less than(A,B)的，通常情况下以A为准，如果小于A的不用考虑B，直接插进去，如果等于A那么考虑B，要是满足B的话也插进去。
Doris之分区分桶
南风知我意
10-27 5162
Doris 支持两层的数据划分。第一层是 Partition（分区），支持 Range （按范围）和 List（按枚举值） 的划分方式。第二层是 Bucket（分桶），仅支持 Hash 的划分方式。分区和分桶都是对数据进行横向分割
doris:手动分区
qq_36070104的博客
01-11 1416
doris:手动分区
【大数据系列】三、Doris分区划分详解
qq_54375572的博客
06-09 2223
在 Doris 中，数据分布通过合理的分区和分桶策略，将数据高效地映射到各个数据分片（Tablet）上，从而充分利用多节点的存储和计算能力，支持大规模数据的高效存储和查询。
doris批量创建分区，shell脚本
qq_40382400的博客
01-30 559
【代码】doris批量创建分区，shell脚本。
Doris分区
程裕强的专栏
09-01 3864
CREATE TABLE table1 ( siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(siteid, citycode, username) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replica
Doris--数据表建表语法&数据划分（分区&分桶）
热门推荐
qq_46893497的博客
03-17 1万+
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。
Doris 分区与分桶
悦上心灵的博客
05-16 4962
Apache Doris 为分析而生
doris 删除的分区
08-08
嗯，用户这次的问题是关于Doris删除分区的方法和注意事项，结合之前的对话历史，用户可能是在实际操作中遇到了分区删除失败的问题，需要更系统的指导。从用户引用的资料来看，ta已经查阅过Doris分区机制、动态分区...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值