
Doris数据库专栏
文章平均质量分 88
数据最前线
18年资深DBA,头部金融运营商行业数据库支持专家
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Doris Schema变更机制解析与管理实践
虽然 Oracle 也有不少场景支持轻量级的 Schema 变更,但是似乎并没有整理出类似的概念。Doris 等新型数据库将这些场景独立出来,并大大扩展了其支持场景。一方面是 Oracle 数据库在设计上比较严谨,严格遵守 ACID 原则,不允许中间状态出现;另一方面也和 Doris 所管理的数据体量和应用场景有关,毕竟要修改动辄上 TB 规模的表结构,还是一件毕竟危险的动作,需要数据库提供相应的能力来尽可能的规避风险。原创 2025-05-03 10:05:14 · 723 阅读 · 0 评论 -
Doris索引机制全解析,如何用高效索引加速数据分析
最后为了大家学习的方便,将各种索引的优缺点汇总如下。类型索引优点局限点查索引前缀索引内置索引,性能最好一个表只有一组前缀索引点查索引倒排索引支持分词和关键词匹配,任意列可建索引,多条件组合,持续增加函数加速索引存储空间较大,与原始数据相当跳数索引ZoneMap 索引内置索引,索引存储空间小支持的查询类型少,只支持等于、范围跳数索引BloomFilter 索引比 ZoneMap 更精细,索引空间中等支持的查询类型少,只支持等于跳数索引。原创 2025-04-30 11:44:29 · 955 阅读 · 0 评论 -
Doris表设计与分区策略:让海量数据管理更高效
为了确保数据均匀分布在各 BE 节点,避免数据倾斜导致部分节点过载,Doris 引入了分区和分桶两层逻辑对数据进行划分。分区和传统数据库没有本质的区别,主要是从业务逻辑的角度对数据进行划分;而分桶则是基于 Hash 或 Random 算法直接将数据从物理层面进一步打散。数据写入时,Doris 根据表的分区策略将数据行分配到对应的分区,并根据分桶策略将数据进一步映射到分区内的具体分片,从而确定数据行的存储位置。分片是 Doris 中数据管理的最小单元,也是数据移动和复制的基本单位;原创 2025-04-25 19:48:54 · 901 阅读 · 0 评论 -
聊聊Doris的数据模型,如何用结构化设计解决实时分析难题
模型类型数据特征典型场景性能优势明细模型原始数据、高基数维度日志分析、Ad-hoc查询灵活查询聚合模型固定维度、数值型指标日报表、监控看板查询速度提升100倍主键模型频繁更新、点查为主用户画像、实时库存支持高并发点查实时分析场景是 Doris 的立足之本,致力于打造速度最快且最具成本效益的分析型数据库,而数据模型是实现这一目标的基础。传统 OLTP 数据库大多数使用明细模对数据进行直接的存储,而不做额外的处理和加工,好处是插入性能好,满足高响应低延时的业务系统需求;原创 2025-04-19 21:50:07 · 1125 阅读 · 0 评论 -
Doris,新一代实时数仓核心基础设施
2017年将其捐赠给Apache基金会并更名为Doris, 之后进入Apache孵化器,迅速吸引了包括美团、京东、小米等互联网企业的关注,在架构和能力上获得了非常大的改进,支持数千节点级的扩展,引入向量化执行引擎,TPC-H性能提升3-5倍,并实现了存算分离架构原型;Doris具有高效的更新能力,主键模型支持UPSERT操作和部分列更新技术,避免全行重写开销,Kafka的实时流摄入能够将延时控制毫秒级,通过预聚合Rollup自动匹配查询和增量刷新机制,物化视图能够捕获数据秒级变化,实现实时查询。原创 2025-04-19 15:33:25 · 1052 阅读 · 0 评论