Doris的三种表引擎和对比

        Doris 是一款高性能的分布式分析型数据库,支持海量数据的快速查询和分析。它的存储和查询能力由表引擎决定,Doris 提供了以下三种表引擎:


1. Duplicate Key (重复键表)

  • 特点
    • 按照用户定义的主键进行数据存储,但不对键进行去重,即允许多条记录具有相同的主键。
    • 数据以原始形式存储,没有聚合或更新操作。
  • 适用场景
    • 数据不需要聚合,也不需要去重,比如日志类数据(如用户行为日志、事件跟踪日志)。
    • 写入性能高,因为数据不需要合并或去重。
  • 优缺点
    • 优点:简单直接,适合高吞吐写入。
    • 缺点:存储冗余大,查询时需要更多的过滤操作。

2. Aggregate Key (聚合键表)

  • 特点
    • 基于用户定义的主键对数据进行聚合存储。
    • 在数据写入时,对具有相同主键的数据按照指定的聚合函数(如 SUM、MIN、MAX 等)进行聚合处理。
  • 适用场景
    • 聚合类分析场景,比如统计总和、平均值等。
    • 适合不频繁更新的场景,因为数据写入后直接被聚合,原始数据不可恢复。
  • 优缺点
    • 优点:存储空间占用少,查询性能高。
    • 缺点:实时性差,不适用于需要原始数据的场景。

3. Unique Key (唯一键表)

  • 特点
    • 基于主键的唯一性存储,如果插入具有相同主键的新数据,旧数据会被替换。
    • 支持更新操作,相当于主键唯一约束的表。
  • 适用场景
    • 需要保持数据最新状态的场景,比如用户最新信息、物品库存等。
    • 在一定程度上可以支持更新和删除操作。
  • 优缺点
    • 优点:能保持数据的最新性,支持一定的更新逻辑。
    • 缺点:写入性能比 Duplicate Key 低,更新需要额外的处理。

三者区别总结

表引擎存储特点支持场景聚合方式是否支持更新
Duplicate Key数据原始存储,不去重日志、明细数据无聚合
Aggregate Key数据按聚合函数存储,减少存储空间统计、报表分析类数据写入时聚合
Unique Key主键唯一存储,允许更新,旧数据被新数据替换状态性数据(如用户状态)无聚合

选择依据

  • Duplicate Key:如果数据是日志型、不需要去重或更新,可以使用。
  • Aggregate Key:如果需要聚合计算并且只关心结果,适合使用。
  • Unique Key:如果需要频繁更新,确保数据唯一性,适合使用。
ElasticSearch、ClickHouseDoris是三个不同的数据存储分析工具,它们各自有着不同的特点优势。 ElasticSearch是一个基于Lucene搜索引擎构建的分布式搜索分析引擎,它支持实时搜索、分析存储大规模数据。ElasticSearch具有灵活的数据建模查询语言,能够处理非结构化半结构化数据,并支持全文搜索、聚合、地理空间搜索等高级搜索分析功能。ElasticSearch适用于全文搜索日志分析等场景,同时也可以用于数据挖掘机器学习等领域。 ClickHouse是一个面向列的分布式数据库管理系统,它专门为处理大规模数据而设计,特别适用于OLAP场景。ClickHouse具有高效的数据压缩查询速度,能够在秒级别内处理TB级别的数据,并支持多维分析、数据聚合实时查询等高级功能。ClickHouse适用于海量数据存储分析,特别是大数据分析数据仓库等领域。 Doris是一个分布式列式存储分析引擎,它支持实时数据写入查询,并提供高效的数据压缩列式存储,能够在海量数据集上进行快速的查询分析。Doris具有灵活的数据模型查询语言,能够处理半结构化结构化数据,并支持多维分析、数据聚合实时查询等高级功能。Doris适用于数据仓库实时分析等领域。 综上所述,ElasticSearch适用于全文搜索日志分析等场景,ClickHouse适用于海量数据存储分析,Doris适用于数据仓库实时分析等领域。在选择使用其中一个工具时,需要根据具体的业务需求数据特点来进行选择。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值