Databend 实现高效实时查询：深入解读 Dictionary 功能

最新推荐文章于 2025-09-18 14:32:29 发布

原创

最新推荐文章于 2025-09-18 14:32:29 发布 · 1k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

作者：洪文丽

开源之夏2024“支持 External Dictionaries”项目参与者

东北大学软件工程专业云计算方向大二在读，喜欢挑战自我，尝试新鲜事物

背景介绍

在大型系统中，数据通常存储在多个不同的数据源中，例如 PostgreSQL、MySQL 和 Redis 负责存储在线数据，而 Databend 和 ClickHouse 则用于存储分析数据。传统的分析查询方法往往需要同时使用到多种不同的数据，通常通过 ETL 过程将数据导入一个系统后进行查询，但这种方式存在以下问题：

数据变动导致不一致性:

在多源数据系统中，数据可能会在不同的系统中以不同的频率和时间点进行更新。例如，在线数据源如 MySQL 和 Redis 可能会实时更新，而分析系统如 Databend 更新频率较低。这种时间差异可能导致数据不一致，分析结果可能与实际在线数据不符。

多表 join 操作性能低下:

在传统的 ETL 过程中，将数据从多个源导入到一个分析系统后，进行多表 join 操作时可能会遇到性能瓶颈。大规模的 join 操作需要对多个表进行复杂的匹配和计算，这可能导致查询响应时间变长，特别是在数据量大且 join 操作复杂的情况下。

数据系统管理复杂度高:

在大型系统中，管理多个数据源意味着需要处理不同的存储和查询机制。例如，MySQL 和 PostgreSQL 需要数据库管理和优化，Redis 需要确保缓存有效性，而 Databend 需要优化分析数据的存储和查询。每种系统都有不同的配置和维护要求，这增加了管理的复杂度和运维成本。数据备份、恢复、监控和性能调优等任务也需要分别在多个系统中进行。

为了解决这些问题，Databend 实现了字典功能。通过集成 MySQL、Redis 等外部数据源，Databend 实现了数据的实时查询与分析，不仅显著提升了查询性能，还确保了数据的一致性，减少了传统 ETL 流程的复杂性，特别适用于需要快速响应的实时分析场景。用户通过字典函数 dict_get 能够直接从外部数据源检索数据，简化了数据管理，并优化了大数据处理的效率。如图所示为字典功能示意图：

字典功能介绍

2.1 DDL 语法

基本语法

CREATE OR REPLACE DICTIONARY [db_name].dictionary_name
(
 field1 type1 [DEFAULT expr1],
 field2 type2 [DEFAULT expr2],
 ...
)
PRIMARY KEY primary_key
SOURCE(source_type [source_options]);