Apache Doris 如何基于自增列满足高效字典编码等典型场景需求

最新推荐文章于 2025-09-01 22:03:43 发布

原创

最新推荐文章于 2025-09-01 22:03:43 发布 · 2.3k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#Doris #数据库 #大数据 #后端 #数据仓库

本文介绍了数据库自增列功能，它能自动为行分配唯一标识符，简化数据管理。重点阐述了Apache Doris 2.1版本的自增列，包括语法、在字典编码、明细更新、高效分页等场景的应用，还说明了实现原理和使用注意事项，可提升数据处理效率。

自增列（auto_increment）是数据库中常见的一项功能，它提供一种方便高效的方式为行分配唯一标识符，极大简化数据管理的复杂性。当新行插入到表中时，数据库系统会自动选取自增序列中的下一个可用值，并将其分配给指定的列，无需用户手动干预。这种自动化的机制不仅简化了数据管理的流程，更确保了标识符的唯一性，让数据库维护变得更加便捷和可靠。

自增列在多种场景中发挥着重要的作用：

字典编码： 在常见场景中，UserID 和订单 ID 通常被存储为 String 字符串类型，当需要进行精确去重查询时，直接对字符串去重可能效率不高。为了极致性能，常见的做法是先对字符串进行字典编码后构建 Bitmap 进行聚合运算。而自增列可以提高字典编码的效率，从而提高字符串精确去重以及查询的性能。
主键生成： 由于主键是唯一的，且不允许为空，因此自增列经常被用作表的主键。自增列可以确保每次插入新记录时自动生成唯一的标识符，有助于简化数据的管理和查询。
明细更新： 使用自增列为每条入库的记录分配了唯一 ID 作为主键之后，即可基于这些主键进行更新。从而解决了明细表不支持更新的问题。
高效分页： 在数据展示时，分页是一种常见的需求。传统的分页通常利用 SQL 中的 limit， offset + order by 进行查询。当进行深分页（Offset 很大）时，该方式需对全量数据读取并排序，效率极低。而自增列可以为每行数据生成唯一标识，当进行分页查询时，可以记录上一页最大唯一标识，并将其作为下一页的查询条件。这样可以有效过滤大量非必需数据，显著减轻数据库压力，为用户提供高效的分页机制。
…

在分布式数据库中，由于自增序列的可用值分配涉及全局事务，这使自增列的实现存在一定难度。然而， Apache Doris 在 2.1 版本中实现了高效的自增列功能，提供了创新性的自增序列预分配方案。当用户开启自增列之后，自增序列值分配所带来的写入损耗可以忽略不计。其次，为了实现最佳的写入效率，我们在自增列功能的设计上进行了调整，例如自增序列只保证唯一性，而不保证严格连续和递增等特性，以保证数据的高效写入。（我们将在后文“使用限制”一节进行详细介绍）

本文将从基本语法、使用示例、ID 预分配方案基本原理、使用限制等几个方面对自增列进行详尽的介绍，以帮助用户更好地理解和应用自增列功能。

自增列语法及使用介绍

在使用自增列时，需要在建表 CREATE-TABLE 时为对应的列添加AUTO_INCREMENT属性。若要手动指定自增列起始值，可以在建表时通过AUTO_INCREMENT(start_value)语句指定，若未指定，则默认起始值为 1。

创建一个 Dupliciate 模型表，其中一个 Key 列为自增列

CREATE TABLE `demo`.`tbl` (
      `id` BIGINT NOT NULL AUTO_INCREMENT,
      `value` BIGINT NOT NULL
) ENGINE=OLAP
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10
PROPERTIES (
"replication_allocation" = "tag.location.default: 3"
);

自增列也可以用于 Value 列，下方语句示例创建 Dupliciate 模型表，其中一个 Value 列是自增列

CREATE TABLE `demo`.`tbl` (
      `uid` BIGINT NOT NULL,
      `name` BIGINT NOT NULL,
      `id` BIGINT NOT NULL AUTO_INCREMENT,
      `value` BIGINT NOT NULL
) ENGINE=OLAP
DUPLICATE KEY(`uid`, `name`)
DISTRIBUTED BY HASH(`uid`) BUCKETS 10
PROPERTIES (
"replication_allocation" = "tag.location.default: 3"
);

自增列支持 Duplicate Key 和 Unique Key 两种模型，Unique Key 模型的使用与 Duplicate Key 模型类似，在此不再赘述。

接下来，我们以下表为例，介绍自增列功能的具体使用：

CREATE TABLE `demo`.`tbl` (
    `id` BIGINT NOT NULL AUTO_INCREMENT,
    `name` varchar(65533) NOT NULL,
    `value` int(11) NOT NULL
) ENGINE=OLAP
UNIQUE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10
PROPERTIES (
"replication_allocation" = "tag.location.default: 3"
);

当使用 Insert Into 语句导入文件，并且不指定自增列id时，id列会被自动填充生成的值。

mysql> insert into tbl(name, value) values("Bob", 10), ("Alice", 20), ("Jack", 30);
Query OK, 3 rows affected (0.09 sec)
{'label':'label_183babcb84ad4023_a2d6266ab73fb5aa', 'status':'VISIBLE', 'txnId':'7'}

mysql> select * from tbl order by id;
+------+-------+-------+
| id   | name  | value |
+------+-------+-------+
|    1 | Bob   |    10 |
|    2 | Alice |    20