22、简洁数据结构冗余性研究

简洁数据结构冗余性研究

1. 引言

在数据存储和处理领域，简洁数据结构的冗余性是一个重要的研究方向。高效地存储和操作数据，同时尽量减少冗余，对于提高系统性能和节省存储空间至关重要。本文将探讨O(1)时间FIDs（Fixed-size Integer Dictionaries）的系统编码冗余性，以及在不同场景下的优化策略。

2. 预备知识

• 符号表示 ：对于任意整数 $x \geq 1$，$[x]$ 表示集合 ${0, 1, \ldots, x - 1}$。对于输入序列 $S$，常将其划分为固定长度的子串（块）或可变长度的块。块的长度指其比特数，权重指其中1的个数。
• 定理1 ：当 $m = n(\lg n)^{O(1)}$ 时，可使用 $O(B(m, n))$ 比特存储二进制序列，并在O(1)时间内支持FID操作。
• 引理1 ：给定有限集合 $U$ 及其划分为 $t$ 个集合 $C_1, \ldots, C_t$，对于 $U$ 上的任意概率分布 $P$，若对于所有 $i$ 以及所有 $x, y \in C_i$，有 $P(x) = P(y) > 0$，则可对任意 $x \in U$ 进行编码，编码长度至多为 $\lceil\lg(1/P(x))\rceil + 2$ 比特，由两部分组成：
  • 长度为 $\lg t + O(1)$ 比特的前缀码，用于编码 $x$ 所在集合 $C_i$ 的索引 $i$。
  • 范围在 $[|C_i|]$ 内的整数，用于指定