
【PivCo - Huffman “合并”操作】
2026年6月21日,有一篇名为 "PivCo - Huffman" 的新论文问世(带注释的HTML版本可查看相关内容),它十分有趣。常规的霍夫曼解码(在一定程度上,编码也是)本质上是串行的。可通过多流实现显式并行,在适度数量的流(如4 - 8个)下,扩展效果不错。不过,这种方法不太适合向量计算或像GPU这样的宽向量机器:每个额外的流都会增加比特流的信令开销,同时从多个流同时解码是一个高度依赖收集操作的过程。GPU还能处理收集操作(尽管分散的数据访问比更紧凑的内存访问模式消耗更多的周期),但其他大多数设备对高度依赖收集的模式都不太适应。
特别是当使用基于表的解码器时,通常会紧接着进行另一次收集操作,不过这部分问题较容易解决:如果需要,规范码允许进行相对简单的无表解码(至少对于关键的“长度确定”部分是如此)。在一次处理一个数据的标量解码器中,这些方法并不特别实用,因为单次加载操作的成本很低。但如果是处理32位宽的向量,进行一些整数运算以避免一次收集操作就更有意义了。
还可以使用ANS风格的交织将多个逻辑比特流转换为单个物理比特流。GDeflate就是采用这种方法,以获得一个具有更多潜在并行性的比特流,而无需从各处收集数据。交织解决了“内存读取分散”的问题,并且在提供合适功能的GPU和CPU上效果很好(例如AVX - 512 “EXPAND”系列指令,或者只是从同一缓存行进行快速收集),但在没有这类硬件支持的情况下速度较慢。此外,它还要求在定义比特流时选择一个神奇的数字(交织因子)。如果这个数字太小,像GPU这样的宽向量机器在解码时利用率会很低;如果太大,标量机器根本无法高效地解码比特流。更糟糕的是,适合AVX - 512或GPU的数字会有重叠,但大多数GPU甚至配备AVX - 512的CPU能获得较好利用率的最小交织流数量约为32,而具有典型寄存器数量的标量或较窄向量机器能轻松解码的最大数量约为8 - 16(具体取决于实现方式),在16到32之间存在一个“无人区”,哪种设备都无法高效工作。
这就是为什么除了GDeflate之外,很少看到这种风格的比特流的原因;它本质上依赖于选择一个对每个实现都有巨大影响的神奇数字,同时这个数字还会受到不断变化的硬件细节的影响。的确,英伟达GPU长期以来一直围绕着每个寄存器使用32位的32个“线程”(更像是SIMD通道)构建,但AMD过去更喜欢64位(几代之前才主要转向32位),英特尔GPU设计为8位,一些移动GPU甚至低至4位,而在x86架构上,ARM NEON或SSE4.2有4个32位通道,后来AVX2将其扩展到8个。最后,ARM SVE和RISC - V V扩展的实现方式由具体设备决定,在运行像SAXPY这样的简单向量数学内核时这还好,但当物理向量宽度最终成为一个固定在某种持久有线格式中的神奇常量时,可能会影响数十年。
解决“串行性强”这一难题的最后一个主要流行方案是完全采用暴力破解法。从输入中获取一批比特,然后并行地从第0位、第1位、第2位、第3位等开始解码。对大量连续的候选位置都进行这样的操作,比如16个或更多。
最终,发现从第0位开始的代码长度为6位。这意味着丢弃从第1位到第6位所做的所有工作,然后查看从第6位开始已经预解码的代码。这个代码长度为5位,所以丢弃从第7位到第10位的推测性工作,发现从第11位开始还有一个长度为5位的代码。以处理16个数据的代价解码了3个值。
这种方法效果不错。如果需要每个周期解码超过一个值,这实际上是硬件中解码此类串行比特流的首选方法。特别是对于规范码且长度限制不是太大的情况,这种方法的成本可以控制在合理范围内。在最后追踪实际要输出的值的序列可能存在可扩展性问题,但一次处理3到4个还不算太糟,如果不够,还有更好的算法来追踪这些链接,以提供更多的并行性。简而言之,这种方法是可行的,如果为此构建专用硬件,效果也不错,但在通用硬件的软件中,绝对不想采用这种方法。出于好奇,实现了这个算法,结果发现即使在GPU上,常规地丢弃超过80%的工作也不是实现快速代码的良方,更不用说在功率受限的电池供电设备上尝试这种方法会浪费多少能量了。
到目前为止,主要选择有:可以一次串行解码一个数据,但这种方法无法扩展;可以使用多个独立的比特流,理论上这能提供线程级或指令级的并行性,但这种并行性是固定在比特流中的,并且会增加一些开销(因为每个解码器线程需要知道从哪里开始),同时它也不适合SIMD风格的实现,因为发散的内存访问模式会带来问题;可以使用交织比特流,它具有更好的内存访问局部性,原则上与SIMD和GPU架构匹配良好,但需要在指定比特流时选择一个神奇数字,这个数字将永远限制解码器的并行性,如果选择的数字太大,会导致一些目标硬件的寄存器不足;最后,还可以选择浪费大量资源,立即丢弃大部分工作,虽然实现了并行性,但工作效率极低。
【PivCo登场】
Marcin Żukowski的 “Pivco - Huffman” 彻底改变了这一局面。为快速切入本文的核心内容,将简要介绍,更多细节请参考论文。为便于理解,假设要对字符串 “abracadabra” 进行编码。构建标准的霍夫曼树(这是一个教科书式的算法,这里不再赘述)会得到类似相关图的结果。
通常,要对任何符号进行编码,从根节点开始,沿着到达树中相应叶子节点所需的边发送标签。在这棵树中,“a” 编码为 “0”,“b” 编码为 “100”,“r” 编码为 “101” 等等。在处理下一个符号之前,会先完整地发送每个符号。
而PivCo - Huffman则从概念上一次性处理整个字符串,将其缓慢地向下推进树中。从根节点开始,可以看到每个包含 “a” 的位置发送 “0”,其他位置发送 “1”。将字符串排列起来,可以看到根节点输出的比特。
这些比特直接进入输出比特流。根节点的左子树只是 “a” 叶子节点,所以发送 “0” 的每个位置实际上都处理完了。但不是 “a” 的位置还没有处理完。来看看这些位置是什么,以及它们下一步需要做什么。
这些是根节点右子节点输出的比特。一般来说,在每个内部节点,将到达该节点的符号划分为两个较小的子序列:一个进入左子树,另一个进入右子树。在示例中,继续向左的子序列是 “brbr”,而向右的子序列是 “cd”。以这种方式进行前序树遍历,直到将所有内容都推到叶子节点。
需要注意的是,这与使用这棵树的常规霍夫曼编码发送的比特完全相同,只是顺序不同。
为了解码这个比特流,需要知道其中编码了多少个符号,假设为N。每个符号都必须经过根节点,所以知道根节点的比特字符串有N位。可以统计该比特字符串中 “0” 和 “1” 的数量,这能告诉有多少符号进入左子树(“0”)和右子树(“1”)。然后,可以递归地对这些节点进行相同的操作。这使能够确定各个节点的比特在最终比特流中的位置,以及有多少符号经过它们。
最后,在从树的底部向上回溯时,由于已经知道了子序列的长度,就可以通过自底向上的合并过程重构它们可能的样子。
例如,以 “b” 和 “r” 叶子节点的父节点为例。知道有4个符号 “经过该节点”,相应的比特流结果是 “0101”。这意味着在这个子树中编码的符号子序列是 “brbr”。它的兄弟节点只有两个比特 “01”,编码为 “cd”。
它们的共同父节点是发出 “001100” 比特字符串的6符号节点,之前已经分析过。刚刚得出它的左子树(“0”)编码的4个符号是 “brbr”,右子树(“1”)编码的2个符号是 “cd”。这意味着整个节点编码的符号是 “brcdbr”。最后,再向上推进一层,合并 “a”,就得到了 “abracadabra”。
那么,为什么要这样做呢?这看起来就像是常规的霍夫曼编码,只是采用了批量处理模式,并且增加了一些步骤。
答案是,将霍夫曼编码转换为一系列按顺序的列表划分步骤,将解码转换为一系列列表合并步骤。在合并过程中,不需要进行比较,而是通过一个比特流来告诉从两个列表中的哪一个获取下一个元素。如前所述,常规的霍夫曼编码还不算太糟糕,但解码是一个极其串行的过程。而这种列表合并方式并非如此:确定要抓取哪些列表元素可以归结为一个前缀和问题,虽然这并不简单,但它是一类并行算法(扫描)的典型问题,可以很好地处理它,而且不需要在编写比特流时考虑特定的向量宽度(或类似因素)。它可以根据目标机器的能力轻松地进行扩展或收缩。
还有许多其他可能的优化方法:例如,展示的树中包含一个由 “b”、“r”、“c” 和 “d” 这4个符号组成的完整二叉树。当然,可以将其编码(或解码)为一系列3次二进制列表划分(或在解码器端进行合并),但也可以一次性为每个符号发送2位,然后就完成了。可变长度到固定字母表的解码(如霍夫曼编码那样)比较棘手,但固定长度到固定字母表的子集可以轻松实现并行化。如果不想扫描所有这些列表来确定有多少个 “1”,可以为霍夫曼树的部分或所有节点存储这些信息,虽然会消耗额外的比特,但可以节省解码器扫描(可能)数万个比特的时间,等等。
因此,虽然这个想法的基本标量实现并不十分有趣,但它恰好属于可以很好地映射到任何数据并行平台的任务子集,无论是GPU、任何类型的向量指令集,甚至只是线程,这使得它值得一试。当然,论文中得到的结果很鼓舞人心,但需要注意的是,主要结果不出所料地是在配备AVX - 512的x86 - 64服务器或苹果硅芯片CPU上得到的,即非常高端的硬件。
这对该算法的未来发展是个好兆头,但有线格式需要适用于所有设备,而不仅仅是高端目标。
因此,问题来了:能以多低的成本实现这些基本操作呢?在本文中,将具体探讨自底向上解码器中的 “合并” 操作。
【合并操作】
下面是用类似Python的伪代码表示的合并操作。代码展示了如何将l_list和r_list根据bitstream进行合并,最终返回合并后的output列表。
需要注意的是,这个算法有一个不变性,即 `l_pos + r_pos` 等于到目前为止处理的元素数量(也就是输出元素的写入数量),所以实际上同时跟踪这两个变量有些多余,知道其中一个就能推断出另一个。而且 `r_pos` 是到目前为止遇到的所有 `bit` 值的(排他)前缀和。
如前所述,这本质上可以归结为并行编程入门课程中的一个中期作业问题。这是一个非常简单的算法,对来说是个好消息,因为确实需要一个快速的算法。当一个算法如此简单直接时,通常有很多不同的实现方法,可以选择在当前目标平台上效果最好的方法。但在接下来的内容中,需要使用更底层的代码。具体来说,需要选择一些实际的数据类型。在下面的内容中,将假设要编码的符号是字节,这既具有实际意义,也与之前关于这个主题的文章保持一致。比特流将以明显的方式进行位打包。
与AVX512_VBMI2有最直接的匹配,它提供了VPEXPANDB,这是一种字节级的掩码加载操作,其中活动的SIMD通道(对应掩码位为1的通道)从连续地址加载数据,非活动通道要么保持不变,要么初始化为零,而加载地址不会增加。它旨在将稀疏数据加载到向量寄存器中,与需求几乎完美匹配。在下面的内容中,不会使用官方的内在函数名称,因为如果不熟悉这些名称,它们的表示方式会让人感到有些畏惧,但这个过程大致如下,从伪Python代码转换为伪C代码。
这里有一些加载掩码和移动指针的操作,但这是一个功能完整的AVX512_VBMI2基本合并算法的伪代码。它不一定是最优的,但在本文中不会深入探讨这些细节。它有三个实际的向量指令——两个加载指令和一个存储指令,其余的都是辅助操作。
这里的启示就是:“当机器有专门的指令来完成这项任务时,事情就变得很简单”。因此,在本文中不会再花更多的篇幅讨论AVX512版本的实现;它只是高端参考,用于证明在足够受限的硬件目标下,这个问题几乎可以轻松解决。
要说的是,在这个版本中,实际的前缀求和操作几乎看不见了。`VPEXPANDB` 隐式地对活动通道进行了一种前缀求和操作,以确定将哪些字节路由到哪里,然后在最后对一次性处理的所有64个掩码位进行置位数量统计,以确定要将列表指针移动多少。这就是事情的工作方式。
实际上,本文的其余部分将致力于找出在不依赖AVX512_VBMI2的情况下,尽可能接近上述循环的方法。在x86架构方面,这意味着可能需要考虑AVX2(256位整数向量)和SSE4.2特性级别的实现。对于稍低端的目标,也可以实现一些高效的方法(SSSE3是实际能达到的最低级别),但这些只是小的变体。在ARM架构方面,将主要关注NEON/AdvSIMD;会将SVE和RVV留给有相关硬件的人去研究。
【基本方法:每次处理8个字节】
SSE4.2和NEON级别的向量寄存器比AVX512的512位窄得多。目前,对于低端目标,只能使用每次能容纳128位(或16个字节)的寄存器。稍后会讨论如何充分利用这个宽度,但现在,让我们保持简单,以便熟悉工具。
主要工具在SSE方面是PSHUFB(随SSSE3引入),在ARM方面是TBL(这里只考虑64位ARM,相关指令在32位ARM中也存在,不过每次只能产生8个字节的输出,但现在主要处理64位代码)。TBL最多可以使用四个(连续的)源寄存器,将它们解释为一个字节表,另一个源寄存器指定一个字节向量作为该表的索引,然后将所有这些表查找的结果写入目标寄存器。也就是说,它是一种通用的任意字节到任意字节的洗牌操作。超出范围的索引值会产生数字0。
x86中的PSHUFB与之类似,但有一些区别:首先,“表” 总是一个128位的向量寄存器(16个字节),不多也不少;其次,只有低4位用于选择表索引,第4到6位被忽略,从功能上来说,这意味着表寻址是模16的;第三,在索引向量中设置最高有效位(第7位)会导致在该SIMD通道中返回0字节。
这些特性意味着AArch64中的128位向量TBL和x86 - 64中的PSHUFB在大多数情况下是可以互换的,只要避免使用16到127(包含)之间的索引,因为在这个范围内它们的行为不同。
如果每次处理8个字节,这也意味着每次从比特流中处理8位,即一个字节,这很方便。8位意味着有256种不同的组合,这个数量足够小,可以合理地为所有可能的组合预先计算一个洗牌索引向量,并将它们存储在一个表中。这个表将占用256 * 8字节 = 2KiB。可以提前从 `l_list` 和 `r_list` 中获取接下来的8个字节,将它们组合成一个16字节(128位)的向量,然后使用TBL/PSHUFB对其进行索引。这就得到了相应的算法。
没有展示生成索引向量表的代码,但只需要准备一个包含0到7的8元素L列表,一个对应的包含8到15的8元素R列表,然后使用标量合并算法处理所有256种可能的8位模式。输出列表就是用于控制洗牌指令的索引向量。本文中所有基于表的技术都可以采用这种基本方法,不会每次都明确提及。
此外,可能没有8位的 `popcount` 指令,但在这种情况下,一个包含256个字节值的小表就可以解决问题。在2KiB的表预算中再增加256字节不会有太大影响。
这个方法很直接,而且目前没有明显的改进方法。256项、2KiB的预计算索引向量表是可行的。下一个能整齐划分操作大小的更大步骤是每次处理16位。这将需要一个包含65536项、每项16字节(因为现在要产生16个输出字节)的表,总共1MiB。一个2KiB的表可以轻松地放入任何相关CPU的L1D缓存中;而1MiB无法放入任何人的L1缓存,如果每次表访问都导致L1D缺失(可能还会导致L2缺失),这个循环的性能将急剧下降。
简而言之,一次处理8个项目时,通过一次表查找来获取索引向量是完全可行的,但如果想处理16个项目,就需要采用不同的方法。
【迈向每次处理16个字节】
还有另一个问题:64位ARM有2寄存器TBL,它可以在一条指令中对一个32字节的表进行索引,而且在许多(但不是所有)实现中,2寄存器TBL作为单个微操作执行,所以这不仅可用,而且效率高。然而,x86中的PSHUFB实际上只有16字节的版本。(AVX2的 `VPSHUFB` 可以并行执行两个128位的PSHUFB操作;表项总是从与相应索引值所在的向量的同一128位切片中获取。)
可以使用额外的指令从常规的PSHUFB合成更宽的PSHUFB(多次对较小的子表进行PSHUFB操作,然后进行无分支选择以选择正确的子表),但这相对昂贵。最好还是分别处理L和R列表的字节:虽然L和R列表的候选字节总和为32个,但从任何一个列表中最多只能消耗16个字节。而且PSHUFB允许在设置相应索引的最高有效位时生成0字节。这意味着可能需要设置成类似相关代码的形式。
但现在需要想出两个索引向量。真的需要吗?如果设置索引向量的最高有效位,那么其他位是什么就无关紧要了,PSHUFB(和TBL)总是会返回0。而且来自L列表的项总是恰好位于R列表项不在的位置。因此,可以对两个列表使用相同的索引向量。选择一个列表(在下面的内容中,将是R列表)使用常规的洗牌索引,而另一个列表使用设置了最高有效位的洗牌索引。在对一个列表使用该索引向量后,可以通过异或操作翻转所有索引的最高有效位,从而得到用于另一个列表的索引向量。这就得到了相关代码。
很好。一次位操作比想出两个单独的索引向量要好得多。说到这里,现在有了一种从合适的索引向量一次生成16个输出字节的可行方法,但这个索引向量最初从哪里来呢?
对于索引向量的前半部分,可以使用已经有的那种表。理论上,也可以再次使用同一个表来处理后半部分,但有一个问题:后半部分不是从 `l_bytes` 或 `r_bytes` 的开头开始,而是必须从第一半结束的地方开始。
这意味着如果第一个字节有3个置位,那么后半部分的索引向量需要给 `r_bytes` 的每个索引加3,给 `l_bytes` 的每个索引加8 - 3 = 5。这个想法的直接实现需要进行一系列操作。
这需要做很多工作。一次处理16个字节显然是有价值的,但按照上述方式实现,比以8字节块处理数据至少多了8条指令的等效工作量。当然,在指针操作等方面可以节省一些,但在向量处理方面,这看起来相当糟糕。需要更好的方法。
可以对上述方法进行一些调整以稍微改进它,但在这里或那里节省一条指令是不够的。真正需要的是进行彻底的简化。
下面是核心思路:需要将置位数量(称为 `pop0`)加到R索引上,将8 - `pop0` 加到L索引上,正是这种符号差异带来了问题。但如果L索引被取反会怎样呢?那么就需要将 -(8 - `pop0`) 加到它们上面,也就是 `pop0 - 8`,这意味着要给每个通道加上置位数量(-8偏移部分,稍后再处理)。
直接对L值取反并不完全可行,因为L索引可能为0,而且需要能够从最高有效位判断一个通道是来自R列表还是L列表,以便“最终洗牌”逻辑能够正常工作。但可以约定一个规则:来自 `r_list[i]` 的字节在索引向量中存储 `i`,来自 `l_list[i]` 的字节存储 `255 - i = i ^ 255` 作为索引。
对于后半部分的洗牌索引,仍然需要将 `pop0` 加到R索引上,以考虑前半部分的情况,这很直接。对于L索引,需要 `255 - (i + (8 - pop0)) = (255 - 8) - i + pop0`。
仍然期望从一个表中获取后半部分的洗牌索引。如果为后半部分创建一个单独的表,其中预计算的L索引是 `(255 - 8) - i` 而不是 `255 - i`(R索引保持不变),那么在循环中就不需要额外的计算。最后,注意 `pop0` 只取决于已经用于前半部分表查找的第一个掩码字节。如果让这些表项存储16个字节而不是8个字节,可以在每个表项的后半部分存储8份 `pop0`。将所有这些结合起来,得到了每次处理16个字节的循环的伪代码。
如文中所述,`index_vec_tab0` 有256个16字节的条目,每个表项的前8个字节是对 `r_list = { 0, 1, ... , 7 }` 和 `l_list = { 255 - 0, 255 - 1, ..., 255 - 7 }` 进行标量合并得到的索引排列。后8个字节只是表索引的置位数量重复8次。
`index_vec_tab1` 在这段代码中访问时,有256个8字节的条目,对应于与之前相同的 `r_list` 和修改后的 `l_list = { 247 - 0, 247 - 1, ..., 247 - 7 }` 的标量合并结果。所以这个版本需要大约6KiB的表,比之前多,但仍然是一个合理的数量。
如果不想进行 “合并” 操作(这通常本身会转化为CPU内部的某种向量洗牌操作),也可以让第二个表有16字节的条目,每个条目前8个字节为零,后面跟着实际的洗牌索引(现在在后半部分正确对齐)。这意味着可以节省一些洗牌操作,但会增加2KiB的表大小,而且结果发现,地址计算会增加一些额外的微操作。x86和AArch64实现通常可以在加载地址生成时 “免费” 将索引乘以8,但不能乘以16,所以这通常不会节省一条指令,只是将向量洗牌/移位操作换成了地址生成操作。实际上它们通常差不多,但较小的加载操作往往效果稍好一些,再加上表大小小2KiB,所以更喜欢这种变体。
对于SSSE3/SSE4.2目标,这是目前能想到的最好的通用方法。具体的实现细节可能会有些复杂,可能需要进一步展开循环以减少循环开销,但这就是大致的思路。
AVX2基本上也是这样做的——现在只是同时处理两个128位向量。由于AVX2的工作方式(跨越128位边界比较困难且相对昂贵),这是最好的选择。实际上,它在功能上主要是128位方法的展开版本。构建索引向量实际上是一个128位的向量操作(可以说,它实际上是一个64位的向量操作,在上面的计算中已经将两个64位的半部分组合成了一个128位的向量,尽管
478



被折叠的 条评论
为什么被折叠?



