37、高效网页图压缩与网页分类算法研究

高效网页图压缩与网页分类算法研究

网页图压缩算法

在网页图压缩领域，不同算法各有优劣。Grabowski和Bieniecki报告了最小的压缩网页图数据集（仅在实验中使用了EU - 2005和Indochina - 2004），他们的SSL算法（‘Similarity of Successive Lists’）在压缩比上表现出色，对于上述两个图，其最佳结果分别约为1.7 bpe和0.9 bpe（包括到压缩块起始位置的偏移量），比具有快速访问功能的BV变体小2.5 - 3倍。不过，该算法的随机列表访问时间比BV长两个数量级。

接下来介绍一种新的算法——LM（‘List Merging’）算法。它以局部方式工作，在具有相同数量邻接列表的块中进行操作。具体步骤如下：
1. 将h个邻接列表块转换为两个流：一个存储由h个输入列表上的所有整数组成的长列表（无重复），另一个存储重建原始列表所需的标志。
2. 对长列表进行压缩处理：差分编码、零终止，并使用字节编码器进行编码，每个码字使用1、2或b个字节，其中b是处理给定图中任何节点编号所需的最小字节数（实际中，除了最小的数据集EU - 2005，b = 3足够，其他情况b = 4）。
3. 标志描述输出列表上的给定整数属于哪些输入列表，输出列表上每个项的位数为h。由于标志序列的长度由长列表的长度定义，因此不需要终止符。
4. 将压缩后的长列表和原始标志序列连接起来，并使用Deflate算法进行压缩。

算法代码如下：

Alg. 1 GraphCompressLM(G,h).
1 outF ←[ ]
2 i ←1
3 for linei,linei+1,...,linei+h−