关于 LZW 算法的一些思考

                    关于 LZW 算法的一点思考

以下关于 LZW 算法的叙述转自： http://blog.moocky.net/?action=show&id=27

 

2.LZW算法和GIF数据压缩

　　GIF文件的图象数据使用了可变长度编码的LZW压缩算法(Variable-Length_Code LZW Compression)，这是从LZW(Lempel Ziv Compression)压缩算法演变过来的，通过压缩原始数据的重复部分来达到减少文件大小的目的。

LZW的压缩原理：

先来解释一下几个基本概念：
　　LZW压缩有三个重要的对象：数据流(CharStream)、编码流(CodeStream)和编译表(String Table)。在编码时，数据流是输入对象（图象的光栅数据序列），编码流就是输出对象（存储在GIF文件的图象数据）；在解码时，编码流则是输入对象，数据流是输出对象；而编译表是在编码和解码时都须要用借助的对象。

字符(Character)：最基础的数据元素，在文本文件中就是一个字节，在光栅数据中就是一个像素的颜色在指定的颜色列表中的索引值；
字符串(String)：由几个连续的字符组成；
前缀(Prefix)：也是一个字符串，不过通常用在另一个字符的前面，而且它的长度可以为0；
根(Root)：单个长度的字符串；
编码(Code)：一个数字，按照固定长度（编码长度）从编码流中取出，也是编码表的映射值；
图案：一个字符串，按不定长度从数据流中读出。

　　LZW压缩的原理，就是先提取原始图象数据中的不同图案，基于这些图案创建一个编译表，然后用编译表中的图案索引来替代原始光栅数据中的相应图案，减少原始数据大小。看起来和调色板图象的实现原理差不多，但是应该注意到的是，我们这里的编译表不是事先创建好的，而是根据原始图象数据动态创建的，解码时还要从已编码的数据中还原出原来的编译表（GIF文件中是不携带编译表信息的），为了更好理解编解码原理，我们来看看具体的处理过程：

编码器(Compressor)

　　编码数据，第一步，初始化一个编译表，假设这个编译表的大小是12位的，也就是最多有4096个单位，另外假设我们有32个不同的字符（也可以认为图象的每个像素最多有32种颜色），表示为a，b，c，d，e...，初始化编译表：第0项为a，第1项为b，第2项为c...一直到第31项，我们把这32项就称为根。
　　开始编译，先定义一个前缀对象Current Prefix，记为[.c.]，现在它是空的，然后定义一个当前字符串Current String，标记为[.c.]k，[.c.]就为Current Prefix，k就为当前读取字符。现在来读取数据流的第一个字符，假如为p，那么Current String就等于[.c.]p（由于[.c.]为空，实际上值就等于p），现在在编译表中查找有没有Current String的值，由于p就是一个根，我们已经初始了32个根，当然可以找到，把p设为Current Prefix的值，不做任何事继续读取下一个字符，假设为q，Current String就等于[.c.]q（也就是pq），看看在编译表中有没有该值，当然。没有，这时我们要做下面的事情：将Current String的值（也就是pq）添加到编译表的第32项，把Current Prefix的值（也就是p）在编译表中的索引输出到编码流，修改Current Prefix为q。继续往下读，如果在编译表中可以查找到Current String的值([.c.]k)，则把Current String的值([.c.]k)赋予Current Prefix；如果查找不到，则添加Current String的值([.c.]k)到编译表，把Current Prefix的值([.c.])在编译表中所对应的索引输出到编码流，同时修改Current Prefix为k ，这样一直循环下去直到数据流结束。伪代码看起来就像下面这样：

Initialize String Table;
[.c.] = Empty;
[.c.]k = First Character in CharStream;
while ([.c.]k != EOF )
{
　　if ( [.c.]k is in the StringTable)
　　{
　　　　[.c.] = [.c.]k;
　　}
　　else
　　{
　　　　add [.c.]k to the StringTable;
　　　　Output the Index of [.c.] in the StringTable to the CodeStream;
　　　　[.c.] = k;
　　}
　　[.c.]k = Next Character in CharStream;
}
Output the Index of [.c.] in the StringTable to the CodeStream;
 

来看一个具体的例子,我们有一个字母表a，b，c，d.有一个输入的字符流abacaba。现在来初始化编译表：#0=a,#1=b,#2=c,#3=d.现在开始读取第一个字符a，[.c.]a=a，可以在在编译表中找到，修改[.c.]=a;不做任何事继续读取第二个字符b，[.c.]b=ab，在编译表中不能找，那么添加[.c.]b到编译表：#4=ab，同时输出[.c.]（也就是a）的索引#0到编码流，修改[.c.]=b；读下一个字符a，[.c.]a=ba，在编译表中不能找到：添加编译表#5=ba，输出[.c.]的索引#1到编码流，修改[.c.]=a；读下一个字符c，[.c.]c=ac，在编译表中不能找到：添加编译表#6=ac，输出[.c.]的索引#0到编码流，修改[.c.]=c；读下一个字符a，[.c.]c=ca，在编译表中不能找到：添加编译表#7=ca，输出[.c.]的索引#2到编码流，修改[.c.]=a；读下一个字符b，[.c.]b=ab，编译表的#4=ab，修改[.c.]=ab；读取最后一个字符a，[.c.]a=aba，在编译表中不能找到：添加编译表#8=aba，输出[.c.]的索引#4到编码流，修改[.c.]=a；好了，现在没有数据了，输出[.c.]的值a的索引#0到编码流，这样最后的输出结果就是：#0#1#0#2#4#0.

    可以看出，整个编码过程不断的构成新的符号，越到后面，索引代表的字符流会越长。当前缀和当前字符构成的字符串在索引表中时，将该字符串作为新的前缀，接着读入下一个字符，这样就保证了从前缀第一个字符往后，会一直与索引表中的内容匹配。如果前缀和当前字符构成的字符串不在索引表中是，输出前缀的索引，此时会把匹配最长的索引值来代替当前字符串，同时将这个新的字符串加入到索引表中。同时，也要注意到这里一个事实，就是如果输出了一个索引值，那么该索引代表和字符串以及当前字符会作为一个新的索引加入到索引表中，这是解码的一个重要依据。

解码器(Decompressor)

　　好了，现在来看看解码数据。数据的解码，其实就是数据编码的逆向过程，要从已经编译的数据（编码流）中找出编译表，然后对照编译表还原图象的光栅数据。
　　首先，还是要初始化编译表。GIF文件的图象数据的第一个字节存储的就是LZW编码的编码大小（一般等于图象的位数），根据编码大小，初始化编译表的根条目（从0到2的编码大小次方），然后定义一个当前编码Current Code，记作[code]，定义一个Old Code，记作[old]。读取第一个编码到[code]，这是一个根编码，在编译表中可以找到，把该编码所对应的字符输出到数据流，[old]=[code]；读取下一个编码到[code]，这就有两种情况：在编译表中有或没有该编码，我们先来看第一种情况：先输出当前编码[code]所对应的字符（串）到数据流，然后把[old]所对应的字符（串）当成prefix [...]，当前编码[code]所对应的字符（串）的第一个字符当成k，组合起来当前字符串Current String就为[...]k，把[...]k添加到编译表，读下一个编码；我们来看看在编译表中找不到该编码的情况，回想一下编码情况：如果数据流中有一个p[...]p[...]pq这样的字符串，p[...]在编译表中而p[...]p不在，编译器将输出p[...]的索引而添加p[...]p到编译表，下一个字符串p[...]p可以在编译表中找到而p[...]pq不在编译表，同样将输出p[...]p的索引值而添加p[...]pq到编译表，这样看来，解码器总比编码器『慢一步』，当我们遇到p[...]p所对应的索引时，我们不知到该索引对应的字符串（在解码器的编译表中还没有该索引，事实上，这个索引将在下一步添加），这时需要用猜测法：现在假设上面的p[...]所对应的索引值是#58，那么上面的字符串经过编译之后是#58#59，我们在解码器中读到#59时，编译表的最大索引只有#58，#59所对应的字符串就等于#58所对应的字符串(也就是p[...])加上它的第一个字符(也就是p)，也就是p[...]p。事实上，这种猜测法是很准确（有点不好理解，仔细想一想吧）。上面的解码过程用伪代码表示就像下面这样：

 

 

Initialize String Table;
[code] = First Code in the CodeStream;
Output the String for [code] to the CharStream;
[old] = [code];
[code] = Next Code in the CodeStream;
while ([code] != EOF )
{
　　if ( [code] is in the StringTable)
　　{
　　　　Output the String for [code] to the CharStream; // 输出[code]所对应的字符串
　　　　[...] = translation for [old]; // [old]所对应的字符串
　　　　k = first character of translation for [code]; // [code]所对应的字符串的第一个字符
　　　　add [...]k to the StringTable;
　　　　[old] = [code];
　　}
　　else
　　{
　　　　[...] = translation for [old];
　　　　k = first character of [...];
　　　　Output [...]k to CharStream and add it to StringTable;
　　　　[old] = [code];
　　}
　　[code] = Next Code in the CodeStream;
}
 

    如果解码时候，出现了输入流是 #58 #59， 而此时 索引表的最大索引才到 #58 的情况，应该怎么办？ 首先确定 #58 所代表的肯定不是根。 那么 #58 可以写成 p[..] 这种形式。 现在出现了一个新的索引 #59， 在索引表中没有， 那么该索引肯定是刚生成的， 刚生成的索引肯定是  p[..]x, 随后又立刻用到这个刚生成的索引了，所以字符流应该是 p[..]p[..]x , 由于 #58 ， #59 连续， 所以 p[..]p = p[..]x, 所以， x一定是 p， 就是#58 的第一个字符。同时还有一个问题， 就是为什么 p[..]x 一定是那个最新的索引呢？如果它不是最新的，那么在索引表中应该有 p[..]x 这一项了，这样在编码的时候， p[..]x 就会被编到另外一个索引，直到 p'[..]x 不再在索引表中存在，这也是为什么最新的索引对应的肯定是当前索引对应的字符串加上下一个索引的第一个字符。