关于C++类库KYLib: 压缩/解压缩类

最新推荐文章于 2025-01-11 09:50:27 发布

原创最新推荐文章于 2025-01-11 09:50:27 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#c++ #byte #struct #initialization #null #算法

C++类库KYLib 专栏收录该内容

17 篇文章

订阅专栏

介绍了一种基于LZ77算法的压缩与解压缩类库实现，该实现通过Hash表进行匹配项搜索，提供了良好的压缩性能及速度，并允许用户调整压缩质量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在KYLib 2.1.7.0 (build 2010.10.08) 中，删除 TKYPackObj(压缩类) 和 TKYUnpackObj(解压缩类)，增加 TKYPack(压缩类) 和 TKYUnpack (解压缩类)，压缩率和压缩速度都有所提高，基于LZ77压缩算法。使用Hash表搜索匹配项，匹配索引的滑动窗口为32K。压缩性能可调，压缩率和压缩速度与zip相当，解压缩速度比zip快。

压缩/解压缩类声明如下：

// ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ /* TKYCustomPack - 压缩基类 */ class TKYCustomPack { public: TKYCustomPack() { FData = NULL; FSize = 0; } virtual ~TKYCustomPack() {} // 属性 void* Data() const { return FData; } // default: NULL Longword Size() const { return FSize; } // default: 0 // 设置自定义数据指针 void SetData(void* AData) { FData = AData; } // 重置, 如: FSize 置 0 virtual void Reset() = 0; // 压缩缓冲区 // 1. ABuffer 存放 ASize 字节的待压缩数据 // 2. ADest 存放压缩后的数据, 缓冲区尺寸至少为 ASize // 3. 若返回值 > 0 表示压缩后数据的尺寸 // 4. 若返回值为 0 表示压缩失败, 即待压缩数据无法再压缩 // 5. 若返回值为 -1 表示参数不合法 virtual long Pack(const char* ABuffer, char* ADest, long ASize) = 0; protected: Longword FSize; // 总压缩数据尺寸 private: void* FData; // 自定义数据指针 }; // ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ /* TKYCustomUnpack - 解压缩基类 */ class TKYCustomUnpack { public: TKYCustomUnpack() { FData = NULL; FSize = 0; } virtual ~TKYCustomUnpack() {} // 属性 void* Data() const { return FData; } // default: NULL Longword Size() const { return FSize; } // default: 0 // 设置自定义数据指针 void SetData(void* AData) { FData = AData; } // 重置, 如: FSize 置 0 virtual void Reset() = 0; // 解压缩缓冲区 // 1. 若 AIsPacked 为 false 表示数据未压缩, 即为解压缩的上下文相关性而操作, // 但不会拷贝数据到 ADest, 并返回值为 0 // 2. ABuffer 存放 ASize 字节的已压缩数据 // 3. ADest 存放解压缩后的数据, ADestSize >= ASize // 4. 若返回值 > 0 表示解压缩后数据的尺寸 // 5. 若返回值为 0 表示解压缩失败, 可能 ADestSize 太小或数据未压缩 // 6. 若返回值为 -1 表示参数不合法 // 7. 若返回值为 -2 表示解压缩失败, 原因是数据已损坏 virtual long Unpack(const char* ABuffer, long ASize, char* ADest, long ADestSize, bool AIsPacked = true) = 0; protected: Longword FSize; // 总压缩数据尺寸 private: void* FData; // 自定义数据指针 }; // ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ /* TKYPack - 压缩类(基于LZ77压缩算法) */ class TKYPack: public TKYCustomPack { private: // 链接结点 typedef struct { Word Hash; // 哈希值 Word Next; // 下一项 } TNode, *PNode; // 压缩项 typedef union { void* Data; // 数据指针 struct { Word Offset; // 偏移量 Byte Depth; // 深度 } I; } TItem, *PItem; // 编码项 typedef struct { Byte Length; // 编码位数 char Bits[4]; // 编码 } TCode, *PCode; // 编码表头项 typedef struct { Word Index; // 索引, 如: 深度/偏移量 Byte Length; // 编码位数 } THead, *PHead; // Huffman 树结点 typedef struct THuffNode { THuffNode* Parent; // 父结点 THuffNode* Next; // 下一个结点 Longword Freq; // 频度 Word Index; // 索引, 如: 深度/偏移量 Byte Length; // 编码位数 } *PHuffNode; public: TKYPack(); virtual ~TKYPack(); // 属性 bool IsFine() const { return FIsFine; } // default: false bool IsQuick() const { return FIsQuick; } // default: true bool IsPacking() const { return FIsPacking; } // default: false Byte NiceDepth() const { return FNiceDepth; } // default: 64 // 设置属性 void SetIsFine(bool AIsFine) { if (!FIsPacking) FIsFine = AIsFine; } void SetIsQuick(bool AIsQuick) { if (!FIsPacking) FIsQuick = AIsQuick; } void SetNiceDepth(Byte ADepth) { if (!FIsPacking) FNiceDepth = ADepth; } // 重置 virtual void Reset(); // 压缩缓冲区 // 1. ABuffer 存放 ASize 字节的待压缩数据 // 2. ADest 存放压缩后的数据, 缓冲区尺寸至少为 ASize // 3. 若返回值 > 0 表示压缩后数据的尺寸 // 4. 若返回值为 0 表示压缩失败, 即待压缩数据无法再压缩 // 5. 若返回值为 -1 表示参数不合法 // 6. 若返回值为 -2 表示压缩失败, 原因是正在压缩 virtual long Pack(const char* ABuffer, char* ADest, long ASize); private: void DoCopy(const char* ABuffer, long ASize); void DoHash(Byte* APos, Byte* AEnd, Word ASameLen); bool DoScan(Byte* APos, Byte* AEnd, Word AOffset, Longword ASize, Word& ASameLen); bool DoMatch(Byte* APos, Byte* AEnd, Word& AOffset, Byte& ADepth, Word ASameLen); // 根据属性 IsQuick 压缩缓冲区 void DoPack0(Byte* &APos, Byte* AEnd, Longword& ABits, Longword& AOffsets); void DoPack1(Byte* &APos, Byte* AEnd, Longword& ABits, Longword& AOffsets); // 执行编码 long DoOutput(char* ADest, long ASize, Longword ABits, Longword AOffsets); void DoEncode(char* &ADest, Byte& ABitBegin, TCode* ADepths, TCode* AOffsets); private: // Huffman 树项 Freq 和 Length 的索引方法 void DoCompare1(const THuffNode* AItem1, const THuffNode* AItem2, int& ACompare); void DoCompare2(const THuffNode* AItem1, const THuffNode* AItem2, int& ACompare); private: Word* FHash; // 哈希表 TNode* FNodes; // 结点列表 TKYQueue* FQueue; // 压缩队列 char* FContext; // 压缩数据的上下文 KYString FDepthCodes; // 深度的 Huffman 编码 KYString FDepthStats; // 深度的次数统计 Longword FLastSize; // 上一次 pack 结束后的尺寸 Byte FNiceDepth; // 匹配合适深度, 若达到此深度就中止下一个结点匹配 bool FIsFine; // 是否使用哈夫曼压缩, 若为 true 则压缩速度相对较慢 bool FIsQuick; // 是否使用快速压缩, 若为 true 则压缩率相对较差 bool FIsPacking; // 是否正在压缩 bool FIsOverflow; // 上下文列表是否溢出 private: // 初始化深度和偏移量的静态编码表 static void _Init_D0_2_Codes(TCode* ACodes, const Byte* ABase, const Byte* ASuffix, Byte AHigh); static void _Init_D3_5_Codes(TCode* ACodes, const Byte* ABase, const Byte* ASuffix, Byte AHigh, Byte APrefix); static void _Init_Offset_Codes(); // 深度模式的统计函数 static Longword _CalcDepthStats(Longword* ADepthStats, const TCode* ACodes); static Longword _SelectDepthModel(Longword* ADepthStats, Byte& AModel); static void _WriteDepth(char* &APos, Byte& ABitBegin, Byte ADepth); // Huffman 编码的相关方法 static void _AddStats(Longword* AStats, TKYList& AList, KYString& ANodes, Word AHigh); static Longword _BuildTree(Longword* AStats, KYString& AHeads, Word AHigh); static Longword _BuildCodes(Longword* AStats, TCode* ACodes, KYString& AHeads, Byte& ADelta, Word AHigh); static Longword _CalcHeadBits(const KYString& AHeads, Byte ADelta, Word AHigh); static void _WriteHeadBits(char* &APos, Byte& ABitBegin, const KYString& AHeads, Byte ADelta, Word AHigh); private: // 深度和偏移量的静态编码表 static TCode _Codes_D0[256]; static TCode _Codes_D1[256]; static TCode _Codes_D2[256]; static TCode _Codes_D3[256]; static TCode _Codes_D4[256]; static TCode _Codes_D5[256]; static TCode _Codes_Offset[0x8000]; // 各深度模式的静态编码表 static TCode* _Codes_Depth[6]; // TKYPack 的静态成员初始化类 static class TInitialization { public: TInitialization(); ~TInitialization(); } _Initialization; friend class TInitialization; }; // ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ /* TKYUnpack - 解压缩类(基于LZ77压缩算法) */ class TKYUnpack: public TKYCustomUnpack { private: // 码索引 typedef struct { Longword Code; // 深度编码 Longword Short; // 短一位的编码 Byte Index; // 深度表的索引 Byte Length; // 编码长度 } TIndex; public: TKYUnpack(); virtual ~TKYUnpack(); // 属性 bool IsUnpacking() const { return FIsUnpacking; }// default: false // 重置 virtual void Reset(); // 解压缩缓冲区 // 1. 若 AIsPacked 为 false 表示数据未压缩, 即为解压缩的上下文相关性而操作, // 但不会拷贝数据到 ADest, 并返回值为 0 // 2. ABuffer 存放 ASize 字节的已压缩数据 // 3. ADest 存放解压缩后的数据, ADestSize >= ASize // 4. 若返回值 > 0 表示解压缩后数据的尺寸 // 5. 若返回值为 0 表示解压缩失败, 可能 ADestSize 太小或数据未压缩 // 6. 若返回值为 -1 表示参数不合法 // 7. 若返回值为 -2 表示解压缩失败, 原因是数据已损坏 // 8. 若返回值为 -3 表示解压缩失败, 原因是正在解压缩 virtual long Unpack(const char* ABuffer, long ASize, char* ADest, long ADestSize, bool AIsPacked = true); private: void DoCopy(const char* ABuffer, long ASize); bool DoInsert(char* &APos, Word AOffset, Byte ADepth); // 执行解码 long DoDecode(char* ABuff, char* ABuffEnd, char* ADest, char* ADestEnd); long DoDecode(char* ABuff, char* ABuffEnd, char* ADest, char* ADestEnd, Byte AModel); private: char* FContext; // 已解压的上下文 Longword FLastSize; // 上一次 unpack 结束后的尺寸 bool FIsOverflow; // 判断上下文列表是否溢出 bool FIsUnpacking; // 判断是否正在解压缩 private: // Huffman 解码的相关方法 static bool _ReadHeadBits(char* &APos, char* AEnd, Byte& ABitBegin, KYString& ADepths, KYString& AIndexs); static bool _DecodeDepth(char* &APos, char* AEnd, Byte& ABitBegin, Byte& ADepth, Byte* ADepths, Longword ADCount, TIndex* AIndexs, Byte AICount); };