数据压缩和解压技术的原理

最新推荐文章于 2025-12-04 21:50:53 发布

原创最新推荐文章于 2025-12-04 21:50:53 发布 · 903 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#linux #运维 #服务器

思想是“用时间换空间”。

核心思想

压缩的本质是消除冗余。任何数据（文本、图片、视频、程序）都存在一定程度的重复或可预测的模式。压缩技术就是找到这些模式，并用更简洁的方式表示它们。

解压则是压缩的逆过程，将压缩后的简洁表示还原为原始数据（或接近原始数据）的形式。

压缩技术主要分为两大类：无损压缩 和 有损压缩。

一、无损压缩

无损压缩保证解压后的数据与原始数据完全一致，一个比特都不差。常用于压缩文本、程序代码、数据库、配置文件等，任何微小的错误都可能导致严重问题。

原理： 利用数据的统计冗余和重复模式。

常见算法与技术：

游程编码
- 原理： 将连续重复出现的相同数据用“重复次数+数据本身”来表示。
- 例子：
  - 原始数据：AAAAABBBBBCCCCDDDDD (19字节)
  - 压缩后：5A5B4C5D (4字节)
  - 适用场景： 大量连续重复的数据，如简单的位图图标、传真文档。
字典编码（LZ系列算法）
- 原理： 这是目前最主流的无损压缩算法基础（如ZIP、GZIP、PNG都在用）。其核心思想是动态创建一本“字典”。
- 过程：
  1. 压缩器一边读取数据，一边把出现过的字符串（模式）存入字典，并给每个条目一个短编号。
  2. 当再次遇到相同的字符串时，压缩器不再存储字符串本身，而是存储其在字典中的短编号。
  3. 解压器按照同样的规则重建字典，看到编号时就去字典里查找对应的字符串并还原。
- 比喻： 就像两个人通话时约定：“下次我说‘1’，就代表‘中华人民共和国’；说‘2’，就代表‘计算机网络’”。之后对话只用说数字即可，大大缩短了信息长度。
- 常见格式： ZIP, RAR, GZIP, PNG, GIF。
熵编码（霍夫曼编码）
- 原理： 是一种统计编码，给出现频率高的符号分配短的码字，给出现频率低的符号分配长的码字。从而降低整体数据的平均长度。
- 过程：
  1. 统计所有字符的出现频率。
  2. 根据频率构建一棵“霍夫曼树”。
  3. 从树根开始，向左走记0，向右走记1，走到每个字符的路径就是它的新编码。
- 例子： 一篇文章中，字母e出现最多，可能被编码为01；而字母z出现很少，可能被编码为001010。
- 特点： 它通常不单独使用，而是作为LZ等算法的后续步骤，对LZ算法输出的“编号”再进行一次压缩。

无损压缩流程（以ZIP为例）：
原始数据 -> （LZ77/LZ78算法：查找重复字符串并替换为编号） -> （霍夫曼编码：对编号进行变长码分配） -> 压缩后的数据

二、有损压缩

有损压缩舍弃了人类感官或特定应用认为“不重要”的信息，以换取极高的压缩比。解压后的数据与原始数据不同，但非常接近。主要用于图像、音频和视频。

原理： 利用人类感知模型的局限性。

常见技术与算法：

JPEG（图像）
- 色彩空间转换： 将RGB颜色转换为YUV格式。因为人眼对亮度（Y）敏感，对色度（UV）不敏感。
- 下采样： 大幅减少色度（UV）通道的信息量（比如每隔几个像素采一个样）。
- 离散余弦变换： 将图像块从空间域转换到频率域。图像的大部分能量集中在低频部分。
- 量化： 这是有损的关键步骤。用一個量化表去除高频成分（人眼不敏感的细节），结果很多高频系数变成了0。
- 熵编码： 最后对大量的0和剩下的低频系数使用霍夫曼等无损编码进行压缩。
MP3/ AAC（音频）
- 心理声学模型： 删除人耳听不到的声音，例如：
  - 遮蔽效应： 一个大声的声音会掩盖同时出现的微弱声音（频率遮蔽）；一个声音也会掩盖它之后出现的微弱声音（时间遮蔽）。
  - 绝对听阈： 删除音量低于人类听觉极限的声音。
- MDCT变换： 类似JPEG的DCT，将音频信号从时域转换到频域，以便于进行频率分析和删减。
- 量化和编码： 根据心理声学模型计算出的结果，对不同频段的数据分配不同的比特（ bit allocation），重要的频段多分配，不重要的少分配或直接舍弃。
MPEG/ H.264/ H.265（视频）
- 帧内压缩： 对关键帧（I帧）使用类似JPEG的压缩方法。
- 帧间压缩（核心）： 视频相邻帧之间极其相似。压缩器会进行运动估计和补偿。
  - 运动估计： 分析当前帧中的一块图像是由上一帧的哪一块移动过来的。
  - 运动补偿： 只存储这块图像的运动矢量（移动的方向和距离）以及残差（移动后细微的差异）。
  - 结果： 相比于存储完整的每一帧，只存储运动矢量和残差数据量小得多。
- 例子： 一个静止的背景，在几百帧里可能只需要存储一次，后面只需要说“和上一帧一样”即可。

总结与对比

特性	无损压缩	有损压缩
原理	消除统计冗余，利用字典和编码	利用人类感知局限性，舍弃次要信息
还原性	100% 还原原始数据	不能完全还原，有信息损失
压缩比	较低 (通常 2:1 到 10:1)	非常高 (可达 50:1 甚至 100:1)
主要应用	文本、程序、文档、数据库	图像、音乐、视频
常见格式	ZIP, PNG, FLAC, GZIP	JPEG, MP3, AAC, MP4, H.264