1. 赫夫曼编码
1.1 基本介绍
- 赫夫曼编码也翻译为 哈夫曼编码(Huffman Coding)，又称霍夫曼编码，是一种编码方式, 属于一种程序算法。
- 赫夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。
- 赫夫曼编码广泛地用于数据文件压缩。其压缩率通常在 20%～90%之间。
- 赫夫曼码是可变字长编码(VLC)的一种。Huffman 于 1952 年提出一种编码方法，称之为最佳编码。
1.2 原理剖析
通信领域中信息的处理方式 - 定长编码
i like like like java do you like a java // 共40个字符(包括空格)
105 32 108 105 107 101 32 108 105 107 101 32 108 105 107 101 32 106 97 118 97 32 100 111 32 121 111 117 32 108 105 107 101 32 97 32 106 97 118 97 //对应Ascii码
对
应
的
二
进
制
\color{#FF3030}{对应的二进制}
对应的二进制
01101001 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101010 01100001 01110110 01100001 00100000 01100100 01101111 00100000 01111001 01101111 01110101 00100000 01101100 01101001 01101011 01100101 00100000 01100001 00100000 01101010 01100001 01110110 01100001 //对应的二进制
按照二进制来传递信息，总的长度是 359 (包括空格)
通信领域中信息的处理方式 - 变长编码
i like like like java do you like a java // 共40个字符(包括空格)
d:1 y:1 u:1 j:2 v:2 o:2 l:4 k:4 e:4 i:5 a:5 :9 // 各个字符对应的个数
0= , 1=a, 10=i, 11=e, 100=k, 101=l, 110=o, 111=v, 1000=j, 1001=u, 1010=y, 1011=d
说明：按照各个字符出现的次数进行编码，原则是出现次数越多的，则编码越小，比如 空格出现了9 次， 编码为0 ,其它依次类推。
按照上面给各个字符规定的编码，则我们在传输 "i like like like java do you like a java" 数据时，编码就是 10010110100...
字符的编码都不能是其他字符编码的前缀，符合此要求的编码叫做前缀编码， 即不能匹配到重复的编码。
通信领域中信息的处理方式 - 赫夫曼编码
赫夫曼编码的步骤如下：
- i like like like java do you like a java // 共40个字符(包括空格)
- d:1 y:1 u:1 j:2 v:2 o:2 l:4 k:4 e:4 i:5 a:5 :9 // 各个字符对应的个数
- 按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值.
注意：
这个赫夫曼树根据排序方法不同，也可能不太一样，这样对应的赫夫曼编码也不完全一样，但是wpl 是一样的，都是最小的, 比如: 如果我们让每次生成的新的二叉树总是排在权值相同的二叉树的最后一个，则生成的二叉树为:
- 根据赫夫曼树，给各个字符,规定编码 (前缀编码)， 向左的路径为 0 向右的路径为 1 ， 编码如下:
o: 1000 u: 10010 d: 100110 y: 100111 i: 101 a : 110 k: 1110 e: 1111 j: 0000 v: 0001 l: 001 01 - 按照上面的赫夫曼编码，我们的"i like like like java do you like a java" 字符串对应的编码为 (注意 这 里 我 们 使 用 的 无 损 压 缩 ) 10101001101111011110100110111101111010011011110111101000011000011100110011110000110 01111000100100100110111101111011100100001100001110 通过赫夫曼编码处理长度为 133
- 长度为 ： 133
说明:
原来长度是 359 , 压缩了 (359-133) / 359 = 62.9%
此编码满足前缀编码, 即字符的编码都不能是其他字符编码的前缀。不会造成匹配的多义性赫夫曼编码是无损处理方案
1.3 数据压缩(创建赫夫曼树)
将给出的一段文本，比如 “i like like like java do you like a java” ， 根据前面的讲的赫夫曼编码原理，对其进行数据 压 缩 处 理 ， 形 式 如"1010100110111101111010011011110111101001101111011110100001100001110011001111000011001111000100100100
110111101111011100100001100001110 "
步骤 1：根据赫夫曼编码压缩数据的原理，需要创建 “i like like like java do you like a java” 对应的赫夫曼树.
public class HuffmanCode{
public static void main(String[] args) {
String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();
System.out.println(contentBytes.length);
List<Node> nodes = getNodes(contentBytes);
System.out.println("nodes = " + nodes);
// 测试一把创建赫夫曼树
System.out.println("赫夫曼树");
Node huffmanTreeRoot = createHuffmanTree(nodes);
System.out.println("前序遍历");
preOrder(huffmanTreeRoot);
}
// 生成赫夫曼树对应的赫夫曼编码
// 1.将赫夫曼编码存放Map<Byte,String>形式 32->01 97->100 100->11000 等等
static Map<Byte, String> huffmanCodes = new HashMap<Byte, String>();
// 2.在生成赫夫曼编码表示，需要去拼接路径，定义一个StringBuilder存储某个叶子结点的路径
static StringBuilder stringBuilder = new StringBuilder();
private static List<Node> getNodes(byte[] bytes) {
// 创建一个ArrayList
ArrayList<Node> nodes = new ArrayList<Node>();
// 遍历bytes,统计每一个byte出现的次数 -> map[key,value]
Map<Byte, Integer> counts = new HashMap<>();
for (byte b : bytes) {
Integer count = counts.get(b);
if (count == null) {
counts.put(b, 1);
} else {
counts.put(b, count + 1);
}
}
for (Map.Entry<Byte, Integer> entry : counts.entrySet()) {
nodes.add(new Node(entry.getKey(), entry.getValue()));
}
return nodes;
}
private static Node createHuffmanTree(List<Node> nodes) {
while (nodes.size() > 1) {
// 排序从小到大
Collections.sort(nodes);
// 取出第一颗最小的二叉树
Node leftNode = nodes.get(0);
// 取出第二颗最小的二叉树
Node rightNode = nodes.get(1);
// 创建一个新的二叉树，它的根结点没有data,只有权值
Node parent = new Node(null, leftNode.weight + rightNode.weight);
parent.left = leftNode;
parent.right = rightNode;
// 将已经处理两颗二叉树从nodes删除
nodes.remove(leftNode);
nodes.remove(rightNode);
// 将新的二叉树加入到nodes
nodes.add(parent);
}
return nodes.get(0);
}
// 前序遍历的方法
private static void preOrder(Node root) {
if (root != null) {
root.preOrder();
} else {
System.out.println("赫夫曼树为空");
}
}
}
// 创建Node,带数据和权值
class Node implements Comparable<Node> {
Byte data; // 存放数据（字符）本身，比如 'a' => 97
int weight; // 权值，表示字符出现的次数
Node left;
Node right;
@Override
public int compareTo(Node o) {
// TODO Auto-generated method stub
return this.weight - o.weight;
}
public Node(Byte data, int weight) {
super();
this.data = data;
this.weight = weight;
}
@Override
public String toString() {
return "Node [data=" + data + ", weight=" + weight + "]";
}
// 前序遍历
public void preOrder() {
System.out.println(this);
if (this.left != null) {
this.left.preOrder();
}
if (this.right != null) {
this.right.preOrder();
}
}
}
1.4 数据压缩(生成赫夫曼编码和赫夫曼编码后的数据)
我们已经生成了 赫夫曼树, 下面我们继续完成任务
- 生成赫夫曼树对应的赫夫曼编码 , 如下表:
=01 a=100 d=11000 u=11001 e=1110 v=11011 i=101 y=11010 j=0010 k=1111 l=000 o=0011
代码如下：
public static void main(String[] args) {
// TODO Auto-generated method stub
String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();
System.out.println(contentBytes.length);
List<Node> nodes = getNodes(contentBytes);
System.out.println("nodes = " + nodes);
// 测试一把创建赫夫曼树
System.out.println("赫夫曼树");
Node huffmanTreeRoot = createHuffmanTree(nodes);
System.out.println("前序遍历");
preOrder(huffmanTreeRoot);
// 测试
Map<Byte, String> huffmCodes = getCodes(huffmanTreeRoot);
System.out.println("生成的赫夫曼编码表" + huffmCodes);
}
// 重载getCodes
private static Map<Byte, String> getCodes(Node root) {
if (root == null) {
return null;
}
getCodes(root.left, "0", stringBuilder);
getCodes(root.right, "1", stringBuilder);
return huffmanCodes;
}
/**
* 功能：将传入的node结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合
*
* @param node
* 传入结点
* @param code
* 路径：左子结点是0，右子结点1
* @param stringBuilder
* 用于拼接路径
*/
private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
// 将code加入到stringBuilder2
stringBuilder2.append(code);
if (node != null) { // 如果node == null 不处理
if (node.data == null) { // 非叶子结点
// 向左递归
getCodes(node.left, "0", stringBuilder2);
// 向右递归
getCodes(node.right, "1", stringBuilder2);
} else { // 说明是一个叶子结点
huffmanCodes.put(node.data, stringBuilder2.toString());
}
}
}
- 使用赫夫曼编码来生成赫夫曼编码数据 ,即按照上面的赫夫曼编码，将"i like like like java do you like a java" 字 符 串 生 成 对 应 的 编 码 数 据 , 形 式 如 下 . 10101000101111111100100010111111110010001011111111001001010011011100011100000110111010001111001010
00101111111100110001001010011011100 ,并将二进制数据每八位转换成一个byte类型。
代码如下：
public static void main(String[] args) {
String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();
System.out.println(contentBytes.length);
String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();
System.out.println(contentBytes.length);
byte[] huffmanCodeBytes = huffmanZip(contentBytes);
System.out.println("压缩后的结果是：" + Arrays.toString(huffmanCodeBytes) + " 长度为：" + huffmanCodeBytes.length);
}
/**
*
* @param bytes
* 原始的字符串对应的字节数组
* @return 赫夫曼编码处理后的字节数组
*/
private static byte[] huffmanZip(byte[] bytes) {
List<Node> nodes = getNodes(bytes);
// 根据nodes创建赫夫曼树
Node huffmanTreeRoot = createHuffmanTree(nodes);
// 根据生成的赫夫曼树得到赫夫曼编码
Map<Byte, String> huffmCodes = getCodes(huffmanTreeRoot);
// 根据生成的赫夫曼树，压缩得到压缩后的赫夫曼编码的字节数组
byte[] huffmanCodeBytes = zip(bytes, huffmCodes);
return huffmanCodeBytes;
}
/**
* 功能：将字符串对应的byte[]数组，通过生成的赫夫曼编码表，返回一个赫夫曼编码压缩后的byte[]
*
* @param bytes
* 原始的字符串对应的byte[]
* @param huffmanCodes
* 生成的赫夫曼编码map
* @return 返回赫夫曼编码处理后的byte[] 如："i like like like java do you like a java"
* 处理后的赫夫曼编码为：1010100010..... 返回结果为每八位二进制对应的数
*
*/
private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {
// 1.利用huffmanCodes 将bytes转成赫夫曼编码对应的字符串
StringBuilder strBuilder = new StringBuilder();
for (byte b : bytes) {
strBuilder.append(huffmanCodes.get(b));
}
// System.out.println("测试赫夫曼编码：" + strBuilder);
int len = (strBuilder.length() + 7) / 8;
byte[] bytesTemp = new byte[len];
int index = 0; // 记录时第几个byte
for (int i = 0; i < strBuilder.length(); i += 8) {
String strByte;
if (i + 8 > strBuilder.length()) {
strByte = strBuilder.substring(i);
} else {
strByte = strBuilder.substring(i, i + 8);
}
bytesTemp[index] = (byte) Integer.parseInt(strByte, 2);
index++;
}
return bytesTemp;
}
/**
* 功能：将传入的node结点的所有叶子结点的赫夫曼编码得到，并放入到huffmanCodes集合
*
* @param node
* 传入结点
* @param code
* 路径：左子结点是0，右子结点1
* @param stringBuilder
* 用于拼接路径
*/
private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
// 将code加入到stringBuilder2
stringBuilder2.append(code);
if (node != null) { // 如果node == null 不处理
if (node.data == null) { // 非叶子结点
// 向左递归
getCodes(node.left, "0", stringBuilder2);
// 向右递归
getCodes(node.right, "1", stringBuilder2);
} else { // 说明是一个叶子结点
huffmanCodes.put(node.data, stringBuilder2.toString());
}
}
}
运行结果如下：
此时文件的压缩率为 17/40 = 42.5%，可见赫夫曼编码的文件压缩率还是比较高的。
1.5 数据解压(使用赫夫曼编码解码)
使用赫夫曼编码来解码数据，具体要求是
- 前面我们得到了赫夫曼编码和对应的编码byte[] , 即:[-88, -65, -56, -65, -56, -65, -55, 77, -57, 6, -24, -14, -117, -4, -60, -90, 28]
- 现在要求使用赫夫曼编码， 进行解码，又重新得到原来的字符串"i like like like java do you like a java"
- 思路：解码过程，就是编码的一个逆向操作。
- 由于将int类型转换成二进制时调用 toBinaryString 时，正数输出本身，此时可以将该数与 256(1 0000 0000 ) 进行按位与操作，此时需要新增 byteToBitString 方法，代码如下：
/**
* 将一个byte 转成一个二进制的字符串
*
* @param flag
* 标志是否需要补高位如果是true，表示补高位，如果是false表示不补
* @param b
* 传入的byte
* @return 返回该byte对应的二进制字符串（补码）
*/
private static String byteToBitString(boolean flag, byte b) {
// 使用变量保存b
int temp = b;// 将b转成int
// 如果是正数需要补高位
if (flag) {
temp |= 256; // 按位与 256 1 0000 0000 | 0000 0001 => 1 0000 0001
}
String str = Integer.toBinaryString(temp);// 返回temp对应的二进制的补码
if (flag) {
return str.substring(str.length() - 8);
} else {
return str;
}
}
- 解压的方法代码如下：
private static byte[] decode(Map<Byte, String> huffmanCodes, byte[] huffmanBytes) {
// 1.先得到huffmnaBytes 对应的二进制的字符串，形式：1010100010....
StringBuilder stringBuilder = new StringBuilder();
// 将byte数组转成二进制的字符串
for (int i = 0; i < huffmanBytes.length; i++) {
byte b = huffmanBytes[i];
// 判断是不是最后一个字节
boolean flag = (i == huffmanBytes.length - 1);
stringBuilder.append(byteToBitString(!flag, b));
}
// 把字符串按照指定的赫夫曼编码进行解码
Map<String, Byte> map = new HashMap<String, Byte>();
for (Map.Entry<Byte, String> entry : huffmanCodes.entrySet()) {
map.put(entry.getValue(), entry.getKey());
}
// System.out.println("map = " + map);
// 创建要给集合，存放byte
List<Byte> list = new ArrayList<>();
for (int i = 0; i < stringBuilder.length();) {
int count = 1;// 计数器
boolean flag = true;
Byte b = null;
while (flag) {
String key = stringBuilder.substring(i, i + count);// i不动，让count移动，直到匹配到一个字符
b = map.get(key);
if (b == null) {// 没有匹配到
count++;
} else { // 匹配到
flag = false;
}
}
list.add(b);
i += count; // i 直接移动到count
}
// for循环结束后，list中就存放了所有的字符
byte[] b = new byte[list.size()];
for (int i = 0; i < b.length; i++) {
b[i] = list.get(i);
}
return b;
}
- 测试
public static void main(String[] args) {
String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();
System.out.println(contentBytes.length);
byte[] huffmanCodeBytes = huffmanZip(contentBytes);
System.out.println("压缩后的结果是：" + Arrays.toString(huffmanCodeBytes) + " 长度为：" + huffmanCodeBytes.length);
byte[] sourceBytes = decode(huffmanCodes, huffmanCodeBytes);
System.out.println("原来的字符串=" + new String(sourceBytes));
}
结果如下：
1.6 文件压缩
我们学习了通过赫夫曼编码对一个字符串进行编码和解码, 下面我们来完成对文件的压缩和解压， 具体要求： 给你一个图片文件，要求对其进行无损压缩, 看看压缩效果如何。
- 思路：读取文件-> 得到赫夫曼编码表 -> 完成压缩
- 代码实现如下：
public static void zipFile(String srcFile, String dstFile) {
// 创建输出流
OutputStream os = null;
ObjectOutputStream oos = null;
// 创建文件的输入流
FileInputStream is = null;
try {
// 创建文件输入流
is = new FileInputStream(srcFile);
// 创建一个和源文件大小一样的byte[]
byte[] b = new byte[is.available()];
is.read(b);
// 直接对源文件压缩
byte[] huffmanBytes = huffmanZip(b);
// 创建文件输出流存放压缩文件
os = new FileOutputStream(dstFile);
// 创建一个和文件输出流关联的ObjectOutputStream
oos = new ObjectOutputStream(os);
// 将赫夫曼编码后的字节数组写入压缩文件
oos.writeObject(huffmanBytes);
// 将赫夫曼编码写入压缩文件
oos.writeObject(huffmanCodes);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally {
try {
is.close();
os.close();
oos.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
- 测试：
public static void main(String[] args) {
//测试压缩文件
String srcFile = "F://src.bmp";
String dstFile = "F://dst.zip";
zipFile(srcFile, dstFile);
System.out.println("压缩文件OK~~");
}
我们现在F盘放上测试bmp文件：
运行main方法后，可以看见F盘生成了dst.zip的文件，压缩成功，压缩率相当可观！
1.7 文件解压(文件恢复)
具体要求：将前面压缩的文件，重新恢复成原来的文件。
- 思路：读取压缩文件(数据和赫夫曼编码表)-> 完成解压(文件恢复)
- 代码实现如下:
public static void unZipFile(String zipFile, String dstFile) {
// 定义文件输入流
InputStream is = null;
// 定义一个对象输入流
ObjectInputStream ois = null;
// 定义文件的输出流
OutputStream os = null;
try {
// 创建文件输入流
is = new FileInputStream(zipFile);
// 创建一个和 is关联的对象输入流
ois = new ObjectInputStream(is);
// 读取byte数组 huffmanBytes
byte[] huffmanBytes = (byte[]) ois.readObject();
// 读取赫夫曼编码表
Map<Byte, String> huffmanCodes = (Map<Byte, String>) ois.readObject();
// 解码
byte[] bytes = decode(huffmanCodes, huffmanBytes);
// 将bytes数组写入到目标文件中
os = new FileOutputStream(dstFile);
// 写数据到dstFile文件
os.write(bytes);
} catch (Exception e) {
// TODO: handle exception
} finally {
try {
os.close();
ois.close();
is.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
- 测试：
public static void main(String[] args) {
//测试解压文件
String zipFile = "F://dst.zip";
String dstFile = "F://src2.bmp";
unZipFile(zipFile,dstFile);
System.out.println("解压成功~");
}
运行main方法后，在F盘可以看见生成了src2.bmp，大小与src.bmp一样，打开后内容也相同，实现无损压缩解压！
1.8 赫夫曼编码压缩文件注意事项
- 如果文件本身就是经过压缩处理的，那么使用赫夫曼编码再压缩效率不会有明显变化, 比如视频,ppt 等等文件
- 赫夫曼编码是按字节来处理的，因此可以处理所有的文件(二进制文件、文本文件)
- 如果一个文件中的内容，重复的数据不多，压缩效果也不会很明显.
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
