70年前他本想逃避考试,却影响了整个互联网

最优二叉树—哈夫曼(huffman)树 哈夫曼树又称最优二叉树,是一类带权路径长度最短的二叉树,有着广泛的应用。基本概念权:将树中的结点赋上一个有着某种意义的数值路径:从A结点道B结点所经过的分支序列路径长度:从A结点道B结点所经过的分支数目查找效率平均查找长度(ASL)取决于树的高度ASL=(1+2*2+3)/4=2 ASL=(1+2+3... 阅读详情

谁曾想,一次学生不想参加考试的“任性”,后来竟影响了整个互联网。

70年前MIT的一堂信息论课上,一位老师为了给学生“减压”,摆出一道选择题。

要么参加期末考试,要么写篇论文改进现有算法,自己挑。

这位老师名叫罗伯特·范诺,他没告诉学生们的是,这个“现有算法”,正是他和信息论创始人香农合著的香农-范诺编码。而为了改进算法不足,他本人已经投入大量时间进行研究。

(老师内心OS:没想到吧。)

虽然有点损,但这招还真管用。这票学生一听“交篇论文”就不用考试,拍脑袋就决定写论文,包括大卫•哈夫曼。

不选不知道,一选吓一跳。初出茅庐的哈夫曼很快意识到了老师挖的坑——这论文也太**难搞了。

这一写,就是好几个月,并且苦苦挣扎中,哈夫曼仍然一无所获。

但命运,有时候就是十分奇妙。就在哈夫曼终于放弃“逃考”,准备将论文笔记扔到垃圾桶中时,突然灵光一现!答案出现了!

哈夫曼放弃对已有编码的研究,转向新的探索,最终发现了基于有序频率二叉树编码的方法。

他提出的这一想法,效率成功超越他老师的方法论。甚至在之后的发展中,以他命名的编码方法——哈夫曼编码,直接改变了数据压缩范式。

至于当时那篇结题报告,已引用近万次。

低效的传统编码方法

1951年,正在MIT任教的罗伯特·范诺正在思考一道信息论的难题:

如何用二进制代码高效表示数字、字母或者其他符号?

当时最常见、也是最直接的方法,就是为每个字符分配一个独一无二的二进制数。

比如,字母A可能表示为01000001,!表示为 00100001,每个八位数的数字都对应一个字符。

这样一来代码容易解析,但效率极低。

另外还有种优化方法,类似于摩尔斯电码。常用字母E仅由一个点表示,但不常见的Q需要更长且更费力的“—— —— · ——”。

这种方式,会导致代码长度不一, 信息不容易被理解;而且传输中还需要在字符间加入间隙,否则就无法区分不同的字符组合。

范诺意识到,或许这两种方法的优势可以兼并之——以不同长度的二进制代码表示字符。进一步地,为避免代码“重叠”,他还构建了二叉树。

他详尽地测试了每一种排列的可能性以获得最大效率,最终得到了一种有效情况:

每条消息按照频率分为两个分支,并尽可能让两边字母使用频率基本相同。

这样,常用的字符就会在更短、密度更低的分支上。

1948年,信息论之父香农在介绍信息理论的文章“通信数学理论”中提出了这一方法;不久之后,范诺也独立地以技术报告形式将其发布。故而这套方法被称作是香农-范诺编码。

但这个方法并非总是有效。像字母出现概率分别为{0.35,0.17,0.17,0.16,0.15}这种情况时,就不能给出理想编码。

范诺认为一定存在更好压缩策略。于是乎,这样的重任就交到了他的学生手里。

一次灵光乍现,一篇世纪论文

如果说,范诺教授他们的方法是从上到下构建字符树,并在成对的树枝之间尽可能保持对称。

那么哈夫曼的方法,是直接颠覆了这一过程——自下而上构建二叉树。

他认为,无论发生什么情况,在一段有效的代码中,两个最不常见的字符应该有两个最长的代码。

因此首先就确定两个最不常见的字符,将它们组合在一起作为一个分支对,然后再重复该过程,再从剩余字符中与刚刚构建的字符对中寻找最不常见的字符(对)。

以schoolroom为例,其中O出现了四次,S、C、H、L、R、M各出现一次。

范诺的方法,就是首先将O与另一个字母分配给左侧分支,这样一来两边都是5次总使用量,生成的编码总共27位。

相比之下,哈夫曼的方法,比如就从不常见的r和m开始,将其组合成一个字母对。

组合完之后,现有字符(对)包括:O(4次)、RM(2次)以及单个字母S、C、H和L。

按照出现频率划分,重复上一操作——将两个不常见的选项分组,然后更新数树和频率图。

最终,“schoolroom”变成了 11101111110000110110000101,比Fano 自上而下的方法少了1位。 

虽然1位在这里并不多,但要是当扩展到数十亿字节时候,这就是一次不小的节省。

事实上,哈夫曼的方法已经被证明非常强大,据谷歌学术统计,当年论文已经被引用9570次。

至于他老师的办法,却几乎没有再被使用过。

直至今天,几乎所有无损压缩方法都全部或部分使用了哈夫曼的方法,可以压缩图像、音频、表格等。它支持从PNG图像标准到无处不在的软件PKZip 的一切。

现代计算机科学先驱、图灵奖得主高德纳曾这样形容哈夫曼的成就:

在计算机科学和数据通信领域,哈夫曼编码是人们一直在使用的基本思想。

后来哈夫曼再回忆起那个「灵光乍现」时刻,当时他正准备将论文笔记扔进垃圾桶,结果突然思想汇聚,答案在脑海里出现了:

那是我生命中最奇特的时刻。

突然恍然大悟,犹如闪电一般。

并表示,如果他知道自己的教授范诺(Fano)曾与这个问题作过斗争,他可能永远都不会尝试解决这个问题,更不用说在25岁的时候就大胆去尝试。

成就与秩序感,用数学玩艺术

哈夫曼编码改变了数据压缩范式,也为其赢得了众多荣誉与奖章。

比如,1998年哈夫曼获得 IEEE 信息理论学会颁发的技术创新金禧奖、1999年获得电气和电子工程师协会 (IEEE) 颁发的理查德·汉明奖章(Richard Hamming Medal)。

不过即便如此,在他一生历程中,相比发明无损压缩方法这件事儿,最让他引以为傲的反而是这篇博士论文。

题目:The Synthesis of Sequential Switching Circuits。

哈夫曼在MIT读博期间,发布这篇讨论时序开关电路的重要论文。在当时,哈夫曼几乎是首个阐述如何设计异步顺序开关电路的学者,而这一理论后来也为计算机发展提供了重要逻辑支撑。

这篇论文的发布,不仅帮助他获得富兰克林研究所的Louis E. Levy Medal,也顺理成章让他获得留校任职资格,教授关于开关电路的课程。

在校期间,哈夫曼还提出一种革新的数学公式,可以在不丢失任何信息的情况下将一个二进制数序列转换成另一个二进制数序列,这项研究在当时密码学中发挥了重要作用,也为其谋得了一份重要职位。

时任贝尔实验室研究副总裁的William O. Baker将其招纳入了一个审查委员会,主要负责为国家安全局审查未来科技计划。Baker博士曾担任过艾森豪威尔、肯尼迪、约翰逊、尼克松和里根五位总统的科学顾问。

1967年已是正教授的霍夫曼选择离开MIT,加入加利福尼亚大学圣克鲁兹分校(UCSC),期间主导创立了计算机科学系,并参与学术课程开发工作,为之后计算机科学系发展奠定重要基础。

数学可以说是哈夫曼毕生追求之一,以至于后来在搞艺术时,也离不开数学。

70年代开始,哈夫曼对折纸产生浓厚兴趣,同时研究数学和折纸艺术,制作了上百件曲痕折纸作品,还专门发表论文分析曲痕折纸的数学性质,成为折纸数学领域的先驱人物。

回过头看,哈夫曼的一生赢得过无数荣誉与表彰,却从未为自己任何一项发明申请过专利。

最后,借用哈夫曼自己的一段话。

作为一名科学家和老师,我真的非常执着。如果我觉得自己还没有找到问题的最简单解决方法,我会非常不满意,这种不满会一直持续,直到我找到最佳方法为止。对我来说,这就是科学家的本质。

哈夫曼编码原理及实现 构建编码树的方法是将频率最低的两个符号合并为一个新节点,该节点的频率为两个节点频率之和。哈夫曼编码(Huffman Coding)是一种用于数据压缩的编码方法,它通过给出不同的数据符号分配不同长度的编码,使得出现频率高的符号具有较短的编码,而出现频率低的符号具有较长的编码,从而达到压缩数据的目的。然而,对于哈夫曼编码的最佳性能,符号的频率应该是根据数据集的统计特征进行调整的。由于频率高的符号具有较短的编码,而频率低的符号具有较长的编码,所以整个编码后的数据长度会相对减小。 阅读详情

相关推荐

System Verilog学习笔记(十九)——覆盖率

覆盖率是用来衡量验证精度和完备性的数据指标。也可以告诉我们在仿真时设计的哪些结构被触发,哪些没被触发。高质量的验证需要满足以下三个条件。

ljy77882333的博客 2142

哈夫曼(Huffman)树 & 哈夫曼编码与解码

哈夫曼树又称最优二叉树,是一种带权路径长度最短的二叉树。:WPL(Weighted Path Length)是树中所有叶子结点的带权路径长度之和。

Xiaoyuan_he的博客 2万+

阿里云大模型ACP认证模拟考试(一)

摘要:在阿里云大模型高级工程师 ACP 认证暂无真题题库的现状下,模拟题具有重要意义。其依照真实考试设计,涵盖题型、题量与分值分布,助力考生熟悉考试框架,合理分配答题时间精力,提升效率。同时,模拟题紧扣官方课程,能帮助考生精准定位知识盲点,如大模型架构原理和通义千问应用实践等重点内容,以便针对性完善知识体系。此外,通过练习模拟题,考生可掌握不同题型的解题思维与技巧,快速洞察复杂题目本质,提高答题准确率。

davidkorhenn的博客 4737

哈夫曼树的原理及构造方法

哈夫曼树解决的是编码问题,给定N个权值作为N个叶子结点,构造一棵二叉树,若该树的带权路径长度达到最小,称这样的二叉树为最优二叉树,也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。说的直白一点就是找出存放一串字符所需的最少的二进制编码。路径:路径是指从树中一个结点到另一个结点的分支所构成的路线。树的路径长度:树的路径长度是指从根到每个结点的路径长度之和。带权路径长度:结点具有权值,从该结点到根之间的路径长度乘以结点的权值,就是该结点的带权路径长度。

强哥的微博 9128

保姆级教程:用GEE(Google Earth Engine)复现CASA模型计算NPP,附完整数据集清单与Python代码

本文提供了一份详细的保姆级教程,指导如何使用GEE(Google Earth Engine)复现CASA模型计算NPP(净初级生产力)。教程涵盖环境准备、关键数据集获取与处理、Python代码实现全流程,以及结果验证与常见问题解决方案,帮助生态学研究者高效完成NPP计算。

weixin_28707365的博客 333

单细胞测序数据分析——细胞通讯 CellChat

cellchat

G2530051386的博客 1万+

【数据结构与算法】-哈夫曼树(Huffman Tree)与哈夫曼编码

超详细讲解哈夫曼树(Huffman Tree)以及哈夫曼编码的构造原理、方法,并用代码实现。

闪耀大叔的博客 8万+

[知识图谱构建] 一.Neo4j图数据库安装初识及药材供应图谱实例

2012年5月,谷歌公司的知识图谱(Knowledge Graph)产品被正式提出,其旨在将人、地点、物等信息作为实体,将实体间的联系作为关系,并将实体和关系以图的形式进行存储。作为语义网的最新产物,知识图谱这种新型的搜索引擎改变了传统的文本搜索结果,而随后国内公司也开发出了相应产品,例如百度公司的“知心”和搜狗公司的“知立方”等。知识图谱本质上属于一种语义网。知识图谱中的每一条数据或事实一般会采用 <实体,属性,属性值> <实体, 关系,

杨秀璋的专栏 1万+

哈夫曼树的详细讲解(手把手教学)

哈夫曼树又称为最优树,是一类带权路径长度最短的树,应用光泛。在学习哈夫曼树的时候,我们来先引入路径和路径长度的概念。 学会哈夫曼树的权值计算(WPL) 学会哈夫曼树的构造 理解哈夫曼树编码算法思想

小洁洁 4047

基于毫米波生物感知雷达+STM32设计的独居老人居家监护系统(微信小程序)(192)

当前基于STM32设计的独居老人居家监护系统为独居老人提供一种简便、实时的健康监护服务。该系统通过集成多种传感器和功能模块,能够实时监测老人的生理指标、姿态以及室内环境状况,并通过微信小程序远程显示数据,当出现异常情况时及时发出报警提醒。

1万+

YOLOv11涨点改进 | 检测头Head改进篇 | 利用DynamicConv高效动态卷积改进YOLOv11检测头,DyHead通过增强检测头操作,轻量化改进、提高模型目标检测的精度

本文提出了一种基于动态卷积(DynamicConv)的YOLOv11检测头改进方法v11Detect_DyHead。该方法通过引入多专家机制和动态权重调整,在增加参数量的同时保持较低计算复杂度,有效解决了低FLOPs模型难以从大规模预训练中获益的问题。文章详细介绍了DynamicConv模块的原理和实现,包括其参数高效特性、多专家机制和动态权重生成方式。同时提供了完整的代码实现和添加该模块的具体步骤,并给出了相应的YAML配置文件。实验表明,该方法在保持较低计算开销的同时显著提升了模型性能,适用于视觉和语言

Ai缝合怪、助力小伙伴高效发论文 534

哈夫曼树以及哈夫曼算法

一、哈夫曼树的定义 1、哈夫曼树:最优树即带权路径长度(WPL)最短的树 “带权路径长度最短”是在"度相同”的树中比较而得的结果,因此有最优二叉树、最优三叉树之称等等。 2、哈夫曼树:最优二叉树即带权路径长度(WPL)最短的二叉树 因为构造这种树的算法是由哈夫曼教授于1952年提出的,所以被称为哈夫曼树,相应的算法称为哈夫曼算法。 二、哈夫曼树的特点 1、满二叉树不一定是哈夫曼树 2、哈夫曼树中权越大的叶子离根越近 3、具有相同带权结点的哈夫曼树不唯一 三、哈夫曼算法(构造哈夫曼树的方法)

kxbdys的博客 6131

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

哈夫曼树及哈夫曼编码笔记

哈夫曼树及哈夫曼编码

m0_64231944的博客 980

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

哈夫曼算法详细讲解(算法+源码)

哈夫曼编码是一种可变字长编码(Variable Length Coding)的一种方法,通过根据不同字符出现的频率来构建一颗具有最小编码长度的二叉树。该树的构建和遍历规则使得出现频率高的字符获得较短的编码,而出现频率低的字符获得较长的编码,从而达到对数据进行高效压缩的目的。

a910247的博客 3475

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

数据结构课设:哈夫曼编码/译码系统

哈夫曼编码是一种用于数据压缩的编码方式,它可以根据字符出现的频率来赋予不同长度的编码,从而实现对数据进行有效压缩。哈夫曼编码最初由大卫·哈夫曼(David A. Huffman)于1952年提出,是一种被广泛应用于数据压缩、通信领域的编码方式。它的主要原理是将出现频率高的字符用较短的编码表示,而出现频率低的字符用较长的编码表示,从而实现对数据的高效压缩。哈夫曼编码可以节省存储空间。哈夫曼编码可以统计分析来确定每个字符的编码,将出现频率高的字符用短编码表示,出现频率低的字符用长编码表示。

zzl040203的博客 2016

哈夫曼编码(Huffman Coding)

哈夫曼编码(Huffman Coding)是一种广泛使用的数据压缩算法,由大卫·哈夫曼(David A. Huffman)在1952年提出。它是一种变长编码技术,通过构造最优二叉树(哈夫曼树)来实现数据的有效压缩,特别适用于对字符频率有明显差异的数据压缩。哈夫曼编码的核心思想是使用较短的编码表示出现频率高的字符,而使用较长的编码表示出现频率低的字符,从而达到压缩数据的目的。

翔云 1300

15哈夫曼树/哈夫曼编码

哈夫曼编码的基本思想是,为频繁出现的字符分配较短的编码,为不频繁出现的字符分配较长的编码。这样做可以使得编码后的数据具有更高的压缩率。**例:**要传输的字符集 D = {C,A,S,T,;}(注意这个分号也是,并没有多打),每个字符出现的频率 W = {2,4,2,3,3}。由于哈夫曼编码采用可变长度编码,使得频繁出现的字符用较短的编码表示,不频繁出现的字符用较长的编码表示,因此可以达到比固定长度编码更高的压缩率。因为构造哈夫曼树的时候是,选用两小造新树。哈夫曼编码是一种可变长度编码的算法,用于将。

Tian Meng的博客 3026

数据结构——哈夫曼树及其应用

哈夫曼树及其应用哈夫曼的基本概念 哈夫曼的基本概念 路径:从树中一个结点到另一个结点之间的分支构成这两个结点间的路径 结点的路径长度:两结点间路径上的分支数 树的路径长度:从树根到每一个结点的路径长度之和,记作TL **结点数目相同的二叉树中,完全二叉树是路径最短的二叉树** ...

Labrador_Katie的博客 6067

哈夫曼树(结合王卓老师课程内容)

所以哈夫曼树中共有2n-1个结点,且其所有的分支结点的度均不为1.

Qiutan22的博客 3363

【哈夫曼树】创建哈夫曼树

在一棵树中,从一个结点到另外一个结点所经过得所有的结点,我们成为两个结点之间得路径。从A到叶子结点E的路径就是:A->B->D->E;在一棵树中,从一个几点到另外一个结点所经过的边的数量,就是路径长度。从根结点A到叶子结点E,共经过了3条边,因此路径长度是3。树的每一个结点,都可以拥有自己的“权重”(weight),权重在不同的算法中起到不同的作用。结点的带权路径长度 = 树的根节点到该结点的路径长度 * 该结点权重。

weixin_52958292的博客 5401

数据结构18————哈夫曼树

数据结构15————哈夫曼树 一.内容 1.哈夫曼树的定义和原理 2.哈夫曼树的建立 3.哈夫曼编码 4.哈夫曼算法的实现

冰炭不投day的博客 5224

算法 - 哈夫曼(Huffman)编码

哈夫曼(Huffman)编码算法是基于二叉树构建编码压缩结构的,它是数据压缩中经典的一种算法。因为为了缩短编码的长度,我们自然希望频率越高的词,编码越短,这样最终才能最大化压缩存储文本数据的空间。

921

哈夫曼树-算法

哈夫曼树

m0_38068812的博客 489

数据结构 —— 哈夫曼树

到达叶子节点的路径都是不一样的,没有一个到达叶子节点时经过其它的叶子节点,因此每个叶子节点的编码不可能是其它叶节点编码的前缀,保证了哈夫曼编码是前缀编码。传送字符为ABACCDA,A—00,B—01,C—10,D—11, 编码后为:00010010101100。5%需要判断1次,15%需要判断2次,40%需要判断3次,30%需要判断4次,10%需要判断4次、5%需要判断3次,15%需要判断3次,40%需要判断2次,30%需要判断2次,10%需要判断2次。如何找到效率最高,最优判断次数的判断树呢?

weixin_43254100的博客 2250
上一篇: 微信可以登录QQ了!
下一篇: 知名开源前端框架uni-app包含热更新代码,谷歌“封杀”
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值