信息论之父香农的开山之作《通信的数学理论》中文版正式发布！

科学在探索自然界的基本规律，数学在不断建立新的定理以拓展旧知，而工程学则致力于解决人类的实际需求。这三者相互依赖，却又各自独立。能在这三方面都做出核心贡献的人屈指可数，而克劳德·香农（Claude Shannon）正是其中的罕见天才。

尽管香农的名字不像爱因斯坦或者费曼那样家喻户晓，甚至他没有获得过诺贝尔奖，可是在 70 多年前，他用一篇论文奠定了整个信息时代的基础。

香农 1916 年出生于美国密歇根州盖洛德，父亲是商人，母亲是教师。他在密歇根大学取得电气工程和数学双学位后，进入麻省理工学院攻读硕士。他的硕士论文将一种叫作布尔代数的数学体系应用到电路的分析与设计中，这项工作彻底改变了电路设计的方式，让电路从一门艺术变成了一门科学，也被认为是数字电路设计的起点。

向通信进军

接下来，香农将目光投向了一个更宏大的目标——通信。

通信是人类最基本的需求之一。从烟雾信号、信鸽传书到电话、电视，人类始终在追求更远、更快、更可靠的交流方式。但过去的通信工程往往依赖于具体的媒介和物理信号。香农提出了一个大胆的问题：“通信是否也有一套普适的基本规律？”

1939 年，他在写给导师范内瓦·布什的信中，就提到自己正在思考“智能传递系统的基本特性”。经过十年思考，他终于在 1948 年发表了划时代的论文《通信的数学理论》（A Mathematical Theory of Communication）。

论文的核心思想是一个极为简洁但极具普适性的通信模型：发射端将信息编码成信号 → 信号在传输中受到噪声干扰 → 接收端对信号进行解码。

别看这个模型简单，它包含了两个关键洞见：

• 将“信息”和“噪声”独立于通信系统来研究，

• 把它们都用概率来刻画。

在香农之前，人们把通信问题当作一个信号还原问题——如何去除失真、还原原始信号。香农却意识到，通信的关键在于不确定性。

香农首次把通信问题从物理层面抽象出来，用概率去描述信息的不确定性。这一思路让当时的工程师们大吃一惊。

摘自香农论文中的通信模型示意图

信息的不确定性与极限

在这种概率框架下，香农系统地推导出了通信的基本极限。

他的结论可以概括为三个部分，而贯穿其中的核心单位是 “比特”（bit）。这不仅是“二进制位”（binary digit）的缩写，更是衡量信息与不确定性的标尺。在香农的定义中，1  比特代表了消除一个“二选一”等概率事件（例如抛硬币的正反面）不确定性所需的信息量。

• 信息量的公式：熵率本质上是在衡量“平均需要多少个二选一的问题才能猜出结果”。香农提出了一个公式来计算每秒传递信息的最小比特数，他称之为信息的熵（H）。熵越高，信息的不确定性越大，也就越难压缩；反之越小，就越容易压缩。例如，每分钟输入 100 个英文字母，理论上相当于从 26¹⁰⁰ 种可能的组合中选择一种。如果所有组合概率相等，熵大约是 比特/分钟；但由于某些字母组合更常见，实际熵更低，也就意味着更高的压缩效率。

• 通信容量的公式：他又推导出在噪声干扰下，系统每秒可以可靠传输的最大比特数，称为容量（C）。这相当于通信的速度极限。

• 可靠通信的条件：只要信息的熵小于信道容量（H < C），就能在有噪声的情况下实现可靠通信。香农用一个生动的比喻说明这一点：信息就像水，只要流速低于管道的容量，水流就能顺畅通过。

因此，香农不仅提出了一种通信理论，也开创了一门全新的学科——信息论。

超越直觉的发现

香农的理论带来了许多出人意料的结果。比如在嘈杂的地方讲话，直觉上我们会不断重复，以提高听清的概率。但香农指出，这种方法虽然提高了可靠性，却极大降低了传输速度。真正高效的做法是使用编码——通过设计不同的编码方案，可以在保持可靠性的同时，让通信速度逼近理论极限 C。如今，从手机信号到卫星通信，都在应用这种思路。

更令人惊讶的是，无论信息的内容是什么，莎士比亚的诗、贝多芬的交响曲，还是黑泽明的电影，最有效的传输方式都是先把它们转化为比特。这意味着，即便广播信号或声音波形本质上是模拟的，将它们数字化后再发送，不仅能更抗干扰，还能被无损重构，消除了模拟信号在长距离传输中不可避免的噪声积累。这一结论成为数字信息时代的基石，比特成为信息的通用货币。

科学家、数学家与工程师

香农的通信理论如此自然，以至于人们觉得他像是在发现通信的自然法则，而不是发明它。

他为了描述这些法则，创造了新的数学概念，如概率模型的熵，这些概念后来在数学的许多领域（例如遍历论、动力系统研究）都有应用。

但最根本的，香农是一名工程师。他的理论源于工程问题的实际需求。直到今天，无论是光纤网络还是深空通信，人类构建的每一套通信系统，其逻辑内核依然是香农理论。

最典型的例子是 5G 标准：它采纳了 LDPC 码和极化码（Polar Codes）。这两种编码技术之所以被选中，正是因为它们在工程上被证明能够逼近理论上的“香农极限”——这是人类在追求通信效率道路上的一座里程碑。

香农的思想遗产

香农一生性格低调，却极富创造力。他喜欢在工作中融入游戏精神。比如他曾造出一个名为 Theseus 的电子老鼠，可以自己在迷宫中找到出口。他也喜欢自制机械玩具和遥控设备。

图中他正和自己制作的电子老鼠“Theseus”以及它的迷宫合影

香农于 2001 年去世，但他的思想依旧影响着今天的世界。从互联网、无线通信，到我们手中的智能手机，几乎所有信息技术都在他的理论框架中运行。

他成功的秘诀在于：“聚焦问题的本质，忽略一切无关细节。”他的通信模型正体现了这种极简而深刻的思维方式。香农专注于研究可能性，而非眼前的实用性。

“最好的科研不是让知识之树枝繁叶茂，而是修剪它，使其结构更清晰。”香农正是这样的人，他把通信工程中纷繁复杂的技巧，化为一棵统一而优美的知识之树。而这棵树，至今仍在为一代又一代的科学家、数学家和工程师结出新果实。

《通信的数学理论》上市！

1948 年，香农发表了著名论文《通信的数学理论》（A mathematical theory of communication），首次提出“信息熵”的概念，从此，一切抽象的信息都可被数学化度量，这篇论文也被视为信息论的开山之作。

此后，伊利诺伊大学出版社以图书形式再版了这部划时代的杰作，至今（英文版）销量已超过 40 000 册，是通信领域经久不衰的经典读物。

这本书不像科幻小说那样刺激，但读懂它，你会明白我们生活的这个世界，本质上是一场宏大的信息传递，而香农，就是第一个揭示这场游戏规则的人。

可以说理解这本书，就是理解信息时代的起点。

《通信的数学理论》

克劳德·E.香农，沃伦·韦弗 | 著

李锡涵 | 译

信息论领域的奠基之作，本书分两部分详细解释了通信的数学理论基础。第一部分提供了通信领域的全景式概述，为读者进入更深入的数学理论部分作铺垫。第二部分深入探讨了通信理论的数学基础，包括离散和连续信源、信道容量、编码理论等核心概念，并讨论了这些理论在通信系统中的实际应用。

作者简介

克劳德·艾尔伍德·香农（Claude Elwood Shannon），美国数学家，美国国家工程院院士、美国国家科学院院士、美国艺术与科学院院士，信息论创始人，生前是麻省理工学院名誉教授。

他于1936年（20岁）获得密歇根大学学士学位，1940年（24岁）获得麻省理工学院硕士和博士学位，1940年~1941年任普林斯顿高等研究院研究员，1941年~1972年任职于贝尔实验室，1958年~1978年任麻省理工学院Donnor科学教授，1978年从麻省理工学院退休，成为麻省理工学院名誉教授。他提出了信息熵的概念，为信息论和数字通信奠定了基础。 

沃伦·韦弗（Warren Weaver），美国数学家，为机器翻译的早期研究者之一，是美国许多科学研究的推动者。

译者简介

李锡涵，伦敦大学学院（UCL）计算机系博士研究生，谷歌开发者专家（机器学习领域），图书《简明的TensorFlow 2》作者。研究方向为学习优化，曾在NeurIPS、CIKM、AAMAS等会议以第一作者身份发表论文。个人主页：https://snowkylin.github.io

本书赞誉

无论是人与人，还是人与机器，凡是关心高效信息传递的人，皆不可错过这部必读经典。

——《计算数学》

这本书是生物学家、心理学家乃至物理学家的至宝。

——《泰晤士报》

这是一部跨学科的杰作，它将分散的物理科学分支统一在同一理论之下。韦弗博士以远见卓识，将这种统一拓展至语义学与语用学，开启新的学术旅程。

——《哲学评论》

如果你关心语言、交流与意义，这本书定会激发你深刻而持久的思考。

——《生物学季刊》

这本书不仅是相关领域专家的必读之选，就连并无直接兴趣的学者，也会被它的魅力深深吸引。

——S. Whitehead，《英国应用物理学杂志》

在此之前，没有一种通用方法来衡量信息的复杂性或传输能力。这部数学巨著堪称罕见，对科学家和工程师而言无比珍贵。

——《科学美国人》