2、经典信息论与经典纠错：原理与应用

经典信息论与经典纠错：原理与应用

1. 信息论简介

信息论为各类通信和信息处理建立了框架。它能帮助我们确定任务复杂度或成本的界限，比如用最少空间存储信息，或在有噪声的信道中传输数据。同时，信息论提供了量化信息的方法，这在密码学领域尤为重要，例如可以探讨“某人对他人所知信息的了解程度”。

在深入研究量子力学为信息论带来的新内容之前，我们先简要了解经典信息论的基础知识。信息论虽能回答在有噪声信道中信息传输速度的问题，但通常不提供具体的解决方案，这正是纠错要解决的问题。接下来会介绍线性分组码，为后续量子系统纠错码的讨论奠定基础。

2. 经典信息论基础

2.1 抽象通信系统

信息论的基础由Claude Shannon在其开创性论文《A Mathematical Theory of Communication》中奠定。Shannon引入了通信系统的基本数学概念，并证明了两个基本编码定理。

Shannon指出，尽管通信的目的是传递有意义的消息，但通信系统的设计可以不考虑消息的意义。通信的根本问题是在某一点精确或近似地重现另一点选择的消息。消息的语义方面与工程问题无关，关键在于实际消息是从一组可能消息中选取的，系统必须能处理每种可能的选择。

此外，我们可以在一定程度上抽象掉用于传输消息的物理信道。为此，引入了发送器和接收器，它们能将消息转换为物理信号，反之亦然。一般通信系统的布局如下：

graph LR
    A[信息源] --> B[消息]
    B --> C[发送器]
    C --> D[信号