3、自然语言形式化：从基础概念到编码标准

自然语言形式化：从基础概念到编码标准

在处理自然语言时，尽管一种语言的句子数量是无限的，但我们可以从有限的基本语言元素（字母、词素或单词）入手来对其进行描述。接下来，我们将深入探讨如何定义、表征和形式化构成语言字母表和词汇的基本语言单位。

信息处理基础：比特与字节

在计算机中，信息的处理基于最基本的电子电路状态。以灯泡为例，它有两种状态：关闭或打开。这两种状态可以用来表示各种信息，比如在逻辑中，命题有两种可能的值：真（TRUE）或假（FALSE）。我们可以想象，打开的灯泡代表TRUE，关闭的灯泡代表FALSE。类似地，门可以打开或关闭，电梯可以停止或移动，火车道岔可以切换到右边或左边，这些都可以用二进制信息来表示。

二进制信息的基本单位是比特（bit），程序员通常用0或1来表示比特的值。为了表示比二进制信息更复杂的信息，多个比特会被组合在一起。例如，交通灯的状态可以用两个比特来表示：
- 第一个比特为1，第二个比特为0时，灯为绿色；
- 第一个比特为1，第二个比特为1时，灯为红色；
- 第一个比特为0，第二个比特为1时，灯为闪烁的黄色。

比特数量与可表示的值的数量之间存在着明确的关系。每增加一个比特，可表示的值的数量就会翻倍：
| 比特数量 | 可表示的值的数量 |
| ---- | ---- |
| 1 | 2 |
| 2 | 4 |
| 3 | 8 |
| 4 | 16 |
|… |… |
| n | 2ⁿ |

早期的计算机使用8线带状电缆，能够处理8比特的信息，8比特的序列被称为一个字节（byte）。一个字节可以表示2⁸ =