5、自然语言形式化：从字符到词汇

自然语言形式化：从字符到词汇

在自然语言处理（NLP）领域，对自然语言进行形式化是一项基础且关键的任务。这涉及到对语言的各个层面进行精确的定义和分类，以便计算机能够更好地理解和处理自然语言文本。下面我们将从字符分类、词汇定义等方面进行详细探讨。

1. 语言编码与字符分类

在现代操作系统中，ISO - 639 代码被用于识别不同的语言。它采用两到三个字母的代码来标识每种语言，例如 “EN” 代表英语，“FR” 代表法语。通过指定 ISO - 639 代码，操作系统以及各种应用程序（如文字处理软件、互联网浏览器和数据库管理器）可以根据不同语言对文本、列表、索引和字典进行正确的排列和格式化，包括日期、数字、货币符号等的显示。

字符可以分为以下四类：
- 字母 ：包括语言中的字母、连字和带变音符号的字母。
- 阿拉伯数字 ：即 0 - 9 这十个数字。
- 空格 ：包括不间断空格、半角空格、全角空格、换行符、换行和回车符等。
- 分隔符 ：其他所有字符，如连字符（在多词单元中，如 well - being）、半角破折号（表示范围，如 10–12）、全角破折号（—）、撇号、标点符号和缩写符号（如 $）。

2. 书写系统管理与 Unicode

目前，Unicode 是管理和分析自然语言书面文本不可或缺的解决方案。几乎所有计算机系统都使用 Unicode，它相对较为完整。然而，NLP 应用程序也必须应对 Unicode 的两个显著弱点：
- 复合字符可