6、自然语言形式化：字母表与词汇的规范之路

自然语言形式化：字母表与词汇的规范之路

1. 语言代码与字符分类

在现代语言处理中，语言代码起着关键作用。ISO - 639 标准采用两到三个字母的代码来识别每种语言，例如“EN”代表英语，“FR”代表法语。在现代操作系统里，能够指定用于文本格式化的 ISO - 639 代码。借助这一代码，操作系统以及文字处理应用程序、互联网浏览器和数据库管理器等，就能依据不同语言对文本、列表、索引和字典进行合理编排，还能正确处理日期、数字、货币符号等格式。比如，法语日期格式为 31/1/2011，而英语是 1/31/2011；法语数字格式为 1 234,50，英语则是 1,234.50。

语言中的字符可分为以下四类：
- 字母 ：包含语言的字母、连字以及带有变音符号的字母。
- 阿拉伯数字 ：即 0 - 9 这十个数字。
- 空格类 ：包括不间断空格、半角空格、全角空格、换行符、换行控制符和回车符等。
- 分隔符 ：涵盖连字符（如 well - being 中的）、半角破折号（用于表示范围，如 10–12）、全角破折号、撇号、标点符号和缩写符号（如 $）等。

2. 字母表形式化的现状与挑战

目前，Unicode 是处理和分析自然语言书面文本不可或缺的解决方案，几乎所有计算机系统都在使用它，且相对较为完善。然而，它存在两个显著弱点：一是复合字符可能有多个代码表示；二是在五种 CJKV 书写系统中，汉字编码存在错误。

字母排序问题也亟待解决。ISO - 639 标准