12、有限状态技术：原理与应用解析

有限状态技术：原理与应用解析

1. 引言

有限状态机（FSM）技术在自然语言处理系统中扮演着重要角色。许多语言处理系统的基本步骤都以某种方式依赖于有限状态技术，如文本搜索、分词、浅层句法分析、拼写纠正、基于规则的机器翻译、命名实体识别以及语音技术中的各种任务。除了在大型框架中作为独立组件的应用，一些自然语言处理解决方案完全由有限状态技术构建，形态和语音处理就是有限状态机特别成功的领域。

自20世纪40、50年代引入以来，正则表达式和有限状态机一直是计算机科学计算模型的核心。不过，计算语言学中使用的有限状态机在细节和表示法上与计算机科学教科书里的经典模型有所不同。在语言学应用中，更强调变换器而非自动机，并且加权和概率机器的使用也很普遍，但在理论计算机科学中并非如此。本文将采用计算语言学中常用的符号和约定进行阐述。

2. 有限自动机

有限状态自动机（FSA）是一种抽象的计算设备，用于定义一组字符串。它将字符串分为两类：被自动机接受的和被拒绝的。一个有限自动机由以下部分组成：
- 有限数量的状态，其中一些被指定为最终状态或接受状态。
- 状态之间的转换，即带有字符串标签的有向边。
- 一个指定的初始状态。

字符串的接受或拒绝由自动机的结构决定：给定一个输入字符串，如果自动机中存在一条从初始状态到某个最终状态的路径，且该路径上的标签与输入字符串的符号匹配，则该字符串被接受，否则被拒绝。特定自动机接受的所有字符串的集合称为该自动机的语言。并非所有可能的字符串集合都可以通过有限自动机定义，任何可以由有限状态自动机表征的集合被称为有限状态语言、正则语言或可识别语言。

自动机通常以状态图的形式图形化表示