35、语言理解的时间关键模拟

语言理解的时间关键模拟

1. 引言

语言理解的模拟与通用智能信息处理的模拟密切相关，成功的语言理解模拟通常也会涉及通用智能信息处理的某些方面。语言理解和一般理解的一个核心方面是在分层模型中生成与上下文相关的符号表示。这种能力可以通过使用语言序列作为输入数据来测试，以评估生成的表示作为任意指称对象的心理表示的认知合理性。实际上，同样的算法也可以使用自主代理的感觉运动数据进行模拟，以生成通用智能行为基础的心理模型。

2. 相关工作

• 隐马尔可夫模型 ：从计算角度看，语言常被视为隐马尔可夫模型。在旨在理解语言的系统中，这些模型具有代表语言生成系统中假设隐藏状态的状态。基于隐藏状态的图形模型描述了从一个隐藏状态到另一个隐藏状态的转移概率分布，每个隐藏状态还与一个发射概率分布相关联。隐马尔可夫模型可以很好地解决三个一般问题：
  1. 根据给定模型和发射序列（轨迹），推断该轨迹根据模型生成的概率（似然性）。
  2. 根据给定模型和轨迹，推断生成该轨迹时最可能的隐藏状态序列（解码）。
  3. 根据给定的隐藏状态集合和轨迹，推断状态之间的转移概率和每个状态的发射概率（学习）。
     但存在第四个问题，即根据给定轨迹推断隐藏状态、它们之间的转移概率以及每个状态的发射概率，目前尚无普遍认可的解决方案，且大多数方法在时间关键的在线学习场景中不可行。
• 自动语法/自动机推断 ：该领域有许多与类似问题密切相关的解决方案。例如 Sequitur 是一种实时可行的方法，它在一次遍历序列时构建一个语法，允许精确重现该