7、基于MTRNN的句子识别与生成研究

基于MTRNN的句子识别与生成研究

语言习得理论争议与现有模型

在语言习得领域，存在着先天论和经验论的争议。先天论支持者强调儿童仅通过有限的语言刺激就能学会识别和生成各种新的语法句子，且几乎没有接触到不合法语法的证据。然而，对动态系统和混沌的分析进展表明，多样复杂的模式可以从少量输入模式中涌现，这使得两者的争议仍在继续。

许多研究致力于揭示神经网络系统是否能利用神经网络模型习得语言：
- Pollac的高阶递归神经网络 ：展示了非线性动态系统的相变可带来语言生成能力，但该模型需要语言的正例和反例来学习规则。
- Elman的简单递归网络（SRN） ：能仅使用句子集自组织语法，但不能确定性地生成句子，只能预测下一步单词的可能性。
- Sugita、Tani和Ogata等人使用的带参数偏差的RNN模型（RNNPB） ：可以学习多个序列并通过改变参数偏差确定性地生成它们，但只能处理由两三个单词组成的简单句子，难以学习长而复杂的序列。

现有用于语言习得的RNN模型，如SRN和RNNPB，需要预先确定的单词集来学习语法。而在没有此类先验知识的情况下学习语言，需要具备将字符分层组合成单词、单词组合成句子的能力，这种能力对于处理语言表达的多样性至关重要。因此，探究神经网络系统是否能习得这种层次结构也很重要。

语言学习模型：MTRNN

我们发现，多重时间尺度递归神经网络（MTRNN）即使没有通过语言层次结构的自组织学习，也能获得识别和生成句子的能力。我们仅使用句子集对MTRNN进行训练，而不具备任何关于词汇或语