15、多层前馈网络性能与泛化理论解析

多层前馈网络性能与泛化理论解析

1. 多层前馈网络的性能优化

在多层前馈网络的实际应用中，性能优化是一个关键问题。通过拒绝输出差异不足的边缘情况，测试集的错误率可降低至约 1%，不过这一过程会导致约 12%的拒绝率。为了实现良好的泛化能力，限制网络的自由参数数量至关重要。权重共享已能大幅减少参数数量，此外，“最优脑损伤”方法也被用于进一步移除网络中的权重。该方法基于信息理论思想，对不必要的权重进行最优选择，移除这些权重后再对网络进行重新训练。最终得到的网络自由参数约为原网络的 1/4，且性能更佳，在测试集上达到 99%正确分类所需的拒绝率降至约 9%。

2. 语音识别的挑战与应用

语音识别是人工智能和神经网络领域研究较多的任务之一，但由于语音的连续性、速度变化、上下文依赖以及说话者差异等因素，使得语音识别具有一定难度。当前的方法在说话者无关的连续语音识别任务上表现不佳。虽然循环网络因语音的时间结构而被自然地应用于语音识别，但前馈网络也可用于处理一些简单的语音识别问题，如区分一组特定的单词。不过，这种方法在实际应用中通常仅适用于小词汇量和单独单词的任务。

3. 多层前馈网络的理论问题

多层前馈网络存在许多理论问题，例如完成特定任务所需的层数和每层的单元数量、输入表示的重要性、网络何时能够泛化以及泛化的具体含义等。这些问题有些可以通过定理明确解答，而有些仍在深入研究中。

3.1 隐藏单元的必要数量

对于连续值单元的分层网络，使用特定的激活函数，不同层数的网络计算方式不同。当需要以给定精度逼近一组特定函数时，最多需要两个隐藏层，且每层有足够多的单元就能实现任意精度的逼近。也有证明表明，一个隐藏层