11、神经网络系统设计：构建算法与单节点学习策略

神经网络系统设计：构建算法与单节点学习策略

1. 构建算法的现状与挑战

构建算法在神经网络系统设计中具有重要地位，但由于大多数构建方法是近期才出现的，因此在使用和性能方面仍存在许多待解决的问题。

• 架构选择问题 ：一个明显的问题是深度架构是否优于浅层架构。深度级联架构在隐藏节点的使用上可能更经济，因为它使用了从输入到输出的直接连接以及隐藏节点之间的额外链接。例如，使用级联架构，异或（XOR）问题可以用一个隐藏节点解决，而使用单隐藏层则至少需要两个隐藏节点。然而，级联架构的高阶特征检测器虽然在某些应用中可能具有优势，但网络中存在较长的传播延迟，并且更深层隐藏节点的输入数量增加，使得硬件实现更加困难。实验表明，单隐藏层和级联架构的泛化性能取决于具体问题，需要结合Vapnik - Chervonenkis维度的理论见解进行更可靠的比较。
• 未充分发展的领域 ：当前构建技术的某些领域仍相对未充分发展。例如，模块化构建具有潜在优势，但相关技术较为缺乏。此外，据目前所知，循环网络仅在级联相关算法的背景下得到实现，开发能够处理复杂位串的循环网络算法以及拓展此类模型可处理的自动机类别是很有意义的研究方向。
• 算法应用情况 ：到目前为止，大多数构建算法的应用都使用了级联相关算法或自适应径向基函数（RBF）网络，专门用于生成分类任务网络的算法实际应用较少。部分原因是一些算法在人工问题上表现令人满意，但在实际数据集上的实用性未知或表现不佳。级联相关算法或自适应RBF网络具有使用经验丰富和可靠性已知的优势，但需要在广泛的常见数据集上对这些算法进行基准测试，