9、神经网络增长策略全解析

神经网络增长策略全解析

1. 网络连接修剪策略

在神经网络中，网络连接修剪是一种重要的优化策略。通过观察相关示例可知，在严重影响网络性能之前，可以移除一定数量的连接。具体操作是按照连接的活跃度，从活跃度最低的连接开始逐个移除。

• 策略总结 ：
  • 通常在最后应用该策略，在确定网络的最佳规模后对其进行简化。
  • 该策略主要起到微调作用，而非带来重大改变。

2. 增加网络连接不对称性

向网络连接中添加不对称性可以使网络操作产生偏差，使其在连接所指向的数据空间部分表现出超敏感性。这在非线性问题中非常有用，例如音频信号的模数转换，大部分信息集中在动态范围的较低部分。

• 示例说明 ：在一个用于非线性识别任务的网络中，虽然全连接网络能够学习分离数据，但连接的冗余性导致网络运行效率不高。引入不对称性的最简单方法是选择性地修剪网络一侧的连接。
• 策略总结 ：
  • 适用于特定类型的问题。
  • 由于减少了连接数量，提高了网络效率。
  • 作为最终的优化策略之一应用。

3. 添加层内神经元的侧向连接

当网络同步运行时，可以将一个神经元的当前输出应用到同一层的其他神经元。这种连接方式可以看作是在网络信号路径中插入了一个延迟。