28、深度架构与卷积网络：原理、应用与优化

深度架构与卷积网络：原理、应用与优化

1. 深度网络与表征问题

深度网络在处理实值函数时，深度与规模的权衡至关重要。以两个具有二维输入和六个隐藏神经元的网络为例，它们被用作分类器，仅使用一个输出神经元，且由整流神经元组成。

• 浅网络输出计算 ：
  浅网络中，输入 (x_1) 和 (x_2) 经过激活神经元的路径传播到输出，输出 (x_9) 的计算公式为：
  [x_9 = (w_{9,4}w_{4,1} + w_{9,5}w_{5,1} + w_{9,6}w_{6,1} + w_{9,8}w_{8,1})x_1 + (w_{9,4}w_{4,2} + w_{9,5}w_{5,2} + w_{9,6}w_{6,2} + w_{9,8}w_{8,2})x_2 + b_9 + w_{9,8}b_8 + w_{9,6}b_6 + w_{9,5}b_5 + w_{9,4}b_4]
• 深网络输出计算 ：
  深网络中，输出 (x_9) 的计算公式为：
  [x_9 = (w_{9,8}w_{8,5}w_{5,4}w_{4,1} + w_{9,8}w_{8,6}w_{6,4}w_{4,1})x_1 + (w_{9,8}w_{8,5}w_{5,4}w_{4,2} + w_{9,8}w_{8,6}w_{6,4}w_{4,2})x_2 + b_9 + w_{9,8}b_8 + w_{9,8}w_{8,6}b_6 + w_{9,8}w_{8,5}b_5 + (w_{9,8}w_{8,5}w_{5,4} + w_{9,8}w_{8,6}w_{6,4})b_4]

<